Amazon CloudWatch Logs
CloudWatch Logs vous permet de centraliser les journaux de tous vos systèmes ainsi que les applications et les services AWS que vous utilisez au sein d’un seul service hautement évolutif. Vous pouvez ensuite facilement les consulter, y effectuer des recherches pour identifier des codes d’erreur spécifiques ou des modèles, les filtrer en fonction de champs spécifiques ou les archiver en toute sécurité à des fins d’analyse ultérieure.
Attention: Ce plugin est susceptible de générer un volume important de données lors des requêtes API. Il est indispensable d'utiliser les fonctionnalités de filtrage de celui-ci (
--group-nameet--stream-name) afin de limiter les résultats retournés par l'API.
Dépendances du connecteur de supervision
Les connecteurs de supervision suivants sont automatiquement installés lors de l'installation du connecteur Amazon CloudWatch Logs depuis la page Configuration > Gestionnaire de connecteurs de supervision :
Contenu du pack
Modèles
Le connecteur de supervision Amazon CloudWatch Logs apporte un modèle d'hôte :
- Cloud-Aws-CloudWatchLogs-custom
Le connecteur apporte le modèle de service suivant (classé selon le modèle d'hôte auquel il est rattaché) :
- Cloud-Aws-CloudWatchLogs-custom
- Non rattachés à un modèle d'hôte
Il n'y a pas de modèle de service rattaché à ce modèle d'hôte.
| Alias | Modèle de service | Description |
|---|---|---|
| Cloudwatchlogs-Get-Logs | Cloud-Aws-Cloudwatchlogs-Get-Logs-Api-custom | Supervise les logs CloudWatch |
Les services listés ci-dessus ne sont pas créés automatiquement lorsqu'un modèle d'hôte est appliqué. Pour les utiliser, créez un service manuellement et appliquez le modèle de service souhaité.
Métriques & statuts collectés
Voici le tableau des services pour ce connecteur, détaillant les métriques et statuts rattachés à chaque service.
- Cloudwatchlogs-Get-Logs
| Nom | Unité |
|---|---|
| status | N/A |
Pour obtenir ce nouveau format de métrique, incluez la valeur --use-new-perfdata dans la macro de service EXTRAOPTIONS.
Prérequis
Privilèges AWS
Configurez un compte de service (via une combinaison d'access key et secret key) et affectez-lui les privilèges suivants :
- CloudWatchLogs:DescribeLogGroups
Dépendances du Plugin
Afin de récupérer les informations nécessaires via les APIs AWS, il est possible d'utiliser soit le binaire awscli fourni par Amazon, soit le SDK Perl paws. Le SDK est recommandé car plus performant.
Attention, il n'est pas possible d'utiliser paws si la connexion s'effectue au travers d'un proxy.
- perl-Paws-installation
- aws-cli-installation
yum install perl-Paws
curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/install
Installer le connecteur de supervision
Pack
- Si la plateforme est configurée avec une licence online, l'installation d'un paquet n'est pas requise pour voir apparaître le connecteur dans le menu Configuration > Gestionnaire de connecteurs de supervision. Au contraire, si la plateforme utilise une licence offline, installez le paquet sur le serveur central via la commande correspondant au gestionnaire de paquets associé à sa distribution :
- Alma / RHEL / Oracle Linux 8
- Alma / RHEL / Oracle Linux 9
- Debian 11 & 12
- CentOS 7
dnf install centreon-pack-cloud-aws-cloudwatchlogs
dnf install centreon-pack-cloud-aws-cloudwatchlogs
apt install centreon-pack-cloud-aws-cloudwatchlogs
yum install centreon-pack-cloud-aws-cloudwatchlogs
- Quel que soit le type de la licence (online ou offline), installez le connecteur Amazon CloudWatch Logs depuis l'interface web et le menu Configuration > Gestionnaire de connecteurs de supervision.
Plugin
À partir de Centreon 22.04, il est possible de demander le déploiement automatique du plugin lors de l'utilisation d'un connecteur. Si cette fonctionnalité est activée, et que vous ne souhaitez pas découvrir des éléments pour la première fois, alors cette étape n'est pas requise.
Plus d'informations dans la section Installer le plugin.
Utilisez les commandes ci-dessous en fonction du gestionnaire de paquets de votre système d'exploitation :
- Alma / RHEL / Oracle Linux 8
- Alma / RHEL / Oracle Linux 9
- Debian 11 & 12
- CentOS 7
dnf install centreon-plugin-Cloud-Aws-Cloudwatchlogs-Api
dnf install centreon-plugin-Cloud-Aws-Cloudwatchlogs-Api
apt install centreon-plugin-cloud-aws-cloudwatchlogs-api
yum install centreon-plugin-Cloud-Aws-Cloudwatchlogs-Api
Utiliser le connecteur de supervision
Utiliser un modèle d'hôte issu du connecteur
- Ajoutez un hôte à Centreon depuis la page Configuration > Hôtes.
- Complétez les champs Nom, Alias & IP Address/DNS correspondant à votre ressource.
- Appliquez le modèle d'hôte Cloud-Aws-CloudWatchLogs-custom. Une liste de macros apparaît. Les macros vous permettent de définir comment le connecteur se connectera à la ressource, ainsi que de personnaliser le comportement du connecteur.
- Renseignez les macros désirées. Attention, certaines macros sont obligatoires.
| Macro | Description | Valeur par défaut | Obligatoire |
|---|---|---|---|
| AWSACCESSKEY | Set AWS access key | X | |
| AWSCUSTOMMODE | When a plugin offers several ways (CLI, library, etc.) to get information the desired one must be defined with this option | awscli | |
| AWSREGION | Set the region name (required) | X | |
| AWSSECRETKEY | Set AWS secret key | X | |
| PROXYURL | Proxy URL if any |
- Déployez la configuration. L'hôte apparaît dans la liste des hôtes supervisés, et dans la page Statut des ressources. La commande envoyée par le connecteur est indiquée dans le panneau de détails de l'hôte : celle-ci montre les valeurs des macros.
Utiliser un modèle de service issu du connecteur
- Si vous avez utilisé un modèle d'hôte et coché la case Créer aussi les services liés aux modèles, les services associés au modèle ont été créés automatiquement, avec les modèles de services correspondants. Sinon, créez les services désirés manuellement et appliquez-leur un modèle de service.
- Renseignez les macros désirées (par exemple, ajustez les seuils d'alerte). Les macros indiquées ci-dessous comme requises (Obligatoire) doivent être renseignées.
- Cloudwatchlogs-Get-Logs
| Macro | Description | Valeur par défaut | Obligatoire |
|---|---|---|---|
| GROUPNAME | Set log group name (required) | ||
| STREAMNAME | Filters the results to only logs from the log stream (multiple option) | ||
| STARTTIMESINCE | Lookup logs last X seconds ago. If not set: lookup logs since the last execution | ||
| UNKNOWNSTATUS | Define the conditions to match for the status to be UNKNOWN (default: '') You can use the following variables: %{message}, %{stream_name}, %{since} | ||
| WARNINGSTATUS | Define the conditions to match for the status to be WARNING (default: '') You can use the following variables: %{message}, %{stream_name}, %{since} | ||
| CRITICALSTATUS | Define the conditions to match for the status to be CRITICAL (default: ''). You can use the following variables: %{message}, %{stream_name}, %{since} | ||
| EXTRAOPTIONS | Any extra option you may want to add to the command (a --verbose flag for example). Toutes les options sont listées ici. | --verbose |
- Déployez la configuration. Le service apparaît dans la liste des services supervisés, et dans la page Statut des ressources. La commande envoyée par le connecteur est indiquée dans le panneau de détails du service : celle-ci montre les valeurs des macros.
Comment puis-je tester le plugin et que signifient les options des commandes ?
Une fois le plugin installé, vous pouvez tester celui-ci directement en ligne
de commande depuis votre collecteur Centreon en vous connectant avec
l'utilisateur centreon-engine (su - centreon-engine). Vous pouvez tester
que le connecteur arrive bien à superviser une instance AWS en utilisant une commande
telle que celle-ci (remplacez les valeurs d'exemple par les vôtres) :
/usr/lib/centreon/plugins/centreon_aws_cloudwatchlogs_api.pl \
--plugin=cloud::aws::cloudwatchlogs::plugin \
--mode=get-logs \
--custommode='awscli' \
--aws-secret-key='XXXX' \
--aws-access-key='XXXX' \
--aws-role-arn='' \
--proxyurl='' \
--region='eu-west-1' \
--group-name='' \
--stream-name='' \
--start-time-since='' \
--unknown-status='' \
--warning-status='' \
--critical-status='' \
--verbose
La commande devrait retourner un message de sortie similaire à :
CRITICAL: 2 problem(s) detected | 'logs'=2;;;0;
critical: log [created: 5m 11s] [stream: 2020/07/21/[$LATEST]57eb66feaf4aa7bc46gr0e91aeac2b99] [message: [INFO] 2020-07-21T14:35:31.591Z edcea75a-41ceaa-43ae0-8fa6-1cfea0d0dc Set REGION: eu-west-1 -- ]
critical: log [created: 10m 11s] [stream: 2020/07/21/[$LATEST]57eb66eac4cea0e91ce2b99] [message: [INFO] 2020-07-21T14:30:31.767Z 8a62ac5e-d6dd-44Da-b23e-bce42fef3 Set REGION: eu-west-1 -- ]
Diagnostic des erreurs communes
Rendez-vous sur la documentation dédiée pour le diagnostic des erreurs communes des plugins Centreon.
Modes disponibles
Dans la plupart des cas, un mode correspond à un modèle de service. Le mode est renseigné dans la commande d'exécution du connecteur. Dans l'interface de Centreon, il n'est pas nécessaire de les spécifier explicitement, leur utilisation est implicite dès lors que vous utilisez un modèle de service. En revanche, vous devrez spécifier le mode correspondant à ce modèle si vous voulez tester la commande d'exécution du connecteur dans votre terminal.
Tous les modes disponibles peuvent être affichés en ajoutant le paramètre
--list-mode à la commande :
/usr/lib/centreon/plugins/centreon_aws_cloudwatchlogs_api.pl \
--plugin=cloud::aws::cloudwatchlogs::plugin \
--list-mode
Le plugin apporte les modes suivants :
| Mode | Modèle de service associé |
|---|---|
| get-logs [code] | Cloud-Aws-Cloudwatchlogs-Get-Logs-Api-custom |
| list-groups [code] | Not used in this Monitoring Connector |
Options disponibles
Options des modes
Les options disponibles pour chaque modèle de services sont listées ci-dessous :
- Cloudwatchlogs-Get-Logs
| Option | Description |
|---|---|
| --filter-counters | Only display some counters (regexp can be used). Example to check SSL connections only : --filter-counters='^xxxx|yyyy$' |
| --memcached | Memcached server to use (only one server). |
| --redis-server | Redis server to use (only one server). Syntax: address[:port] |
| --redis-attribute | Set Redis Options (--redis-attribute="cnx_timeout=5"). |
| --redis-db | Set Redis database index. |
| --failback-file | Failback on a local file if Redis connection fails. |
| --memexpiration | Time to keep data in seconds (default: 86400). |
| --statefile-dir | Define the cache directory (default: '/var/lib/centreon/centplugins'). |
| --statefile-suffix | Define a suffix to customize the statefile name (default: ''). |
| --statefile-concat-cwd | If used with the '--statefile-dir' option, the latter's value will be used as a sub-directory of the current working directory. Useful on Windows when the plugin is compiled, as the file system and permissions are different from Linux. |
| --statefile-format | Define the format used to store the cache. Available formats: 'dumper', 'storable', 'json' (default). |
| --statefile-key | Define the key to encrypt/decrypt the cache. |
| --statefile-cipher | Define the cipher algorithm to encrypt the cache (default: 'AES'). |
| --group-name | Set log group name (required). |
| --stream-name | Filters the results to only logs from the log stream (multiple option). |
| --start-time-since | Lookup logs last X seconds ago. If not set: lookup logs since the last execution. |
| --unknown-status | Define the conditions to match for the status to be UNKNOWN (default: '') You can use the following variables: %{message}, %{stream_name}, %{since} |
| --warning-status | Define the conditions to match for the status to be WARNING (default: '') You can use the following variables: %{message}, %{stream_name}, %{since} |
| --critical-status | Define the conditions to match for the status to be CRITICAL (default: ''). You can use the following variables: %{message}, %{stream_name}, %{since} |
| --mode | Define the mode in which you want the plugin to be executed (see --list-mode). |
| --dyn-mode | Specify a mode with the module's path (advanced). |
| --list-mode | List all available modes. |
| --mode-version | Check minimal version of mode. If not, unknown error. |
| --version | Return the version of the plugin. |
| --custommode | When a plugin offers several ways (CLI, library, etc.) to get information the desired one must be defined with this option. |
| --list-custommode | List all available custom modes. |
| --multiple | Multiple custom mode objects. This may be required by some specific modes (advanced). |
| --pass-manager | Define the password manager you want to use. Supported managers are: environment, file, keepass, hashicorpvault and teampass. |
| --verbose | Display extended status information (long output). |
| --debug | Display debug messages. |
| --filter-perfdata | Filter perfdata that match the regexp. Example: adding --filter-perfdata='avg' will remove all metrics that do not contain 'avg' from performance data. |
| --filter-perfdata-adv | Filter perfdata based on a "if" condition using the following variables: label, value, unit, warning, critical, min, max. Variables must be written either %{variable} or %(variable). Example: adding --filter-perfdata-adv='not (%(value) == 0 and %(max) eq "")' will remove all metrics whose value equals 0 and that don't have a maximum value. |
| --explode-perfdata-max | Create a new metric for each metric that comes with a maximum limit. The new metric will be named identically with a '_max' suffix). Example: it will split 'used_prct'=26.93%;0:80;0:90;0;100 into 'used_prct'=26.93%;0:80;0:90;0;100 'used_prct_max'=100%;;;; |
| --change-perfdata --extend-perfdata | Change or extend perfdata. Syntax: --extend-perfdata=searchlabel,newlabel,target[,[newuom],[min],[max]] Common examples: =over 4 Convert storage free perfdata into used: --change-perfdata='free,used,invert()' Convert storage free perfdata into used: --change-perfdata='used,free,invert()' Scale traffic values automatically: --change-perfdata='traffic,,scale(auto)' Scale traffic values in Mbps: --change-perfdata='traffic_in,,scale(Mbps),mbps' Change traffic values in percent: --change-perfdata='traffic_in,,percent()' =back |
| --extend-perfdata-group | Add new aggregated metrics (min, max, average or sum) for groups of metrics defined by a regex match on the metrics' names. Syntax: --extend-perfdata-group=regex,namesofnewmetrics,calculation[,[newuom],[min],[max]] regex: regular expression namesofnewmetrics: how the new metrics' names are composed (can use $1, $2... for groups defined by () in regex). calculation: how the values of the new metrics should be calculated newuom (optional): unit of measure for the new metrics min (optional): lowest value the metrics can reach max (optional): highest value the metrics can reach Common examples: =over 4 Sum wrong packets from all interfaces (with interface need --units-errors=absolute): --extend-perfdata-group=',packets_wrong,sum(packets_(discard|error)_(in|out))' Sum traffic by interface: --extend-perfdata-group='traffic_in_(.*),traffic_$1,sum(traffic_(in|out)_$1)' =back |
| --change-short-output --change-long-output | Modify the short/long output that is returned by the plugin. Syntax: --change-short-output=pattern~replacement~modifier Most commonly used modifiers are i (case insensitive) and g (replace all occurrences). Example: adding --change-short-output='OK~Up~gi' will replace all occurrences of 'OK', 'ok', 'Ok' or 'oK' with 'Up' |
| --change-exit | Replace an exit code with one of your choice. Example: adding --change-exit=unknown=critical will result in a CRITICAL state instead of an UNKNOWN state. |
| --range-perfdata | Rewrite the ranges displayed in the perfdata. Accepted values: 0: nothing is changed. 1: if the lower value of the range is equal to 0, it is removed. 2: remove the thresholds from the perfdata. |
| --filter-uom | Mask the units when they don't match the given regular expression. |
| --opt-exit | Replace the exit code in case of an execution error (i.e. wrong option provided, SSH connection refused, timeout, etc). Default: unknown. |
| --output-ignore-perfdata | Remove all the metrics from the service. The service will still have a status and an output. |
| --output-ignore-label | Remove the status label ("OK:", "WARNING:", "UNKNOWN:", CRITICAL:") from the beginning of the output. Example: 'OK: Ram Total:...' will become 'Ram Total:...' |
| --output-xml | Return the output in XML format (to send to an XML API). |
| --output-json | Return the output in JSON format (to send to a JSON API). |
| --output-openmetrics | Return the output in OpenMetrics format (to send to a tool expecting this format). |
| --output-file | Write output in file (can be combined with json, xml and openmetrics options). E.g.: --output-file=/tmp/output.txt will write the output in /tmp/output.txt. |
| --disco-format | Applies only to modes beginning with 'list-'. Returns the list of available macros to configure a service discovery rule (formatted in XML). |
| --disco-show | Applies only to modes beginning with 'list-'. Returns the list of discovered objects (formatted in XML) for service discovery. |
| --float-precision | Define the float precision for thresholds (default: 8). |
| --source-encoding | Define the character encoding of the response sent by the monitored resource Default: 'UTF-8'. =head1 DESCRIPTION B\<output>. =cut |
| --aws-secret-key | Set AWS secret key. |
| --aws-access-key | Set AWS access key. |
| --aws-session-token | Set AWS session token. |
| --aws-role-arn | Set Amazon Resource Name of the role to be assumed. |
| --region | Set the region name (required). |
| --period | Set period in seconds. |
| --timeframe | Set timeframe in seconds. |
| --statistic | Set CloudWatch statistics (can be: 'minimum', 'maximum', 'average', 'sum'). |
| --zeroed | Set metrics value to 0 if none. Useful when CloudWatch does not return value when not defined. |
| --proxyurl | Proxy URL if any |
| --aws-profile | Set AWS profile. |
| --endpoint-url | Override AWS service endpoint URL if necessary. |
| --timeout | Set timeout in seconds (default: 50). |
| --sudo | Use 'sudo' to execute the command. |
| --command | Command to get information (default: 'aws'). Can be changed if you have output in a file. |
| --command-path | Command path (default: none). |
| --command-options | Command options (default: none). Only use for testing purpose, when you want to set ALL parameters of a command by yourself. |
| --skip-ssl-check | Avoid certificate issuer verification. Useful when AWS resources are hosted by a third party. Note that it strips all stderr from the command result. Debug will only display CLI instead of everything. |
Pour un mode, la liste de toutes les options disponibles et leur signification peut être
affichée en ajoutant le paramètre --help à la commande :
/usr/lib/centreon/plugins/centreon_aws_cloudwatchlogs_api.pl \
--plugin=cloud::aws::cloudwatchlogs::plugin \
--mode=get-logs \
--help