Clickhouse
Avant de commencer
- Dans la plupart des cas, vous enverrez les données depuis le serveur central. Il est également possible de les envoyer depuis un serveur distant ou un collecteur (par exemple si vous voulez éviter que le serveur central ne représente un point de défaillance unique, ou bien si vous êtes un MSP et vous installez le stream connector sur un collecteur ou un serveur distant dans l'infratructure de votre client).
- Par défaut, le stream connector Clickhouse envoie des métriques des évènements Broker host_status et service_status. Ces métriques sont contenues dans le champ perf_data des évènements. Le format des évènements est décrit ici.
- Ces évènements sont envoyés à chaque contrôle sur l'hôte ou le service. Des paramètres dédiés vous permettent de ne pas envoyer certains évènements.
Prérequis
- L'interface HTTP Clickhouse doit être activée. (Documentation Clickhouse).
- Vous devez disposer d'un utilisateur valide (et de son mot de passe), qui puisse effectuer des INSERT dans la table désirée.
- Vous devez créer une table dans Clickhouse qui recevra les données en provenance de Centreon. Voici le schéma de la table (vous pouvez changer les noms de la base de données et de la table : elles sont toutes les deux configurables dans le stream connector).
Schéma de table standard
Voici le schéma par défaut à utiliser.
CREATE TABLE centreon_stream.metrics
(
host String,
service String,
metric_id String,
metric_name String,
metric_unit String,
metric_value Decimal,
metric_min Decimal,
metric_max Decimal,
timestamp DateTime,
hostgroups Array(String)
)
ENGINE = MergeTree()
PRIMARY KEY (timestamp, host, service, metric_name, metric_id)
Schéma de table alternatif
Attention : n'utilisez ce schéma que si vous voulez absolument récupérer le metric_id interne de Centreon. Cela entraîne la perte de nombreuses possibilités, telles que l'accès aux unités des métriques, à leur min, max...
Pour utiliser ce schéma, reportez-vous à la documentation du paramètre use_deprecated_metric_system ci-dessous (étape 6 de la procédure Configurer le stream connector dans Centreon).
CREATE TABLE centreon_stream.metrics
(
host String,
service String,
metric_id BIGINT,
metric_name String,
metric_value Decimal,
timestamp DateTime,
hostgroups Array(String)
)
ENGINE = MergeTree()
PRIMARY KEY (timestamp, host, service, metric_name, metric_id)
Installation
Faites l'installation sur le serveur qui enverra les données à Clickhouse (serveur central, serveur distant, collecteur).
- Alma / RHEL / Oracle Linux 8
- Alma / RHEL / Oracle Linux 9
- Debian_11
Connectez-vous en tant que
root
en utilisant votre client SSH préféré.Installez le dépôt Epel.
dnf install epel-release
- Installez les modules lua Centreon.
dnf install centreon-stream-connectors-lib
- Téléchargez le stream connector Clickhouse :
wget -O /usr/share/centreon-broker/lua/clickhouse-metrics-apiv2.lua https://raw.githubusercontent.com/centreon/centreon-stream-connector-scripts/develop/centreon-certified/clickhouse/clickhouse-metrics-apiv2.lua
chmod 644 /usr/share/centreon-broker/lua/clickhouse-metrics-apiv2.lua
Connectez-vous en tant que
root
en utilisant votre client SSH préféré.Installez le dépôt Epel.
dnf install epel-release
- Installez les modules lua Centreon.
dnf install centreon-stream-connectors-lib
- Téléchargez le stream connector Clickhouse :
wget -O /usr/share/centreon-broker/lua/clickhouse-metrics-apiv2.lua https://raw.githubusercontent.com/centreon/centreon-stream-connector-scripts/develop/centreon-certified/clickhouse/clickhouse-metrics-apiv2.lua
chmod 644 /usr/share/centreon-broker/lua/clickhouse-metrics-apiv2.lua
Connectez-vous en tant que
root
en utilisant votre client SSH préféré.Installez les modules lua Centreon.
dnf install centreon-stream-connectors-lib
- Téléchargez le stream connector Clickhouse :
wget -O /usr/share/centreon-broker/lua/clickhouse-metrics-apiv2.lua https://raw.githubusercontent.com/centreon/centreon-stream-connector-scripts/develop/centreon-certified/clickhouse/clickhouse-metrics-apiv2.lua
chmod 644 /usr/share/centreon-broker/lua/clickhouse-metrics-apiv2.lua
Configurer votre équipement Clickhouse
Vous devrez paramétrer votre équipement Clickhouse pour qu'il puisse recevoir des données de la part de Centreon. Reportez-vous à la documentation Clickhouse. Assurez-vous que Clickhouse puisse recevoir les données envoyées par Centreon : les flux ne doivent pas être bloqués par la configuration de Clickhouse ou par un équipement de sécurité.
Configurer le stream connector dans Centreon
- Sur votre serveur central, allez à la page Configuration > Collecteurs > Configuration de Centreon Broker.
- Cliquez sur central-broker-master (ou sur la configuration du Broker correspondant si les évènements seront envoyés par un serveur distant ou un collecteur).
- Dans l'onglet Output, sélectionnez Generic - Stream connector dans la liste, puis cliquez sur Ajouter. Un nouvel output apparaît dans la liste.
- Remplissez les champs de la manière suivante :
Champ | Valeur |
---|---|
Name | Clickhouse metrics |
Path | /usr/share/centreon-broker/lua/clickhouse-metrics-apiv2.lua |
Filter category | Neb |
- Pour permettre à Centreon de se connecter à votre équipement Clickhouse, remplissez les paramètres obligatoires suivants. La première entrée existe déjà. Cliquez sur le lien +Add a new entry en-dessous du tableau Filter category pour en ajouter un autre.
Type | Nom | Explication | Exemple |
---|---|---|---|
string | user | Utilisateur Clickhouse à utiliser | centreon |
string | password | Mot de passe de cet utilisateur | centreon |
string | http_server_url | Adresse du serveur Clickhouse (inclure le protocole et le port) | https://myclickhouse.local:8123 |
- Renseignez les paramètres optionnels désirés (en utilisant le lien +Add a new entry) :
Type | Nom | Explication | Valeur par défaut |
---|---|---|---|
string | clickhouse_database | Nom de la base de données dans laquelle la table désirée est stockée | centreon_stream |
string | clickhouse_table | Table dans laquelle les métriques sont écrites | metrics |
number | use_deprecated_metric_system | Si la valeur est 1, le schéma de table alternatif sera utilisé | 0 |
Utilisez les paramètres optionnels du stream connector pour filtrer ou adapter les données que vous voulez que Centreon envoie à Clickhouse.
Redémarrez centengine sur tous les collecteurs :
systemctl restart centengine
Clickhouse reçoit maintenant des données de Centreon. Pour tester le bon fonctionnement de l'intégration, voir Commandes curl : tester le stream connector.
Filtrer ou adapter les données que vous voulez envoyer à Clickhouse
Tous les stream connectors ont un jeu de paramètres optionnels qui vous permettent de filtrer les données que vous enverrez à votre équipement Clickhouse, de reformater les données, de définir un proxy...
Chaque paramètre optionnel a une valeur par défaut, qui est indiquée dans la documentation correspondante.
Pour surcharger la valeur par défaut d'un paramètre, cliquez sur le lien +Add a new entry en-dessous du tableau Filter category, afin d'ajouter un paramètre personnalisé. Par exemple, si vous ne voulez envoyer à Clickhouse que les évènements traités par un collecteur nommé "poller-1", entrez :
type = string
name = accepted_pollers
value = poller-1Pour le stream connector Clickhouse, les données suivantes surchargent toujours les valeurs par défaut (il n'est pas nécessaire de les redéfinir dans l'interface).
Type | Nom | Valeur par défaut pour le stream connector | Notes |
---|---|---|---|
string | accepted_categories | neb | |
string | accepted_elements | host_status,service_status | |
string | max_buffer_size | 1000 | Baissez cette valeur jusqu'à environ 100 si vous avez moins de 10 000 services. Si vous effectuez des opérations de dépannage avec les paramètres log_curl_commands et/ou send_data_test, vous pouvez baisser cette valeur en-dessous de 10. |
number | hard_only | 0 | |
number | enable_host_status_dedup | 0 | |
number | enable_service_status_dedup | 0 |
Event bulking
Ce stream connector est compatible avec l'event bulking. Cela signifie qu'il est capable d'envoyer plus d'un évènement lors de chaque appel à l'API REST Spunk.
Pour utiliser cette fonctionnalité, vous devez ajouter le paramètre max_buffer_size à la configuration de votre stream connector.
Format des évènements
Ce stream connector envoie des évènements au format suivant :
Évènement service_status
INSERT INTO centreon_stream.metrics (host, timestamp, metric_name, metric_value, service, hostgroups, metric_id, metric_unit, metric_min, metric_max) VALUES ('central_1',1702910747,'rtmin',0.005,'Ping',['hg'],'10-8-rtmin','ms',,),('central_1',1702910747,'rta',0.061,'Ping',['hg'],'10-8-rta','ms',0.0,),('central_1',1702910747,'pl',0.0,'Ping',['hg'],'10-8-pl','%',0.0,100.0)
Évènement host_status
INSERT INTO centreon_stream.metrics (host, timestamp, metric_name, metric_value, service, hostgroups, metric_id, metric_unit, metric_min, metric_max) VALUES ('central_3',1702910932,'rtmin',0.0,'Ping',['hg'],'12-10-rtmin','ms',,),('central_3',1702910932,'rta',0.0,'Ping',['hg'],'12-10-rta','ms',0.0,),('central_3',1702910932,'pl',100.0,'Ping',['hg'],'12-10-pl','%',0.0,100.0)
Résultat dans Clickhouse
┌─host────┬─service─┬─metric_name─┬─metric_unit─┬─metric_value─┬─metric_min─┬─metric_max─┬───────────timestamp─┬─hostgroups─────────────┐
│ central │ │ pl │ % │ 0 │ 0 │ 100 │ 2023-11-27 14:23:31 │ ['hg_1','hg_2','hg_3'] │
│ central │ │ rta │ ms │ 0.052 │ 0 │ 0 │ 2023-11-27 14:23:31 │ ['hg_1','hg_2','hg_3'] │
│ central │ │ rtmax │ ms │ 0.052 │ 0 │ 0 │ 2023-11-27 14:23:31 │ ['hg_1','hg_2','hg_3'] │
│ central │ │ rtmin │ ms │ 0.052 │ 0 │ 0 │ 2023-11-27 14:23:31 │ ['hg_1','hg_2','hg_3'] │
│ central │ Ping │ pl │ % │ 0 │ 0 │ 100 │ 2023-11-27 14:26:51 │ ['hg_1','hg_2','hg_3'] │
│ central │ Ping │ pl │ % │ 0 │ 0 │ 100 │ 2023-11-27 14:26:51 │ ['hg_1','hg_2','hg_3'] │
│ central │ Ping │ rta │ ms │ 0.013 │ 0 │ 0 │ 2023-11-27 14:26:51 │ ['hg_1','hg_2','hg_3'] │
│ central │ Ping │ rta │ ms │ 0.013 │ 0 │ 0 │ 2023-11-27 14:26:51 │ ['hg_1','hg_2','hg_3'] │
│ central │ Ping │ rtmax │ ms │ 0.049 │ 0 │ 0 │ 2023-11-27 14:26:51 │ ['hg_1','hg_2','hg_3'] │
│ central │ Ping │ rtmax │ ms │ 0.049 │ 0 │ 0 │ 2023-11-27 14:26:51 │ ['hg_1','hg_2','hg_3'] │
│ central │ Ping │ rtmin │ ms │ 0.004 │ 0 │ 0 │ 2023-11-27 14:26:51 │ ['hg_1','hg_2','hg_3'] │
│ central │ Ping │ rtmin │ ms │ 0.004 │ 0 │ 0 │ 2023-11-27 14:26:51 │ ['hg_1','hg_2','hg_3'] │
│ central │ │ pl │ % │ 0 │ 0 │ 100 │ 2023-11-27 14:28:11 │ ['hg_1','hg_2','hg_3'] │
│ central │ │ rta │ ms │ 0.027 │ 0 │ 0 │ 2023-11-27 14:28:11 │ ['hg_1','hg_2','hg_3'] │
│ central │ │ rtmax │ ms │ 0.027 │ 0 │ 0 │ 2023-11-27 14:28:11 │ ['hg_1','hg_2','hg_3'] │
│ central │ │ rtmin │ ms │ 0.027 │ 0 │ 0 │ 2023-11-27 14:28:11 │ ['hg_1','hg_2','hg_3'] │
└─────────┴─────────┴─────────────┴─────────────┴──────────────┴────────────┴────────────┴─────────────────────┴────────────────────────┘
Format d'évènements personnalisés
Il n'est pas possible de changer le format des évènements pour les stream connectors orientés métriques. Vous ne pouvez donc pas envoyer d'autres évènements Broker contenant des données de performance.
Commandes Curl : tester le stream connector
Envoyer des évènements
Si vous voulez tester que les évènements sont envoyés correctement à Clickhouse :
- Connectez-vous au serveur que vous avez configuré pour envoyer les évènements à Clickhouse (le serveur central, un serveur distant ou un collecteur).
- Exécutez la commande suivante :
curl -X POST -H 'X-ClickHouse-User: <user>' -H 'X-ClickHouse-Key: <password>' '<http_server_url>' -d 'INSERT INTO <clickhouse_database>.<clickhouse_table> (host, timestamp, metric_name, metric_value, service, hostgroups, metric_id, metric_unit, metric_min, metric_max) VALUES ('central_2',1702910872,'rtmin',0.0,'Ping',['hg'],'11-9-rtmin','ms',,),('central_2',1702910872,'rta',0.0,'Ping',['hg'],'11-9-rta','ms',0.0,),('central_2',1702910872,'pl',100.0,'Ping',['hg'],'11-9-pl','%',0.0,100.0)'
Remplacez tous les
<xxxx>
dans la commande ci-dessus par la valeur correcte. Par exemple,<clickhouse_database>
pourra être remplacé par centreon_stream.
- Vérifiez que l'évènement a bien été reçu par Clickhouse.