Azure Event Hubs
Vue d'ensemble​
Azure Event Hubs est une plateforme de streaming de Big Data et un service d’ingestion d’événements. Il peut recevoir et traiter des millions d’événements par seconde. Les données envoyées à un concentrateur d’événements peuvent être transformées et stockées à l’aide d’adaptateurs de traitement par lot/stockage ou d’un fournisseur d’analyse en temps réel.
Le connecteur de supervision Centreon Azure Event Hubs s'appuie sur les API Azure Monitor afin de récuperer les métriques relatives au service Event Hubs. Il est possible d'utiliser les 2 modes proposés par Microsoft: RestAPI ou Azure CLI.
Contenu du connecteur de supervision​
Objets supervisés​
- Instances Azure Event Hubs, les ressource de type namespaces et clusters sont supportées
- Backlog
- Connections
- Errors
- Health
- Messages
- Requests
- Throughput
Règles de découverte​
Le connecteur de supervision Centreon Azure Event Hubs inclut un provider de découverte d'Hôtes nommé Microsoft Azure Event Hubs. Celui-ci permet de découvrir l'ensemble des instances Event Hubs rattachés à une souscription Microsoft Azure donnée:
La découverte Azure Event Hubs n'est compatible qu'avec le mode 'api'. Le mode 'azcli' n'est pas supporté dans le cadre de cette utilisation.
Vous trouverez plus d'informations sur la découverte d'Hôtes et son fonctionnement sur la documentation du module: Découverte des hôtes
Métriques & statuts collectés​
- Backlog
- Connections
- Errors
- Health
- Messages
- Requests
- Throughput
Metric Name | Description | Unit |
---|---|---|
eventhubs.backlog.capture.count | Capture Backlog | Count |
Metric Name | Description | Unit |
---|---|---|
eventhubs.connections.active.count | Active Connections | Count |
eventhubs.connections.closed.count | Connections Closed | Count |
eventhubs.connections.opened.count | Connections Opened | Count |
Metric Name | Description | Unit |
---|---|---|
eventhubs.errors.quotaexceeded.count | Quota Exceeded Errors | Count |
eventhubs.errors.server.count | Server Errors | Count |
eventhubs.errors.user.count | User Errors | Count |
Status Name | Description |
---|---|
status | Current operational status |
summary | Last related status message |
Metric Name | Description | Unit |
---|---|---|
eventhubs.messages.captured.count | Captured messages | Count |
eventhubs.messages.incoming.count | Incoming Messages | Count |
eventhubs.messages.outgoing.count | Outgoing Messages | Count |
Metric Name | Description | Unit |
---|---|---|
eventhubs.requests.incoming.count | Incoming Requests | Count |
eventhubs.requests.successful.count | Successful Requests | Count |
eventhubs.requests.throttled.count | Throttled Requests | Count |
Metric Name | Description | Unit |
---|---|---|
eventhubs.throughput.captured.bytes | Captured Bytes | B |
eventhubs.throughput.incoming.bytes | Incoming Bytes | B |
eventhubs.throughput.outgoing.bytes | Outgoing Bytes | B |
Prérequis​
Deux moyens sont disponibles pour interroger les API Microsoft Azure.
Centreon préconise l'utilisation de la méthode API plutôt que la CLI, cette dernière étant significativement moins performante. L'API permet également une authentification Application et ne nécessite pas de compte de service dédié.
- Azure Monitor API
- Azure AZ CLI
Pour le custom-mode 'api', récupérez les informations en suivant la procédure ci-dessous (en anglais) et notez celles-ci en lieu sûr. Elles seront en effet indispensables lors de la configuration des ressources dans Centreon.
Create an application in Azure Active Directory:
- Log in to your Azure account.
- Select Azure Active directory in the left sidebar.
- Click on App registrations.
- Click on + Add.
- Enter Centreon as the application name (or any name of your choice), select application type(api) and sign-on-url.
- Click on the Create button.
Get Subscription ID
- Log in to your Azure account.
- Select Subscriptions in the left sidebar.
- Select whichever subscription is needed.
- Click on Overview.
- Copy the Subscription ID.
Get Tenant ID
- Log in to your Azure account.
- Select Azure Active directory in the left sidebar.
- Click on Properties.
- Copy the directory ID.
Get Client ID
- Log in to your Azure account.
- Select Azure Active directory in the left sidebar.
- Click on Enterprise applications.
- Click on All applications.
- Select the application previously created.
- Click on Properties.
- Copy the Application ID.
Get Client secret
- Log in to your Azure account.
- Select Azure Active directory in the left sidebar.
- Click on App registrations.
- Select the application previously created.
- Click on All settings.
- Click on Keys.
- Enter the key description and select the duration.
- Click on Save.
- Copy and store the key value. You won't be able to retrieve it after you leave this page.
Afin d'utiliser le custom-mode 'azcli', installez le binaire associé sur tous les Collecteurs Centreon devant superviser des resources Azure:
- La CLI requiert une version de Python >= 2.7 (https://github.com/Azure/azure-cli/blob/dev/doc/install_linux_prerequisites.md)
Sur un système utilisant le packaging RPM, utilisez les commandes ci-dessous avec l'utilisateur root ou un utilisateur avec les droits 'sudo' adéquats:
sudo rpm --import https://packages.microsoft.com/keys/microsoft.asc
sudo echo -e "[azure-cli]\nname=Azure CLI\nbaseurl=https://packages.microsoft.com/yumrepos/azure-cli\nenabled=1\ngpgcheck=1\ngpgkey=https://packages.microsoft.com/keys/microsoft.asc" > /etc/yum.repos.d/azure-cli.repo
sudo yum install azure-cli
Ensuite, réalisez les opérations suivantes avec l'utilisateur centreon-engine afin de récupérer le token d'authentification Azure:
su - centreon-engine
az login
La commande retourne le message ci-dessous contenant un code:
*To sign in, use a web browser to open the page https://microsoft.com/devicelogin*
*and enter the code CWT4WQZAD to authenticate.*
Rendez-vous sur https://microsoft.com/devicelogin afin de saisir le code obtenu, puis connectez vous avec le compte de service dédié à la supervision.
Une fois ces actions effectuées, des informations d'auhtentification de la forme suivante devraient s'afficher dans le terminal du collecteur Centreon:
[
{
"cloudName": "AzureCloud",
"id": "0ef83f3a-d83e-2039-d930-309df93acd93d",
"isDefault": true,
"name": "N/A(tenant level account)",
"state": "Enabled",
"tenantId": "0ef83f3a-03cd-2039-d930-90fd39ecd048",
"user": {
"name": "email@mycompany.onmicrosoft.com",
"type": "user"
}
}
]
Vous avez désormais les informations stockées localement dans un fichier accessTokens.json qui sera utilisé automatiquement par le Plugin.
Installation​
- Online License
- Offline License
- Installer le Plugin sur tous les collecteurs Centreon devant superviser des resources Azure Event Hubs:
yum install centreon-plugin-Cloud-Azure-Analytics-EventHubs-Api
- Sur l'interface Integration de Centreon, installer le connecteur de supervision Azure Event Hubs depuis la page Configuration > Gestionnaire de connecteurs de supervision
- Installer le Plugin sur tous les collecteurs Centreon devant superviser des resources Azure Event Hubs:
yum install centreon-plugin-Cloud-Azure-Analytics-EventHubs-Api
- Sur le serveur Central Centreon, installer le RPM du connecteur de supervision Azure Event Hubs:
yum install centreon-pack-cloud-azure-analytics-eventhubs.noarch
- Sur l'interface Integration de Centreon, installer le connecteur de supervision Azure Event Hubs depuis la page Configuration > Gestionnaire de connecteurs de supervision
Configuration​
Hôte​
- Ajoutez un Hôte à Centreon, remplissez le champ Adresse IP/DNS avec l'adresse 127.0.0.1 et appliquez-lui le Modèle d'Hôte Cloud-Azure-Analytics-EventHubs-custom.
- Une fois le modèle appliqué, les Macros ci-dessous indiquées comme requises (Mandatory) doivent être renseignées selon le custom mode utilisé.
Deux méthodes peuvent être utilisées lors de l'assignation des Macros:
- Utilisation de l'ID complet de la ressource (de type
/subscriptions/<subscription_id>/resourceGroups/<resourcegroup_id>/providers/Microsoft.EventHub/<resource_type>/<resource_name>
) dans la Macro AZURERESOURCE- Utilisation du nom de la ressource dans la Macro AZURERESOURCE associée aux Macros AZURERESOURCEGROUP et AZURERESOURCETYPE
- Azure Monitor API
- Azure AZ CLI
Mandatory | Nom | Description |
---|---|---|
X | AZURECUSTOMMODE | Custom mode 'api' |
X | AZURESUBSCRIPTION | Subscription ID |
X | AZURETENANT | Tenant ID |
X | AZURECLIENTID | Client ID |
X | AZURECLIENTSECRET | Client secret |
X | AZURERESOURCE | ID or name of the Event Hub resource |
AZURERESOURCEGROUP | Associated Resource Group if resource name is used | |
AZURERESOURCETYPE | Associated Resource Type if resource name is used |
Mandatory | Nom | Description |
---|---|---|
X | AZURECUSTOMMODE | Custom mode 'azcli' |
X | AZURESUBSCRIPTION | Subscription ID |
X | AZURERESOURCE | ID or name of the Event Hub resource |
AZURERESOURCEGROUP | Associated Resource Group if resource name is used | |
AZURERESOURCETYPE | Associated Resource Type if resource name is used |
FAQ​
Comment puis-je tester le Plugin et que signifient les options des commandes ?​
Une fois le Plugin installé, vous pouvez tester celui-ci directement en ligne de commande depuis votre collecteur Centreon en vous connectant avec l'utilisateur centreon-engine:
/usr/lib/centreon/plugins/centreon_azure_analytics_eventhubs_api.pl \
--plugin=cloud::azure::analytics::eventhubs::plugin \
--mode=errors \
--custommode=api \
--subscription='xxxxxxxxx' \
--tenant='xxxxxxxxx' \
--client-id='xxxxxxxxx' \
--client-secret='xxxxxxxxx' \
--resource='HUB001ABCD' \
--resource-group='RSG1234' \
--resource-type='namespaces' \
--timeframe='900' \
--interval='PT5M' \
--aggregation='Total' \
--warning-server-errors='800' \
--critical-server-errors='900'
La commande devrait retourner un message de sortie similaire Ă :
OK: Instance 'HUB001ABCD' Statistic 'total' Metrics Server Errors: 12.00, User Errors: 47.00, Quota Exceeded Errors: 0.00 |
'HUB001ABCD~total#eventhubs.errors.server.count'=12.00;800;900;0; 'HUB001ABCD~total#eventhubs.errors.user.count'=47.00;;;0;
'HUB001ABCD~total#eventhubs.errors.quotaexceeded.count'=0.00;;;0;
La commande ci-dessus vérifie les erreurs existantes sur l'instance Event Hubs nommée HUB001ABCD
(--plugin=cloud::azure::analytics::eventhubs::plugin --mode=requests --resource='HUB001ABCD'
) et liée au Resource Group RSG1234
(--resource-group='RSG1234'
). Cette ressource est de type namespaces (--resource-type='namespaces'
), en opposition
aux ressources de type clusters.
Le mode de connexion utilisé est 'api' (--custommode=api
), les paramètres d'authentification nécessaires à l'utilisation de ce mode
sont donc renseignés en fonction (--subscription='xxxxxxxxx' --tenant='xxxxxxx' --client-id='xxxxxxxx' --client-secret='xxxxxxxxxx'
).
Les statuts caculés se baseront sur les valeurs totales d'un échantillon dans un intervalle de 15 minutes / 900 secondes (--timeframe='900'
)
avec un état retourné par tranche de 5 minutes (--interval='PT5M'
).
Dans cet exemple, une alarme de type WARNING sera déclenchée si le nombre d'erreurs "serveur" pendant l'intervalle donné
est supérieur à 800 (--warning-server-errors='800'
); l'alarme sera de type CRITICAL au-delĂ de 900 erreurs
(--critical-server-errors='900'
).
La liste de toutes les options complémentaires et leur signification
peut être affichée en ajoutant le paramètre --help
Ă la commande:
/usr/lib/centreon/plugins/centreon_azure_analytics_eventhubs_api.pl \
--plugin=cloud::azure::analytics::eventhubs::plugin \
--mode=errors \
--help
Diagnostic des erreurs communes​
Les identifiants ont changé et mon Plugin ne fonctionne plus​
Le Plugin utilise un fichier de cache pour conserver les informations de connexion afin de ne pas se ré-authentifier à chaque appel. Si des informations sur le Tenant, la Souscription ou les Client ID / Secret changent, il est nécessaire de supprimer le fichier de cache du Plugin.
Celui ci se trouve dans le répertoire /var/lib/centreon/centplugins/
avec le nom azureapi<md5>_<md5>_<md5>_<md5>
.
UNKNOWN: Login endpoint API returns error code 'ERROR_NAME' (add --debug option for detailed message)
​
Lors du déploiement de mes contrôles, j'obtiens le message suivant :
UNKNOWN: Login endpoint API returns error code 'ERROR_NAME' (add --debug option for detailed message)
.
Cela signifie que l'un des paramètres utilisés pour authentifier la requête est incorrect. Le paramètre en question est spécifié dans le message d'erreur en lieu et place de 'ERROR_DESC'.
Par exemple, 'invalid_client' signifie que le client-id et/ou le client-secret n'est (ne sont) pas valide(s).
UNKNOWN: 500 Can't connect to login.microsoftonline.com:443
​
Si l'utilisation d'un proxy est requise pour les connexions HTTP depuis le
collecteur Centreon, il est nécessaire de le préciser dans la commande en
utilisant l'option --proxyurl='http://proxy.mycompany.com:8080'
.
Il est également possible qu'un équipement tiers de type Pare-feu bloque la requête effectuée par le Plugin.
UNKNOWN: No metrics. Check your options or use --zeroed option to set 0 on undefined values
​
Lors du déploiement de mes contrôles, j'obtiens le message suivant 'UNKNOWN: No metrics. Check your options or use --zeroed option to set 0 on undefined values'.
Cela signifie qu'Azure n'a pas consolidé de données sur la période.
Vous pouvez ajouter --zeroed
Ă la macro EXTRAOPTIONS du service en question afin de forcer le stockage d'un 0 et ainsi Ă©viter un statut UNKNOWN.