Monitoring ELK via LDP

[NeitiT]

Bonjour,
Dans le cadre de la mise en place d'une solution de monitoring basée sur la suite elasticsearch (beats, logstash, elastic & Kibana) je souhaiterais vous soumettre mes interrogations quant à l'utilisation des services hébergés chez OVH.
Cas d'usage:
* Filebeat et Metricbeat installés sur chaque serveur de notre infra pour pousser les logs et les métriques.
* Un outil de collecte (Logstash)
* 2 indexes séparés pour les métriques et les logs
* 1 Kibana en interne ou hebergé chez OVH

La question est simple : peut on effectuer cette configuration sans pour autant utiliser le flux de données Graylog ni utiliser Metrics DataPlatform ?
Actuellement nous hébergeons la totalité de la suite elastic mais sommes très intéressés par les services hébergés par OVH notamment par l'outil de collecte et les index Elasticsearch et pourquoi pas Kibana as aservice.

Je joins un petit schéma permettant d'expliquer ce que je souhaite faire, comme vous pouvez le constater à aucun moment je ne souhaite utiliser le flux de données Graylog ni Metrics Data Platform

Merci d'avance de votre réponse.
Cordialement
NeitiT

[PierreD]

Bonjour @NeitiT,

Merci pour l'intérêt que vous portez à Logs Data Platform.

L'outil de collecte Logstash que nous proposons est effectivement lié en l'état à un flux de données Graylog. Vous permettre de l'attacher à l'un de vos Index est une fonctionnalité à laquelle nous réfléchissons.

En attendant, je vous proposerais d'héberger le(s) logstash(s) chez vous et d'indiquer en sortie les index logs et métrics respectifs en optant pour la volumétrie de votre choix.

output {
    elasticsearch {
        hosts => "graXXX.logs.ovh.com:9200"
        ssl => true
        user => "xxxxxxxxxxx"
        password => "xxxxxxxxxxx"
        index => "logs-xx-12345-i-yy"
        manage_template => false
  }
}

Pour résumer:

• Un compte LDP Pro (le premier pallier suffit)
• 2 Index as a service https://docs.ovh.com/gb/en/logs-data-platform/index-as-a-service/
• (éventuellement) 1 Pack kibana pour l'avoir en AAS

Qu'en pensez-vous ?

PS: Concernant filebeats, pourriez-vous nous dire pourquoi la pipeline Graylog ne vous convient pas ?

[NeitiT]

Bonjour PierreD,
Merci pour vos éléments de réponse concernant la faisabilité de ma demande.
C'est parfait et cela semble une très bonne alternative à notre configuration actuelle.

Concernant Filebeats, utiliser le pipeline graylog reviendrait à envoyer des logs dans graylog et vous en conviendrez que cela fait double emploi avec la sortie vers Kibana qui permet également de visualiser et faire des recherches dans les logs outre le fait d'afficher des graphes.
Le but étant de supprimer au maximum les outils dont nous n'avons pas besoin.
Une autre raison est que nous maitrisons les outils Filebeat et Metricbeat et que nous souhaitons garder une homogénéité entre les différents environnements recette-preprod-prod où les solutions de monitoring sont déployés via Ansible.

---

Cordialement
NeitiT

[PierreD]

Bonjour @NeitiT,

Vous pouvez utiliser les deux: Graylog et Kibana, cet aspect est décrit ici:

https://docs.ovh.com/gb/en/logs-data-platform/using-kibana-with-logs/

Vous pourriez par conséquent pour Filebeat utiliser cette procédure:

https://docs.ovh.com/gb/en/logs-data-platform/filebeat-logs/

L'avantage de celle-ci est que nous nous chargeons du cycle de vie de vos logs et vous permettre de bénéficier du coldstorage et de l'aspect temps réel:

Keeping your logs for years with the Cold Storage feature

Follow your logs in real time with ldp-tail

Pour Metricbeat, cette pipeline ne fonctionnera pas car les documents générés par l'agent n'ont pas un schéma compatible: donc, un logstash chez vous et un index dédié chez nous reste la meilleure solution.

Vous pouvez par contre corréler les deux sources de données sur un dashboard Kibana (as a service) à travers leurs alias/index respectifs.

N'hésitez pas à me contacter en privé si vous voulez échanger sur le sujet de vive voix.

[NeitiT]

Bonjour PierreD,
Merci pour votre réponse complète, j'ai une question concernant la version d'elasticsearch proposée par OVH.
En effet j'ai besoin de connaître la version proposée par ovh afin de pouvoir adapter la version des modules beats à installer sur nos serveurs.
D'autre part comment peut on être averti si OVH upgrade la version d'elasticsearch?
Merci d'avance
Bonne journée
Cordialement
NEitiT

[PierreD]

Bonjour @NeitiT,

La version actuellement en production est la 5.6.12, pour le passage en 6 (et les majeures qui suivront), nous annoncerons leurs mises à jour deux semaines avant ici sur le forum et sur http://travaux.ovh.net/?project=29&status=all&perpage=50

Est ce que cela vous convient ?