Envoi de log depuis Filebeat vers le collecteur : renvoie infini de logs

FredericL49 2020-01-31 10:32:50 UTC #1

J'utilise filebeat 7.5 pour envoyer des logs dans le collecteur de type logstash. File beat ne semble pas recevoir un ACK de logstash (et renvoie les logs à chaque scan toutes les 30s). La connection est fermée par logstash. Je n'ai pas le soucis avec mon logstash. Y a t-il un paramtérage spécifique à mettre côté filebeat pour envoyer dans le collecteur de Log Data Platform ?
Merci de votre aide,

Fred

BabacarD 2020-01-31 14:58:57 UTC #2

Bonjour et merci de l'intêret que vous portez à Logs Data Platform.

Avez vous configuré votre Logstash comme décrit dans la documentation suivante : https://docs.ovh.com/fr/logs-data-platform/filebeat-logs/ ?

Si oui, pouvez vous vérifier s'il y a des logs dans la console de votre collecteur qui peuvent vous aider à déterminer une éventuelle erreur de configuration ?

Si il n'y a aucun logs en particulier ou que vous ne comprenez pas l'erreur, n'hésitez pas à revenir vers nous ici. Nous entamerons alors un diagnostic plus avancé en privé si nécessaire.

FredericL49 2020-01-31 15:27:15 UTC #3

Bonjour,
Merci de votre réponse,
Oui, j'ai suivi la doc. Afinde trouver l'erreur, j'ai même créé un collecteur en laissant la configuration logstash proposé par défaut pour un input filebeat
Effectivement, j'ai une erreur dans la console que je peine à interpréter ^^ surtout que les logs arrivent bien dans graylog :
Voici l'erreur :
Caused by: javax.net.ssl.SSLHandshakeException: error:1000009c:SSL routines:OPENSSL_internal:HTTP_REQUEST
31/01/2020 16:13
io.netty.handler.codec.DecoderException: javax.net.ssl.SSLHandshakeException: error:1000009c:SSL routines:OPENSSL_internal:HTTP_REQUEST
31/01/2020 16:13
at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:377) ~[netty-all-4.1.44.Final.jar:4.1.44.Final]
31/01/2020 16:13
at io.netty.channel.DefaultChannelPipeline$HeadContext.channelRead(DefaultChannelPipeline.java:1410) ~[netty-all-4.1.44.Final.jar:4.1.44.Final]
31/01/2020 16:13
15:13:02.473 [defaultEventExecutorGroup-4-1] INFO org.logstash.beats.BeatsHandler - [local: 0.0.0.0:6514, remote: undefined] Handling exception: javax.net.ssl.SSLHandshakeException: error:1000009c:SSL routines:OPENSSL_internal:HTTP_REQUEST
31/01/2020 16:13
15:13:02.473 [nioEventLoopGroup-2-1] WARN io.netty.channel.DefaultChannelPipeline - An exceptionCaught() event was fired, and it reached at the tail of the pipeline. It usually means the last handler in the pipeline did not handle the exception.
31/01/2020 16:13

Et voici la configuration dans filebeat :
output.logstash:
# The Logstash hosts
enabled: true
#perso
hosts: ["gra2-.gra2.logs.ovh.com:6514"]
compression_level: 3
ssl.enabled: true

Merci de votre aide,

Fred

FredericL49 2020-01-31 15:42:08 UTC #4

j'ai bien sur indiqué le certificat (recupere dans informations utiles du collecteur) dans la conf filebeat :
ssl.certificate_authorities: ["/etc/filebeat/ssl/certs/ldp_perso.pem"]

BabacarD 2020-01-31 16:35:40 UTC #5

Je vais vous écrire en privé afin de pouvoir échanger plus de détails.

Propulsé par Discourse, le rendu est meilleur avec le JavaScript activé

OVH Community

Bienvenue sur votre espace communautaire. Posez des questions, recherchez des informations, publiez du contenu et interagissez avec d’autres membres OVH Community.