Bonjour,
J'avais mis en place Fluent Bit avec un filter Nest operation lift pour formatter mes logs applicatifs dans graylog.
Voici la discussion sur e sujet https://community.ovhcloud.com/community/fr/fluent-bit-parser-for-logback-json?id=community_question&sys_id=8defa1c081528210f0780f07683eb227
Depuis le 08/11/2022 14h10 environ, le champ logcommence avec "log"=>"2022-11-11T17:18:58.150332393Z stdout F , du coup le lift ne peut plus fonctionner, car le format JSON n'est pas respecté.
Si je log avec un output stdout :
[0] kube.var.log.containers.bako-admin-deployment-6dc4b5787f-jbbvw_default_bako-admin-646946f402073868c6d76ec70a3e1f490cea87335fc192839daf58ee9bf77fd7.log: [1668187138.151502958, {"log"=>"2022-11-11T17:18:58.150332393Z stdout F {"log_timestamp":"2022-11-11T17:18:58.149Z","_level":"DEBUG","thread":"parallel-1","logger":"com.bako.apps.web.rest.CollectorSiteResource","message":"REST request to get Alerts for CollectorSites","method":"getAlerts","line":"319","hostname":"bako-admin-deployment-6dc4b5787f-jbbvw"}", "X-OVH-TOKEN"=>"9df672de-50e1-4afc-9e03-ae40b449dde8", "fluent-bit-host"=>"fluent-bit-pxvrw", "kubernetes_pod_name"=>"bako-admin-deployment-6dc4b5787f-jbbvw", "host"=>"bako-admin-deployment-6dc4b5787f-jbbvw", "kubernetes_namespace_name"=>"default", "kubernetes_pod_id"=>"740602e0-f0b7-4d6a-b3a0-563074d95f9c", "kubernetes_labels"=>{"app"=>"bako-admin", "pod-template-hash"=>"6dc4b5787f"}, "kubernetes_annotations"=>{"cni.projectcalico.org/podIP"=>"10.2.1.3/32"}, "kubernetes_host"=>"nodepool-c1bb647d-6425-4e03-be-node-4c70bd", "kubernetes_container_name"=>"bako-admin", "kubernetes_docker_id"=>"646946f402073868c6d76ec70a3e1f490cea87335fc192839daf58ee9bf77fd7", "kubernetes_container_hash"=>"xccx3s53.gra7.container-registry.ovh.net/bako/bakoadmin@sha256:60ba4b14a205a62d7e4f62460f4329097ccf53735727b1a79e43e974c95f3d1f", "kubernetes_container_image"=>"xccx3s53.gra7.container-registry.ovh.net/bako/bakoadmin:latest"}]
Quelque chose à changer côté kube ?
Une idée @FabL @BabacarD ?
Merci
Johann
Fluent Bit & lift filter
Sujets apparentés
- Ssh_init: Host does not exist
10257 
13.11.2017 01:40
- Code d’erreur : DLG_FLAGS_SEC_CERT_CN_INVALID ?
10217 14.08.2018 09:32
- Err_too_many_redirects
7374 12.11.2017 15:36
- Trop de redirections suite au HTTPS
6735 14.12.2016 14:30
- Certificat Let's encrypt
6203 21.08.2017 17:44
- Impossible d'activer le certificat SSL pour HTTPS
5697 07.01.2021 02:44
- LetsEncrypt et erreur DNS A / AAAA
5674 16.04.2019 15:34
- Net::err_cert_common_name_invalid
5578 29.05.2017 08:20
- Prise en charge du protocole MQTT
5209 06.04.2017 13:57
- SSL Cloudflare chez OVH
5169 28.04.2017 09:51
Bonjour, oui il semblerait que le Container Runtime utilisé dans votre Kubernetes a changé.
Nous allons changé la documentation pour réfléter la nouvelle nomenclature. Voici un lien qui devrait vous aider à formatter vos logs pour votre Container Runtime au niveau de l'input pour extraire le log en json et appliquer le filter **lift** :
https://docs.fluentbit.io/manual/installation/kubernetes#container-runtime-interface-cri-parser
N'hésitez pas à me dire si ça fonctionne pour vous ou pas.
Babacar Diassé
Bonjour @BabacarD,
Merci pour votre retour.
Ca fonctionne.
J'ai du coup :
1. Parser l'input pour virer les infos du container :
> [PARSER]
> Name cri
> Format regex
> Regex ^(?[^ ]+) (?stdout|stderr) (?[^ ]*) (?.*)$
> Time_Key time
> Time_Format %Y-%m-%dT%H:%M:%S.%L%z
Et réappliquer mon parser json via un filter.
MErci
Bonjour à vous deux,
Je te remercie @BabacarD pour la solution apportée :)
Et merci à toi @JohannR3 d'avoir confirmé que la solution proposée était la bonne!
Je clos le thread,
Bonne journée et bonne navigation sur Community.
^FabL