Fluent Bit & lift filter

[JohannR3]

Bonjour,

J'avais mis en place Fluent Bit avec un filter Nest operation lift pour formatter mes logs applicatifs dans graylog.
Voici la discussion sur e sujet https://community.ovh.com/t/fluent-bit-parser-for-logback-json/55303/6

Depuis le 08/11/2022 14h10 environ, le champ logcommence avec "log"=>"2022-11-11T17:18:58.150332393Z stdout F , du coup le lift ne peut plus fonctionner, car le format JSON n'est pas respecté.

Si je log avec un output stdout :
[0] kube.var.log.containers.bako-admin-deployment-6dc4b5787f-jbbvw_default_bako-admin-646946f402073868c6d76ec70a3e1f490cea87335fc192839daf58ee9bf77fd7.log: [1668187138.151502958, {"log"=>"2022-11-11T17:18:58.150332393Z stdout F {"log_timestamp":"2022-11-11T17:18:58.149Z","level":"DEBUG","thread":"parallel-1","logger":"com.bako.apps.web.rest.CollectorSiteResource","message":"REST request to get Alerts for CollectorSites","method":"getAlerts","line":"319","hostname":"bako-admin-deployment-6dc4b5787f-jbbvw"}", "X-OVH-TOKEN"=>"9df672de-50e1-4afc-9e03-ae40b449dde8", "fluent-bit-host"=>"fluent-bit-pxvrw", "kubernetespod_name"=>"bako-admin-deployment-6dc4b5787f-jbbvw", "host"=>"bako-admin-deployment-6dc4b5787f-jbbvw", "kubernetes_namespace_name"=>"default", "kubernetes_pod_id"=>"740602e0-f0b7-4d6a-b3a0-563074d95f9c", "kubernetes_labels"=>{"app"=>"bako-admin", "pod-template-hash"=>"6dc4b5787f"}, "kubernetes_annotations"=>{"cni.projectcalico.org/podIP"=>"10.2.1.3/32"}, "kubernetes_host"=>"nodepool-c1bb647d-6425-4e03-be-node-4c70bd", "kubernetes_container_name"=>"bako-admin", "kubernetes_docker_id"=>"646946f402073868c6d76ec70a3e1f490cea87335fc192839daf58ee9bf77fd7", "kubernetes_container_hash"=>"xccx3s53.gra7.container-registry.ovh.net/bako/bakoadmin@sha256:60ba4b14a205a62d7e4f62460f4329097ccf53735727b1a79e43e974c95f3d1f", "kubernetes_container_image"=>"xccx3s53.gra7.container-registry.ovh.net/bako/bakoadmin:latest"}]

Quelque chose à changer côté kube ?
Une idée @FabL @BabacarD ?

Merci

Johann

[BabacarD]

Bonjour, oui il semblerait que le Container Runtime utilisé dans votre Kubernetes a changé.
Nous allons changé la documentation pour réfléter la nouvelle nomenclature. Voici un lien qui devrait vous aider à formatter vos logs pour votre Container Runtime au niveau de l'input pour extraire le log en json et appliquer le filter lift :

Kubernetes

N'hésitez pas à me dire si ça fonctionne pour vous ou pas.

Babacar Diassé

[JohannR3]

Bonjour @BabacarD,

Merci pour votre retour.

Ca fonctionne.

J'ai du coup :
1. Parser l'input pour virer les infos du container :

[PARSER]
        Name cri
        Format regex
        Regex ^(?<time>[^ ]+) (?<stream>stdout|stderr) (?<logtag>[^ ]*) (?<message>.*)$
        Time_Key time
        Time_Format %Y-%m-%dT%H:%M:%S.%L%z

Et réappliquer mon parser json via un filter.

MErci

[FabL]

Bonjour à vous deux,

Je te remercie @BabacarD pour la solution apportée :)

Et merci à toi @JohannR3 d'avoir confirmé que la solution proposée était la bonne!

Je clos le thread,

Bonne journée et bonne navigation sur Community.

^FabL