Comment mettre à jour le mapping d'un alias pour Graylog ?

[LoganM1]

Bonjour,

J'ai créé un flux de données (Graylog) et un alias qui pointe sur celui-ci afin de pouvoir l'exploiter via l'API d'ElasticSearch (et Elastalert). J'aurais besoin de faire un filtre sur la version "raw" des "messages". Cependant, j'ai une 403 quand j'essaie de mettre à jour le mapping (même avec le compte propriétaire du flux). Je suppose que c'est dû au fait que ce soit un alias.

Par conséquent, est-ce qu'il est possible de modifier le mapping ? Si oui, comment ?

[BabacarD]

Bonjour, malheureusement, Il n'est pas possible de modifier le mapping des messages envoyés dans la pipeline de log LDP.

Vous avez raison, le champ message est en effet analysé et n'a pas de version raw attachée automatiquement. Si vous en voulez une, il vous faudra copier le contenu dans un autre champ nommé par exemple 'raw_message'. Hormis les champs "message" et "source", les autres champs ne sont pas analysés et sont donc déjà en version "raw"

Cependant, vous pouvez dans Elastalert utiliser les fields direct sans passer par ".raw" en déactivant les options associées dans la configuration. Ex => https://elastalert.readthedocs.io/en/latest/ruletypes.html#top-count-keys (la valeur raw_count_key est à mettre à false dans ce filtre)

N'hésitez pas aussi à consulter la documentation sur les conventions de nommage LDP pour utiliser les types de données les plus adaptées (IPs, nombres, dates, booléens) :
https://docs.ovh.com/fr/logs-data-platform/field-naming-conventions/

Merci pour votre intêret pour Logs Data Platform, et dîtes nous si cette réponse manque de clarté.

[LoganM1]

Il n'est pas possible de modifier le mapping des messages envoyés dans la pipeline de log LDP.

Vous avez raison, le champ message est en effet analysé et n'a pas de version raw attachée automatiquement. Si vous en voulez une, il vous faudra copier le contenu dans un autre champ nommé par exemple 'raw_message'.

Bonjour,

Je n'ai pas trouvé comment faire une copie "continue" de champs, excepté avec la clause "copy_to" du mapping. Qui pour le coup n'est pas applicable ... Merci de votre aide !

[BabacarD]

La copie doit se faire à l'envoi de log, vous devez dupliquer votre champ "message" ou "source" dans un nouveau champ. Les autres champs seront déjà en version raw (donc n'ont pas besoin d'un sous champ .raw)

Avez vous tenté de désactiver l'utilisation du .raw côté Elastalert si c'est bien ce que vous utilisez ?

[LoganM1]

La copie doit se faire à l'envoi de log, vous devez dupliquer votre champ "message" ou "source" dans un nouveau champ. Les autres champs seront déjà en version raw (donc n'ont pas besoin d'un sous champ .raw)

C'est effectivement l'autre solution que j'ai commencé à implémenter. J'avais juste espéré pouvoir être rétro-actif si besoin d'analyse ...

Avez vous tenté de désactiver l'utilisation du .raw côté Elastalert si c'est bien ce que vous utilisez ?

Cela ne couvre pas mon besoin de filtrer des faux positifs (problèmes connus ou faux problèmes) qui pourraient être captures par nos règles d'alertes.