Pas de champ "system.syslog.program" dans graylog via filebeat + logstash

CyrilM4 2019-10-14 10:46:57 UTC #1

Bonjour à tous,

Je suis un débutant absolu en log management / graylog.

Je veux envoyer les logs system (syslog) de plusieurs serveurs Ubuntu 18.04 vers L.D.P.
Pour cela, J'ai pris un compte pro avec 1 collecteur et j'ai essayé 2 setups (avec succès).

Dans le premier, j'ai suivi les instructions du Guide OVH "Shipping logs to Logs Data Platform with Filebeat"
Dans le second, j'ai suivi les instructions du Guide OVH "How to log your Linux with syslog-ng 3.8+"

Les deux fonctionnent, MAIS j'ai 1 question:

Pourquoi, dans la config n°1) filebeat + collector, graylog n'affiche pas les fields "system" (system.syslog.program notamment) ?

C'est le cas:

avec 2 versions de logstash (6.8 et 7.3)
quelque soit la version de filebeat (testé avec la dernière et celle par défaut sur Ubuntu).

Dans les 2 cas, j'ai utilisé le "Formulaire de configuration": "Filebeat" dans la configuration du Collector.
Il me semble que le grok filter pour syslog parse bien le field: system.syslog.program mais celui-ci n'est pas visible dans Graylog.

} else if [fileset][name] == "syslog" {
	grok {
		match => { "message" => [
			"%{SYSLOGTIMESTAMP:[system][syslog][timestamp]} %{SYSLOGHOST:[system][syslog][hostname]} %{DATA:[system][syslog][program]}(?:\[%{POSINT:[system][syslog][pid]:int}\])?: %{GREEDYMULTILINE:[system][syslog][message]}",
			"%{SYSLOGTIMESTAMP:[system][syslog][timestamp]} %{GREEDYMULTILINE:[system][syslog][message]}"]
		}
		pattern_definitions => {
			"GREEDYMULTILINE" => "(.|\n)*"
		}
	}

Ci dessous le meme message loggé une fois via filebeat + logstash collector et une fois via syslog-ng.
Désolé le copier/collé est pourri (Chaque field est sur 2 lignes; 1 ligne fieldname suivi de la ligne value).

Via syslog-ng

X-OVH-CONTENT-SIZE
272
X-OVH-DELIVERY-DATE
2019-10-14T10:08:03.942Z
X-OVH-INPUT
syslog_rfc5424
application_name
Odoo_appserver-mpy    <=================== Ok
facility
daemon
level
6
message
2019-10-14 10:08:03,519 15141 INFO oursbleu_muppy_v12c IMQWorker: Queue[muppy] got no message.
pid
13328
priority
info
process_id
13328
sd_id
sdid@32473
source
carbon
timestamp
2019-10-14T10:08:03.000Z

via filebeat + logstash collector

@timestamp
2019-10-12T16:04:02.600Z
X-OVH-CONTENT-SIZE
611
X-OVH-DELIVERY-DATE
2019-10-12T16:04:08.739Z
agent_ephemeral_id
d0797f3f-727b-4a0e-a17b-7987802edbe3
agent_hostname
carbon
agent_id
91ffd1e1-5f8f-43a2-862e-5c3a5dce4f78
agent_type
filebeat
agent_version
7.4.0
beat_architecture
x86_64
beat_hostname
carbon
beat_id
7aee4f229fb64ad09bd08848f22f13bd
beat_name
carbon
beat_os_codename
bionic
beat_os_family
debian
beat_os_kernel
4.15.0-65-generic
beat_os_name
Ubuntu
beat_os_platform
ubuntu
beat_os_version
18.04.3 LTS (Bionic Beaver)
cloud_availability_zone
nova
cloud_instance_id
i-0000e1e2
cloud_instance_name
muppy-dev
cloud_machine_type
s1-8
cloud_provider
openstack
ecs_version
1.1.0
event_dataset
system.syslog
event_module
system
event_timezone
+00:00
fileset_name
syslog
input_type
log
log_file_path
/var/log/syslog
log_offset_int
3861984
message
Oct 12 16:04:02 carbon Odoo_appserver-mpy[13328]: 2019-10-12 16:04:02,318 29570 INFO lp_muppy_v12c IMQWorker: Queue[muppy] got no message.
service_type
system
source
carbon
tags_1
beats_input_codec_plain_applied
timestamp
2019-10-12T16:04:02.600Z

Quelqu'un pourrait-il m'aiguiller sur ce que je n'ai pas compris SVP ?

Je me demande aussi quel est le meilleur setup pour mon use case ? syslog-ng ou filebeat + logstash ? Je suis aussi preneur d'un avis éclairé sur ce point !!! ;-)

Merci d'avance,
Cyril

BabacarD 2019-10-14 13:53:02 UTC #2

Bonjour, et merci pour votre intêret pour Logs Data Platform.

La meilleure approche est comme vous l'avez fait, d'utiliser Logstash 7.3 et Filebeat 7.4. Vous devez vous assurer d'activer les modules (chose que vous semblez avoir fait). Il est important d'utiliser les mêmes versions majeures entre Logstash et Filebeat (Logstash 6.X avec Filebeat 6.X et Logstash 7.X avec Filebeat 7.X). Pour votre version de Filebeat, vous devez donc conserver votre Logstash 7.3 .
Cependant l'assistant dans le manager ne propose pas la bonne configuration de Filter pour Logstash 7.3 avec Filebeat 7.X d'ou les champs manquants dans vos messages.
Nous allons mettre à jour le manager afin de corriger cela.
En attendant vous pouvez utiliser la configuration présente dans le gist à cette addresse :

gist.github.com

https://gist.github.com/jehuty0shift/c98f8e400962981887a28771037b3c34

filter.logstash

if [event][module] == "apache" {
	if [fileset][name] == "access" {
		grok {
			match => { "message" => [
				"%{IPORHOST:[source][address]} - %{DATA:[user][name]} \[%{HTTPDATE:[apache][access][time]}\] \"(?:%{WORD:[http][request][method]} %{DATA:[url][original]} HTTP/%{NUMBER:[http][version]:float}|-)?\" %{NUMBER:[http][response][status_code]:int} (?:%{NUMBER:[http][response][body][bytes]:int}|-)( \"%{DATA:[http][request][referrer]}\")?( \"%{DATA:[user_agent][original]}\")?",
				"%{IPORHOST:[source][address]} - %{DATA:[user][name]} \[%{HTTPDATE:[apache][access][time]}\] \"-\" %{NUMBER:[http][response][status_code]:int} -",
				"\[%{HTTPDATE:[apache][access][time]}\] %{IPORHOST:[source][address]} %{DATA:[apache][access][ssl][protocol]} %{DATA:[apache][access][ssl][cipher]} \"%{WORD:[http][request][method]} %{DATA:[url][original]} HTTP/%{NUMBER:[http][version]:float}\" %{NUMBER:[http][response][body][bytes]:int}"]
			}
			remove_field => [ "message" ]
			add_field => { "[event][created]" => "%{@timestamp}" }

This file has been truncated. show original

Il y a la partie filter que vous pouvez copier-coller directement à la place de l'ancienne dans votre configuration de Logstash, sauvegarder, et enfin redémarrer votre collecteur.

N'hésitez pas à nous dire si cela fonctionne ou pas. Désolé pour la gêne occasionnée par la mauvaise configuration.

CyrilM4 2019-10-15 06:59:54 UTC #3

Merci mais cela ajoute bien les champs system, mais j'ai plus de message ! Ou plutôt j'ai un - dans le message

Avez vous une idée ?

PierreD 2019-10-15 09:37:24 UTC #4

Bonjour @CyrilM4,

Nous jetons un oeil à ce comportement, on revient vers vous.

BabacarD 2019-10-15 12:25:31 UTC #5

Bonjour,

Une erreur s'est glissée dans la configuration que nous vous avons fournie, La configuration a été mise à jour dans le gist et conserve maintenant le message final.

gist.github.com

https://gist.github.com/jehuty0shift/c98f8e400962981887a28771037b3c34

filter.logstash

if [event][module] == "apache" {
	if [fileset][name] == "access" {
		grok {
			match => { "message" => [
				"%{IPORHOST:[source][address]} - %{DATA:[user][name]} \[%{HTTPDATE:[apache][access][time]}\] \"(?:%{WORD:[http][request][method]} %{DATA:[url][original]} HTTP/%{NUMBER:[http][version]:float}|-)?\" %{NUMBER:[http][response][status_code]:int} (?:%{NUMBER:[http][response][body][bytes]:int}|-)( \"%{DATA:[http][request][referrer]}\")?( \"%{DATA:[user_agent][original]}\")?",
				"%{IPORHOST:[source][address]} - %{DATA:[user][name]} \[%{HTTPDATE:[apache][access][time]}\] \"-\" %{NUMBER:[http][response][status_code]:int} -",
				"\[%{HTTPDATE:[apache][access][time]}\] %{IPORHOST:[source][address]} %{DATA:[apache][access][ssl][protocol]} %{DATA:[apache][access][ssl][cipher]} \"%{WORD:[http][request][method]} %{DATA:[url][original]} HTTP/%{NUMBER:[http][version]:float}\" %{NUMBER:[http][response][body][bytes]:int}"]
			}
			remove_field => [ "message" ]
			add_field => { "[event][created]" => "%{@timestamp}" }

This file has been truncated. show original

Pouvez vous nous confirmer que cela fonctionne maintenant ?

Encore désolé pour cette erreur.

CyrilM4 2019-10-17 07:18:54 UTC #6

Bonjour,
J'ai pas eu temps de tester désolé.
Je vous tiens au courant au plus vite.
Merci,
Cyril

Propulsé par Discourse, le rendu est meilleur avec le JavaScript activé

OVH Community

Bienvenue sur votre espace communautaire. Posez des questions, recherchez des informations, publiez du contenu et interagissez avec d’autres membres OVH Community.