Kaputter Notification Spooler

Troubleshooting
, ,
1

Hallo Community,

in unserem Betrieb betreiben wir ein abgesetztes Monitoring bei dem die Verbindung zum Master immer von der abgesetzten Instanz aufgebaut wird.
Statusdaten werden über den cmcdump übertragen und der Notifications Spooler leitet die Nachrichten an die Zentrale weiter. Das ganze Konstrukt hat so bis jetzt ohne Probleme funktioniert.

Nun war ich 4 Wochen im Urlaub und merke nun, das der Notification Spooler keine Nachrichten mehr an die Zentrale weiterleitet.

Nach durchsuchen der Logs bin ich auf folgendes gestoßen:

Auszug aus mknotifyd.state

# mknotifyd - current state
Version:         2.1.0p8
Updated:         1663664008 (2022-09-20 10:53:28)
Started:         1663663987 (2022-09-20 10:53:07, 21 sec ago)
Configuration:   1663663987 (2022-09-20 10:53:07, 21 sec ago)
Listening FD:    None

Spool:           New
Count:           0
Oldest:          -
Youngest:        -

Spool:           Deferred
Count:           0
Oldest:          -
Youngest:        -

Spool:           Corrupted
Count:           0
Oldest:          -
Youngest:        -

Site:                     unknown site (192.168.1.1:6555)
Connection:               192.168.1.1:6555
Type:                     outgoing
State:                    cooldown
Status Message:           Error reading data: [Errno 104] Connection reset by peer
Since:                    1663664008 (2022-09-20 10:53:28, 0 sec ago)
Connect Time:             0.000 sec
Notifications Sent:       0
Notifications Received:   0
Pending Acknowledgements: -
Socket FD:
Encryption:               encrypted
HB. Interval:             10 sec
HB. Timeout:              3 sec
LastIncomingData:         1663664007 (2022-09-20 10:53:27, 1 sec ago)
LastHeartbeat:            -1 (1970-01-01 00:59:59, 1663664009 sec ago)
InputBuffer:              0 Bytes
OutputBuffer:             0 Bytes

Hier noch auffällig, das die Verbindung für kurze Zeit nach Neustart des Dienstes mknotifyd steht, aber nach 2-3 Sekunden abbricht. Ebenso der letzte Heartbeat im Jahr 1970.

Auszug aus mknotifyd.log

2022-09-20 13:06:55,404 [40] [cmk.mknotifyd.outgoing(192.168.1.1:6555)] Error reading data:
Traceback (most recent call last):
  File "/omd/sites/cmk_pascal/lib/python3/cmk/cee/mknotifyd/connection.py", line 144, in process_incoming_data
    chunk = sock.recv(32 * 4096)
ConnectionResetError: [Errno 104] Connection reset by peer

Aktuell bin ich ein wenig überfordert, welche Maßnahmen man noch durchführen kann damit der Spooler wieder ordnungsgemäß seine Verbindung aufbaut.

Grüße
Andreas

2

Hallo Andreas.

Hat ggf. jemand in deiner Abwesenheit an Firewall Regeln gedreht? Ein connection reset könnte daher kommen. Wenn er den Heartbeat nicht aufbauen kann, liegt es irgendwo auf der Strecke.

Christian

3

Habe ich auch schon kontrolliert. Verbindung werden zugelassen und auch ein telnet auf den Port ist erfolgreich und bleibt bestehen.

4

Das beduted dass die Gegenstelle die Verbindungsanfrage mit einem RST packet beantwortet hat.
Es kann aber auch sein dass das von einer FW kommt.

Bist Du sicher dass Du das in der richtigen Richtung und mit der richtigen Source IP gemacht hast?
Ansonsten würde ein network dump sicherlich weiterhelfen.

Gruß

Michael

5

This topic was automatically closed 365 days after the last reply. New replies are no longer allowed. Contact an admin if you think this should be re-opened.