Prometheus Integration - Alerts von Prometheus übernehmen

Hallo zusammen

Wir haben OpenShift Cluster in Betrieb, wo der produktive Applikations - Betrieb von einem Service Provider übernommen wird. Deswegen definieren wir alle Alerts in Prometheus, da sich der Service Provider direkt aus Prometheus alarmieren lässt.

Wir möchten aber trotzdem für uns das Infrastruktur Monitoring (im Moment noch PRTG) und Prometheus Alerts in ein Tool konsolidieren. Darum haben wir uns CheckMK und seine Prometheus Integration angeschaut.
Die PromQL integration erleben wir leider als ein wenig umständlich und eingeschränkt und wir wollen keine Querys zwei mal pflegen (Prometheus Alerts und CheckMK).

Ist jemand schon auf die Idee gekommen, ein Plugin zu schreiben, welches die JSON API von Prometheus abfragt, anhand der Daten im Discovery pro Alert ein Service angelegt wird und den Status abfragt und entsprechend alarmiert?

Sowas in der Art steht bei mir demnächst auf der ToDo Liste für zwei größere OpenShift Cluster.
Hab nur noch keinen Zeitplan dafür. Bisher ist der OpenShift Cluster normal im Kubernetes Monitoring und extra dazu die RHEV Virtualisierung drunter per Special Agent für oVirt REST Api abgebildet.
Als letztes kommt dann noch Prometheus dazu für alle Dinge welche ich im Kubernetes nicht sehe.

Bist du in deiner To-Do Liste schon weitergekommen? :slight_smile:

Prometheus wurde abgewählt als zu aufwendig und zu viele Security Implications :wink: