Ich habe Modelle mit hervorragenden Metriken gesehen, die geschäftlich wertlos waren.
CRISP-DM trennt technische Bewertung im Modeling von der Evaluation gegen das Geschäftsziel. Vier Prüfpunkte aus der Praxis und das Zusammenspiel mit dem Business Value Check.
Deshalb trennt CRISP-DM zwei Dinge, die oft vermischt werden. Im Modeling bewerten wir technisch: Wie gut ist das Modell auf den Testdaten? In der Evaluation fragen wir: Erreicht das Ergebnis das Geschäftsziel aus dem Business Understanding?
Der Leitfaden nennt drei Aufgaben:
- Ergebnisse gegen die geschäftlichen Erfolgskriterien bewerten
- Den Prozess reviewen: Wurde etwas übersehen oder abgekürzt?
- Nächste Schritte festlegen: deployen, weiter iterieren oder neu aufsetzen
In der Praxis schaue ich dabei auf vier Punkte:
- Fehlerkosten: Ein falsch-positiver Fall kostet selten dasselbe wie ein falsch-negativer.
- Reale Fälle: Fachexperten prüfen Ergebnisse an Beispielen aus ihrem Alltag, nicht an Kennzahlen.
- Robustheit: Wie verhält sich das Modell bei Sonderfällen und veränderten Daten?
- Anforderungen jenseits der Genauigkeit: Nachvollziehbarkeit, Fairness und regulatorische Vorgaben wie der EU AI Act, wo er greift.
Evaluation und Business Value Check arbeiten hier Hand in Hand. Die Evaluation liefert die Evidenz. Der Business Value Check trifft auf dieser Basis die Investitionsentscheidung, denn der Schritt in den Betrieb ist meist der teuerste im ganzen Projekt.
Teil 7 von 8 der Serie zu CRISP-DM. Nächster Teil: Deployment.
Transparenzhinweis: Die Aufgaben folgen dem CRISP-DM-Leitfaden, die vier Prüfpunkte beschreiben meinen eigenen Workflow.
Dieser Post entstand mit AI-Unterstützung auf Basis eigener Erfahrung.