Ich starte jedes Modeling mit dem langweiligsten Modell, das mir einfällt.
Jedes Modeling beginnt mit einer langweiligen Baseline und einem Testdesign vor dem Training. Ein komplexeres Modell muss seine höheren Betriebskosten rechtfertigen.
Eine Geschäftsregel, eine logistische Regression oder ein Foundation Model mit einem einfachen Prompt. Diese Baseline ist der Maßstab, an dem sich alles Weitere messen lassen muss.
Im CRISP-DM-Leitfaden hat Modeling vier Aufgaben:
- Modellierungsverfahren auswählen
- Testdesign festlegen
- Modell bauen
- Modell bewerten
Die zweite Aufgabe wird am häufigsten unterschätzt. Das Testdesign gehört vor das Training, nicht danach. Wie teilen wir die Daten auf? Gibt es eine zeitliche Komponente? Kann Information aus der Zukunft ins Training rutschen? Ein unsauberes Testdesign erzeugt hervorragende Ergebnisse, die in Produktion nicht halten.
Heute heißt Modeling oft auch: Prompting, Retrieval oder Fine-Tuning eines bestehenden Modells statt Training von Grund auf. Die Logik bleibt dieselbe. Baseline, sauberes Testdesign, nachvollziehbare Experimente.
Zwei Regeln aus meiner Praxis:
- Jedes Experiment wird getrackt: Daten, Code, Parameter, Ergebnis.
- Ein komplexeres Modell muss die Baseline so deutlich schlagen, dass es seine höheren Betriebs- und Wartungskosten rechtfertigt.
Die zweite Regel ist eine kleine Version des Business Value Checks. Zwei Prozentpunkte mehr Genauigkeit sind technisch interessant. Ob sie geschäftlich etwas wert sind, ist eine andere Frage.
Teil 6 von 8 der Serie zu CRISP-DM. Nächster Teil: Evaluation.
Transparenzhinweis: Die Aufgaben folgen dem CRISP-DM-Leitfaden, die Regeln beschreiben meinen eigenen Workflow.
Dieser Post entstand mit AI-Unterstützung auf Basis eigener Erfahrung.