Das dicke Ende von Monte Carlo

Bild: Wikimedia Commons / Matthias Mullie - CC BY-SA 4.0

Es ist nicht mehr ganz nachvollziehbar wann die agile Community zum ersten mal mit der Idee der Monte Carlo-Simulation in Berührung gekommen ist, aber mit der Zeit hat sie sich zu einem Trend entwickelt, und wird immer wieder als alternative (oder sogar als bessere) Prognose-Methode im Vergleich zur Velocity genannt. Bei einer neutralen Betrachtung ist sich auch erstmal ein weiteres interessantes Werkzeug, nur bei der normativen Bewertung sollte man vorsichtig sein.

Um zuerst zu verstehen worum es geht: in agilen Teams wird mit der Monte Carlo-Simulation versucht die wahrscheinliche Umsetzungsdauer zukünftiger Arbeitspakete vorherzusagen, indem mit ähnlichen Arbeitspaketen der Vergangenheit Simulationen durchgeführt werden. Z.B. wird 1000 mal die durchschnittliche Umsetzungsdauer aus zehn jeweils zufällig ausgewählten bereits abgeschlossenen Arbeitspaketen ermittelt (mehr dazu hier). Das Ergebnis sieht dann etwa so aus.

Auf der X-Achse sieht man hier die Menge fertiger Arbeitspakete pro Woche, auf der Y-Achse die Häufigkeit in der so ein Ergebnis aufgetreten ist. Aus diesen Daten lassen sich Prozentzahlen ableiten: in über 80% der Simulationen wurden mindestens 50 Arbeitspakete geschafft, in 50% mindestens 60 Arbeitspakete, etc. Und daraus werden dann Prognosen abgeleitet: mit 80% Wahrscheinlichkeit werden wir 50 Arbeitspakete pro Woche schaffen, mit 50% Wahrscheinlichkeit 60, usw.

Diese Prognosen sind zwar etwas kompliziert formuliert, basieren dafür aber nicht auf Bauchgefühl sondern Empirie. Gleichzeitig gibt es aber auch Kritik: der Lean Experte Nigel Thurlow kritisierte etwa, dass Wartezeiten und Übergaben der Arbeitspakete in diesem Vorgehen nicht erfasst werden. Ein weiterer Kritikpunkt ist, dass es nur dann gut funktioniert, wenn die einzelnen Arbeitspakete ähnlich geartet sind, während bei Unterschieden zwischen ihnen die Aussagekraft schwindet.

Ein zusätzlicher Kritikpunkt kommt ausserdem von dem hier schon mehrfach erwähnten Oxford-Professor Bent Flyvbjerg, und in ihm wird die Monte Carlo-basierte Prognose für agile Teams gewissermassen mit ihren eigenen Waffen geschlagen: mit Statistiken, die auf historischen Daten beruhen. In einem Paper, das er zusammen mit anderen dänischen und englischen Wissenschaftlern verfasst hat, macht er auf ein unterschätztes Risiko aufmerksam - die dicken Enden (Fat Tails).

Hinter diesem Begriff verbirgt sich die Auffälligkeit, dass in komplexen Umgebungen (IT-Projekten, grossen Bauprojekten, etc.) das Risiko extremer Ausschläge an den Rändern extrem steigt. Um ein Beispiel in der Sprache der Monte Carlo-Prognosen zu nehmen: in nur 10% Prozent aller Fälle werden weniger als 20 Arbeitspakete pro Woche geschafft, aber in fast allen dieser Fälle sind es nur eines oder zwei oder Null - oder eine negative Zahl (d.h. bereits geschlossene müssen erneut bearbeitet werden).

Diese auf zahlreichen statistischen Daten echter Projekte beruhende Erkenntnis relativiert die Aussagekraft der Monte Carlo-Simulationen sehr stark. Denn wenn man mit 80-prozentiger Wahrscheinlichkeit einen stabilen Arbeitsdurchsatz prognostizieren kann, in den restlichen 20 % aber ein Risiko mit hoher Eintrittswahrscheinlichkeit steckt, das den gesamten Umsetzungsplan über den Haufen werfen kann, dann ist die versprochene Prognostizierbarkeit nicht wirklich gegeben.

Bevor Missverständnisse aufkommen: die Alternative zu Monte Carlo-Simulationen ist in komplexen Umfeldern nicht etwa eine andere Prognosemethode, sondern ein Vorgehen, das extreme Ausschläge früh zu entdecken versucht, und genug Zeit und Ressourcen hat um auf sie zu reagieren: Product Discovery, Lean Startup, Chaos Engineering, Extreme Programming oder Rapid Prototyping. Aber für das Arbeiten "zwischen den Ausschlägen" ist Monte Carlo natürlich geeignet (genau wie die Velocity auch).