Wie Du eine Automatisierung im Probebetrieb prüfst, bevor sie in Deinem Betrieb live geht

Du prüfst eine Automatisierung im Probebetrieb, indem Du sie für einen festen Zeitraum mit echten Fällen neben Deinem alten Ablauf laufen lässt. Der alte Weg bleibt verbindlich, der neue liefert nur zum Vergleich. Vor dem Start legst Du fest, was als bestanden gilt. Am Stichtag entscheidest Du: Echtbetrieb, nachbessern oder zurück.

Was ist ein Probebetrieb, und was belegt er Dir?

Ein Probebetrieb heißt: Der automatisierte Ablauf bearbeitet echte Fälle aus Deinem Betrieb, aber noch hängt kein Kunde und kein Auftrag an seinem Ergebnis. Er belegt Dir, ob der Ablauf unter Deinen Bedingungen trägt.

Der Unterschied zur Vorführung ist greifbar. In einer Vorführung siehst Du einen Fall, den jemand ausgesucht hat. Im Probebetrieb siehst Du die Fälle, die Dein Alltag liefert.

Nimm einen Ablauf, wie ich ihn oft einrichte: Eine Anfrage kommt per E-Mail, der Ablauf trägt einen Termin ein, verschickt eine Bestätigung und erinnert beide Seiten. In der Vorführung ist die Anfrage sauber formuliert und enthält alles. In Deinem Postfach schreibt jemand drei Wunschtermine in einen Satz, vergisst die Telefonnummer und antwortet auf eine alte Nachricht. Erst an diesen Fällen siehst Du, was der Ablauf bei Dir tut.

Damit sind es drei Zustände, die Du auseinanderhältst. Die Vorführung zeigt Dir einen ausgesuchten Fall. Der Probebetrieb zeigt Dir Deine Fälle, ohne dass ein Ergebnis nach außen geht. Der Echtbetrieb ist der Zustand nach der Umstellung, in dem das Ergebnis den Kunden erreicht.

Der Probebetrieb belegt Dir drei Dinge: ob der Ablauf von selbst anspringt, ob sein Ergebnis stimmt und ob er sich meldet, wenn etwas nicht passt. Er belegt Dir noch nicht, wie viel Zeit Du später sparst. Das misst Du erst im Echtbetrieb, über Monate.

Eine Vorführung zeigt Dir, dass der Ablauf funktionieren kann. Ein Probebetrieb zeigt Dir, ob er es bei Dir tut.

Wie lange solltest Du eine Automatisierung testen, bevor Du sie produktiv einsetzt?

So lange, bis genug echte Fälle durchgelaufen sind, um Regelfall und Ausnahmen zu sehen, und nicht länger. Das Enddatum legst Du vor dem Start fest. Als Anhaltspunkt nehme ich zwei Wochen.

Die Dauer ergibt sich aus der Häufigkeit des Vorgangs. Kommt er bei Dir dreimal am Tag vor, hast Du nach zehn Arbeitstagen 30 Fälle. Kommt er zweimal pro Woche vor, hast Du nach derselben Zeit vier. Vier Fälle zeigen Dir den Regelfall, aber kaum eine Ausnahme.

Du rechnest also zuerst in Fällen und erst danach in Tagen. Die Frage an Dich lautet: Wie viele Durchläufe brauchst Du, bis Du jede Art von Fall mindestens einmal gesehen hast? Daraus ergibt sich der Zeitraum, nicht umgekehrt.

Bei einem seltenen Vorgang hast Du zwei Wege. Du verlängerst den Zeitraum und trägst das spätere Datum sofort ein. Oder Du schickst zusätzlich erledigte Fälle aus den letzten Monaten noch einmal durch den neuen Ablauf. Deren richtiges Ergebnis kennst Du bereits, der Vergleich ist also sofort möglich.

Achte außerdem auf den Rhythmus Deines Betriebs. Hat Dein Vorgang eine Spitze, etwa am Montagmorgen oder zum Monatsende, dann gehört diese Spitze in den Zeitraum. Ein Probebetrieb, der nur ruhige Tage gesehen hat, sagt Dir nichts über Deinen vollsten Tag.

Die zwei Wochen sind nicht aus der Luft gegriffen. In unserer Abnahme-Garantie auf der Preisseite gilt ein Pilot erst als geliefert, wenn er zwei Wochen stabil läuft. Dieselbe Frist kannst Du an Deinen eigenen Test anlegen.

Entscheidend ist das Datum im Kalender. Ein Test ohne Enddatum ist für Dich kein Test, sondern ein Zustand.

Kannst Du die Automatisierung parallel zum alten Ablauf laufen lassen?

Ja, und für den Probebetrieb ist das der sicherste Weg. Dein alter Ablauf bleibt verbindlich und erledigt den Fall wie bisher. Die Automatisierung bearbeitet denselben Fall daneben, und ihr Ergebnis geht an Dich statt an den Kunden.

So entsteht pro Fall ein Vergleichspaar. Links steht, was Du von Hand erzeugt hast. Rechts steht, was der neue Ablauf erzeugt hat. Du führst darüber eine Tabelle mit einer Zeile pro Fall: Datum, Fall, gleiches Ergebnis ja oder nein, bei Nein die Ursache.

Vor dem ersten Fall legst Du fest, was „gleich" heißt. Gleich heißt hier: derselbe Inhalt am selben Ort, nicht derselbe Wortlaut. Steht der Termin am richtigen Tag zur richtigen Uhrzeit im richtigen Kalender, ist das Ergebnis gleich, auch wenn die Bestätigung anders formuliert ist als Deine.

Jede Abweichung bekommt eine von drei Ursachen. Der neue Ablauf hat falsch gearbeitet. Der alte Ablauf hat falsch gearbeitet. Oder die Regel war nie eindeutig, und beide Ergebnisse sind vertretbar.

Die zweite und dritte Ursache überraschen Dich vielleicht. Handarbeit schwankt, das liegt in ihrer Natur und nicht an Dir oder Deinem Team. Der Vergleich macht diese Schwankung zum ersten Mal sichtbar, und jede uneindeutige Regel, die Du dabei findest, klärst Du einmal für beide Wege.

Du denkst jetzt: Das ist doppelte Arbeit. Stimmt, für die Dauer des Tests. Nimm an, der Vergleich kostet Dich fünf Minuten pro Fall. Bei 30 Fällen sind das zweieinhalb Stunden, verteilt auf zwei Wochen. Die Alternative ist, dass Du die erste Abweichung von einem Kunden erfährst.

Welche Ausnahmen baust Du bewusst in den Test ein?

Du baust die Fälle ein, die in Deinem Betrieb selten vorkommen und am meisten Ärger machen. Der Regelfall zeigt sich von selbst. Die Ausnahme musst Du auslösen, sonst begegnet sie Dir erst im Echtbetrieb.

Fünf Fälle gehören in jeden Probebetrieb:

• eine unvollständige Eingabe, zum Beispiel eine Anfrage ohne Telefonnummer
• derselbe Vorgang zweimal hintereinander
• ein Eingang außerhalb Deiner Geschäftszeiten
• ein Fall, der Dein Urteil braucht und nicht nach Regel lösbar ist
• der Ausfall eines angebundenen Systems

Zu jedem Fall schreibst Du vorher auf, was Du erwartest. Bei der unvollständigen Eingabe soll der Ablauf nachfragen oder den Fall an Dich übergeben, statt die Lücke zu raten. Beim doppelten Vorgang soll ein Termin entstehen, nicht zwei. Beim Eingang um 23 Uhr soll der Fall am nächsten Morgen bei Dir liegen und nicht verschwunden sein.

Der Urteilsfall ist der wichtigste der fünf. Ein Stammkunde, der eine Sonderabsprache hat, lässt sich nicht nach Regel bearbeiten. Hier prüfst Du, ob der Ablauf seine Grenze erkennt und den Fall zu Dir schiebt.

Den Ausfall stellst Du selbst her. Du trennst für eine Stunde die Verbindung zu einem angebundenen System, etwa zum Kalender, und schickst einen Fall hinein. Danach weißt Du, ob eine Meldung bei Dir ankommt und was mit dem Fall geschieht, sobald die Verbindung wieder steht.

Lege diese fünf Fälle in die erste Woche. Zeigt einer davon eine Lücke, bleibt Dir die zweite Woche, um nachzubessern und denselben Fall erneut auszulösen.

Bei jeder Ausnahme prüfst Du nur eines: Meldet sich der Ablauf, oder arbeitet er still falsch weiter?

Ein Fehler, der sich meldet, kostet Dich Minuten. Ein Fehler, der schweigt, kostet Dich einen Kunden.

Woran erkennst Du, dass der Test bestanden ist?

Der Test ist bestanden, wenn die Kriterien erfüllt sind, die Du vor dem Start aufgeschrieben hast. Ich nehme dafür vier: Der Auslöser feuert von selbst. Das Ergebnis landet im richtigen System. Fehler melden sich. Jede Abweichung in Deiner Vergleichstabelle hat eine geklärte Ursache.

Die ersten drei stammen wörtlich aus unserer Abnahme-Garantie. Das vierte kommt aus Deiner Tabelle.

Jedes Kriterium machst Du prüfbar. „Der Auslöser feuert von selbst" heißt: In den zwei Wochen hat niemand den Ablauf von Hand angestoßen, und jeder Fall aus Deinem alten Weg taucht auch im neuen auf. Du zählst beide Seiten. Stehen links 30 Fälle und rechts 28, fehlen Dir zwei, und Du suchst sie.

„Das Ergebnis landet im richtigen System" heißt: Du findest es dort, wo Du es am nächsten Morgen suchen würdest, ohne nachzuhelfen. „Fehler melden sich" heißt: Jede der fünf ausgelösten Ausnahmen hat eine Nachricht bei Dir erzeugt. Fünf Ausnahmen, fünf Meldungen.

Das vierte Kriterium verlangt keine fehlerfreie Tabelle. Es verlangt, dass Du zu jedem Nein die Ursache kennst und sie behoben oder bewusst hingenommen hast. Eine Abweichung mit bekannter Ursache ist für Dich ein Befund. Eine Abweichung ohne Ursache ist ein offenes Risiko.

Schreib die vier Kriterien auf eine Seite, mit dem Stichtag darunter und dem Namen der Person, die entscheidet. In den meisten Betrieben bist das Du.

Die Reihenfolge trägt die ganze Prüfung. Schreibst Du die Kriterien nach dem Test, misst Du den Ablauf an Deinem Eindruck. Schreibst Du sie vorher, misst Du ihn an einer Vorgabe. Ein Eindruck lässt sich verhandeln, eine Vorgabe nicht.

Was passiert mit Kundendaten und Aufträgen während der Testphase?

Deine Aufträge laufen während der Testphase über den alten Ablauf, wie bisher. Kein Kunde bekommt eine Nachricht oder ein Ergebnis aus dem neuen Ablauf, solange Du nicht umgestellt hast.

Dafür lenkst Du jede Ausgabe um, die nach außen ginge. Die Bestätigung, die später an den Kunden geht, geht im Probebetrieb an Deine eigene Adresse. Der Termin landet in einem getrennten Prüfkalender und nicht in dem, nach dem Dein Team arbeitet. So siehst Du das vollständige Ergebnis, und draußen bemerkt niemand den Test.

Prüfe diese Umlenkung vor dem ersten echten Fall mit einer Anfrage, die Du Dir selbst schickst. Kommt die Bestätigung bei Dir an und nirgends sonst, kannst Du starten.

Die Daten dagegen sind echt. Der neue Ablauf verarbeitet echte Kundendaten, auch wenn sein Ergebnis nur bei Dir ankommt. Fragen zu Datenschutz und Auftragsverarbeitung klärst Du deshalb vor dem ersten Testfall und nicht erst vor dem Echtbetrieb.

Drei Fragen gehören dazu: Wer haftet für maschinell erzeugte Ausgaben? Brauchst Du einen Auftragsverarbeitungsvertrag für die Kundendaten? Was muss in einer automatisch versendeten Mail stehen? Jede davon lässt sich mit einem Dokument beantworten, und jede klärst Du mit jemandem, der dafür zuständig ist.

Nach dem Stichtag räumst Du auf. Der Prüfkalender und die umgelenkten Nachrichten enthalten Kundendaten doppelt. Was Du für die Entscheidung nicht mehr brauchst, löschst Du.

Für Dich heißt das: Die Ausgabe ist auf Probe, die Verantwortung für die Daten nicht.

Wann gehst Du zurück auf den alten Weg?

Du gehst zurück, wenn ein Fehler ohne Meldung durchläuft und eine falsche Ausgabe im Echtbetrieb einen Kunden erreicht hätte. Dasselbe gilt, wenn eine Abweichung am Stichtag keine geklärte Ursache hat. Beides schreibst Du vor dem Start als Abbruchkriterium auf.

Die beiden Kriterien haben denselben Kern. In beiden Fällen weißt Du nicht, was der Ablauf tut, wenn Du nicht hinsiehst. Genau das Hinsehen willst Du Dir mit der Automatisierung aber sparen.

Ein Fehler mit Meldung ist dagegen kein Abbruchgrund. Er zeigt Dir, dass die Sicherung greift. Du behebst die Ursache, löst denselben Fall noch einmal aus und trägst das Ergebnis in Deine Tabelle ein.

Der Rückweg selbst ist kurz, weil Du den alten Ablauf nie abgeschaltet hast. Du schaltest den Auslöser der Automatisierung ab. Mehr ist es nicht. Kein Fall geht Dir verloren, denn jeder wurde ohnehin von Hand erledigt.

Halte beim Zurückgehen fest, was Du gefunden hast: den Fall, die erwartete Ausgabe, die tatsächliche Ausgabe. Mit diesen drei Angaben kann der Ablauf gezielt nachgebessert werden. Ohne sie beginnt der nächste Probebetrieb für Dich wieder bei null.

Zurückgehen ist dabei ein Ergebnis des Tests, kein Makel. Du weißt danach, an welcher Stelle der Ablauf noch nicht trägt, und zwar bevor es jemand außer Dir gemerkt hat.

Der Test wird entschieden, nicht verlängert

Am Stichtag hast Du genau drei Möglichkeiten. Alle Kriterien erfüllt: Du stellst um. Ein Kriterium offen, Ursache bekannt: Du besserst nach und wiederholst einmal, mit neuem Enddatum. Abbruchkriterium erfüllt: Du gehst zurück.

Die Umstellung selbst ist dann ein kleiner Schritt. Du nimmst die Umlenkung heraus, sodass die Ausgabe den Kunden erreicht, und Du beendest den alten Weg für diesen Vorgang an einem festen Tag. Zwei verbindliche Wege nebeneinander erzeugen Dir doppelte Termine und doppelte Nachrichten.

Die Wiederholung gibt es einmal. Sie prüft nur das offene Kriterium, nicht alles von vorn, und sie bekommt ein neues Datum im Kalender. Ist das Kriterium danach immer noch offen, gilt für Dich das Abbruchkriterium.

„Noch ein paar Wochen weiterlaufen lassen" steht nicht auf dieser Liste. Eine Verlängerung fühlt sich für Dich nach Sorgfalt an, sie liefert Dir aber keinen neuen Beleg. Sie verschiebt nur den Moment, in dem Du Dich festlegst. Wie Du diese Grenze erkennst, beschreibe ich in Der Unterschied zwischen Vorbereiten und Handeln.

Du denkst jetzt: Zwei Wochen mehr schaden doch nicht. Rechne es durch. Zwei weitere Wochen Parallelbetrieb sind zwei weitere Wochen doppelte Arbeit, und Deine Tabelle sagt Dir danach dasselbe wie heute. Ein Beleg, der schon vorliegt, wird durch Warten nicht stärker.

Prüfen ist eine Frage der Methode. Entscheiden ist eine Frage der Person, die am Stichtag vor der Tabelle sitzt. Willst Du an dieser Person arbeiten, ist die Challenge auf impruvement.com Dein Einstieg: vier Tage, ein greifbarer erster Schritt.