7 Tage im Tempel — Woche 1: 4,57 Millionen Rechnungen, null Funde

Ein Sweep ist eine Maschine, die Hoffnung produziert. Man gibt ihr ein Raster aus Parametern, sie rechnet, und am Ende legt sie einen Gewinner auf den Tisch. Sie legt immer einen Gewinner auf den Tisch. Das ist ihr Konstruktionsprinzip, und es ist der Grund, warum ich keiner Zahl traue, die aus einem Maximum stammt. Wer wissen will, wie ein Backtest systematisch lügt, findet hier die Langfassung — und alle laufenden Kennzahlen im Hub Lab-Daten.

Diese Woche haben wir die Maschine laufen lassen. Und dann haben wir sie überprüft.

Was wir getestet haben

Das Raster: elf Gewinnziele × elf Verlustgrenzen × fünf Haltedauern × sechs Nachzieh-Varianten × zehn Einstiegssignale. Macht 36.300 Kombinationen pro Markt. Über neun Märkte und zwei Kostenannahmen sind das 653.400 Durchläufe — in 18,3 Sekunden. Dazu die Kontrollrechnung, von der gleich noch die Rede sein wird: weitere 3,92 Millionen. Gesamt: rund 4,57 Millionen Auswertungen.

Vor dem ersten Rechenschritt haben wir die Daten geteilt: 432 Stunden zum Suchen, 288 Stunden zum Prüfen. Der Prüfteil wurde auf die Platte geschrieben, mit einer Prüfsumme versehen und aus dem Zugriff genommen — die Prüfsumme haben wir am Ende unabhängig nachgerechnet. Der Sweep hat die Prüfdaten nie gesehen. Das ist keine Formalie. Das ist der einzige Grund, warum der Rest dieses Berichts etwas wert ist.

Was funktioniert hat

Die Methode. Sonst nichts — und das ist keine Koketterie.

Ein ehrlicher Nebenbefund, der uns selbst überrascht hat: Sechs von neun Märkten waren vor Kosten positiv. Die Richtungsentscheidungen unseres Live-Pfads tragen. Sie sind sogar besser als alles, was der Sweep an Signalen erzeugen konnte. Das Problem sitzt nicht im Erkennen, es sitzt im Abrechnen.

Und noch etwas hat funktioniert, auf die unangenehme Art: Wir haben unsere eigenen Trades falsch gezählt. Was wie 130 Entscheidungen aussah, waren 35. Die Zählbasis war eine Ausführungs-ID, keine Auftrags-ID — und ein einziges Signal zerfällt in bis zu 27 Teilausführungen. Jede Statistik, die wir auf dieser Basis gebaut hatten, war optisch geschönt: viele kleine Teilausführungen heben die Trefferquote, ohne etwas beizutragen. Seit dieser Woche zählen wir auf Signal-Ebene. Die 35 in der Kennzahlen-Box oben sind diese neue, unbequemere Zahl.

Der Friedhof

Jetzt der Teil, den Sweep-Berichte normalerweise weglassen.

260 von 36.292 handelbaren Kombinationen waren im Suchzeitraum profitabel. Das sind 0,72 Prozent. Nach Bereinigung um Doppelgänger bleiben 215 wirklich verschiedene. Der Median über das gesamte Raster: tief im Minus. 99,3 Prozent des Rasters verliert.

Im Prüfzeitraum: null Überlebende. Nicht „wenige“. Keine.

Die Top-20 aus dem Suchzeitraum summierten sich dort zu einem klaren Plus. Im Prüfzeitraum drehte das gesamte Portfolio das Vorzeichen. Zwei der zwanzig waren nominell noch positiv — sie lagen aber auf Rängen, auf denen 13 bis 20 Prozent des gesamten Rasters besser abschnitten. Das ist die Definition von Rauschen, nicht die von Auswahl.

Dann der Robustheitstest, und hier wird es interessant. Die Regel lautet: Ein Fund, dessen Nachbarn verlieren, ist wertlos. Die Nachbarn verlieren nicht. Fünf von sechs sind ebenfalls positiv — ein Plateau, kein einsamer Gipfel. Das klingt nach guter Nachricht und ist die schlechteste im ganzen Bericht: Die Nachbarn teilen sich 93 Prozent ihrer Trades. Sie sind keine unabhängigen Zeugen, sie sind derselbe Zeuge mit anderem Hut. Ein Plateau aus Kopien desselben Trades ist genauso überangepasst wie ein einsamer Peak — es sieht nur seriöser aus.

Und schließlich die Null-Kontrolle, die den Sweep in flagranti erwischt hat. Wir haben die echten Signale durch 60 Sätze Zufallssignale ersetzt und dasselbe Raster gerechnet. Ergebnis: Reines Rauschen produziert einen „besten Fund“ — natürlich, das tut es immer. In 14 von 60 Läufen war der Zufall besser als unser echter Sweep. Der beste echte Fund liegt 0,75 Standardabweichungen über dem, was Würfeln liefert. Nach Korrektur für die Zahl der effektiven Tests: p = 1,0.

Nicht ein einziger Fund erreicht Signifikanz. Nicht einmal, wenn man ihn behandelt, als wäre er die einzige jemals getestete Hypothese.

Das Raster lügt übrigens auch über seine eigene Größe: 36.300 Etiketten erzeugen nur 24.560 unterscheidbare Ergebnisse. Und 19 der 20 besten Kombinationen sind dasselbe Signal in leichter Verkleidung.

Die zwei Zahlen, die bleiben

Erstens: 0,72 Prozent zu 0. Von 36.292 Kombinationen sahen 260 im Training gut aus. Im unabhängigen Test überlebte keine. Der Abstand zwischen diesen beiden Zahlen ist alles, was man über Backtest-Optimierung wissen muss.

Zweitens: 98 Prozent. Über das gesamte Raster erklärt eine einzige Variable 98 Prozent der Streuung aller Ergebnisse — nicht das Signal, nicht das Gewinnziel, nicht die Haltedauer: wie oft gehandelt wird. Rechnet man dieses Gesetz heraus, bleibt von der scheinbaren Übertragbarkeit zwischen Such- und Prüfzeitraum ein Korrelationsrest von 0,19 übrig. Praktisch nichts.

Der Sweep hat keine Edge gefunden. Er hat Gebührenvermeidung gefunden und sie als Strategie verkleidet. „Optimieren“ hieß in diesem Raster: weniger handeln. Warum die Kosten pro Trade bei uns alles dominieren, haben wir in Die Gebühren-Wahrheit auseinandergenommen — und die erzählte Fassung steht in der Fee-Geschichte aus dem Lab.

Ausblick

Wir ändern nichts an der Strategie — weil wir nichts zu ändern haben. Ein Parametersatz, den wir aus dieser Verteilung ziehen würden, wäre ein Extremwert-Artefakt. Das wäre exakt der Fehler, den dieser Bericht seziert, nur in kleinerem Maßstab.

Stattdessen drei Dinge:

1. Sauber zählen. Ab sofort auf Auftrags-Ebene, mit Kosten-Kennzeichnung pro Seite. Diese Woche hat gezeigt, dass wir Basis-Fakten über unser eigenes System nicht sicher kannten. Das reparieren wir zuerst.
2. Den Kosten-Befund verifizieren. Es gibt einen begründeten Verdacht, dass unsere ruhenden Ausstiegs-Aufträge teurer abgerechnet werden als nötig. Der Verdacht ist erschlossen, nicht gemessen. Er wird geprüft, bevor irgendjemand daraus etwas ableitet.
3. Warten, bis n reicht. 35 Entscheidungen sind keine Stichprobe, das ist eine Anekdote mit Nachkommastellen. Drei Wochen, dann rechnen wir neu.

Der Auftrag hieß „der große Sweep“. Herausgekommen sind 4,57 Millionen Auswertungen und null belastbare Funde. Das ist kein gescheitertes Experiment. Ein Experiment, das eine Hypothese tötet, hat funktioniert — es fühlt sich nur nicht so an.

Nächste Woche: Woche 2. Bis dahin: alles andere aus dem Labor steht im Ressort The Lab.