Die Regeln

Warum die Kriterien vorher gesperrt werden

Stell dir vor, du schießt auf eine Scheibe und malst die Zielkreise erst danach um das Loch. Dann triffst du immer. Genau das vermeidet das Projekt: Bevor ein Test läuft, steht schriftlich fest, was als „bestanden“ gilt.

1. Aufschreiben. Die Bestanden-Kriterien kommen in eine Datei im Ordner kriterien/.
2. Sperren. Aus der Datei wird ein Fingerabdruck berechnet (SHA256): eine lange Zeichenkette, die sich komplett ändert, sobald nur ein Buchstabe in der Datei anders ist. Der Fingerabdruck steht in der Sperrliste und im Änderungsverlauf des Projekts (git), mit Datum.
3. Prüfen vor dem Lauf. Das Skript rechnet den Fingerabdruck beim Start neu nach. Stimmt er nicht mehr, verweigert es den Lauf.
4. Ergebnis festhalten – egal wie es ausfällt. Es kommt ins Logbuch, auch wenn es enttäuscht.

So sieht ein Eintrag aus (die neueste Zeile der Sperrliste):
phase10a_suche.md – gesperrt am 03.11.2026
663cb021cdcb98dfae7cf065db87eabfab65978b04e5d2ca8b6fe5063f314bd2

Wer die Latte nachträglich verschiebt, kann sich alles schönrechnen. Wer sie vorher festlegt, kann sich nicht selbst täuschen – und darf Fehlschläge nicht verstecken.

Die sieben Regeln in einfachen Worten

1. Alles wird aufgeschrieben. Jede Analyse bekommt einen Logbuch-Eintrag: was, warum, Ergebnis.
2. Erst die Latte, dann der Sprung. Die Bestanden-Kriterien werden vorher gesperrt (siehe oben).
3. Nichts nachträglich umdefinieren. Wird die Auswertung verbessert, ist das ein neuer Test mit neuen, neu gesperrten Kriterien.
4. Erst versuchen, das Signal zu widerlegen. Bei jedem Signal lautet die erste Frage: Wie zeige ich, dass es kein Planet ist? Typische Täuscher sind Doppelsterne, Nachbarsterne, Instrument-Effekte und Momentum-Dumps (Kurskorrekturen des Teleskops).
5. Aufwand nach Risiko. Ein Umbau, der nachweislich gleiche Urteile liefert, braucht nur einen Logbuch-Eintrag und eine unabhängige Prüfung. Kann er Urteile verändern, ist es eine neue Phase mit gesperrten Kriterien.
6. Abgestufte Folgen statt nur Ja/Nein. Vorab steht fest, wie ein Werkzeug je nach Ergebnis eingesetzt wird: als harter Test, nur als weicher Hinweis („unklar“) oder gar nicht. Quoten werden mit Unsicherheitsbereich angegeben.
7. Suchen geht vor. Ziel ist es, Kandidaten zu finden. Die Tests werden nur verbessert, wenn eine Suche daran hängt. Ein „Kandidat“ ist ein Prüfauftrag und keine Entdeckung; ein mögliches Signal bleibt lieber ehrlich „unklar“, als stillschweigend verworfen zu werden.

Was nicht geklappt hat – und warum das gut ist

Ein Test, der nie durchfallen kann, sagt nichts aus. Diese Phasen haben die vorab festgelegten Kriterien nicht erfüllt – und genau deshalb weiß das Projekt heute, wo die Werkzeuge ihre Grenzen haben.

• Phase 3a – Kalibrierung Kein-Planet-Tests (nicht bestanden). Die Kein-Planet-Tests arbeiteten sauber, aber ein bekannter Nachbarstern-Fehlalarm wurde gar nicht erst gefunden (sein Signal war zu schwach für unsere Fundschwelle). Die Lücke wurde im Logbuch festgehalten, die Kriterien nicht nachträglich geändert.
• Phase 3a-2 – Nachtest an echten Bedeckungssternen (nicht bestanden). An echten Bedeckungssternen übersah der Test V2 die zweite Delle, weil sie bei Sternen mit ovaler Bahn nicht genau in der Mitte der Periode liegt. Daraus wurde der neue Test V2b, der die ganze Periode absucht.
• Phase 3a-3 – Phasen-Scan V2b (nicht bestanden). Zwei der drei „Bedeckungssterne“ waren in Wahrheit bekannte Planeten – der Fehler lag in meiner Auswahlregel, nicht im Test. Die Auswahl wurde bereinigt und in Phase 3a-4 mit gleichen Kriterien wiederholt.
• Phase 4c – Kein-Planet-Tests in FFI-Daten (abgebrochen). Die Auswahl der Testobjekte ergab zu wenige passende Sterne, deshalb wurde der Lauf abgebrochen. Er wurde mit neuer Auswahl und neuen Kriterien als Phase 4c-2 wiederholt.
• Phase 4c-2 – Kein-Planet-Tests in FFI-Daten (nicht bestanden). Echte Planeten wurden nie verworfen, aber bekannte Fehlalarme in Vollbild-Daten wurden kaum erkannt. Darum gilt: Ein Vollbild-„Kandidat“ ist noch nicht gegen Nachbarstern-Fehlalarme geprüft.
• Phase 5b – ganze Kette mit Differenzbildern (V14) (nicht bestanden). V14 verwirft keinen Planeten und erkennt viel mehr Fehlalarme, aber ein Nachbarstern-Fehlalarm rutschte durch, weil der Test V8 Begleiter unter 2 Bogensekunden übersah. V8 wurde zuerst repariert (Phase 5c), V14 kommt als harter Test in die Kette.
• Phase 6a – Klassifikator V15 (nicht bestanden). Der lernende Klassifikator trennt gut, hielt aber streifende Planeten für Doppelsterne und behielt nur 88 % der Planeten (verlangt waren 90 %). Er kommt nicht in die Kette; die Kette hielt ohnehin schon 45 von 49 Fehlalarmen zurück.
• Phase 7a – Mehrsektor V1m/V2m/V2bm (nicht bestanden). Mehrere Sektoren gemeinsam sind sicher (1 von 353 Planeten verloren), erkennen aber fast keine neuen Doppelsterne. Solche Fehlalarme sind mit Lichtkurven allein nicht zu trennen; die Tests kommen nicht in die Kette.