Engineering · Medien vom Mond

Evidenz

Nachweise statt Behauptungen

Jede Aussage auf dieser Seite hat eine Quelle: Datei, Feld und Prüfsumme. Wo eine Aussage begrenzt ist, steht die Grenze daneben.

Rohsicht aller autorisierten Läufe

Der N27-Lauf in Zahlen

Sechs echte Ausführungen des Coding-Workers mit Einmal-Freigaben. Alle Werte sind historische Messungen vom 17. November 2026.

6Ausgeführte Aufgaben
5Akzeptierte Ergebnisse
8Modellaufrufe
33.444Tokens
0,0240579Geschätzte Kosten (USD)
122,251Laufzeit (s)

Quelle: n27-benchmark-report.json · Feld real_runtime.metrics

So ist das zu lesen

Das sind sechs Ausführungen von fünf vorab festgelegten Aufgaben plus einem separat freigegebenen Ersatzlauf. Fünf Ergebnisse wurden akzeptiert. Eine Aufgabe ist blockiert – nicht wegen des Modells, sondern wegen eines fehlerhaften Tests. Daraus folgt keine Aussage über allgemeine Zuverlässigkeit oder Produktionsreife.

Interaktiver Ablauf

Acht Stationen von der Aufgabe bis zum Ergebnis

Wählen Sie eine Station. Jede Station nennt Zuständigkeit, Ein- und Ausgaben, Technologie und die konkreten Belege aus den Läufen.

Interaktive Demonstration mit den tatsächlich aufgezeichneten Werten aus den N25- bis N27-Läufen. Es werden keine Daten nachgeladen, keine Agenten gestartet und keine Freigaben ausgelöst. Alle Zahlen sind historische Messungen vom 16./17. November 2026.

Transparenz

Drei Sichten auf dieselben fünf Aufgaben

Dieselben Rohdaten, drei ehrliche Lesarten. Die Rohsicht enthält alles, die vorab festgelegte Sicht zählt den blockierten Task als Fehlschlag, die korrigierte Sicht ersetzt ausschließlich den durch den Testfehler blockierten Task.

Alle autorisierten Läufe

real_runtime.metrics

Rohsicht über alle sechs tatsächlich ausgeführten Tasks, einschließlich des blockierten Tasks und des separat freigegebenen Ersatzes.

Ausgeführt
6
Akzeptiert
5
Blockiert
1
Modellaufrufe
8
Tokens
33.444
Geschätzte Kosten
0,0240579 USD
Laufzeit
122,251 s
Erfolgsquote
83,3 %
Kosten je Erfolg
0,004812 USD

Vorab festgelegte fünf Aufgaben

real_runtime.comparison.pre_registered_five

Die vor der Ausführung festgelegten fünf Benchmark-Aufgaben, ohne den Ersatzlauf. Der blockierte Task zählt hier als Fehlschlag.

Ausgeführt
5
Akzeptiert
4
Blockiert
1
Modellaufrufe
7
Tokens
29.590
Geschätzte Kosten
0,0212961 USD
Laufzeit
100,251 s
Erfolgsquote
80,0 %
Kosten je Erfolg
0,005324 USD

Korrigierte fünf Aufgaben nach Harness-Fix

real_runtime.comparison.corrected_five_after_harness_fix

Dieselben fünf Aufgaben, wobei nur die durch den defekten Test blockierte Aufgabe durch den neu freigegebenen Ersatzlauf ersetzt wurde.

Ausgeführt
5
Akzeptiert
5
Blockiert
0
Modellaufrufe
5
Tokens
21.411
Geschätzte Kosten
0,0155718 USD
Laufzeit
104,000 s
Erfolgsquote
100,0 %
Kosten je Erfolg
0,003114 USD

Warum drei Zahlenreihen?

Eine einzelne Erfolgsquote wäre irreführend. Die Rohsicht zeigt den tatsächlichen Aufwand inklusive des defekten Tests, die vorab festgelegte Sicht hält das ursprüngliche Versprechen ein, die korrigierte Sicht zeigt, was ohne den Testfehler passiert wäre. Alle drei stehen in derselben Quelldatei.

Messwerte

Die sechs Ausführungen im Einzelnen

Jede Zeile ist ein eigener Task mit eigener Freigabe, eigenem Kandidaten und eigener unabhängiger Testwiederholung.

Sechs Ausführungen mit Kosten, Tokens und unabhängiger Wiederholung
AufgabeZieldateiStatusAufrufeTokensKosten (USD)Modellzeit (s)Unabhängig
N27-T1-FAILURE-FAMILY-LABELS
Deutsche Anzeigelabels für Fehlerfamilien
pipeline_failure.pyabgeschlossen12.2770,00161013,59bestanden
N27-T2-UTF8-TOKEN-ESTIMATE
UTF-8-Token-Schätzung
n20_context.pyblockiert312.0330,008486118,25fehlgeschlagen
N27-T3-ENDPOINT-CLASSIFICATION
Klassifikation von Inferenz-Endpunkten
inference_registry.pyabgeschlossen14.5220,00329436,47bestanden
N27-T4-SKILL-IDENTITY-FORMAT
Formatierung von Skill-Identitäten
n18_skill_context.pyabgeschlossen14.6800,00342906,91bestanden
N27-T5-COST-PER-SUCCESS
Kosten pro erfolgreicher Aufgabe
inference_usage.pyabgeschlossen16.0780,00447668,64bestanden
N27-T2R-UTF8-TOKEN-ESTIMATE
UTF-8-Token-Schätzung (Ersatzlauf)
n20_context.pyabgeschlossen13.8540,00276185,47bestanden
deepseek-flashisolierten Kandidatenmax. 3 Aufrufe je Aufgabe0 automatische Wiederholungen

Fehleranalyse

Der Fehler, der keiner war

Eine Aufgabe wurde blockiert. Die Analyse zeigte: Der Agent hatte recht, der Test war falsch. Das ist der interessanteste Teil des Laufs.

Was passiert ist

Die Aufgabe verlangte eine UTF-8-basierte Token-Schätzung. Der Kandidat war korrekt. Die Akzeptanzprüfung verlangte für die Zeichenkette äöü den Wert 1. Die eingefrorene Formel (len(utf8)+3)//4 ergibt für sechs Bytes aber 2 – drei Zeichen, sechs Bytes.

Der Test war also falsch, nicht der Code. Weil der Test eingefroren war, konnte der Agent die Prüfung nicht bestehen: Er lieferte dreimal dieselbe korrekte Antwort, der Kandidat enthielt ab dem zweiten Versuch keinen Byte-Unterschied mehr (CANDIDATE_NO_CHANGES).

Wie reagiert wurde

Die Schleife stoppte nach dem dritten freigegebenen Aufruf. Nur der betroffene Task wurde blockiert, es gab keinen automatischen Wiederholungsversuch. Die Akzeptanzprüfung wurde korrigiert, dann lief eine neue Aufgabe (N27-T2R) mit neuer Anfrage und frischer Einmal-Freigabe. Der blockierte Task wurde nicht reaktiviert.

Akzeptanzprüfung – vorher und nachher

# vorher (fehlerhaft)
assert estimate_utf8_tokens("äöü") == _expected("äöü") == 1
  → 3 Zeichen, 6 UTF-8-Bytes, Formel ergibt 2

# nachher (korrigiert)
assert estimate_utf8_tokens("äöü") == _expected("äöü") == 2
Test-Prüfsumme vorher
51c95ad44b59908e6762c79139ba041e9a3a1b5ae7444b14eddf8bafa7d1c00b
Test-Prüfsumme nachher
12cdadff39369389c33d8873de4f76970e86b775649416b5554a1bc3e6d077f0
Modellaufrufe im blockierten Task
3
Tokens im blockierten Task
12.033
Kosten im blockierten Task
0,0084861 USD
Ursache
Rechenfehler in der Testerwartung, kein Produktfehler
Entscheidung
Task blockiert lassen, Test korrigieren, neuer Task mit neuer Freigabe

Was das über die Arbeitsweise zeigt

Ein blockierter Lauf wurde nicht schöngeredet und nicht durch Wiederholen „gelöst“. Stattdessen: Ursache belegen, Fehler im Test korrigieren, den blockierten Vorgang blockiert lassen und mit einer neuen, sauber freigegebenen Aufgabe weiterarbeiten. Genau diese Spur ist hier einsehbar.

Prüfstand

Gates: ein bestandener und ein blockierter Lauf

Der Unterschied zwischen „bestanden“ und „blockiert“ wird hier nicht verwischt.

Vorbereitender Gate-Lauf

bestanden
Status
passed 21/21 Schritte
Commit
94e5e951af80
Offline
ja, ohne Netzwerk
Quelle
n27-final-offline-gate-evidence.json · preparation_gate

Finaler Full-Gate-Lauf

blockiert
Status
blocked_external_concurrency
Versuch 1
18/19 Schritte – AC-003-C scheiterte an fremder Parallelaktivität
Versuch 2
16/17 Schritte – YAML-Prüfung lehnte parallel geschriebene Fremddatei ab
Ursache
fremde parallele Schreibaktivität, nicht N27
Quelle
n27-final-offline-gate-evidence.json

Ausdrücklich nicht bestanden

Der finale Full-Gate-Lauf wird nicht als bestanden dargestellt. Er ist durch eine fremde parallele Schreibaktivität blockiert: eine andere Sitzung committete während des Testfensters in einen verknüpften Worktree und schrieb eine nicht versionierte Plugin-Datei. Der Beleg hält fest, dass die N27-Änderungen dafür nicht verantwortlich sind, und nennt den nächsten Schritt: den Lauf nach Ende der fremden Sitzung wiederholen.

859NemoHermes-Tests bestanden (N27)
21/21Helm-Templates, ohne Netzwerk
20/20Laufzeit-Audit
12Simulationstests bestanden

Prüfliste

Jede Behauptung mit Quelle

Diese Tabelle ist die Prüfliste der Seite: Aussage, Wert, Status und die Datei mit dem Feld, in dem der Wert steht.

Behauptungen und ihre Belege
AussageWertStatusQuelle (Datei · Feld)
Sechs reale Task-Ausführungen im N27-Lauf6belegtn27-benchmark-report.json
real_runtime.metrics.tasks_executed
Fünf davon akzeptierte Ergebnisse5belegtn27-benchmark-report.json
real_runtime.metrics.tasks_succeeded
Acht Modellaufrufe8belegtn27-benchmark-report.json
real_runtime.metrics.model_calls
33.444 Tokens33.444belegtn27-benchmark-report.json
real_runtime.metrics.total_tokens
Geschätzte Kosten 0,0240579 USD0,0240579belegtn27-benchmark-report.json
real_runtime.metrics.estimated_cost_usd
Gemessene Laufzeit 122,251 Sekunden122,251belegtn27-benchmark-report.json
real_runtime.metrics.total_runtime_seconds
Ein dokumentierter Harness-Testfehlerjabelegtn27-t2-harness-defect.json
status
Der Modellkandidat des blockierten Tasks war korrekt, die Testerwartung falschjabelegtn27-t2-harness-defect.json
model_candidate_correct
Separat freigegebener Ersatzlauf N27-T2Rjabelegtn27-t2r-preparation.json
task_id
Korrigierte Fünf-Task-Sicht 5/55/5 (Erfolgsquote 1,0)belegtn27-benchmark-report.json
real_runtime.comparison.corrected_five_after_harness_fix.success_rate
NemoHermes-Suite: 859 bestanden, 3 übersprungen, 2 erwartete Fehler859 passed, 3 skipped, 2 xfailed (78,35 s)belegtn27-final-offline-gate-evidence.json
supplementary_checks.nemohermes_suite
Helm-Templates: 21 von 21 Prüfungen ohne Netzwerk21/21, network_used=falsebelegtn27-final-offline-gate-evidence.json
supplementary_checks.helm_templates_standalone
Der finale N27-Full-Gate-Lauf ist blockiert, nicht bestandenblocked_external_concurrencybelegtn27-final-offline-gate-evidence.json
status
Der vorbereitende Gate-Lauf war vollständig bestanden (21/21)21belegtn27-final-offline-gate-evidence.json
preparation_gate.steps_passed
Laufzeit-Audit: 20 von 20 Prüfungen bestanden20/20belegtn27-final-offline-gate-evidence.json
supplementary_checks.n27_runtime_audit
Simulationstests: 12 bestanden12belegtn27-final-offline-gate-evidence.json
supplementary_checks.n27_simulation_tests
Es gab keine automatischen Wiederholungenmax_automatic_retries=0belegtn27-task-catalog.json
limits.max_automatic_retries
Kein Push, kein Merge, kein Deployment im Laufpush_merge_deploy_allowed=falsebelegtn27-benchmark-report.json
boundaries.after.push_merge_deploy_allowed
Jede Freigabe wurde genau einmal verwendetreceipt_single_use=truebelegtn27-benchmark-report.json
approvals.receipt_single_use
N26-Repository-Vertragstests: 3228 bestanden3.228belegtn26-final-evidence.json
tests.repository_contract
N26 benötigte keinen neuen Modellaufruf0belegtn26-final-evidence.json
model_execution.new_calls
N25: ein Modellaufruf, 8.725 Tokens, 0,006606 USD, 12,672 Sekunden1 / 8725 / 0.006606 / 12.672belegtn25-final-evidence.json
model_execution
Fünf Aufgaben sind eine begrenzte Stichprobe und belegen keine allgemeine Zuverlässigkeitjabelegtn27-benchmark-report.json
limitations[0]
Kein Ergebnis dieses Laufs ist produktiv verifiziertproduction_verified=false (in allen Belegen)belegtn27-benchmark-report.json
production_verified

Reichweite

Grenzen, die dazugehören

Was dieser Lauf nicht belegt – in den Worten der Belege.

Grenzen des N27-Laufs

  • Fünf Aufgaben sind eine begrenzte Stichprobe und belegen weder allgemeine Zuverlässigkeit noch Produktionsreife.
  • Verwendet wurde ausschließlich der vorhandene Coding-Worker deepseek-flash und der eingefrorene N25-Schreibpfad.
  • Kandidatenänderungen bleiben isoliert und werden nie integriert, gepusht, gemergt oder ausgeliefert.
  • Kosten sind eine überwachte Schätzung aus dem geführten Ledger; die Anbieterrechnung bleibt maßgeblich.
  • Der finale Full-Gate-Lauf ist durch fremde parallele Schreibaktivität blockiert; nur der vorbereitende Lauf ist bestanden.
  • Der letzte Dokumentations- und Evidenz-Commit liegt nach dem bestandenen Gate und ist von diesem nicht abgedeckt.
  • Die Aussage „nichts integriert, gepusht, gemergt oder deployt“ gilt für das N27-Zeitfenster. In einem späteren Schritt (N28) wurden die N27-Kandidaten integriert; dort ist die Integration nur über die README belegt.

Reifegrade auf dieser Seite

produktiv betrieben

Öffentlich erreichbar und im Betrieb; Änderungen laufen über den dokumentierten Weg.

durch reale Läufe belegt

Mindestens ein echter Lauf mit Aufgabenstellung, Ausführung und aufgezeichnetem Ergebnis.

lokal getestet

Testsuite lokal ausgeführt und bestanden; keine Aussage über den Produktivbetrieb.

umgesetzt

Code vorhanden und ausführbar, aber ohne vollständigen Testnachweis.

vorbereitet

Pläne, Konfiguration oder Gerüst vorhanden; nichts wurde ausgeliefert.

geplant

Als Aufgabe beschrieben, noch nicht begonnen.

blockiert

Ein konkreter, benannter Umstand verhindert den Abschluss.

nicht validiert

Umsetzung vorhanden, aber kein Nachweis über Ausführung oder Ergebnis.

Provenienz

Quelldateien mit Prüfsumme

Alle Werte stammen aus diesen Dateien im lokalen Evidenzordner config/nemohermes/ des Projekts agent-cloud-cluster. Die Prüfsummen erlauben, eine Kopie gegen diese Angaben zu prüfen.

Quelldateien
DateiPfadSHA-256Bytes
n25-final-evidence.jsonconfig/nemohermes/n25-final-evidence.json95e44e1e1e71379fe24515bd8634b36194ce060fa26e808a74d94f63a89413234.838
n26-final-evidence.jsonconfig/nemohermes/n26-final-evidence.jsonc44a4510d1829d15ed36cc41148ffab1d081f81c969f680e740f78e3e0db3d763.928
n27-audit.jsonconfig/nemohermes/n27-audit.json008c0fcf1365b2b04953ad931121e4f48a1a01908d479e6d17fb4810d5edde755.769
n27-benchmark-report.jsonconfig/nemohermes/n27-benchmark-report.jsonede25a7f8018437dcb02c410a078cb45086d080726ccf460c27531b7455b6ca739.888
n27-t2-harness-defect.jsonconfig/nemohermes/n27-t2-harness-defect.json234d55961a6323bc86312378a190fa3ecdaa977b4a3aa3b23f71bfe0bc8880012.545
n27-final-offline-gate-evidence.jsonconfig/nemohermes/n27-final-offline-gate-evidence.json9b87bf5978123c9566c1d707c51353b7953a4e8c8ef6c77794cccccd3cf4207f5.670
n27-task-catalog.jsonconfig/nemohermes/n27-task-catalog.jsonb8686ff37eba67465ad87472b8bdeae95bb09da49a1ec2ce54f61e8a20db5c4c8.411
n27-commits.jsonconfig/nemohermes/n27-commits.jsonba9f7bd92df0d9c51ac9824bca34902e8934ff45e354daf12037fb066ab954e63.039
n27-t2r-preparation.jsonconfig/nemohermes/n27-t2r-preparation.json8295e09d82225fac771b0f90413de2ba64228bc1285cbb33af29a8fcb7b5ff7f1.091
n27-t2r-approval-requests.jsonconfig/nemohermes/n27-t2r-approval-requests.json1ceef4ca7c0407388ae898856e1372b68a41680019c9420ab613110e54cc44f9946
n27-simulation-evidence.jsonconfig/nemohermes/n27-simulation-evidence.json4087f054989ebd3451a1ce1ef5d33ac57e9716e7b264f5ce88e00256600b9d8a30.884
n27-approval-requests.jsonconfig/nemohermes/n27-approval-requests.jsond893ebf1b861ec45501f125f3b4c653e03dc502ff24796928e2ac8e650dad8df3.139

Die Öffentlichkeit dieser Seite enthält bewusst keine Rohdaten und keine internen Pfade der Laufumgebung; die Pfadangaben hier sind projektrelative Belegnamen.