Evidenz
Nachweise statt Behauptungen
Jede Aussage auf dieser Seite hat eine Quelle: Datei, Feld und Prüfsumme. Wo eine Aussage begrenzt ist, steht die Grenze daneben.
Rohsicht aller autorisierten Läufe
Der N27-Lauf in Zahlen
Sechs echte Ausführungen des Coding-Workers mit Einmal-Freigaben. Alle Werte sind historische Messungen vom 17. November 2026.
Quelle: n27-benchmark-report.json · Feld real_runtime.metrics
So ist das zu lesen
Das sind sechs Ausführungen von fünf vorab festgelegten Aufgaben plus einem separat freigegebenen Ersatzlauf. Fünf Ergebnisse wurden akzeptiert. Eine Aufgabe ist blockiert – nicht wegen des Modells, sondern wegen eines fehlerhaften Tests. Daraus folgt keine Aussage über allgemeine Zuverlässigkeit oder Produktionsreife.
Interaktiver Ablauf
Acht Stationen von der Aufgabe bis zum Ergebnis
Wählen Sie eine Station. Jede Station nennt Zuständigkeit, Ein- und Ausgaben, Technologie und die konkreten Belege aus den Läufen.
Interaktive Demonstration mit den tatsächlich aufgezeichneten Werten aus den N25- bis N27-Läufen. Es werden keine Daten nachgeladen, keine Agenten gestartet und keine Freigaben ausgelöst. Alle Zahlen sind historische Messungen vom 16./17. November 2026.
Transparenz
Drei Sichten auf dieselben fünf Aufgaben
Dieselben Rohdaten, drei ehrliche Lesarten. Die Rohsicht enthält alles, die vorab festgelegte Sicht zählt den blockierten Task als Fehlschlag, die korrigierte Sicht ersetzt ausschließlich den durch den Testfehler blockierten Task.
Alle autorisierten Läufe
real_runtime.metricsRohsicht über alle sechs tatsächlich ausgeführten Tasks, einschließlich des blockierten Tasks und des separat freigegebenen Ersatzes.
- Ausgeführt
- 6
- Akzeptiert
- 5
- Blockiert
- 1
- Modellaufrufe
- 8
- Tokens
- 33.444
- Geschätzte Kosten
- 0,0240579 USD
- Laufzeit
- 122,251 s
- Erfolgsquote
- 83,3 %
- Kosten je Erfolg
- 0,004812 USD
Vorab festgelegte fünf Aufgaben
real_runtime.comparison.pre_registered_fiveDie vor der Ausführung festgelegten fünf Benchmark-Aufgaben, ohne den Ersatzlauf. Der blockierte Task zählt hier als Fehlschlag.
- Ausgeführt
- 5
- Akzeptiert
- 4
- Blockiert
- 1
- Modellaufrufe
- 7
- Tokens
- 29.590
- Geschätzte Kosten
- 0,0212961 USD
- Laufzeit
- 100,251 s
- Erfolgsquote
- 80,0 %
- Kosten je Erfolg
- 0,005324 USD
Korrigierte fünf Aufgaben nach Harness-Fix
real_runtime.comparison.corrected_five_after_harness_fixDieselben fünf Aufgaben, wobei nur die durch den defekten Test blockierte Aufgabe durch den neu freigegebenen Ersatzlauf ersetzt wurde.
- Ausgeführt
- 5
- Akzeptiert
- 5
- Blockiert
- 0
- Modellaufrufe
- 5
- Tokens
- 21.411
- Geschätzte Kosten
- 0,0155718 USD
- Laufzeit
- 104,000 s
- Erfolgsquote
- 100,0 %
- Kosten je Erfolg
- 0,003114 USD
Warum drei Zahlenreihen?
Eine einzelne Erfolgsquote wäre irreführend. Die Rohsicht zeigt den tatsächlichen Aufwand inklusive des defekten Tests, die vorab festgelegte Sicht hält das ursprüngliche Versprechen ein, die korrigierte Sicht zeigt, was ohne den Testfehler passiert wäre. Alle drei stehen in derselben Quelldatei.
Messwerte
Die sechs Ausführungen im Einzelnen
Jede Zeile ist ein eigener Task mit eigener Freigabe, eigenem Kandidaten und eigener unabhängiger Testwiederholung.
| Aufgabe | Zieldatei | Status | Aufrufe | Tokens | Kosten (USD) | Modellzeit (s) | Unabhängig |
|---|---|---|---|---|---|---|---|
N27-T1-FAILURE-FAMILY-LABELSDeutsche Anzeigelabels für Fehlerfamilien | pipeline_failure.py | abgeschlossen | 1 | 2.277 | 0,0016101 | 3,59 | bestanden |
N27-T2-UTF8-TOKEN-ESTIMATEUTF-8-Token-Schätzung | n20_context.py | blockiert | 3 | 12.033 | 0,0084861 | 18,25 | fehlgeschlagen |
N27-T3-ENDPOINT-CLASSIFICATIONKlassifikation von Inferenz-Endpunkten | inference_registry.py | abgeschlossen | 1 | 4.522 | 0,0032943 | 6,47 | bestanden |
N27-T4-SKILL-IDENTITY-FORMATFormatierung von Skill-Identitäten | n18_skill_context.py | abgeschlossen | 1 | 4.680 | 0,0034290 | 6,91 | bestanden |
N27-T5-COST-PER-SUCCESSKosten pro erfolgreicher Aufgabe | inference_usage.py | abgeschlossen | 1 | 6.078 | 0,0044766 | 8,64 | bestanden |
N27-T2R-UTF8-TOKEN-ESTIMATEUTF-8-Token-Schätzung (Ersatzlauf) | n20_context.py | abgeschlossen | 1 | 3.854 | 0,0027618 | 5,47 | bestanden |
Fehleranalyse
Der Fehler, der keiner war
Eine Aufgabe wurde blockiert. Die Analyse zeigte: Der Agent hatte recht, der Test war falsch. Das ist der interessanteste Teil des Laufs.
Was passiert ist
Die Aufgabe verlangte eine UTF-8-basierte Token-Schätzung. Der Kandidat war korrekt. Die Akzeptanzprüfung verlangte für die Zeichenkette äöü den Wert 1. Die eingefrorene Formel (len(utf8)+3)//4 ergibt für sechs Bytes aber 2 – drei Zeichen, sechs Bytes.
Der Test war also falsch, nicht der Code. Weil der Test eingefroren war, konnte der Agent die Prüfung nicht bestehen: Er lieferte dreimal dieselbe korrekte Antwort, der Kandidat enthielt ab dem zweiten Versuch keinen Byte-Unterschied mehr (CANDIDATE_NO_CHANGES).
Wie reagiert wurde
Die Schleife stoppte nach dem dritten freigegebenen Aufruf. Nur der betroffene Task wurde blockiert, es gab keinen automatischen Wiederholungsversuch. Die Akzeptanzprüfung wurde korrigiert, dann lief eine neue Aufgabe (N27-T2R) mit neuer Anfrage und frischer Einmal-Freigabe. Der blockierte Task wurde nicht reaktiviert.
Akzeptanzprüfung – vorher und nachher
# vorher (fehlerhaft)
assert estimate_utf8_tokens("äöü") == _expected("äöü") == 1
→ 3 Zeichen, 6 UTF-8-Bytes, Formel ergibt 2
# nachher (korrigiert)
assert estimate_utf8_tokens("äöü") == _expected("äöü") == 2- Test-Prüfsumme vorher
51c95ad44b59908e6762c79139ba041e9a3a1b5ae7444b14eddf8bafa7d1c00b- Test-Prüfsumme nachher
12cdadff39369389c33d8873de4f76970e86b775649416b5554a1bc3e6d077f0- Modellaufrufe im blockierten Task
- 3
- Tokens im blockierten Task
- 12.033
- Kosten im blockierten Task
- 0,0084861 USD
- Ursache
- Rechenfehler in der Testerwartung, kein Produktfehler
- Entscheidung
- Task blockiert lassen, Test korrigieren, neuer Task mit neuer Freigabe
Was das über die Arbeitsweise zeigt
Ein blockierter Lauf wurde nicht schöngeredet und nicht durch Wiederholen „gelöst“. Stattdessen: Ursache belegen, Fehler im Test korrigieren, den blockierten Vorgang blockiert lassen und mit einer neuen, sauber freigegebenen Aufgabe weiterarbeiten. Genau diese Spur ist hier einsehbar.
Prüfstand
Gates: ein bestandener und ein blockierter Lauf
Der Unterschied zwischen „bestanden“ und „blockiert“ wird hier nicht verwischt.
Vorbereitender Gate-Lauf
bestanden- Status
- passed 21/21 Schritte
- Commit
94e5e951af80- Offline
- ja, ohne Netzwerk
- Quelle
- n27-final-offline-gate-evidence.json · preparation_gate
Finaler Full-Gate-Lauf
blockiert- Status
blocked_external_concurrency- Versuch 1
- 18/19 Schritte – AC-003-C scheiterte an fremder Parallelaktivität
- Versuch 2
- 16/17 Schritte – YAML-Prüfung lehnte parallel geschriebene Fremddatei ab
- Ursache
- fremde parallele Schreibaktivität, nicht N27
- Quelle
- n27-final-offline-gate-evidence.json
Ausdrücklich nicht bestanden
Der finale Full-Gate-Lauf wird nicht als bestanden dargestellt. Er ist durch eine fremde parallele Schreibaktivität blockiert: eine andere Sitzung committete während des Testfensters in einen verknüpften Worktree und schrieb eine nicht versionierte Plugin-Datei. Der Beleg hält fest, dass die N27-Änderungen dafür nicht verantwortlich sind, und nennt den nächsten Schritt: den Lauf nach Ende der fremden Sitzung wiederholen.
Prüfliste
Jede Behauptung mit Quelle
Diese Tabelle ist die Prüfliste der Seite: Aussage, Wert, Status und die Datei mit dem Feld, in dem der Wert steht.
| Aussage | Wert | Status | Quelle (Datei · Feld) |
|---|---|---|---|
| Sechs reale Task-Ausführungen im N27-Lauf | 6 | belegt | n27-benchmark-report.json real_runtime.metrics.tasks_executed |
| Fünf davon akzeptierte Ergebnisse | 5 | belegt | n27-benchmark-report.json real_runtime.metrics.tasks_succeeded |
| Acht Modellaufrufe | 8 | belegt | n27-benchmark-report.json real_runtime.metrics.model_calls |
| 33.444 Tokens | 33.444 | belegt | n27-benchmark-report.json real_runtime.metrics.total_tokens |
| Geschätzte Kosten 0,0240579 USD | 0,0240579 | belegt | n27-benchmark-report.json real_runtime.metrics.estimated_cost_usd |
| Gemessene Laufzeit 122,251 Sekunden | 122,251 | belegt | n27-benchmark-report.json real_runtime.metrics.total_runtime_seconds |
| Ein dokumentierter Harness-Testfehler | ja | belegt | n27-t2-harness-defect.json status |
| Der Modellkandidat des blockierten Tasks war korrekt, die Testerwartung falsch | ja | belegt | n27-t2-harness-defect.json model_candidate_correct |
| Separat freigegebener Ersatzlauf N27-T2R | ja | belegt | n27-t2r-preparation.json task_id |
| Korrigierte Fünf-Task-Sicht 5/5 | 5/5 (Erfolgsquote 1,0) | belegt | n27-benchmark-report.json real_runtime.comparison.corrected_five_after_harness_fix.success_rate |
| NemoHermes-Suite: 859 bestanden, 3 übersprungen, 2 erwartete Fehler | 859 passed, 3 skipped, 2 xfailed (78,35 s) | belegt | n27-final-offline-gate-evidence.json supplementary_checks.nemohermes_suite |
| Helm-Templates: 21 von 21 Prüfungen ohne Netzwerk | 21/21, network_used=false | belegt | n27-final-offline-gate-evidence.json supplementary_checks.helm_templates_standalone |
| Der finale N27-Full-Gate-Lauf ist blockiert, nicht bestanden | blocked_external_concurrency | belegt | n27-final-offline-gate-evidence.json status |
| Der vorbereitende Gate-Lauf war vollständig bestanden (21/21) | 21 | belegt | n27-final-offline-gate-evidence.json preparation_gate.steps_passed |
| Laufzeit-Audit: 20 von 20 Prüfungen bestanden | 20/20 | belegt | n27-final-offline-gate-evidence.json supplementary_checks.n27_runtime_audit |
| Simulationstests: 12 bestanden | 12 | belegt | n27-final-offline-gate-evidence.json supplementary_checks.n27_simulation_tests |
| Es gab keine automatischen Wiederholungen | max_automatic_retries=0 | belegt | n27-task-catalog.json limits.max_automatic_retries |
| Kein Push, kein Merge, kein Deployment im Lauf | push_merge_deploy_allowed=false | belegt | n27-benchmark-report.json boundaries.after.push_merge_deploy_allowed |
| Jede Freigabe wurde genau einmal verwendet | receipt_single_use=true | belegt | n27-benchmark-report.json approvals.receipt_single_use |
| N26-Repository-Vertragstests: 3228 bestanden | 3.228 | belegt | n26-final-evidence.json tests.repository_contract |
| N26 benötigte keinen neuen Modellaufruf | 0 | belegt | n26-final-evidence.json model_execution.new_calls |
| N25: ein Modellaufruf, 8.725 Tokens, 0,006606 USD, 12,672 Sekunden | 1 / 8725 / 0.006606 / 12.672 | belegt | n25-final-evidence.json model_execution |
| Fünf Aufgaben sind eine begrenzte Stichprobe und belegen keine allgemeine Zuverlässigkeit | ja | belegt | n27-benchmark-report.json limitations[0] |
| Kein Ergebnis dieses Laufs ist produktiv verifiziert | production_verified=false (in allen Belegen) | belegt | n27-benchmark-report.json production_verified |
Reichweite
Grenzen, die dazugehören
Was dieser Lauf nicht belegt – in den Worten der Belege.
Grenzen des N27-Laufs
- Fünf Aufgaben sind eine begrenzte Stichprobe und belegen weder allgemeine Zuverlässigkeit noch Produktionsreife.
- Verwendet wurde ausschließlich der vorhandene Coding-Worker deepseek-flash und der eingefrorene N25-Schreibpfad.
- Kandidatenänderungen bleiben isoliert und werden nie integriert, gepusht, gemergt oder ausgeliefert.
- Kosten sind eine überwachte Schätzung aus dem geführten Ledger; die Anbieterrechnung bleibt maßgeblich.
- Der finale Full-Gate-Lauf ist durch fremde parallele Schreibaktivität blockiert; nur der vorbereitende Lauf ist bestanden.
- Der letzte Dokumentations- und Evidenz-Commit liegt nach dem bestandenen Gate und ist von diesem nicht abgedeckt.
- Die Aussage „nichts integriert, gepusht, gemergt oder deployt“ gilt für das N27-Zeitfenster. In einem späteren Schritt (N28) wurden die N27-Kandidaten integriert; dort ist die Integration nur über die README belegt.
Reifegrade auf dieser Seite
Öffentlich erreichbar und im Betrieb; Änderungen laufen über den dokumentierten Weg.
Mindestens ein echter Lauf mit Aufgabenstellung, Ausführung und aufgezeichnetem Ergebnis.
Testsuite lokal ausgeführt und bestanden; keine Aussage über den Produktivbetrieb.
Code vorhanden und ausführbar, aber ohne vollständigen Testnachweis.
Pläne, Konfiguration oder Gerüst vorhanden; nichts wurde ausgeliefert.
Als Aufgabe beschrieben, noch nicht begonnen.
Ein konkreter, benannter Umstand verhindert den Abschluss.
Umsetzung vorhanden, aber kein Nachweis über Ausführung oder Ergebnis.
Provenienz
Quelldateien mit Prüfsumme
Alle Werte stammen aus diesen Dateien im lokalen Evidenzordner config/nemohermes/ des Projekts agent-cloud-cluster. Die Prüfsummen erlauben, eine Kopie gegen diese Angaben zu prüfen.
| Datei | Pfad | SHA-256 | Bytes |
|---|---|---|---|
n25-final-evidence.json | config/nemohermes/n25-final-evidence.json | 95e44e1e1e71379fe24515bd8634b36194ce060fa26e808a74d94f63a8941323 | 4.838 |
n26-final-evidence.json | config/nemohermes/n26-final-evidence.json | c44a4510d1829d15ed36cc41148ffab1d081f81c969f680e740f78e3e0db3d76 | 3.928 |
n27-audit.json | config/nemohermes/n27-audit.json | 008c0fcf1365b2b04953ad931121e4f48a1a01908d479e6d17fb4810d5edde75 | 5.769 |
n27-benchmark-report.json | config/nemohermes/n27-benchmark-report.json | ede25a7f8018437dcb02c410a078cb45086d080726ccf460c27531b7455b6ca7 | 39.888 |
n27-t2-harness-defect.json | config/nemohermes/n27-t2-harness-defect.json | 234d55961a6323bc86312378a190fa3ecdaa977b4a3aa3b23f71bfe0bc888001 | 2.545 |
n27-final-offline-gate-evidence.json | config/nemohermes/n27-final-offline-gate-evidence.json | 9b87bf5978123c9566c1d707c51353b7953a4e8c8ef6c77794cccccd3cf4207f | 5.670 |
n27-task-catalog.json | config/nemohermes/n27-task-catalog.json | b8686ff37eba67465ad87472b8bdeae95bb09da49a1ec2ce54f61e8a20db5c4c | 8.411 |
n27-commits.json | config/nemohermes/n27-commits.json | ba9f7bd92df0d9c51ac9824bca34902e8934ff45e354daf12037fb066ab954e6 | 3.039 |
n27-t2r-preparation.json | config/nemohermes/n27-t2r-preparation.json | 8295e09d82225fac771b0f90413de2ba64228bc1285cbb33af29a8fcb7b5ff7f | 1.091 |
n27-t2r-approval-requests.json | config/nemohermes/n27-t2r-approval-requests.json | 1ceef4ca7c0407388ae898856e1372b68a41680019c9420ab613110e54cc44f9 | 946 |
n27-simulation-evidence.json | config/nemohermes/n27-simulation-evidence.json | 4087f054989ebd3451a1ce1ef5d33ac57e9716e7b264f5ce88e00256600b9d8a | 30.884 |
n27-approval-requests.json | config/nemohermes/n27-approval-requests.json | d893ebf1b861ec45501f125f3b4c653e03dc502ff24796928e2ac8e650dad8df | 3.139 |
Die Öffentlichkeit dieser Seite enthält bewusst keine Rohdaten und keine internen Pfade der Laufumgebung; die Pfadangaben hier sind projektrelative Belegnamen.