Arbeitsprobe
NemoHermes – Agentic Coding mit Freigabe
Ein System, in dem ein KI-Agent echte Codeänderungen vorschlägt, automatisch testet und trotzdem nur unter menschlicher Einmal-Freigabe arbeitet. Gemessen, protokolliert und in Grenzen gehalten.
Überblick
Was NemoHermes ist
Ein Prototyp für kontrollierte agentische Softwareentwicklung: Aufgabe rein, isolierter Kandidat raus – mit vollständiger Spur und ohne Schreibrecht an der Produktion.
In einem Satz
NemoHermes steuert Coding-Agenten so, dass jede Änderung eine Aufgabe, eine Freigabe, einen isolierten Kandidaten, einen unabhängig wiederholten Test, ein Review und einen Beleg hat – und dass nichts davon unbemerkt in die Produktion gelangt.
Aufgabensteuerung
Jede Aufgabe bekommt genau eine Zieldatei, prüfbare Erfolgskriterien und einen vorab eingefrorenen Referenztest. Ein doppelter Commit erzeugt keinen zweiten Task.
Isolation
Der Worker schreibt nur in einen isolierten Kandidaten innerhalb erlaubter Pfade. Push, Merge, Deployment, Zugangsdaten und Policy-Änderungen sind technisch ausgeschlossen und hash-geprüft.
Freigabe
Jede Aufgabe braucht eine eigene, einmalige Freigabe mit Ablaufzeit. Sie wird beim Anlegen verbraucht und ist nicht wiederverwendbar.
Messung
Modellaufrufe, Tokens, geschätzte Kosten und Laufzeit werden je Aufgabe festgehalten. Kosten sind eine Schätzung; die Anbieterrechnung bleibt maßgeblich.
Fehlerbehandlung
Drei Aufrufe, dann Schluss: keine automatischen Wiederholungen, keine Reaktivierung eines blockierten Tasks. Ein Ersatz ist ein neuer Task mit neuer Freigabe.
Nachweis
Jede Mission hinterlässt Belege mit Prüfsummen: Aufgabe, Freigabe, Lauf, Patch, Test, Review, Kosten. Nichts davon ist produktiv verifiziert.
Messwerte
Der belegte Lauf in Zahlen
N27, ein Zuverlässigkeitslauf mit fünf vorab festgelegten Aufgaben und einem separat freigegebenen Ersatzlauf. Stand: 17. November 2026.
Was diese Zahlen nicht sind
Sie sind eine begrenzte Stichprobe von fünf Aufgaben, kein Zuverlässigkeitsnachweis und keine Produktionsreife. Der finale Full-Gate-Lauf ist durch fremde parallele Schreibaktivität blockiert – nicht bestanden.
Entwicklungsverlauf
Drei Schritte, jeder einzeln belegt
N25 legt eine Aufgabe an, N26 integriert einen geprüften Kandidaten, N27 misst Zuverlässigkeit über fünf Aufgaben. Jeder Schritt hat eigene Zahlen und eigene Grenzen.
- N25
Dashboard-Aufgabe aus dem Browser anlegen
Eine Aufgabe wurde über das Formular im Dashboard angelegt, freigegeben und vom Coding-Worker bearbeitet. Der Kandidat änderte genau eine Datei und wurde nicht integriert.
model calls: 1
prompt tokens: 4292
completion tokens: 4433
total tokens: 8725host_focused: 5 passed
independent_review: 3 passed
nemohermes_suite: 840 passed, 3 skipped, 2 xfailed
full_offline_gate: 21/21 bestanden, offline - N26
Reviewten Kandidaten kontrolliert integrieren
Der in N25 erzeugte und unabhängig geprüfte Patch wurde nach separater Freigabe in den Branch integriert. Es fiel kein weiterer Modellaufruf an.
new model calls: 0
total tokens: 0
additional estimated cost usd: 0.0
historical n25 model cost usd: 0.006606focused_after_integration: 10 passed
repository_contract: 3228 passed, 0 failed
nemohermes_suite: 847 passed, 3 skipped, 2 xfailed
full_offline_gate: 21/21 bestanden, offline - N27
Zuverlässigkeit über fünf Aufgaben messen
Fünf vorab festgelegte Coding-Aufgaben wurden mit Einmal-Freigaben, Kostenmessung und unabhängiger Testwiederholung ausgeführt. Eine Aufgabe wurde durch einen defekten Akzeptanztest blockiert und durch einen separat freigegebenen Ersatzlauf ersetzt.
tasks executed: 6
tasks succeeded: 5
model calls: 8
total tokens: 33444
Interaktive Demonstration
Wie eine Aufgabe durch das System läuft
Acht Stationen, jede mit Zuständigkeit und Beleg. Das ist der Ablauf, den die Läufe tatsächlich genommen haben – inklusive der Stelle, an der es schiefging.
Interaktive Demonstration mit den tatsächlich aufgezeichneten Werten aus den N25- bis N27-Läufen. Es werden keine Daten nachgeladen, keine Agenten gestartet und keine Freigaben ausgelöst. Alle Zahlen sind historische Messungen vom 16./17. November 2026.
Fehleranalyse
Der Fehler, der keiner war
Eine Aufgabe wurde blockiert. Die Analyse ergab: Der Agent war richtig, der Test war falsch. Wie das erkannt und behoben wurde, ist der aussagekräftigste Teil der Arbeit.
Ablauf der Korrektur
dokumentiert- 1. Beobachtung
- Task blockiert, Fehlerfamilie
candidate_contract - 2. Prüfung
- Kandidat korrekt; Akzeptanztest erwartete 1 statt 2
- 3. Entscheidung
- Task blockiert lassen, Test korrigieren
- 4. Ersatz
- Neue Aufgabe N27-T2R, neue Anfrage, neue Einmal-Freigabe
- 5. Ergebnis
- Ersatzlauf bestanden, blockierter Task bleibt blockiert
- Aufwand
- 3 Aufrufe, 12.033 Tokens, 0,0084861 USD im blockierten Vorgang
Sicherheit
Sicherheitsgrenzen, technisch erzwungen
Die Grenzen sind nicht dokumentiert, sondern im Lauf erzwungen und vor/nach dem Lauf per Hash verglichen.
Erlaubt
Verboten
- Erlaubte Pfade
config/nemohermesdocsintegrations/hermes-dashboard/nemohermesscripts/operations/nemohermestests/nemohermes_webapp- Push / Merge / Deploy
- nicht erlaubt (
false) - Zusätzlicher Provider
- nicht erlaubt
- Policy-Änderung
- nicht erlaubt
- Produktive Action-API
- deaktiviert
- Hash-Vergleich
- Berechtigungen und Grenzen vor und nach dem Lauf identisch
Reichweite
Diese Grenzen gelten für den beschriebenen Prototyp im N27-Zeitfenster. Sie sind kein Nachweis eines zertifizierten Sicherheitsniveaus.
Prüfstand
Was tatsächlich geprüft wurde
Zahlen aus den Belegen – jeweils mit der Grenze, die dazugehört.
| Lauf | Status | Bedeutung |
|---|---|---|
| Vorbereitender Gate-Lauf (N27) | bestanden | 21/21 Schritte, offline, Commit 94e5e95 |
| Finaler Full-Gate-Lauf (N27) | blockiert | durch fremde parallele Schreibaktivität blockiert – nicht bestanden |
| N26 Gate | bestanden | 21/21, Repository-Vertrag 3228 Tests |
| N25 Gate | bestanden | 21/21, offline |
Suite-Zahlen gelten je Mission: 840 (N25), 847 (N26), 859 (N27). Sie sind nicht übertragbar.
Reifegrad
Was das System nicht ist
Die Abgrenzung gehört zur Arbeitsprobe dazu.
Kein Produkt
Es gibt keinen Produktivbetrieb, keine SLA, keine Mandantenfähigkeit und keine Skalierungsnachweise. Das Dashboard ist ein Prototyp.
Kein Ersatz für Review
Automatische Tests und Audits ersetzen keine menschliche Freigabe. Die Einmal-Freigabe ist bewusst nicht delegierbar.
Keine allgemeine Aussage
Fünf Aufgaben sind eine Stichprobe. Aus ihnen folgt keine generelle Zuverlässigkeit – schon gar nicht für andere Modelle oder Aufgabenklassen.
Keine offene Steuerung
Diese Website startet keine Agenten und löst keine Freigaben aus. Sie zeigt ausschließlich aufgezeichnete Ergebnisse.
Rolle
Mein technischer Beitrag
NemoHermes ist von mir entworfen und umgesetzt: Prozess, Freigabemodell, Evidenzschema und Prüfschritte.
Entworfen wurden die Aufgabenverträge (genau eine Zieldatei, eingefrorene Tests, Obergrenzen), das Einmal-Freigabemodell, die Isolation des Kandidaten und das Evidenzschema, das jede Aussage an eine Datei mit Prüfsumme bindet.
Dazu kommen die Fehleranalyse des defekten Akzeptanztests, die Entscheidung, den blockierten Task blockiert zu lassen, und der Nachweis, dass keine Änderung außerhalb der erlaubten Pfade stattgefunden hat.
Technologie
Die Belege liegen im Repository agent-cloud-cluster unter config/nemohermes/. Die Website gibt bewusst keine Rohdaten und keine internen Laufumgebungspfade wieder.