Engineering · Medien vom Mond

Arbeitsprobe

NemoHermes – Agentic Coding mit Freigabe

Ein System, in dem ein KI-Agent echte Codeänderungen vorschlägt, automatisch testet und trotzdem nur unter menschlicher Einmal-Freigabe arbeitet. Gemessen, protokolliert und in Grenzen gehalten.

Überblick

Was NemoHermes ist

Ein Prototyp für kontrollierte agentische Softwareentwicklung: Aufgabe rein, isolierter Kandidat raus – mit vollständiger Spur und ohne Schreibrecht an der Produktion.

In einem Satz

NemoHermes steuert Coding-Agenten so, dass jede Änderung eine Aufgabe, eine Freigabe, einen isolierten Kandidaten, einen unabhängig wiederholten Test, ein Review und einen Beleg hat – und dass nichts davon unbemerkt in die Produktion gelangt.

Aufgabensteuerung

Jede Aufgabe bekommt genau eine Zieldatei, prüfbare Erfolgskriterien und einen vorab eingefrorenen Referenztest. Ein doppelter Commit erzeugt keinen zweiten Task.

Isolation

Der Worker schreibt nur in einen isolierten Kandidaten innerhalb erlaubter Pfade. Push, Merge, Deployment, Zugangsdaten und Policy-Änderungen sind technisch ausgeschlossen und hash-geprüft.

Freigabe

Jede Aufgabe braucht eine eigene, einmalige Freigabe mit Ablaufzeit. Sie wird beim Anlegen verbraucht und ist nicht wiederverwendbar.

Messung

Modellaufrufe, Tokens, geschätzte Kosten und Laufzeit werden je Aufgabe festgehalten. Kosten sind eine Schätzung; die Anbieterrechnung bleibt maßgeblich.

Fehlerbehandlung

Drei Aufrufe, dann Schluss: keine automatischen Wiederholungen, keine Reaktivierung eines blockierten Tasks. Ein Ersatz ist ein neuer Task mit neuer Freigabe.

Nachweis

Jede Mission hinterlässt Belege mit Prüfsummen: Aufgabe, Freigabe, Lauf, Patch, Test, Review, Kosten. Nichts davon ist produktiv verifiziert.

Messwerte

Der belegte Lauf in Zahlen

N27, ein Zuverlässigkeitslauf mit fünf vorab festgelegten Aufgaben und einem separat freigegebenen Ersatzlauf. Stand: 17. November 2026.

6Ausgeführte Aufgaben
5Akzeptierte Ergebnisse
8Modellaufrufe
33.444Tokens
0,0240579Kosten (USD, geschätzt)
122,251Laufzeit (s)

Was diese Zahlen nicht sind

Sie sind eine begrenzte Stichprobe von fünf Aufgaben, kein Zuverlässigkeitsnachweis und keine Produktionsreife. Der finale Full-Gate-Lauf ist durch fremde parallele Schreibaktivität blockiert – nicht bestanden.

Entwicklungsverlauf

Drei Schritte, jeder einzeln belegt

N25 legt eine Aufgabe an, N26 integriert einen geprüften Kandidaten, N27 misst Zuverlässigkeit über fünf Aufgaben. Jeder Schritt hat eigene Zahlen und eigene Grenzen.

  1. N25

    Dashboard-Aufgabe aus dem Browser anlegen

    Eine Aufgabe wurde über das Formular im Dashboard angelegt, freigegeben und vom Coding-Worker bearbeitet. Der Kandidat änderte genau eine Datei und wurde nicht integriert.

    model calls: 1
    prompt tokens: 4292
    completion tokens: 4433
    total tokens: 8725
    host_focused: 5 passed
    independent_review: 3 passed
    nemohermes_suite: 840 passed, 3 skipped, 2 xfailed
    full_offline_gate: 21/21 bestanden, offline

  2. N26

    Reviewten Kandidaten kontrolliert integrieren

    Der in N25 erzeugte und unabhängig geprüfte Patch wurde nach separater Freigabe in den Branch integriert. Es fiel kein weiterer Modellaufruf an.

    new model calls: 0
    total tokens: 0
    additional estimated cost usd: 0.0
    historical n25 model cost usd: 0.006606
    focused_after_integration: 10 passed
    repository_contract: 3228 passed, 0 failed
    nemohermes_suite: 847 passed, 3 skipped, 2 xfailed
    full_offline_gate: 21/21 bestanden, offline

  3. N27

    Zuverlässigkeit über fünf Aufgaben messen

    Fünf vorab festgelegte Coding-Aufgaben wurden mit Einmal-Freigaben, Kostenmessung und unabhängiger Testwiederholung ausgeführt. Eine Aufgabe wurde durch einen defekten Akzeptanztest blockiert und durch einen separat freigegebenen Ersatzlauf ersetzt.

    tasks executed: 6
    tasks succeeded: 5
    model calls: 8
    total tokens: 33444

Interaktive Demonstration

Wie eine Aufgabe durch das System läuft

Acht Stationen, jede mit Zuständigkeit und Beleg. Das ist der Ablauf, den die Läufe tatsächlich genommen haben – inklusive der Stelle, an der es schiefging.

Interaktive Demonstration mit den tatsächlich aufgezeichneten Werten aus den N25- bis N27-Läufen. Es werden keine Daten nachgeladen, keine Agenten gestartet und keine Freigaben ausgelöst. Alle Zahlen sind historische Messungen vom 16./17. November 2026.

Fehleranalyse

Der Fehler, der keiner war

Eine Aufgabe wurde blockiert. Die Analyse ergab: Der Agent war richtig, der Test war falsch. Wie das erkannt und behoben wurde, ist der aussagekräftigste Teil der Arbeit.

Ablauf der Korrektur

dokumentiert
1. Beobachtung
Task blockiert, Fehlerfamilie candidate_contract
2. Prüfung
Kandidat korrekt; Akzeptanztest erwartete 1 statt 2
3. Entscheidung
Task blockiert lassen, Test korrigieren
4. Ersatz
Neue Aufgabe N27-T2R, neue Anfrage, neue Einmal-Freigabe
5. Ergebnis
Ersatzlauf bestanden, blockierter Task bleibt blockiert
Aufwand
3 Aufrufe, 12.033 Tokens, 0,0084861 USD im blockierten Vorgang

Sicherheit

Sicherheitsgrenzen, technisch erzwungen

Die Grenzen sind nicht dokumentiert, sondern im Lauf erzwungen und vor/nach dem Lauf per Hash verglichen.

Erlaubt

repo.readrepo.patch_isolatedtests.targetedreview.independentgit.local_candidateevidence.write

Verboten

git.pushgit.remote_mergedeploymentcredential.changeopenshell.policyaction_api.productive
Erlaubte Pfade
config/nemohermes
docs
integrations/hermes-dashboard/nemohermes
scripts/operations/nemohermes
tests/nemohermes_webapp
Push / Merge / Deploy
nicht erlaubt (false)
Zusätzlicher Provider
nicht erlaubt
Policy-Änderung
nicht erlaubt
Produktive Action-API
deaktiviert
Hash-Vergleich
Berechtigungen und Grenzen vor und nach dem Lauf identisch

Reichweite

Diese Grenzen gelten für den beschriebenen Prototyp im N27-Zeitfenster. Sie sind kein Nachweis eines zertifizierten Sicherheitsniveaus.

Prüfstand

Was tatsächlich geprüft wurde

Zahlen aus den Belegen – jeweils mit der Grenze, die dazugehört.

859NemoHermes-Tests bestanden (N27)
21/21Helm-Templates ohne Netzwerk
20/20Laufzeit-Audit
12Simulationstests
Gates und ihre Aussage
LaufStatusBedeutung
Vorbereitender Gate-Lauf (N27)bestanden21/21 Schritte, offline, Commit 94e5e95
Finaler Full-Gate-Lauf (N27)blockiertdurch fremde parallele Schreibaktivität blockiert – nicht bestanden
N26 Gatebestanden21/21, Repository-Vertrag 3228 Tests
N25 Gatebestanden21/21, offline

Suite-Zahlen gelten je Mission: 840 (N25), 847 (N26), 859 (N27). Sie sind nicht übertragbar.

Reifegrad

Was das System nicht ist

Die Abgrenzung gehört zur Arbeitsprobe dazu.

Kein Produkt

Es gibt keinen Produktivbetrieb, keine SLA, keine Mandantenfähigkeit und keine Skalierungsnachweise. Das Dashboard ist ein Prototyp.

Kein Ersatz für Review

Automatische Tests und Audits ersetzen keine menschliche Freigabe. Die Einmal-Freigabe ist bewusst nicht delegierbar.

Keine allgemeine Aussage

Fünf Aufgaben sind eine Stichprobe. Aus ihnen folgt keine generelle Zuverlässigkeit – schon gar nicht für andere Modelle oder Aufgabenklassen.

Keine offene Steuerung

Diese Website startet keine Agenten und löst keine Freigaben aus. Sie zeigt ausschließlich aufgezeichnete Ergebnisse.

Rolle

Mein technischer Beitrag

NemoHermes ist von mir entworfen und umgesetzt: Prozess, Freigabemodell, Evidenzschema und Prüfschritte.

Entworfen wurden die Aufgabenverträge (genau eine Zieldatei, eingefrorene Tests, Obergrenzen), das Einmal-Freigabemodell, die Isolation des Kandidaten und das Evidenzschema, das jede Aussage an eine Datei mit Prüfsumme bindet.

Dazu kommen die Fehleranalyse des defekten Akzeptanztests, die Entscheidung, den blockierten Task blockiert zu lassen, und der Nachweis, dass keine Änderung außerhalb der erlaubten Pfade stattgefunden hat.

Technologie

PythonHermes-AufgabensteuerungOpenShell-Isolationdeepseek-flashpytestPowerShell-GateHelm-TemplatesTelegram-FreigabeJSON-Evidenz mit SHA-256

Die Belege liegen im Repository agent-cloud-cluster unter config/nemohermes/. Die Website gibt bewusst keine Rohdaten und keine internen Laufumgebungspfade wieder.