AI Harness Engineering

🇩🇪 Die Talks werden auf Deutsch gehalten.

👉 Ein Coding Agent schreibt in wenigen Stunden mehr Code, als ein Team an einem Tag reviewen kann – der Engpass verschiebt sich vom Schreiben zum Reviewen. Wir bauen eine Harness aus Guides und Sensors, die das auffängt und dabei die Codequalität erhöht: von der ersten CLAUDE.md bis zum Architektur-Test, den der Agent selbst korrigiert.

👉 Kennst du deine Anwendung schon zu gut, um noch zu sehen, wie Neulinge sie erleben? **Christoph Muth** zeigt im Lightning Talk, wie ein KI-Agent mit Playwright MCP als Kunde eure Anwendung eigenständig erkundet, hinterfragt und bewertet.

🗓 Agenda
17.45 Uhr Ankommen
18.00 Uhr Begrüßung
18:05 Uhr Lightning Talk: KI als Kunde – Automatisierte UX-Audits
18:20 Uhr Harness Engineering Basics: Leitplanken für Coding Agents von Grund auf bauen
19:00 Uhr Offener Austausch (Netzwerken & Fingerfood)

📣 Lightning Talk: KI als Kunde – Automatisierte UX-Audits (Christoph Muth)
Du bist schon länger im Projekt und kennst deine Anwendung in- und auswendig? Dann fällt es dir vermutlich schwer, nachzuvollziehen, wie sich Nutzer fühlen, die sie zum ersten Mal bedienen. Was wäre, wenn wir KI nicht nur Code schreiben lassen, sondern sie als unerbittlichen Kunden auf unsere digitalen Produkte loslassen?
In diesem Lightning Talk zeige ich, wie wir mithilfe von Playwright MCP einen KI-Agenten bauen, der unsere Anwendung eigenständig erkundet, hinterfragt und bewertet.

📣 Harness Engineering Basics: Leitplanken für Coding Agents von Grund auf bauen (Benjamin Font Pera)
Ein Coding Agent schreibt in wenigen Stunden mehr Code, als ein Team an einem Tag reviewen kann. Damit verschiebt sich der Engpass der Softwareentwicklung. Nicht mehr das Schreiben von Code ist das Problem, sondern die Frage, ob das Ergebnis unseren Qualitätsansprüchen genügt. Wer alles selbst reviewt, wird zum Nadelöhr und bremst die Produktivität aus, die Agents erst ermöglichen.

Die Antwort darauf heißt Harness Engineering: das System aus Regeln, Specs, Tests und Review-Mechanismen, das wir um den Agenten herum bauen. Denn ein Agent ist mehr als ein Modell: Agent = Model + Harness + User Harness.

In diesem Talk bauen wir eine solche Harness von Grund auf. Wir sortieren die Mechanismen entlang zweier Achsen. Guides steuern den Agenten proaktiv vor der Generierung, Sensors prüfen sein Ergebnis reaktiv danach, deterministisch wo es geht, semantisch wo es nötig ist. An konkreten Beispielen aus Kundenprojekten zeige ich, was am Anfang den größten Hebel bringt: von der ersten CLAUDE.md über Gherkin-Szenarien als ausführbare Fachlichkeit bis zum Architektur-Test, dessen Fehlermeldung der Agent direkt als Korrekturanweisung liest und sich selbst korrigiert.

Ziel ist ein System, das Fehler des Agenten nutzt, um die Harness Schritt für Schritt zu verbessern. Nach dem Talk habt ihr eine konkrete Idee, wie eure erste Basic-Harness aussieht, und damit die Grundlage, um in der agentischen Code-Entwicklung mehr Vertrauen in autonom laufende Agenten zu haben.