Was du bei uns bewegst
Moderne Tracing-Werkzeuge wie MLFlow bieten eine Vielzahl von Metriken, um die Datenflüsse und Verarbeitungsschritte innerhalb eines KI-Agentensystems, das auf Transformern basiert, darzustellen. Je nach Komplexität des Systems fallen zusätzliche Metriken an, die als Ergänzung dienen, um das Systemverhalten insgesamt darzustellen. Hier setzt deine Abschlussarbeit an: Du unterstützt uns bei der Entwicklung von Best-Practice-Ansätzen, um das Systemverhalten auf Basis effektiver Auswertungen und Systemoptimierungen anhand von Nutzerfeedback zu verbessern. Du analysierst State-of-the-Art-Tracing-Werkzeuge und -Methoden, leitest fundierte Handlungsempfehlungen ab und untermauerst diese mit Best-Practice-Beispielen. Zur Bewertung von Traces nutzt du Metriken, die automatisch generiert werden (z. B. heuristische Metriken oder LLM-as-a-Judge) und optional durch Nutzerfeedback ergänzt werden. Ein zentraler Aspekt ist dabei die systematische Verknüpfung dieser verschiedenen Datenquellen und Bewertungsmethoden.