Trends & neue Technologien (KI o.a.)Der Weg zum autarken AI-Chatbot: Ein Praxisbericht
Abstract
Wed 15:35 - 16:20 Uhr | 2024
Wir haben einen Smart-Wiki Chatbot entwickelt, mit einer klaren Prämisse: Alles läuft lokal!
Im Zuge der Entwicklung dieser Anwendung stießen wir auf zahlreiche Herausforderungen, unter anderem:
- Performantes Deployment von Open Source LLMs: Wie viel Hardware benötigt man für wie viele Nutzer?
- Modellauswahl: Wie identifiziert man das passende LLM für seine Bedürfnisse?
- Evaluierung: Ist die Bewertung einer lokalen KI-Anwendung mit lokal betriebenen LLMs machbar?
- Testing: Wie können bewährte Praktiken aus der Softwareentwicklung auf KI-Anwendungen angewandt werden?
- RAG Optimierung: Welche Optimierungsmaßnahmen bringen einen echten Mehrwert und welche können vernachlässigt werden?
In unserem Vortrag zeichnen wir diese Reise nach und teilen unser Wissen.
Dr. Anja Kleebaum ist eine begeisterte Agile Softwareentwicklerin mit einer Promotion im Bereich Software-Engineering von der Universität Heidelberg. Ihre Dissertation fokussierte sich auf Methoden und Tools für Entscheidungsmanagement in agiler Softwareentwicklung. Sie legt großen Wert auf die Qualität der Software-Engineering-Artefakte und fördert den Wissensaustausch im Team, um die langfristige Nutzung und Entwicklung von Software zu gewährleisten. Seit Beginn des internen KI-Projekts hat sie eine zentrale Rolle und trägt mit ihrem Fachwissen entscheidend zur Entwicklung bei.
Steve Haupt arbeitet seit sechs Jahren als agiler Softwareentwickler bei andrena objects. Er betrachtet Softwareentwicklung als Handwerk, das über einen längeren Zeitraum erlernt und geübt werden muss. Qualität ist für ihn der zentrale Grundstein in diesem Handwerk.
Besonders fasziniert ist Steve von den aktuellen Entwicklungen im Bereich der künstlichen Intelligenz und reflektiert intensiv über die Implikationen dieser Technologien für das Handwerk der Softwareentwicklung. In den letzten Monaten hielt Steve viele Vorträge zu dem Thema und entwickelte gemeinsam mit Kollegen eine eintägige KI-Schulung für Softwareentwickler.