LLM-Service

Der Text+ LLM Service ermöglicht Forschenden den Einsatz von Large Language Models (LLMs) für die Arbeit mit text- und sprachbasierten Forschungsdaten. Der von der GWDG betriebene Dienst stellt Open-Source-Sprachmodelle innerhalb der Text+-Forschungsinfrastruktur bereit und unterstützt KI-gestützte Exploration, Analyse und Recherche von Forschungsdaten, während diese in einer vertrauenswürdigen wissenschaftlichen Umgebung verbleiben.

Die GWDG stellt derzeit die Open-Source-Sprachmodelle LLaMA (Meta), Mixtral, Qwen und Codestral bereit. Der Dienst unterstützt die Entwicklung und Erprobung KI-gestützter Forschungsanwendungen und schafft die Grundlage für die Integration von Sprachmodellen in Text+-Dienste und Forschungsworkflows.

Eine der ersten Anwendungen des LLM Service ist der Text+ AI Assistant, der einen natürlichsprachigen Zugang zu den über Text+ verfügbaren lexikalischen Ressourcen ermöglicht. Anstatt die formale Abfragesprache LexCQL zu erlernen, können Forschende ihre Anfragen in natürlicher Sprache formulieren, beispielsweise „Was ist das Gegenteil von süß?“ oder „Suche nach dem Wort ‚Lauf‘ als Substantiv.“ Der Assistant übersetzt diese Anfragen automatisch in gültige LexCQL-Abfragen und durchsucht die verfügbaren lexikalischen Ressourcen über die Federated Content Search (FCS).

Der LLM Service verbindet die Flexibilität großer Sprachmodelle mit zuverlässigen Softwarekomponenten, um transparente und reproduzierbare Ergebnisse sicherzustellen. Anstatt KI-generierte Suchanfragen direkt an die Suchinfrastruktur weiterzugeben, werden diese zunächst auf korrekte Syntax geprüft und daraufhin kontrolliert, ob die angeforderten Suchfunktionen von den ausgewählten Ressourcen unterstützt werden. Nicht unterstützte Abfrageelemente werden, soweit möglich, automatisch angepasst, bevor die Suche ausgeführt wird. Dadurch profitieren Forschende von KI-gestützter Suche, ohne die Kompatibilität mit der zugrunde liegenden Forschungsinfrastruktur zu verlieren.

Der Dienst unterstützt mehrsprachige Nutzeranfragen und liefert evidenzbasierte Antworten zusammen mit den erzeugten Suchanfragen und verlinkten Quellenangaben. Dadurch können Forschende nachvollziehen, wie die Ergebnisse zustande gekommen sind. Indem der Zugang zu komplexen lexikalischen Ressourcen erleichtert wird, macht der LLM Service fortgeschrittene Suchfunktionen einer breiteren Forschungsgemeinschaft zugänglich und bildet zugleich die Grundlage für zukünftige KI-gestützte Dienste innerhalb von Text+.

Über die natürlichsprachige Suche hinaus bietet der LLM Service eine Plattform für die Entwicklung und Erprobung KI-gestützter Forschungsanwendungen innerhalb der Text+-Infrastruktur. Der Text+ AI Assistant unterstützt außerdem Retrieval-Augmented Generation (RAG) und ermöglicht es Forschenden, Informationen aus ihren eigenen Dokumenten mithilfe großer Sprachmodelle zu durchsuchen und zu extrahieren.