Large Language Models (LLMs) und künstliche Intelligenz
Vor dem Hintergrund der rasant fortschreitenden Entwicklung der Large Language Models (LLMs) möchte Text+ Perspektiven für die Einsatzmöglichkeiten generativer Sprachmodelle, künstlicher Intelligenz und Transformermodelle in der Wissenschaft aufzeigen. Seine umfangreichen Bestände an Sprach- und Textdaten will das Konsortium dafür ebenso gewinnbringend einsetzen wie die leistungsfähigen Rechenzentren in den Reihen seiner Partnerinstitutionen.
Text+ verfolgt das Ziel, Anwendungen und Dienste für wissenschaftliche Communities zu entwickeln, die auf LLMs zurückgreifen. Darüber hinaus wollen die Text+ Zentren ihre Sprach- und Textressourcen qualitativ gezielt für das Training von Sprachmodellen aufbereiten. Modelle (Fine-Tuning vortrainierter Modelle oder Retrieval-Augmented Generation, RAG) für spezifische Aufgaben sollen von Text+ ebenso bereitgestellt werden wie Ressourcen – also Daten und Rechenleistung – für das Fine-Tuning von Modellen durch Forschende. Ferner will Text+ ausloten, wie Material mit (urheber-)rechtlichen Zugangsbeschränkungen in LLMs integriert werden kann, ob und wie LLMs mit abgeleiteten Textformaten trainiert werden können und für welche Forschungsfragen LLMs geeignet sind.
Anwendungsszenarien in Text+
Mit Blick auf die Datendomänen – Editionen, Collections, Lexikalische Ressourcen – zeigen folgende Szenarien das Potential der Anwendung von LLMs für Text+:
- Daten-Preprocessing bspw. mittels Named Entity Recognition (NER): LLMs unterstützen beim Daten-Preprocessing zur späteren Anwendung eines speziell trainierten NER-Modells.
- Generierung von Beispielsätzen bzw. von Kontext: LLMs unterstützen bei der Generierung von Beispielsätze für einen lexikalischen Eintrag, z.B. bei der Anreicherung von Einträgen im lexikalisch-semantischen Wortnetz GermaNet.
- Laufzeitumgebung für NLP-Tools: Klassifikatoren werden in Containern via API bereitgestellt und mit GPU-Nodes zur effektiven Nutzung von Deep Learning-Modellen versehen.
- Query Generation zur Suchunterstützung in der Federated Content Search (FCS) von Text+: Ein LLM-basierter ChatBot unterstützt bei der Exploration der FCS und hilft bei der Übersetzung von natürlichsprachlichen Anfragen in syntaktisch korrekte Suchanfragen für die FCS.
- Entity Linking: Retrieval Augmented Generation (RAG) mit Kontextwissen aus Wikidata, der GND und anderen Quellen. Voraussichtlich zusätzliche Datenbank/Suchmaschine für die Kontexte: Graph-Datenbank (z.B. BlazeGraph) oder ElasticSearch.
- Historische Normalisierungen per seq2seq-Transformer-Modellen: Mit Daten aus historischen Beständen nachtrainierte LLMs passen abweichende Schreibweisen aus verschiedenen Epochen an (ggf. auch als Webservice).
- MONAPipe, APIs für Komponenten: neuronale Modelle (z.B. Redewiedergabe, Ereigniserkennung) werden als API zur Verfügung gestellt.
Generelle Anwendungsszenarien
Im Folgenden sind einige Anwendungsfälle skizziert, die zeigen, wie LLMs generell in den text- und sprachbasierten Geisteswissenschaften als leistungsstarke Werkzeuge eingesetzt werden können.