Ein Large Language Model berechnet, welche Wörter oder Wortteile (Tokens) in einem Zusammenhang am wahrscheinlichsten folgen. Durch das Training mit Büchern, Websites und anderen Texten lernt es Grammatik, Fakten, Stil und Zusammenhänge. Die meisten heutigen LLMs beruhen auf der Transformer-Architektur, die 2017 im Fachartikel „Attention Is All You Need“ vorgestellt wurde. Bekannte Modellfamilien stammen etwa von OpenAI (GPT), Anthropic (Claude), Google (Gemini), Meta (Llama) und dem französischen Unternehmen Mistral AI.
LLMs können Texte schreiben, zusammenfassen, übersetzen, klassifizieren und Fragen beantworten. Sie haben aber kein eingebautes Wissen über einen bestimmten Betrieb und kennen Ereignisse nach ihrem Trainingsstand nur, wenn man ihnen aktuelle Informationen mitgibt. Außerdem können sie überzeugend klingende, aber falsche Aussagen erzeugen, sogenannte Halluzinationen. In Anwendungen für KMU wird ein LLM deshalb meist mit eigenen Daten verbunden, etwa über Retrieval-Augmented Generation, und mit klaren Anweisungen (Prompts) gesteuert.
Die EU-KI-Verordnung regelt große Sprachmodelle als „KI-Modelle mit allgemeinem Verwendungszweck“; für deren Anbieter gelten seit 2. August 2025 eigene Pflichten. Ein Betrieb, der ein LLM über ein fertiges Produkt nutzt, ist davon meist nicht direkt betroffen, sondern hat die Pflichten eines Betreibers, etwa zur KI-Kompetenz. Für den Datenschutz ist entscheidend, wo das Modell betrieben wird und ob eingegebene Daten zum Training verwendet werden. Das regeln die Vertrags- und Datenschutzbedingungen des jeweiligen Anbieters.
