Was istein LLM?
Das große Sprachmodell hinter ChatGPT, Copilot und Co., ohne Fachchinesisch.
Direkt zur Anfrage
Sprechen wir über Ihr Projekt.
Erst prüfen wir, ob das Vorhaben zu Ihrem Geschäftsmodell passt. Dann folgt ein Vorschlag mit Phasen und Aufwand.
KI im Unternehmen besprechen oder anrufen: +49 151 1576 5566Ein LLM, ausgeschrieben Large Language Model, ist ein großes Sprachmodell: ein KI-Modell, das Text versteht und selbst Text schreibt. Wer mit einem Chatbot tippt, redet im Grunde mit so einem Modell. Gesucht wird der Begriff übrigens auch als LLM Abkürzung KI.
- Was nicht in den Trainingsdaten stand, kennt das Modell nicht.
- Lücken füllt es gern mit Sätzen, die gut klingen und trotzdem falsch sind.
- Ihr Firmenwissen bekommt es über RAG oder Fine-Tuning.
- Bezahlt wird nach Token, nicht nach Anfragen.
Was weiß ein LLM, und wo stößt es in Ihrem Betrieb an Grenzen?
Man stellt sich so ein Modell leicht als riesiges Lexikon vor, ganz falsch ist das nicht. Nur kommt es an sein Wissen schlecht gezielt heran, kann nicht sagen, woher eine Aussage stammt, und lässt sich kaum auf neuen Stand bringen. Ihre Stückliste vom letzten Quartal hat es nie gesehen. Fragt der Kollege aus dem Einkauf trotzdem danach, muss das Modell entweder passen oder es reimt sich etwas zusammen (im Fachjargon heißt das Halluzination), und Letzteres passiert öfter, als einem lieb ist.
Wofür taugt es dann im Betrieb? Einen langen Mailverlauf dampft es in Sekunden auf das Wesentliche ein. Sobald es aber um Fakten aus Ihrem Haus geht, braucht es Unterlagen, auf die es sich stützt, und jemanden, der draufschaut, bevor etwas rausgeht.
Wie bringen Sie Ihr eigenes Wissen in ein LLM, und was kostet der Betrieb?
Zwei Wege gibt es. Bei RAG kramt ein vorgeschaltetes Programm vor jeder Antwort die passenden Absätze aus Ihren Unterlagen und legt sie dem Modell hin, das dabei selbst unverändert bleibt. Beim Fine-Tuning trainiert man das Modell dagegen mit eigenen Daten nach. Ein Team von Microsoft hat beides verglichen, vorgestellt auf der EMNLP 2024, und beim reinen Faktenwissen lag RAG durchweg vorn; das Nachtrainieren spielt seine Stärken eher bei Tonfall und Fachsprache aus.
Und was kostet der Spaß? Abgerechnet wird in Token, Eingabe und Antwort getrennt, wobei die Antwort ein Vielfaches kostet. Wir rechnen deshalb lieber mit dem Preis je erledigtem Vorgang, also je Angebot oder je Ticket, statt mit dem Preis je Million Token. Und wer seine Daten gar nicht in die Cloud geben mag, kann ein offenes Modell auch auf eigener Hardware rechnen lassen.
Häufige Fragen
Was ist der Unterschied zwischen einem LLM und RAG?
Das LLM schreibt. RAG ist das Drumherum, das ihm vorher ein paar passende Textstellen hinlegt, damit es nicht bloß aus dem Gedächtnis plaudert.
Was ist ein Token?
Ein Schnipsel Text, mit dem Sprachmodelle rechnen, grob ein Dreiviertelwort. Wie viele Token ein Satz ergibt, ist von Modell zu Modell verschieden.
Kann ein LLM auf dem eigenen Server laufen?
Ja, sofern es ein offenes Modell ist, dessen Gewichte veröffentlicht sind. Die nötige Hardware hängt an der Modellgröße.
Begriffe, die Sie im selben Zusammenhang kennen sollten
RAG (Retrieval Augmented Generation) · Halluzination (KI) · Fine-Tuning · Lokale KI · KI-Assistent · Zum KI-Glossar A-Z
Ein Sprachmodell schreibt gut, aber was es über Ihren Betrieb wissen soll, müssen Sie ihm mitgeben.