Was ist Generative AI?

Der Artikel legte den Grundstein für viele der heutigen bekannten und häufig genutzten Generative AIs: Der Chatbot ChatGPT basiert auf dem General Pre-Trained Transformer GPT, der 2018 in seiner ersten Version GPT-1 erschien und den es in der bisher leistungsfähigsten Version 4o (bzw. Turbo) gibt.

Generative AI (GPT ist bei weitem nicht die einzige) zeichnen sich dadurch aus, dass sie in der Lage sind, Strukturen und Muster in Daten zu erkennen und aus ihnen auf Befehl (bei Nutzereingaben auch „Prompt“ genannt) sinnvolle und völlig neue Daten zu erzeugen (Bilder, Töne, Sprache usw.), die so nicht in den Ursprungsdaten vorkommen. Dabei hängt die Form der neu erzeugten Daten von den Trainingsdaten ab, mit denen die KI vorher trainiert wurde – KIs, die mit Texten trainiert wurden, erzeugen als Output Text (es gibt Ansätze, die dies aufbrechen, dazu später mehr), KIs, die mit medizinischen Texten trainiert wurden, können medizinische Texte sinnvoll kreieren.

Wenngleich Transformer die bisher erfolgreichste Kategorie an LLMs sind, sind sie nicht die einzigen und nicht die ersten. Neben Transformern gibt es auch noch andere Generative AI-Ansätze:

• Diffusion Models: Diese Technologie kann sehr gut Bilder und Videos aus Prompts erzeugen, bekannteste Modelle sind hier Midjourney oder Stable Diffusion. Auch DALL-E nutzt zur Bilderzeugung Diffusion, aber in Kombination mit Transformern (ChatGPT)
• Generative Adversarial Networks: Auch GAN abgekürzt, sind sie älter als Transformer und weniger universal einsetzbar. Sie sind dort gut, wo Variationen von bestehenden Medien (Bilder, Töne, Text) erzeugt werden sollen. Ein Beispiel dafür sind die vor einigen Jahren beliebten Smartphone-Apps, bei denen man das eigene Bild aufnehmen kann und die KI erzeugt Varianten, wie man in 20 oder 30 Jahren aussieht. Sie sind weniger gut geeignet völlig neue Bilder aus dem Nichts zu erzeugen.
• Variational Autoencoders (VAEs): Ähnlich wie GAN sind auch VAEs gut darin, aus Ausgangsdaten Varianten zu erzeugen. Sie können Texte, Bilder, Töne oder andere Datenformen aus bestehenden Datensätzen neu erschaffen. Sie können aber nicht nur für die Erzeugung von neuartigem Material eingesetzt werden. So forscht Spotify an VAEs, um seine Recommendation-Algorithmen zu verbessern.
• Language Models: Die Überkategorie zu LLMs: Nicht jedes Language Model muss Large sein. Kleine Modelle können für Spezialzwecke trainiert werden, zum Beispiel zur Spracherkennung, Übersetzung, Handschrifterkennung, Grammatikkorrektur usw. Es gibt verschiedene Technologien innerhalb der Language Models, Transformer gehören dazu.
• Flow Models: Sie können sehr gut komplexe, große Ursprungsdaten modellieren, das heißt aus einer Reihe an Inputs eine Reihe an ähnlichen Outputs generieren (zum Beispiel interpolieren). Sie sind nicht gut darin, Daten in völlig neue Zusammenhänge zu bringen.
• Neural Radiance Fields (NeRF): Mit dieser Technologie lassen sich 3D-Ansichten aus 2D-Daten
• Multimodal Models: Diese kombinieren verschiedene Ansätze von Generative AI, zum Beispiel Text und Bild (zum Beispiel GPT4)

Foundation Models

Large Language Models wie GPT werden auch als Foundation Models bezeichnet. Während viele KI bisher vor allem Spezialanwendungen waren und für einen ganz bestimmten Zweck programmiert und entwickelt werden, sind Modelle wie GPT ohne einen bestimmten Einsatzzweck trainiert – sie können im Gegenteil als Basis oder Fundament dienen, um daraus spezialisierte KI zu erschaffen. Sie sind damit eine Umkehr der bisherigen Art, KIs zu programmieren.

Das hat viele Vorteile: Kleinere KI-Modelle sind oft arbeitsaufwendig im Training, da Daten im Vorfeld von Menschen sortiert, geordnet und gelabelt werden müssen. Foundation Models lernen eigenständig aus riesigen Mengen an selektierten aber unsortierten Trainingsdaten und können im Nachhinein vom Menschen (oder Computern) auf spezielle Aufgaben feingetunt werden (zum Beispiel: reinforcement learning from human feedback – RLHF), ein Prozess, der oft weniger Zeit beansprucht. Außerdem wird die enorme Rechenpower, die zum Trainieren einer KI oft nötig ist, an das Foundation Model ausgelagert – was denen zunutze kommt, die nachher auf das Foundation Model aufbauen wollen. Denn der Betrieb eines Foundation Models braucht weitaus weniger Ressourcen. Aus diesem Grund existieren auch sogenannte lokale LLMs – downloadbare, vortrainierte Versionen (zum Beispiel Llama vom Meta-Konzern), die ohne Cloudanschluss funktionieren.

OpenAI (der Macher von ChatGPT) hat etwa einen eigenen Store eröffnet, der es ermöglicht, auf für bestimmte Zwecke trainierte Versionen von ChatGPT von anderen Softwareunternehmen zuzugreifen. Beispiele: PerplexityAI ist eine Version, die nicht nur Text ausgibt, sondern auch die Internet-Quellen in Form von Links darstellt, die zur Eingabe passen. So können Nutzer:innen gleich die Ergebnisse überprüfen oder in die weitere Recherche einsteigen.

Foundation Models zeichnen sich durch einen enormen Umfang aus, der es überhaupt erst ermöglicht, dass sie als Basis für alle möglichen Anwendungen dienen können. So nutzt GPT-4 mehr als 100 Billionen Parameter, die seine Funktion definieren. Ein Parameter ist dabei ein Wert, der aufgrund der Trainingsdaten festgelegt wird und Teil des gesamten neuronalen Netzes ist, auf dem das Modell basiert. Dieser Parameter lernt aus einem noch viel größeren Trainingsdatensatz (in neuesten Modellen weit über 100 Terabyte).

Wie funktioniert eine Generative AI?

Jede KI im Bereich des Machine Learning nutzt den Ansatz „Lernen aus Daten“. Aus einem großen Set an Daten (Bilder, Texte, Audio …) lernt die KI Muster zu abstrahieren, die das generelle Konzept eines Datenpunkts repräsentieren.

Das ist ähnlich wie bei uns Menschen: Auch wir haben abstrakte Konzepte von Dingen im Kopf und ordnen echte Erfahrungen diesen zu. Wir können einen Hund erkennen, weil wir wissen, was einen Hund ausmacht, nicht, weil es irgendwo auf der Welt den „Musterhund“ gibt, der das maximale Maß an „Hundigkeit“ besitzt und von dem aus wir alle Hundevarianten ableiten. Dieses Konzept wird in der KI auch als der „Latent Space“ bezeichnet. Er bezeichnet den Raum aller möglichen, naheliegenden Varianten, aus denen Ergebnisse konstruiert werden können. (Während der eine bei „Hund“ an „Lassie“ oder der Nächste an „Rex“ oder Nachbars „Fifi“ denkt, wird den wenigsten einfallen, dass Loren in Bergbauminen auch als Hund oder Hunt bezeichnet werden).

Hat die KI einmal diese Muster abstrahiert und gelernt, kann sie diese sehr schnell replizieren, weil alle nötigen Verbindungen schon da sind, wie in einem menschlichen Gehirn die Verknüpfung der Neuronen. Das Trainieren der KI ist arbeits- und rechenintensiv, ihr Betrieb selbst nicht mehr so sehr (auch wenn hier die KI von leistungsfähigeren Systemen trotzdem noch enorm profitiert).

Wie die generative KI genau funktioniert, schauen wir uns am Beispiel eines Transformers an, weil dieses Modell das aktuell wichtigste und leistungsfähigste bei Sprachverarbeitung ist.