Frage: Was ist ChatGPT?

Hannes Helmut Nepper Beantwortet am 20 Mai 2025:

Zur Begriffsbestimmung:

Künstliche Intelligenz: bezieht sich auf Computerprogramme und Algorithmen, die menschliche
Fähigkeiten wie Lernen, Problemlösungen und Entscheidungsfindungen nachahmen.

Maschinelles Lernen: ist ein Teilbereich der Künstlichen Intelligenz. Hierbei werden Computermodelle und Algorithmen mit Daten trainiert, um Muster und Trends zu erkennen und Vorhersagen zutreffen, ohne explizit darauf programmiert worden zu sein. Das Computermodell verbessert seineLeistung, indem es aus Erfahrungen lernt und sich den veränderten Bedingungen anpasst.

DeepLearning: ist eine Methode des Maschinellen Lernens, die komplexen,
mehrschichtigen neuronalen Netzwerke verwendet (ähnlich denen im Gehirn), um Datenmuster und Beziehungen zu erkennen.

Funktionsprinzip:

ChatGPT bspw. nutzt sogenannte Deep Learning-Technologien. Das bedeutet, dass das Sprachmodell mit Hilfe großer Mengen an Textdaten lernt, wie Sprache funktioniert. Genauer gesagt analysiert es, wie Wörter (bzw. Wortteile, sogenannte Tokens) in diesen Texten statistisch verteilt sind. Auf dieser Basis kann das Modell neue Sätze und Wörter erzeugen.

Für jedes Wort im Text wird eine Zahlenreihe erstellt – diese nennt man Embeddings. Wörter mit ähnlicher Bedeutung haben ähnliche Embeddings. Je nach Zusammenhang im Satz können aber auch die gleichen Wörter unterschiedliche Embeddings haben, da ihre Bedeutung sich je nach Kontext ändern kann.
Diese Embeddings sind abhängig voneinander und werden im Modell in mehreren Schritten verarbeitet. Dabei spielen sogenannte Encoderschichten eine wichtige Rolle: Sie verfeinern die Bedeutung der Wörter abhängig von ihrer Position im Text. Das Modell berechnet so, welche Wort- oder Silbenkombination wahrscheinlich als nächstes kommt.

Dabei wird für jede mögliche Fortsetzung die Wahrscheinlichkeit geschätzt – mit Hilfe eines mathematischen Verfahrens, das sich logistische Regression nennt. Aus den wahrscheinlichsten Wörtern wird dann zufällig eines ausgewählt. Dieser Prozess ist sehr komplex und die genauen Rechenschritte lassen sich später nicht mehr vollständig nachvollziehen, weil das Modell intern selbst entscheidet, wie es die Wahrscheinlichkeiten gewichtet.

Durch diesen Mechanismus entsteht jedes Mal ein neuer Text, wenn das Modell antwortet. Die Qualität der erzeugten Antworten wird außerdem bewertet – diese Bewertungen helfen dem System, sich weiter zu verbessern und künftig noch bessere Texte zu generieren.

Vertiefend Nepper & Ruch (2023): https://www.researchgate.net/publication/371119688_ChatGPT_Implikationen_fur_den_Technikunterricht