Das Problem des „katastrophalen Vergessens“: KI ohne Suche ist wie ein Experte ohne Internet

Große Sprachmodelle stehen vor einem architektonischen Problem, das die Branche noch nicht vollständig gelöst hat: Ist das Modell einmal trainiert, ist sein Wissen praktisch festgelegt, und jeder Versuch, es zu aktualisieren, birgt das Risiko des sogenannten „katastrophalen Vergessens“.

Was ist katastrophales Vergessen?

Eine im Januar 2026 veröffentlichte Studie analysierte detailliert die Mechanismen dieses Phänomens in Transformer-Modellen während sequenziellen Lernens. Die Autoren identifizierten drei Schlüsselprozesse: Gradienteninterferenz in den Aufmerksamkeitsgewichten, Repräsentationsdrift in Zwischenschichten und Glättung der Verlustlandschaft. Etwa 15–23 % der Aufmerksamkeitszentren sind stark beeinträchtigt, insbesondere in den unteren Schichten des Netzwerks. Auffällig ist, dass das Vergessen am stärksten ausgeprägt ist, wenn neue Aufgaben zuvor gelernten Aufgaben ähneln.

Eine parallel durchgeführte Studie aus demselben Zeitraum zeigte, dass selbst gradientenfreie Methoden – insbesondere evolutionäre Strategien – den Verlust zuvor erworbener Fähigkeiten nicht verhindern können. Solche Methoden erzielen vergleichbare Ergebnisse bei mathematischen und logischen Schlussfolgerungsproblemen, führen aber zu größeren Veränderungen der Modellgewichte, was bedeutet, dass sie einen stärkeren Einfluss auf zuvor erworbenes Wissen haben.

Das Kernproblem besteht darin, dass das Modell mit Wahrscheinlichkeiten und nicht mit Fakten arbeitet. Ohne Zugriff auf relevante externe Daten reproduziert es das, was es während des Trainings gelernt hat, und halluziniert oft, wenn es nach Ereignissen gefragt wird, die nach Abschluss des Trainings eingetreten sind.

Suche als Infrastrukturvorteil

Der gängigste Ansatz ist heute die Retrieval-basierte Generierung (RAG): Das Modell wird nicht neu trainiert, sondern greift während der Generierung der Antwort auf externe Quellen zu. Dadurch kann es auf aktuelle Daten zurückgreifen, ohne die Gewichtung des Netzwerks zu beeinflussen oder Vergessen zu verursachen. Die Implementierung der Retrieval-basierten Generierung auf hohem Niveau ist jedoch hauptsächlich für Unternehmen möglich, die bereits über eine eigene Suchinfrastruktur verfügen.

Microsoft integriert Bing direkt in Copilot: Das System generiert zusammenfassende Antworten mit Quellenangaben und schlägt weitere Recherchen vor. Google verbindet seine Suchmaschine mit Gemini und ermöglicht dem Modell so den Zugriff auf relevante Informationen in Echtzeit. Yandex implementiert eine ähnliche Logik durch die Integration von YandexGPT in Suchmaschinen: In Version 5.1 Pro sank der Anteil falscher Antworten im Vergleich zur Vorgängerversion von 30 % auf 16 %. Die Yandex Cloud Search API ermöglicht zudem die Kombination von Suchfunktionen mit generativen Antworten auf Basis von YandexGPT, um ein einzelnes Ergebnis für die Suchanfrage eines Nutzers zu generieren.

Unternehmen ohne eigene Suchmaschine befinden sich in einer grundlegend anderen Situation: Sie müssen entweder auf Drittanbieterlösungen zurückgreifen oder eine Suchinfrastruktur von Grund auf neu aufbauen, einschließlich Systemen zur Erfassung und Indexierung von Internetdaten. Dies ist nicht nur eine technologische Herausforderung; die Suche erfordert jahrelange Arbeit an Datenqualität, Ranking und Filterung der Ergebnisse. Einen solchen Vorsprung schnell zu replizieren, ist extrem schwierig. Pavel Golosov, Direktor des Instituts für Sozialwissenschaften an der RANEPA, merkt dazu an: „Unter den russischen Unternehmen mit eigener Suchmaschine zählt Yandex dank seiner Kombination aus ausgefeilter Suche, fundiertem Verständnis des russischsprachigen Umfelds und der Fähigkeit, diesen Vorteil in KI-Dienste zu integrieren, zu den stärksten Anbietern.“

Wissenschaftler suchen nach einer Lösung

Bereits 2023 wurde das Auftreten von katastrophalem Vergessen bei der sequenziellen Modelloptimierung empirisch bestätigt – diese Arbeit prägte maßgeblich die nachfolgende Forschung. 2026 wurden Strategien zur teilweisen Abschwächung des Problems entwickelt – O-LoRA, CLAIM und Nested Learning von Google Research –, doch die grundlegende architektonische Einschränkung bleibt Gegenstand intensiver wissenschaftlicher Untersuchungen.

Vor diesem Hintergrund wird das Kräfteverhältnis in der Branche immer deutlicher: Unternehmen mit einer ausgereiften Suchinfrastruktur genießen einen strukturellen Vorteil, der sich allein durch Verbesserungen der Modellarchitektur nur schwer ausgleichen lässt. Suchbasierte Generierung und Integration sind keine temporäre Lösung mehr, sondern ein Schlüsselelement für die Wettbewerbsfähigkeit von KI-Produkten. Solange die Forschung das Vergessensproblem auf Modellebene nicht löst, bleibt der Zugang zu qualitativ hochwertiger Suche einer der entscheidenden Faktoren dafür, wessen KI-Dienste präziser und zuverlässiger sind.

Meinung der KI

Aus neurobiologischer Sicht erinnert das Problem des „katastrophalen Vergessens“ an die Lösung eines ähnlichen Problems durch eine grundlegend andere Architektur – Gedächtnis und Informationsverarbeitung sind physisch in einem einzigen Neuron vereint. Wie eine Abhandlung über das Wesen der Intelligenz feststellt, verfestigen sich die Gewichtungskoeffizienten moderner Modelle nach dem Training, und das System lernt nicht wie der Mensch aus neuen Erfahrungen. Diese architektonische Diskrepanz ist weit mehr als ein einfacher technischer Fehler: Sie deutet darauf hin, dass Transformer ursprünglich nicht als Systeme für kontinuierliches Lernen konzipiert wurden. RAG ist ein eleganter Workaround, aber keine Lösung. Die eigentliche Frage lautet: Ist es überhaupt möglich, ein Modell zu entwickeln, das neue Informationen „speichert“, ohne alte zu „vergessen“ – oder müssen wir die Lernarchitektur selbst von Grund auf neu denken?