Fundstellen statt Vertrauen

Warum ein falscher Satz genauso aussieht wie ein richtiger

Ein Sprachmodell ruft kein Wissen ab. Es setzt Sprache fort.

Das ist keine Kritik, sondern die Beschreibung seiner Funktionsweise, und daraus folgt die Eigenschaft, die in einem betrieblichen Umfeld gefährlich ist: Ein erfundener Satz ist grammatisch korrekt, stilistisch passend und inhaltlich plausibel. Er trägt dieselben Merkmale wie ein richtiger. Es gibt im Text selbst kein Signal, an dem sich beides unterscheiden ließe.

Menschen erkennen falsche Auskünfte sonst an Nebensignalen: Zögern, Unsicherheit, ein Verweis auf jemand anderen. Ein Modell hat diese Signale nicht. Es antwortet auf eine Frage, deren Antwort in keinem Dokument steht, mit derselben Flüssigkeit wie auf eine, deren Antwort dort steht.

Das ist der Grund, warum „Wir prüfen die Antworten stichprobenartig" als Verfahren nicht trägt. Die Stichprobe erkennt den Fehler nicht, wenn sie ihn nicht ohnehin schon kennt.

Was eine Fundstelle ändert

Sie verlagert die Prüfung vom Text auf die Quelle.

Eine Antwort mit rahmenvertrag-2024.pdf, § 7 Abs. 2, S. 14 lässt sich in zwei Klicks prüfen. Wer sie prüfen will, liest die Stelle und sieht, ob dort steht, was die Antwort behauptet. Das dauert eine Minute und ist eine andere Tätigkeit als „einschätzen, ob das plausibel klingt".

Drei Eigenschaften machen eine Fundstelle brauchbar:

Sie ist genau. Datei, Fassung, Abschnitt, Seite. „Laut internen Dokumenten" ist keine Fundstelle, sondern eine Behauptung mit Bezug.

Sie ist erreichbar. Ein Klick öffnet die Stelle. Eine Fundstelle, die nur ein Dateiname ist und in einem Laufwerk gesucht werden muss, wird nicht geprüft. Der Aufwand ist zu hoch, und damit ist sie wirkungslos.

Sie ist die tatsächliche Grundlage. Nicht ein nachträglich gesuchtes Dokument, das zum Ergebnis passt, sondern die Abschnitte, die das Modell gesehen hat. Der Unterschied ist von außen nicht sichtbar und in der Bauart entscheidend.

Was Fundstellen nicht leisten

Ein Modell kann aus richtigen Abschnitten einen falschen Schluss ziehen. Es kann zwei Abschnitte verbinden, die nicht zusammengehören. Es kann eine Einschränkung übersehen, die drei Absätze weiter steht.

Retrieval verhindert das nicht. Was es verhindert, ist die unbemerkte Version davon: Der Schluss steht mit seiner Grundlage daneben, und wer beides liest, sieht die Lücke. Ohne Fundstelle sieht sie niemand.

Das ist eine bescheidenere Zusage als „das System liegt nicht daneben", und sie ist die einzige, die sich halten lässt.

Die drei Filter vor dem Modell

Damit eine Fundstelle etwas wert ist, muss das, worauf sie zeigt, gelten dürfen. Drei Filter stehen deshalb zwischen Suche und Modell.

Gültigkeit. Ein ersetztes Dokument darf nicht mehr zitiert werden, auch wenn es noch im Bestand liegt. Ein Bedingungswerk für Verträge ab 2019 darf bei einem Vertrag von 2016 nicht als Grundlage dienen.

Berechtigung. Was der Fragende nicht öffnen darf, darf ihm auch nicht zitiert werden. Geprüft bei jeder Anfrage gegen das Verzeichnis, nicht beim Indexieren.

Relevanz. Was zu weit von der Frage entfernt liegt, geht gar nicht erst mit. Ein Modell, das zwanzig mäßig passende Abschnitte bekommt, formuliert daraus eher etwas Falsches als eines, das sechs gute bekommt.

Das ehrliche Nichtwissen

Der wichtigste Satz, den ein System sagen können muss, lautet: „Dazu liegt im Bestand nichts vor."

Er ist keine Eigenschaft des Modells, sondern eine Bauentscheidung. Ohne sie formuliert das Modell aus seinem Allgemeinwissen weiter, und liefert genau dann eine Auskunft, wenn niemand sie prüfen kann, weil es keine Fundstelle dazu gibt.

Diese Eigenschaft wird gegen die Fragemenge geprüft. In jeder Fragemenge stehen deshalb Fragen, die der Bestand nicht beantwortet, und die richtige Antwort darauf ist ein Nein.

Woran man ein System erkennt, das die Prüfung ernst meint

Vier Merkmale, und sie lassen sich in einer Demo abfragen.

Es zeigt die Fundstelle vor der Antwort, nicht danach. Wo die Quelle in einem aufklappbaren Bereich unter dem Text versteckt ist, ist sie Beiwerk.

Es sagt Nein. Fragen Sie in der Demo etwas, das im mitgebrachten Bestand nicht steht. Ein System, das darauf trotzdem antwortet, wird es auch im Betrieb tun.

Es zeigt, was es nicht sehen durfte. Eine Quelle, die wegen fehlender Berechtigung weggefallen ist, steht als Verweigerung im Protokoll. Eine Lücke ohne Eintrag ist von einem Fehler nicht zu unterscheiden.

Es nennt die Fassung. Ein System, das ein Dokument zitiert, ohne zu sagen, welche Fassung, hat den Gültigkeitsfilter nicht.

Warum das mehr ist als eine Funktion

Ein System, dessen Auskünfte niemand prüfen kann, wird entweder blind geglaubt oder gar nicht benutzt. Beides ist teuer, und das zweite ist der Regelfall: Nach drei Wochen benutzt es niemand mehr, weil niemand die Verantwortung für eine Auskunft übernehmen will, die er nicht nachvollziehen kann.

Fundstellen lösen kein technisches Problem. Sie lösen ein Verantwortungsproblem, und das ist der Grund, warum sie hier keine Option sind.