Diese fünf Fälle kommen aus der Testsuite des Zahlenfilters, der über jede Analyseantwort läuft. Sie sind keine Illustrationen. Die Fälle 1, 2 und 4 sind Testsätze im Wortlaut, Fall 3 ist gekürzt, und Fall 5 fasst mehrere in einer Zeile zusammen. Zusammen sind sie die klarste Beschreibung dessen, was der Filter tut, die wir geben können.
Jeder Fall zeigt den Satz, den das Modell geschrieben hat, und den Satz, den der Leser sehen darf.
Fall 1: eine gerundete Zahl
Das Modell schrieb: Rund 800.000 DKK, verteilt auf 4 Benutzer.
Sie sehen: Rund … DKK, verteilt auf … Benutzer.
Die Buchhaltung gab 812.400 zurück, verteilt auf 3 Benutzer. Keine der beiden Zahlen im Satz kommt in den Zeilen vor, also überlebt keine von beiden.
Dieser Fall ist der Grund, warum es den Filter gibt. Der Satz ist keine Lüge. Er ist eine Zusammenfassung, und er ist die Art Zusammenfassung, die ein hilfsbereiter Assistent schreibt. Er liegt außerdem bei der Benutzerzahl falsch, und niemand, der ihn liest, würde das nachprüfen. Eine Zahl, die gerundet, geglättet oder falsch wiedergegeben wurde, ist nicht die Zahl, die zurückkam.
Fall 2: eine belegte Zahl
Das Modell schrieb: Der Umsatz betrug 812.400 DKK, ein Anteil von 12,3 % an 3.901 Zeilen.
Sie sehen: Der Umsatz betrug 812.400 DKK, ein Anteil von 12,3 % an 3.901 Zeilen.
Jede Zahl kommt in den Zeilen vor, die die Abfrage zurückgegeben hat, in einem der Formate, in denen diese Zeilen geschrieben werden können. Der Satz geht unverändert durch.
Zahlenformate unterscheiden sich zwischen Deutsch, Dänisch, Englisch und Spanisch. Ein Filter, der nur eines davon erkennt, entfernt richtige Zahlen, und das erzieht die Leute dazu, die Entfernung zu übersehen. Der Umgang mit Formaten ist hier keine Kleinigkeit. Er ist der Unterschied zwischen einem Filter, dem Menschen vertrauen, und einem Filter, den sie zu überlesen lernen.
Fall 3: eine Zahl, die das Modell selbst geschrieben hat
Das Modell schrieb: Die Beschriftung sagte 777 und der Prompt 555.
Sie sehen: Die Beschriftung sagte … und der Prompt ….
Das ist der unauffällige Fall. Die Beschriftung über dem Block wurde vom Modell geschrieben, und das Modell hat dann seine eigene Beschriftung als Nachweis für die Zahl in seinem Fließtext zitiert.
Text, den das Modell selbst geschrieben hat, ist kein Nachweis. Wäre er es, könnte jedes Modell jede Zahl belegen, indem es sie zweimal schreibt. Vier Dinge können eine Zahl belegen: die Zeilen, die ein Werkzeug in diesem Durchgang zurückgegeben hat, ein Zahlenwert, den das Modell als Werkzeugeingabe gesendet hat, eine Zahl, die der Benutzer in der Frage geschrieben hat, und eine Zahl, die eine frühere Antwort bereits gezeigt hat.
Fall 4: ein Hinweis mit erfundenen Zahlen
Das Modell schrieb: Nur 500 von 3.901 Zeilen stehen in dieser Datei. Der Export ist unvollständig.
Sie sehen: Nur … von … Zeilen stehen in dieser Datei. Der Export ist unvollständig.
Die Warnung ist richtig und wichtig. Kein Werkzeug hat diese Zahlen in diesem Durchgang zurückgegeben, und weder die Frage noch eine frühere Antwort enthielt sie, also überleben sie nicht.
Dieser Fall sieht hart aus, und das ist Absicht. Eine Warnung, die erfundene Zahlen enthält, ist schlimmer als eine Warnung ohne Zahlen, denn der Leser handelt nach der Größe des Problems. Der Satz behält seine Bedeutung. Der Leser erfährt, dass der Export unvollständig ist, und muss nachfragen, um wie viel.
Fall 5: Zahlen, die keine Zahlenwerte sind, und eine belegte
Das Modell schrieb: Letzte 7 Tage (3. September – 10. September 2026), nach 14:30, Ticket #3, Projekt PR0017.
Sie sehen: Letzte 7 Tage (3. September – 10. September 2026), nach 14:30, Ticket #3, Projekt PR0017.
Datumsangaben, Jahre, Uhrzeiten, Kalenderwochen, Quartale, Aufzählungszeichen und Kennungen sind keine Zahlenwerte, auf Deutsch, Englisch, Dänisch und
Spanisch. Die 7 in „Letzte 7 Tage“ ist etwas anderes. Sie ist eine Anzahl und
überlebt nur, weil die Abfrage mit dem Zeitraum P7D lief, einer Dauer nach
ISO 8601, die das Modell als Werkzeugeingabe gesendet hat. Ohne diese Eingabe
würde die 7 ersetzt wie jede andere Anzahl.
Ein Filter, der ein Datum entfernt, ist nicht streng. Er ist kaputt, und er macht jede Antwort unlesbar.
Was die fünf Fälle gemeinsam haben
| Fall | Überlebt? | Regel |
|---|---|---|
| Aufgerundet | Nein | Eine Zahl muss in den zurückgegebenen Zeilen vorkommen |
| Belegt | Ja | Jedes Format, in dem diese Zeilen geschrieben werden können |
| Eigene Beschriftung | Nein | Text des Modells ist kein Nachweis |
| Hinweis mit Zahlen | Teils | Der Satz überlebt, die erfundenen Zahlen nicht |
| Datumsangaben und Kennungen | Ja | In keiner Sprache Zahlenwerte; die 7 ist durch P7D belegt |
Die Anzahl der Ersetzungen reist mit der Nachricht mit. Sie können sehen, dass ein Satz geändert wurde und wie oft.
Warum die Testfälle veröffentlichen?
Weil die Behauptung nur dann überprüfbar ist, wenn die Fälle öffentlich sind.
Jeder Anbieter kann sagen, dass sein Assistent keine Zahlen erfindet. Die nützliche Fassung dieser Behauptung ist eine Liste von Sätzen, die das System ablehnt, einschließlich derer, bei denen die Ablehnung etwas kostet. Fall 4 kostet etwas. Genau darum veröffentlichen wir ihn.
Wenn Sie Assistenten bewerten, nehmen Sie diese fünf Sätze mit zum Anbieter und fragen Sie, was sein System mit jedem einzelnen tut. Die Antworten werden sich stärker unterscheiden als die Marketingseiten.
Fragen und Antworten
- Was passiert mit einer Zahl, die keine Abfrage zurückgegeben hat?
- Die Plattform ersetzt die Zahl durch Auslassungspunkte und zählt die Ersetzung. Der Satz um die Zahl herum bleibt, eine Warnung überlebt also auch dann, wenn ihre Zahlen es nicht tun.
- Kann eine Beschriftung, die das Modell geschrieben hat, eine Zahl belegen?
- Nein. Text, den das Modell selbst geschrieben hat, ist kein Nachweis. Eine Zahl, die das Modell in eine Beschriftung geschrieben hat, kann dieselbe Zahl in seinem Fließtext nicht belegen.
- Wo findet die Prüfung statt?
- Die Prüfung findet auf dem Server statt, bevor der Text gestreamt und bevor er gespeichert wird. Jeder Client, die Datenbank und die eigene Historie des Modells erhalten den geprüften Text. Eine zurückgehaltene Zahl wird daneben gespeichert, und der Leser kann sie einblenden, als nicht verifiziert markiert.
Quellen
Wir prüfen jede externe Aussage zum angezeigten Datum. Microsoft ändert den Status von Funktionen von Veröffentlichungszyklus zu Veröffentlichungszyklus; prüfen Sie die Seite daher erneut, bevor Sie sich darauf verlassen.
- 01FinGround: Detecting and Grounding Financial Hallucinations via Atomic Claim VerificationarXiv · Quellen geprüft
- 02FAITH: A Framework for Assessing Intrinsic Tabular Hallucinations in FinancearXiv · Quellen geprüft