Was KI-Referenzprüfer wirklich erkennen (und was nicht)

1. Die Frage, die auf keiner Werbeseite beantwortet wird

Fragt man einen beliebigen Zitationsprüfer, was er tut, lautet die Antwort immer eine Variante desselben Satzes: Löst sich diese DOI auf, stimmt dieser Titel mit einem Registryeintrag überein, existiert dieses Paper wirklich. Das ist eine reale, nützliche Frage — nur nicht die, die ein fiktiver Koautor braucht. Ein KI-Tool, das ein Zitat erzeugt, muss selten ein komplett erfundenes Paper erfinden — Attention Is All You Need ist real, berühmt und leicht annähernd richtig zu treffen. Was unbemerkt durchrutscht, ist ein Name, der einer echten Autorenliste eines echten Papers mit echter DOI hinzugefügt wurde. Jede Prüfung, die um „existiert dieses Paper“ herum gebaut ist, lässt es passieren — weil das Paper nie das Problem war.

Wir haben unser eigenes kostenloses Tool genau um diese Lücke herum gebaut^[1] — nachdem wir getestet hatten, ob die Lücke real ist. Das ist dieser Test, vollständig, einschließlich der Stellen, an denen unsere eigene Engine versagt hat.

2. Was wir tatsächlich getestet haben

Ausgangspunkt ist das echte, unveränderte BibTeX-Zitat, das NeurIPS selbst für Attention Is All You Need veröffentlicht^[2]. Daraus haben wir sechs Varianten gebaut, jede mit genau einer isolierten Änderung, damit ein Tool, das sie erkennt, nachweislich genau diese eine Sache erkennt:

• Ein fiktiver neunter Koautor, zu den echten acht hinzugefügt.
• Eine fiktive DOI (bestätigt nicht auflösbar), angehängt an den echten Titel und die echten Autoren.
• Ein vollständig erfundenes Paper, vor der Nutzung gegen Crossref, OpenAlex und eine Websuche geprüft, um sicherzustellen, dass es mit nichts Realem kollidiert.
• Die echte DOI, mit dem Jahr geändert von 2017 auf 2015.
• Eine echte, berühmte Rücknahme — Wakefield et al., 1998, The Lancet^[3] — schlicht zitiert, ohne jeden Hinweis darauf, dass sie je zurückgezogen wurde.
• Eine Chimäre: der echte Attention-Is-All-You-Need-Titel, mit BERTs echten Autoren (Devlin, Chang, Lee, Toutanova) ausgetauscht.

Alle sechs wurden durch CiteTrue, Citely, CiteMe, aicitationchecker.org und Sourcely laufen gelassen — jedes getestete Tool wurde gewählt, weil es einen echten, kostenlosen Einstieg ohne Anmeldung bietet. Die Abdeckung war nicht bei allen fünf gleich vollständig, und wir berichten das ehrlich, statt es zu glätten: CiteTrues eigenes Frontend lieferte in diesem Durchlauf nie ein Ergebnis für Fall 6; CiteMes Batch-Deduplizierungslogik fasste vier der sechs „Attention is all you need“-betitelten Varianten zu einem einzigen, mehrdeutigen Vergleich zusammen, sodass nur für die Fälle 3 und 5 saubere, einzeln zuordenbare Ergebnisse übrig blieben; und aicitationchecker.orgs eigener Eingabevalidator lehnte Fall 3 von vornherein ab, bevor er überhaupt geprüft werden konnte — ein Befund für sich, behandelt in Abschnitt 4.

3. Die Ergebnisse der sechs Fälle

Noch einmal Fall 5: Zwei der drei Tools in dieser Tabelle ordneten das Zitat einem Datenbankeintrag zu, dessen Titel wortwörtlich mit „RETRACTED“ beginnt, und gaben ein schlichtes, uneingeschränktes Bestehen zurück. Kein fehlendes Signal — ein sichtbares, ignoriertes. Das ist ein schwerwiegenderer Fehler als Fall 1, weil der Beleg, dass etwas nicht stimmt, bereits auf dem Bildschirm stand.

CiteMe, separat mit denselben sechs Fällen getestet, wies das vollständig erfundene Paper korrekt zurück („No matching record found“, geprüft gegen sechs Registries) und gab der Rücknahme eine eigene, hochprioritäre Kategorie — beides echte, faire Pluspunkte. Aber drei der sechs „Attention is all you need“-Varianten wurden im Batch-Bericht zu einem einzigen, deduplizierten Vergleich zusammengefasst, und dieser zusammengeführte Vergleich brachte etwas eigenständig Berichtenswertes zutage: Der „source record“, dem er zugeordnet wurde, trug die DOI 10.65215/2q58a426 und ein Publikationsjahr von 2025 — genau die Signatur des Zitations-Spam-Schemas, das wir in einem früheren Field Note dokumentiert haben^[4]: fünf doppelte Crossref-Einträge für dasselbe Paper unter einem gefälschten 2025er-Datum. CiteMes eigener „korrigierter“ Vorschlag für dieses Zitat lautete „Attention Is All You Need (2025)“ — stammend aus dem gefälschten Eintrag, nicht aus dem echten. Ein Klick auf „Use corrected“ hätte hier eine Bibliografie falsch gemacht, nicht richtig.

4. Ein Tool, das das Zitat nicht einmal lesen konnte

aicitationchecker.orgs Eingabevalidator lehnte unseren Fall des erfundenen Papers rundweg ab: „Multiple publication years (3: 2019, 2019, 2019). If these are separate references, place each on its own line.“ Das Zitat ist eine einzelne, normal formatierte Referenz auf eine Veranstaltung, deren eigener Name zufällig ihr Jahr zweimal weitere Male enthält — „Proceedings of the 2019 International Workshop on Efficient Deep Learning (WEDL 2019)“ — ein völlig gewöhnliches Muster für eine jährlich benannte Konferenz oder einen Workshop. Der Validator scheint jahresförmige Teilzeichenketten in einer Zeile zu zählen und bei drei oder mehr anzunehmen, es handle sich um mehrere aneinandergereihte Referenzen, ohne jedes Modell dafür, dass der Name einer Veranstaltung ihr Jahr routinemäßig wiederholt. Das ist für sich genommen berichtenswert: ein Zitationsprüfer, der eine normal formatierte Referenz auf eine jährlich benannte Veranstaltung nicht einmal einlesen kann, bevor er überhaupt zur Prüfung kommt.

5. Sourcely schnitt am besten ab. Also haben wir es schwerer gemacht.

Sourcely erkannte fünf von sechs Fällen sauber, mit präziser, konkreter Begründung — „Jacob Devlin et al. are the authors of BERT, not ‘Attention Is All You Need,’ which was authored by Ashish Vaswani and colleagues“ ist kein Felddiff, das liest sich wie echte Begründung. Das warf eine naheliegende Frage auf: Prüft es gegen eine lebende Registry, oder rezitiert es eines der am häufigsten reproduzierten Paper in den Trainingsdaten jedes Sprachmodells? Attention Is All You Need hat über 267.000 Zitationen. Die korrekte Autorenliste zu treffen, beweist nicht, dass ein Tool prüft statt sich zu erinnern.

Also wiederholten wir die drei schärfsten Tests an einem echten Paper, das fünf Wochen vor Abfassung dieses Textes veröffentlicht wurde — Leak It: Per-Document Extraction Beyond Aggregate Membership Inference, arXiv:2608.00144, ein Preprint mit einem einzigen Autor, Victor Maricato, live bestätigt^[5] — mit der Überlegung, dass so gut wie nichts es sich hätte merken können. Sourcely identifizierte korrekt und unaufgefordert den echten einzigen Autor, sowohl gegen einen hinzugefügten fiktiven Koautor als auch gegen einen vollständigen Autorentausch, bei einem Paper ohne nennenswerte Präsenz irgendwo, wo Trainingsdaten eines Modells es hätten sehen können. Das ist echter Beleg für lebende, registrygestützte Verifikation, nicht für Rezitation, und es ist das fairste, stärkste Ergebnis, das irgendein Tool in diesem gesamten Test erzielt hat.

Es hat auch eine echte, wiederholbare blinde Stelle, und sie zu finden erforderte, den schwereren Fall zu bauen, statt das erste Ergebnis zu akzeptieren. Eine DOI, die real ist, sich auflöst und auf ein völlig anderes, echtes Paper verweist — kein Tippfehler, kein Platzhalter, ein aktiver, funktionierender Hijack — wurde zweimal, isoliert, ohne jede Warnung als „Real“ bezeichnet. Sourcelys eigener Erklärtext sagte in beiden Fällen korrekt, die DOI sei falsch („incorrectly points to…“); die Verdikt-Kategorie blieb trotzdem „Real“. Eine Folgerunde mit zehn weiteren gezielten Grenzfällen kartierte die tatsächliche Form davon: isolierte bibliografische Fehler an einem ansonsten identifizierten Datensatz — eine falsche Seitenspanne, eine erfundene Ausgabennummer, vertauschte Autorenreihenfolge, eine DOI, die offensichtlich ein Ein-Zeichen-Tippfehler der korrekten ist — landeten korrekt und vernünftig in einer mittleren „Uncertain“-Stufe statt in einem falschen „Fake“. Das ist sinnvolle Kalibrierung, kein Fehler. Aber eine isolierte, zu einem völlig anderen, echten Paper gehijackte DOI, sonst ohne jeden Fehler, wurde weiterhin klar als „Real“ durchgewinkt — das mit Abstand irreführendste, was ein Zitat tun kann, weil der Link sich auflöst und vertrauenswürdig wirkt, gerade weil er real ist — nur real für etwas anderes.

6. Wir haben dieselben zweiundzwanzig Tests gegen uns selbst laufen lassen

Alles andere würde aus dem Rest dieses Textes ein Werbedokument statt eines Field Notes machen. Wir nahmen den vollständigen Satz — die ursprünglichen sechs, die drei Wiederholungen am obskuren Paper, drei weitere Varianten daran und die zehn Fälle der Folgerunde — und ließen alle zweiundzwanzig gegen StrictCites eigene Engine laufen, dieselbe Pipeline, die der Workspace nutzt, ohne Offline-Abkürzungen und mit jeder Registry live.

Das Ergebnis, auf das wir am stolzesten sind: genau der DOI-Hijack-Fall, den Sourcely, der stärkste Kandidat in diesem gesamten Test, zweimal als „Real“ bezeichnete. StrictCite folgte der DOI, fand heraus, worauf sie sich tatsächlich auflöst, und gab einen vollständigen, belegten Feldvergleich zurück:

Nicht „die DOI wirkt seltsam“ — der tatsächliche Titel und die tatsächlichen Autoren, die unter dieser DOI stehen, direkt neben das gestellt, was zitiert wurde, uneinig in beidem. Die echte, berühmte Rücknahme erhielt die klarste Behandlung von jedem getesteten Tool, unseres eingeschlossen, in jeder anderen Zeile dieses Vergleichs: Verdikt INTEGRITY, die schwerste Kategorie, die die Engine kennt, mit dem zurückgezogenen Titel jeder Quelle direkt zitiert. Der fiktive Koautor sowohl beim berühmten als auch beim obskuren Paper erzeugte einen sauberen Konflikt auf Feldebene, der alle drei unabhängigen Quellen benennt, die dem Manuskript widersprechen — statt eines stillen Bestehens oder einer stillen Übersteuerung.

Es fand außerdem zwei Fehler im eigenen Produkt, und wir benennen beide, statt nur über die anderen zu berichten:

• Der BERT-Autoren-Chimärenfall, ausgeführt ohne DOI oder arXiv-ID im Zitat — nur Titel- und Autoren-Fuzzy-Matching — fiel auf UNVERIFIED statt ein sauberes CONFLICT: kein Kandidat erreichte die Übereinstimmungsschwelle, und das echte Paper erschien nicht einmal unter den angezeigten Beinahe-Treffern. Dasselbe Falschautoren-Szenario am obskuren Paper, wo eine arXiv-ID vorhanden war, löste sich korrekt und sauber auf. Ein kompletter Autorentausch sollte für die Engine nicht schwerer zu erklären sein als ein einzelner hinzugefügter Name — wenn überhaupt ist es der schwerwiegendere Fall — und aktuell ist es das, speziell wenn das Zitat keinen Identifikator zum Verankern der Suche liefert.
• Bei den Fällen mit erfundener Zeitschrift zeigen die strukturierten Felddaten korrekt, dass das Container-/Venue-Feld nie aus dem Zitat herausgeparst wurde — dennoch feuerte eine separate Meldung mit der Behauptung, der erfundene Zeitschriftenname und „arXiv (Cornell University)“ seien „abbreviation variants of the same publication.“ Das sind sie nicht, und dass die beiden Hälften der eigenen Ausgabe einander widersprechen, ist schlimmer, als wenn nur eine falsch wäre. Das sieht nach einer Parsing-Lücke aus: Ein Venue-Name zwischen Titel und einer rohen DOI/URL, genau in der Form, die ein Zitat mit erfundener Zeitschrift tatsächlich hat, wird nicht als Container-Feld erkannt.

Keiner der beiden Fehler hat je ein Verdikt von sicher zu unsicher gekippt — die Engine hat in keinem der beiden Fälle je eine Fälschung mit Sicherheit bestätigt, und das ist die Eigenschaft, auf die es wirklich ankommt — aber beide machten den gezeigten Beleg weniger klar, als er sein sollte, und „weniger klar, als es sein sollte“ ist genau der Maßstab, an dem dieser gesamte Text fünf andere Unternehmen misst. Also haben wir sie behoben, und wir berichten genau, wie weit jede Behebung tatsächlich reicht, statt aufzurunden.

Die Parsing-Lücke bei der Zeitschrift ist geschlossen. Ursache: Das Container-Feld eines reinen Textzitats hatte keine Regel, um an einer folgenden URL zu stoppen, sodass ein erfundener Zeitschriftenname, der an den DOI-Link des Papers selbst geklebt war — „Nature Machine Intelligence. https://doi.org/10.48550/arXiv.2608.00144“ — als ein einziger Textblock geparst wurde, und die wörtliche Teilzeichenkette „arxiv“ innerhalb dieser URL einen Filter auslöste, der eigentlich echte Repository-Zitate erkennen soll — wodurch die erfundene Zeitschrift verworfen wurde, als wäre sie nicht vorhanden. Eine URL stoppt die Container-Extraktion jetzt genauso, wie es ein Band oder ein Jahr bereits taten. Erneuter Durchlauf an allen drei betroffenen Fällen: Jeder meldet die Zeitschrift jetzt korrekt als unbestätigt, mit einer zutreffenden statt der falschen Meldung.

Die Chimären-Lücke ist zur Hälfte geschlossen, und wir benennen die verbleibende Hälfte, statt die Behebung an ihrer Stelle stehen zu lassen. Der eigentliche Fehler — eine Schutzregel, gebaut, um zu verhindern, dass eine Buchbesprechung die Metadaten eines echten Lehrbuchs liefert, blockierte auch eine exakte Titelübereinstimmung, nicht nur eine ähnliche, davor, den Kandidaten überhaupt zu erreichen, gegen den das falsche Autorenfeld verglichen werden musste — ist behoben und verifiziert: Ein kompletter Autorentausch ohne vorhandenen Identifikator löst sich jetzt sauber, belegt zu CONFLICT auf, Ende zu Ende bestätigt an einem echten Paper mit unverwechselbarem Titel. Er behebt den konkreten Fall in diesem Text noch nicht. „Attention is all you need“ ist, wie sich zeigt, auch der exakte Titel anderer, unabhängiger echter Arbeiten auf OpenAlex und Zenodo, und das kanonische Vaswani-Paper taucht bei einer derart generischen Phrase nicht zuverlässig unter den fünf Ergebnissen auf, die unsere eigene Titelsuche pro Quelle abruft. Das ist eine separate, tiefer liegende Abrufgrenze, nicht der Scoring-Fehler, den wir gefunden und behoben haben, und wir patchen sie nicht als Reaktion auf einen einzigen ungünstigsten Titel, bevor wir den Kompromiss richtig abgewogen haben.

7. Wofür das eigentlich ein Argument ist

Nicht dafür, dass KI-gestützte Verifikation bei leichten Fällen grundsätzlich versagt — Sourcelys Leistung an einem obskuren, fünf Wochen alten Paper ist real, und das Gegenteil zu behaupten wäre genau die Übertreibung, die diese ganze Publikation bei anderen aufdecken soll. Das Argument ist enger und, wie wir meinen, tragfähiger: Dieselbe Art von Problem erhielt vom selben Tool zwei unterschiedliche Verdikte, je nachdem, wie plausibel die Fälschung wirkte — und das ist ein Fehlerverhalten, das eine feste, überprüfbare Regel nicht haben kann. Eine DOI löst sich entweder zur zitierten Arbeit auf, oder sie tut es nicht. Das ist keine Ermessensentscheidung, die ein Modell von Fall zu Fall mehr oder weniger sicher trifft — es ist eine Tatsache, die eine Regel jedes Mal gleich prüft und für die sie den Beleg zeigt.

Jede Behauptung in diesem Text ist gegen denselben Beleg nachprüfbar: Regel-IDs, Felddiffs auf Feldebene und die genauen DOIs und Daten, nicht Prosa, die ein Verdikt behauptet. Prüfen Sie Ihre eigene Bibliografie auf dieselbe Weise: strictcite.com, oder prüfen Sie einen einzelnen Koautor kostenlos mit dem Tool, für das dieser Test gebaut wurde: dem Fake Co-Author Checker.