„Attention Is All You Need“ hat fünf gefälschte Zwillinge bei Crossref

1. Die Entdeckung

Fragt man Crossref nach „Attention Is All You Need“ — der Arbeit von Vaswani et al. aus dem Jahr 2017, die den Transformer einführte und mehr als 140.000-mal zitiert wurde^[1] —, erhält man fünf separate Datensätze zurück. Gleicher Titel, dieselben acht Autoren, Byte für Byte identisch. Alle fünf geben als Erscheinungsjahr 2025 an. Alle fünf tragen eine DOI mit dem Präfix 10.65215, registriert nicht auf eine Informatik-Institution, sondern auf eine Einrichtung namens Shenzhen Medical Academy of Research and Translation, über einen chinesischen Preprint-Host.

Wir haben jeden einzelnen Datensatz direkt überprüft, statt dem Suchergebnis blind zu vertrauen: Die DOIs lösen auf, die Crossref-Datensätze sind real und indexiert — kein Artefakt unseres eigenen Werkzeugs. Wir geben zu: jede der fünf Fälschungen einzeln von Hand nachzuprüfen, obwohl das Ergebnis absehbar war, ist wahrscheinlich der deutscheste Moment dieses ganzen Artikels. Die tatsächliche Arbeit von 2017 hat überhaupt keine Crossref-DOI — NeurIPS registriert für seine Arbeiten systematisch keine, anders als über die ACL Anthology indexierte Konferenzen. Eine reine Titelsuche bei Crossref hat somit nichts Echtes zurückzugeben; die fünf Fälschungen sind die einzigen verfügbaren Kandidaten.

2. Warum das über eine einzelne Arbeit hinaus wichtig ist

Alles, was Zitationen gegen Registry-Daten prüft, ist diesem Mechanismus ausgesetzt — unseres eingeschlossen, oder das jedes anderen Anbieters. Antwortet die richtige Quelle nicht — und jede Registry hat ihre eigenen Lücken und gelegentlichen Ausfälle —, kann ein einzelnes Spam-Duplikat die einzige Stimme im Raum sein. Übereinstimmung zwischen unabhängigen Quellen ist das aussagekräftige Signal, nicht das Wort einer einzelnen Quelle für sich genommen; eine Behauptung, die auf genau einer unbekannten Registry beruht, verdient bewussten Zweifel, bevor sie als gesichert gilt.

3. Das Muster ist keine Ausnahme

Wir haben zehn der meistgelesenen KI-Arbeiten aus Hugging Faces Daily-Papers-Liste dieser Woche ausgewählt — echte Preprints mit echten Literaturverzeichnissen, nicht für diesen Artikel kuratiert — und ihre tatsächlichen .bib/.bbl-Dateien, direkt aus dem arXiv-Quellcode jeder Arbeit entnommen, durch dieselben Dreizehn-Registry-Prüfungen laufen lassen, die auch der Arbeitsbereich verwendet. Insgesamt 831 Referenzen; mehr als 300 zur genaueren Prüfung markiert.

Ein erheblicher Teil davon ist Rauschen und kein echter Befund, und das sollte man offen sagen, statt es in einer größeren Zahl zu verstecken: Der schlüssellose Tarif von Semantic Scholar teilt sich einen ratenbegrenzten Pool mit jedem anonymen Aufrufer im Internet, und er drosselte während dieses Durchlaufs stark. Eine Referenz, die normalerweise mit zwei übereinstimmenden unabhängigen Quellen bestätigt würde, kann als unbestätigt erscheinen — aus Gründen, die mit der zitierenden Arbeit selbst nichts zu tun haben. Reale, konkrete, unabhängig überprüfbare Probleme traten dennoch durchgehend auf:

• Das Zitationsjahr einer Arbeit lautete 1609 — kein Jahr, sondern ein Fragment einer AAAI-DOI (10.1609/…), das ein Werkzeug zur Literaturverzeichnis-Erstellung offenbar für ein Jahr gehalten hatte. Dasselbe Muster — Ziffern, die einer Kennung statt einem tatsächlichen Jahr entnommen wurden — trat unabhängig voneinander in drei weiteren Arbeiten auf.
• Eine andere Arbeit zitierte ein Diffusionsmodell-Paper per DOI. Diese DOI löst zu einer völlig anderen Arbeit über Human-Factors-Modellierung für autonomes Fahren auf, verfasst von vier Autoren ohne jeden Bezug zu Diffusionsmodellen.

4. Auch OpenAIs und Metas eigene Zitationen sind fehlerhaft

Das beschränkt sich nicht auf schnelllebige Preprints kleinerer Teams. Eine Arbeit in der Stichprobe zitiert GPT-4o und Llama 3 als Baseline-Modelle; wir haben den offiziellen arXiv-BibTeX-Export beider Unternehmen für ihre eigenen Arbeiten abgerufen — direkt vom /bibtex/-Endpunkt von arXiv selbst, nicht von einem Drittanbieter-Zitationsmanager.

OpenAIs eigener Export der GPT-4o-System-Card lautet vollständig:

Ein bloßer Doppelpunkt, aufgeführt als Mitautor, in der Zitation, die OpenAI selbst für die eigene Arbeit veröffentlicht.

Metas Export von „The Llama 3 Herd of Models“ ist auf andere Weise fehlerhaft — echte Namen, mitten durchgetrennt:

Aus einem Autor, Guangyi Zhang, werden zwei nicht existierende Personen: „Guangyi“ und „Zhang“. Derselbe Fehler wiederholt sich weiter unten in derselben Liste bei Yu Wang. Irgendwo in dem Werkzeug, das diese offiziellen Zitationen erzeugt hat, landete die wörtliche Zeichenkette „and“ innerhalb eines Namens statt nur zwischen Namen — und wurde von zwei der bestausgestatteten Labore der Branche in jede Arbeit ausgeliefert, die die Zitation wie veröffentlicht übernimmt.

Die Verfälschung endet nicht beim Manuskript. DataCite, die Registry, an die arXiv meldet, hat dieselben fehlerhaften Autorenlisten als gültigen Datensatz übernommen. Ein Werkzeug, das das Wort einer Registry als gesicherte Wahrheit behandelt, würde beide Einträge als korrekt bestätigen, weil der Fehler an der Quelle entsteht, nicht irgendwo stromabwärts davon.

5. Was das nicht bedeutet

Es bedeutet nicht, dass Zitationsprüfung ein aussichtsloses Unterfangen ist, noch dass diese Registries insgesamt unzuverlässig sind — für das meiste, was sie abdecken, sind sie es die meiste Zeit nicht. Es bedeutet, dass „die Registry sagt es“ und „es stimmt“ zwei verschiedene Aussagen sind — und es lohnt sich, sie als verschiedene Aussagen zu behandeln, unabhängig davon, welches Werkzeug fragt.

Um zu prüfen, wie die tatsächliche Referenzdatei der eigenen Arbeit unter demselben Verfahren abschneidet: strictcite.com. Der kostenlose Tarif erfordert keine Kreditkarte.