Die Firma Mercor hat KI-Testlisten mit der US-Arbeitswelt abgeglichen. Das Ergebnis: Für den Großteil der Arbeitsstunden gibt es kaum einen Test. Was gemessen wurde, wo die Grenzen liegen und wie du KI an deinen Aufgaben prüfst.
Neue KI-Modelle werden an Bestenlisten gemessen. Die Firma Mercor hat gefragt, wie viel von der Arbeitswelt diese Tests überhaupt berühren, und kommt auf eine überraschend kleine Zahl. Wir haben die Seite von Mercor gelesen und trennen, was gemessen wurde, was Schätzung ist und was das für deinen Betrieb heißt.
Mercor hat 29 KI-Benchmarks mit dem US-Berufskatalog O*NET abgeglichen, der 923 Berufe und 18.797 Aufgaben enthält. Eine Aufgabe gilt als abgedeckt, wenn ein KI-Modell als Prüfer ihr mindestens fünf Testaufgaben zuordnet. Das Ergebnis: Nur 208 der 923 Berufe haben überhaupt eine so abgedeckte Aufgabe, insgesamt sind es 924 von 18.797 Aufgaben, und sechs von 22 Berufsfamilien haben gar keine. Rechnet man die Arbeitszeit ein, fallen laut Mercor rund 90 Prozent der US-Arbeitsstunden auf Aufgaben mit wenig oder keiner Abdeckung.
Gut abgedeckt sind Computer und Mathematik (29 von 36 Berufen), Wirtschaft und Finanzen (33 von 48) und Recht (5 von 7). Schlecht sieht es bei Gesundheitsberufen aus (12 von 89), in Bildung und Bibliothek (9 von 62), Wissenschaft (15 von 60), Management (21 von 56) und Architektur und Technik (19 von 56). Die Abdeckung folgt laut Seite stärker den Berufen mit hoher Lohnsumme und hoher KI-Nähe als dem, was Menschen den Tag über tun. Die Arbeitszeit je Aufgabe stammt aus einer Schätzung von Hatgis-Kessell und Kollegen, die ihrerseits mit einem KI-Modell erstellt wurde.
Mercor nennt die Ergebnisse selbst vorläufig. Die 29 Benchmarks sind keine vollständige oder repräsentative Auswahl, die Methode kann die Abdeckung eher unterschätzen, die Zuordnung per KI ist nicht fehlerfrei, und viele Berufe haben körperliche Anteile, die sich schwer testen lassen. Dazu: Es sind US-Daten, für Deutschland gilt die Zahl nicht automatisch. Mercor betreibt mit APEX eigene Benchmarks, die in der Auswahl vorkommen, und bietet laut Seitenfuß Daten für KI-Training an, ein Hinweis auf Interessenlage steht nicht auf der Seite. Die 90 Prozent sind Mercors eigene Schätzung und tauchen in anderen Berichten nur als Wiederholung auf. Das Veröffentlichungsdatum nennt die Seite nicht, Berichte datieren sie auf den 15. Oktober 2026.
Die Zahl heißt nicht, dass KI bei 90 Prozent der Arbeit versagt. Sie heißt nur: Für diese Aufgaben gibt es keinen gemeinsamen Test, der zeigt, wie gut ein Modell sie löst. Wenn ein neues Modell mit Bestwerten angekündigt wird, sagt das also oft wenig darüber, wie es sich bei deiner Aufgabe schlägt, etwa beim Angebot für einen Handwerker, der Antwort auf eine Reklamation oder der Planung einer Schicht. Das ist unsere Folgerung aus der Studie und keine Aussage von Mercor.
Praktisch heißt das: Teste an deinen eigenen Aufgaben. Such dir fünf echte Aufgaben, die in deinem Betrieb regelmäßig vorkommen, schreib auf, woran du eine gute Antwort erkennst, lass das Werkzeug die Aufgaben lösen und bewerte die Ergebnisse mit einer zweiten Person. Wiederhole den Test, wenn der Anbieter das Modell wechselt. So hast du eine kleine eigene Messung statt einer fremden Bestenliste, und sie kostet dich einen Nachmittag.
Fünf Aufgaben sind eine Stichprobe und kein Beweis. Sie zeigen dir, ob das Werkzeug für diese Aufgaben taugt, nicht, ob es immer so bleibt. Wir bewerten die Studie von Mercor nicht abschließend, weil wir die Zuordnung der Aufgaben nicht nachgeprüft haben, und wir sagen nicht, dass Bestenlisten wertlos sind. Sie messen, was sie messen, und das ist ein schmaler Ausschnitt.
Fünf Minuten: Schreib fünf Aufgaben auf, die in deinem Betrieb jede Woche vorkommen, und was eine gute Lösung auszeichnet. Fünf Minuten: Gib dem KI-Werkzeug jede Aufgabe mit denselben Informationen, die ein neuer Mitarbeiter bekäme. Fünf Minuten: Bewerte die Ergebnisse nach deinem Maßstab, gut, brauchbar oder unbrauchbar, am besten mit einer zweiten Person. Fünf Minuten: Notiere dir, bei welchen Aufgaben du es einsetzt, bei welchen nicht, und wann du den Test wiederholst. Danach weißt du mehr als jede Bestenliste über deinen Alltag sagt.
Die Zahl ist ein Hinweis, kein Urteil: Für die meisten Aufgaben gibt es keinen gemeinsamen Test. Das spricht nicht gegen KI, aber gegen blindes Vertrauen in Bestwerte.
Für deinen Betrieb heißt das: fünf eigene Aufgaben testen, den Maßstab aufschreiben, nach Modellwechseln wiederholen.
Quellen: Mercor, „A benchmark map of the US economy“ (Seite des Berichts, gelesen am 19. Oktober 2026, sinngemäß aus dem Englischen wiedergegeben; ohne Datum und ohne namentlich genannte Autoren). Einordnung der Berichte bei daily.dev und Runtime Wire, die die Zahlen von Mercor wiederholen. Anlass war die Zusammenfassung im Newsletter TLDR AI vom 19. Oktober 2026. Die Folgerungen für Betriebe und der Mini-Test sind unsere Einordnung und nicht Teil der Studie.
Welches Modell für welche Aufgabe, welche Tools wirklich zählen und wie du richtig promptest — komplett lesbar, kein Download.
Jetzt gratis lesen →Wir gehen mit dir fünf echte Aufgaben aus deinem Betrieb durch, legen den Maßstab fest, testen gemeinsam und halten fest, wo KI hilft und wo nicht.