Studie: KI-Modelle scheitern an echten Arbeitsaufgaben
https://www.golem.de/news/studie-ki-modelle-scheitern-an-echten-arbeitsaufgaben-2601-204046.html
Studie: KI-Modelle scheitern an echten Arbeitsaufgaben
https://www.golem.de/news/studie-ki-modelle-scheitern-an-echten-arbeitsaufgaben-2601-204046.html
11 Kommentare
Wow. Schon hart zwischen echter und unechter Arbeit zu unterscheiden. /s
Nein doch ooh
Außer Datenanalyse keine White Colar usecases. Schwachsinniges Setup, zu behaupten, nur
Game Development, Produktdesign, Videoanimation und Architektur seien echte Arbeitsaufgaben.
Ein Blick in die Prompts zeigt auch, dass die Studienersteller nicht verstanden haben, wie Manus mit Prompts umgehen kann. Es werden nur selbe Prompts eingesetzt, was die Vergleichbarkeit zwar gewährleistet, aber gleichzeitig zeigt, dass die Studienersteller von Einzelaccounts pro LLM und nicht von heavy API usage ausgehen. Getestete LLMs:
Manus, Grok 4, Sonnet 4.5, GPT 5 und -agent, Gemini 2.5
Es wurden keine agentic frameworks eingesetzt.
Studie:
[https://arxiv.org/abs/2510.26787](https://arxiv.org/abs/2510.26787)
(im Oktober 2025 published)
> Heutige KI-Systeme sind noch lange nicht in der Lage, Jobs **komplett** zu ersetzen.
> Das Fazit: Die KI scheiterte in **vielen** Fällen
Vergleicht das was KI heute kann (und die Anforderungen hier) mal mit dem was KI grade mal 3 Jahren aussah.
Dieser Artikel wird altern wie Milch. Gebt den KI-Unternehmen noch 1 Jahr dann schauen wir nochmal
Verblüffend…ich dachte ich sollte schon seit 2 Jahren meinen Job los sein?!?!
>Die Forscher wollten Politikern zeigen, was KI wirklich kann – und was nicht.
Hier ist eine komplett Wahnsinnige Idee: Wie wäre es, wenn die Forschenden den werten Politikern einfach mal erklären, dass alles was heute als „KI“ verkauft wird, in Wirklichkeit gar keine Künstliche Intelligenz ist. Sondern einfach nur das Produkt einer Marketingkampagne, die, was wir früher als Maschine Learning und Mustererkennung verbucht haben, heute als KI verkauft, weil hat ja „Neurales Netz“ dahinter.
* noch
Und es gibt jetzt schon einige Dinge, wo LLMs durchaus echte Arbeitsaufgaben erledigen können.
Zum Beispiel OpenAIs Deep Research Feature… holy moly. Als ich das vor ein paar Monaten zum ersten Mal benutzt habe, hatte ich zum ersten Mal Star Trek Computer Vibes.
Das Ding zieht bei zum Beispiel medizinischen Fachfragen einfach los, rödelt 10 Minuten rum, sucht dabei rekursiv Quellen heraus, will heißen, wenn es in einer Quelle etwas neues, zum Thema passendes entdeckt, wird ein neuer Suchzweig gestartet um diese Idee auch noch zu verfolgen.
Am Ende wird dann alles fein säuberlich inkl. Quellenangaben in etwas, was man praktisch ne wissenschaftliche Arbeit nennen könnte, zusammengefasst.
🤯
Edit: D.h. in 10 Minuten gibt’s qualitativ hochwertigen Output, für den man sonst mehrere Stunden / halben Tag und mehr gebraucht hätte.
„Bei fast der Hälfte aller Projekte lieferte die KI schlechte Ergebnisse.“
Ehm, das bedeutet, dass KI HEUTE in fast 50% der Fällen gute Ergebnisse liefert und keine bis kaum menschliche Interaktion erforderlich war. Das ist recht krass und ich stelle mir vor:
„Ok, bei 3 von 6 Projekten haben wir mit KI in Minuten und mit ein paar Euro Kosten zufriedenstellende Resultate erzielt. Für die drei anderen müssen wir nochmal jemanden einstellen.“
… das ist dann fast 50% Kostenersparnis durch AI.
Dass AI Agents plötzlich die gesamte Tätigkeit eines qualifizierten Mitarbeiters ersetzen, ist natürlich Blödsinn, das ist reines Marketing.
Aber müssen sie das? Die Produktivitätssteigerungen gerade im technischen Bereich sind beachtlich und es reichen 25% mehr Produktivität pro Mitarbeiter, um 20% von ihnen überflüssig zu machen.
Darin sehe ich eher die Gefahr für den Arbeitsmarkt in diversen White Collar Berufen.
Ja ach nee…
Ich weiß nicht, sowohl die Befürworter als auch die ganzen Kritiker stimmen sich in einer Sache überein: Sie nehmen die KI, bzw. die Versprechungen der Firmen ernst (und haben dann unter der Prämisse eine konträre Meinung dazu)
Ich sehe es als nettes Spielzeug. Es unterhält mich, keine Frage, und unter Kontrolle nutze ich es auch beim Hobbyprogrammieren, weil ich programmieren von „davor“ kann. Aber es ist halt immernoch ein nice-to-have Spielzeug. Manchmal wird man positiv vom Output überrascht. Und das wird es die nächsten Jahre auch erstmal bleiben.