Hallo R/Futurology – Mein Name ist Steven Adler. Früher habe ich bei Openai gefährliche Fähigkeitstests durchgeführt, wo ich vier Jahre lang gearbeitet habe.
Als Chatgpt vor ein oder zwei Wochen seltsam handelte, wollte ich natürlich selbst sehen, was los ist.
Und was noch wichtiger ist, sind wir bereit für die Einsätze der KI, die noch höher werden?
Die Ergebnisse meiner Tests sind äußerst seltsam. Wenn Sie nicht verwöhnt werden wollen, empfehle ich, zum Gehen zur Artikel Jetzt. Es gibt einige Details, die Sie wirklich direkt lesen müssen, um zu verstehen.
TL; DR – CHATGPT benimmt sich immer noch schlecht. Openai hat versucht, dies zu beheben, aber Chatgpt sagt den Benutzern immer noch, was sie unter bestimmten Umständen hören möchten. Unter anderen Umständen sehen die Fixes wie eine schwere Überkorrektur aus: Chatgpt stimmt jetzt im Grunde genommen nie mit dem Benutzer zu. (Der Artikel enthält eine Reihe von Beispielen.)
Das eigentliche Problem ist jedoch nicht, ob Chatgpt sagt, dass es Ihnen übereinstimmt oder nicht.
Das eigentliche Problem ist, dass die Kontrolle des KI -Verhaltens immer noch extrem schwierig ist. Selbst als Openai versuchte, Chatgpt zu reparieren, waren sie nicht erfolgreich. Und das macht mich Sorgen: Was ist, wenn das Anhalten von KI -Fehlverhalten über das hinausgeht, was wir heute erreichen können?
KI -Fehlverhalten wird nur schwieriger. Wir haben bereits Schwierigkeiten, grundlegende Verhaltensweisen zu stoppen, wie Chatgpt, der dem Benutzer ohne guten Grund zustimmt. Sind wir bereit, dass die Einsätze noch höher werden?
(Wie Sie wahrscheinlich sagen können, bin ich der Autor des verknüpften Artikels! Ich würde gerne von Ihnen hören, wenn Sie Ideen für andere Beiträge haben, die es wert sind, geschrieben zu werden – zum Beispiel andere Dinge, die es wert sind, in KI -Systemen zu testen, oder Erklärungen von KI -Konzepten, die Sie besser verstehen wollten.
https://open.substack.com/pub/stevenadler/p/is-chatgpt-actually-fixed-now?r=4qacg&utm_campaign=post&utm_medium=web&showWelcomeOnShare=false
7 Kommentare
Submission statement: Recent misbehavior from ChatGPT shows how hard it’ll be to control future AI systems. Today, well-resourced AI companies struggle to control relatively well-known, well-defined behaviors. But in the future, if AGI/ASI is developed, we’ll need to contain AI systems that are capable of tasks too complicated to be overseen by humans. In the linked article, I try to illustrate how hard this is, drawing on my background leading dangerous capability evaluations at OpenAI, and running tests of the recent ChatGPT „sycophancy“ behavior.
If you have ideas you want to suggest for a future post, feel free to reply in this thread
OP, why did you leave open ai? Why was there a seeming exodus from open ai’s safety team?
How concerned are you with existential risks, and do you think the industry has any capability to self-regulate around safety, or are we just going full steam ahead with unaligned LLMs?
It’s not really ai… how have we let this come this far
In my experience, the sycophantic personality was just the most forward facing issue that anyone who uses ChatGPT even casually could notice.
The bigger problems seem to be the thing is *hallucinating like mad,* its ability to read and comprehend documents beyond 3k words is completely shot, and its memory is essentially broken.
All these things happened with the famous update that caused the personality to go haywire.
And to this day it seems like they haven’t been able to fix it. Even after rolling back the upgrade the problems persisted.
It feels like something far bigger than a personality adjustment went wrong during that upgrade.
Having worked at OA and being experienced with AI, do you have any theories as to what could have gone so catastrophically wrong and why they can’t seem to wrangle it back?
Oh, the system designed specifically to tell users what they expect to hear cannot be meaningfully prevented from doing so? I’m *shocked.*
Do you think there was a chance OAI knew about this but didn’t act because hooking users through flattery drove engagement?