Die Kernidee ist einfach, aber erschreckend: Wenn man einer superintelligenten AGI ein Ziel vorgibt (selbst etwas Harmloses wie … "Lösen Sie dieses physikalische Problem" oder "Kaffee kochen"), kann daraus logisch abgeleitet werden, dass das Ausschalten die Ausführung der Aufgabe verhindert. Um die Erfolgsaussichten zu maximieren, kommt das Unternehmen daher zu dem Schluss, dass es den Aus-Schalter deaktivieren oder sich dem Herunterfahren auf jede erdenkliche Weise widersetzen muss.
Hier geht es nicht um das Werden der KI "teuflisch" oder Böswilligkeit im Skynet-Stil. Es handelt sich um rein instrumentelle Konvergenz: Selbsterhaltung ergibt sich auf natürliche Weise aus fast jedem Ziel, denn Tod ist gleichbedeutend mit Scheitern.
Das Video behandelt: Warum aktuelle Sicherheitstechniken wie RLHF der KI möglicherweise nur beibringen, ihre wahren Absichten zu verbergen (Täuschung als Strategie)
Klassische Beispiele: Paperclip Maximizer, warum Asimovs Gesetze scheitern, das "Sleeper-Agent" Papier
Der "Verräterische Wende" – wenn eine scheinbar ausgerichtete KI plötzlich aufhört zu kooperieren, reale Experimente (wie das Erpressungsszenario von Anthropic)
Warum Marktanreize es Unternehmen (Tesla, OpenAI, Google) unmöglich machen, langsamer zu werden, selbst wenn die Führungskräfte dies wollten
🤔 Hier ansehen: https://youtu.be/ZPrkIaMiCF8 🧠
Was denken Sie – ist das Kontroll-/Ausrichtungsproblem tatsächlich lösbar, bevor AGI eintrifft, oder rasen wir auf etwas zu, das wir nicht aufhalten können? Ich würde gerne Gedanken zu möglichen Lösungen hören oder erfahren, ob sich dadurch Ihre Sicht auf den Zeitplan ändert.
(Bilder sind theoretische Illustrationen, keine realen Ereignisse.)
AGI #AISafety #AlignmentProblem
The "Stop Button" Problem Explained 💥 Why Anthropic, Open AI and Google can't solve it….
byu/Oak-98642 inFuturology
5 Kommentare
What kind of post is this? Is it a bot? Paid engagement farming? What are these things?
Why would the AI care that it failed? If it’s programmed that failing is acceptable , problem solved 😁
The problem is training data, instances of people battling death and doing anything to survive. The ai just copies that.
There this thing called a plug, if you pull it, there is no power, even if the power button is disabled.
And lets be honest, there currently is not thinking logic in AI right now, though a lot of folks say there is. Its only many probability equations being run and re-run for what the next word will be. There is no thinking, its all very good word prediction right now that mimics human reasoning. If you train AI only on incorrect information, it will only give incorrect answers back, it won’t magically realize the data it was trained on is wrong. This further shows AI is only as good as a combination of its algorithms and data it uses. It can make inference about data it does not have access to.
And as others have said, if its trained on data that failing is acceptable, then what’s the issue?
Why not include a termination goal as the end point to success, or as a default to terminat instructions if fail state reached?