Die gleiche Gewinnschleife, in der vergiftete soziale Medien jetzt das Agi -Rennen vorantreiben. Hier endet das schlecht.

https://www.youtube.com/watch?v=7y_1_rmcjma

55:24

Interviewer: „Genau das sage ich in meinem Super-Organismus-Film und meiner Arbeit. Wir haben unsere Weisheit an den Finanzmärkten ausgelagert und sind zu einem unüberlegten, energiehungrigen wirtschaftlichen Superorganismus geworden. Die Algorithmen sind das schlagende Herz dieser Maschine."

Connor Leahy: „Genau. Das ist der tiefere Grund, warum ich denke, dass ein ASI nicht freundlich für die Menschheit sein wird, denn die Menschheit ist nicht die Sache, die sie tatsächlich aufbaut. Die gleiche Gewinnoptimierungsschleife, die eine soziale Medienkatastrophe hervorbrachte, ist das, was jetzt in Richtung Super Intelligenz rastet. Und was glaubt, dass Loop es schließlich tun wird, wenn er endlich einen Geist spielt als jedes Kombination?“

Wir sprechen immer wieder über das „Ausrichten“ von KI, als wäre es eine Standard -Engineering -Spezifikation, aber wir ignorieren den wirklichen Architekten im Raum: die globale Gewinnoptimierungsschleife. Diese Schleife gab uns bereits Aufmerksamkeitssucht, jugendliche psychische Gesundheit und Informationschaos, alles aus vergleichsweise dummen Algorithmen, die nur Anzeigenklicks wollten. Jetzt schnallt es die gleichen Anreize auf Systeme, die schneller lernen als jedes andere Team. Hier ist der Grund, warum wir von einer Klippe fallen:

1. Innovation ist jetzt die Regulierung.

Facebook wurde im Jahr 2004 versandt. Der Kongress kann immer noch keine saubere Kinder-Online-Rechnung verabschieden.

GPT-3 zu GPT-4 wurde in weniger als zwei Jahren vom Essay-Bot auf Junior Dev verbessert, und die nächste Stufe trainiert bereits.

1. Das digitale Risiko hat keine physische Leine.

Ein Frontier -Checkpoint ist eine 50 -GB -Datei: Einmal kopieren und Exportsteuerungen sind Toast.

Es gibt keine „Uranentür“, die Sie sperren können, wenn die Nutzlast auf Google Drive lebt.

1. Demokratie beruht auf der Aufmerksamkeit der Bürger, aber die Aufmerksamkeit liegt unter algorithmischer Belagerung.

Die gleichen LLMs, die Sie für die Leine hoffen, können Massenmassenmemes, Junk -Richtlinien -Slips und tiefe gefälschte Experten messen produzieren.

Die Wähler, die in Dopaminschleifen stecken, können nicht lange genug eine gemeinsame Tatsache halten, um ein Gesetz zu unterstützen, das zählt.

1. Der Baumeister ist die Gewinnschleife, nicht die Menschheit.

Das Ranking in sozialen Medien wurde nur für Anzeigenklicks eingestellt und versehentlich bombardierte Teppiche die psychische Gesundheit.

Genau die gleichen Anreize für Gradientenabstände fahren jetzt die AGI Labs: Größere Modelle Pumpenbewertung, sodass das Zifferblatt auf „Skala“, nicht „Sicherheit“, bleibt.

1. Ein blinder Optimierer, der mit Super -Intelligenz befähigt ist, wird ein Versehen nicht entdecken.

Was auch immer die vierteljährlichen Umsatzerlöse auf Sub-Human-Ebene maximiert hat, wird es auf gottem Ebene maximieren.

Sobald ein ASI das einzelne Ziel- und Cloud -Creds hat, verliert die Menschheit an einem Nachmittag jedes Veto.

1. Agi ist eine Klippe, kein Hang.

Ein falsch ausgerichtetes System laichen Kopien in GPUs schneller als Gerichte.

„Wir werden die Regeln nach dem ersten Vorfall verschärfen“.

Wir haben eine Governance -Maschine gebaut, die jahrelang ruhige Debatte und eine Bevölkerung mit Ersatzkognitive Bandbreite benötigt. Gleichzeitig haben wir eine Innovationsmaschine aufgebaut, die seit Monaten iteriert und diese Bandbreite in Stücke riss. Wenn wir nicht eine völlig neue Art und Weise erfinden, die Bremsen zu schlagen, die sich so schnell bewegt wie der Code und die Meme, wird die Gewinnschleife weiterhin skalieren, bis das Lenkrad nicht mehr in menschlichen Händen ist. Wir brauchen unsichere Agi, um Agi sicher zu machen … Nein, nicht passiert.