Ich möchte den Menschen helfen, mehr von dem zu verstehen, was AI -Forscher sagen. Ich werde zunächst den jüngsten Artikel über „lesbare“ Argumentationsspuren erläutern, aber bitte stellen Sie alle Fragen, die Sie haben

Hier gab es einen jüngsten Thread darüber, dass KI -Forscher zusammenkamen und dass wir möglicherweise einen unserer Hauptmechanismen für die Beobachtung von LLM -Argumentationsspuren bald verlieren, und die überwiegende Mehrheit des Thread -Menschen schien keine Ahnung zu haben, was das besprochene Thema war. Es gab viele Erwähnungen von China und dem Versuch, Investitionsgeld zu bekommen, und es war klar, dass es eine Lücke gibt, diese Themen zu verstehen, die ich für sehr wichtig halte, und ich möchte, dass die Menschen verstehen und wirklich ernst nehmen.

Also dachte ich, ich könnte versuchen, zu helfen und wirklich zu versuchen, Negativität meine Handlungen zu leiten. Vielleicht gibt es viele Leute, die neugierig sind und Fragen haben, und ich möchte versuchen, zu helfen.

Wichtige Einschränkung, Ich bin kein KI -Forscher. NICHT NEHMEN irgendetwas Ich sage als Evangelium. Ich denke, dies ist wahrscheinlich wichtig, dass jeder wichtige Themen hält, die wichtig genug sind. Wenn Ihnen das, was ich sagt, für Sie interessant erscheint oder Sie überprüfen möchten, fragen Sie mich nach Quellen oder gehen Sie noch besser aus und validieren Sie sich, damit Sie wirklich zuversichtlich sein können, was ich sage.

Obwohl ich kein Forscher bin, bin ich mit diesem Thema sehr gut vertraut und bin ziemlich gut darin, kompliziertes Nischenwissen zu erklären. Ich meine, wenn Sie nicht der Meinung sind, dass dies gut genug für Sie ist und Sie es von Forschern selbst, völlig fair, erhalten möchten – aber wenn Sie zumindest neugierig sind, stellen Sie Fragen.

Lassen Sie mich zunächst das Thread -Thema erklären, das ich zuvor erwähnt habe – den, der darauf verknüpft ist https://venturebeat.com/ai/openai-google-peepmind-andhropic-sound-alarm-te-may-be-losing-the-yal-to-1ner verstand-ai/

Hier passieren ein paar verschiedene Dinge, aber um es einfach zu halten, werde ich es vermeiden, zu weit in das Unkraut zu gelangen.

Eine Gruppe von Forschern aus der gesamten Branche hat sich zusammengetan, um mit einer besonderen Besorgnis über die KI -Sicherheit zu sprechen. Derzeit, wenn LLMs ihre durchführen "Argumentation" (Ich habe es in Zitate eingebracht, weil ich weiß "Gedanken" (Dies ist düsterer, ich kann mir einfach kein besseres Wort dafür vorstellen.

Es gibt viele bereits vorhandene Löcher in dieser Methode – das einfachste Wesen, dass Modelle nicht treu darum stehen "Denken" in dem, was sie aufschreiben. Es ist normalerweise nah, aber manchmal werden Sie feststellen, dass die Argumentationsspuren nicht tatsächlich mit dem Endergebnis in Einklang gebracht werden, und es gibt viele sehr interessante Gründe dafür, warum dies geschieht, aber es ist unnötig zu erwähnen, dass es genau genug ist, dass es uns viel Einsicht und Hebelwirkung gibt.

Die Wissenschaftler sagen jedoch, dass sie einige Bedenken hinsichtlich dieser Zukunft haben.

Erstens werden die Modelle zunehmend über RL (Verstärkungslernen) trainiert, und es besteht eine gute Chance, dass dies das bereits vorhandene Problem der Treue verärgert, aber auch neue Einführungen vorliegt, die diese lesbaren Argumentationsspuren zunehmend arkan machen.

Aber vielleicht noch deutlicher, es gibt einen großen Anreiz, einen Weg für Modelle zu bewegen nicht Vernunft durch das Ausschreiben ihrer Gedanken. Derzeit hat dieser Prozess Einschränkungen, viele rund um die Bandbreite und Modalitäten (Text, Bild, Audio usw.), die beim Argumentieren auf diese Weise existieren. Es gibt viele Untersuchungen, die zeigen, dass, wenn Sie tatsächlich Modelle in diesen internen mathematischen Welten denken, ihnen die Möglichkeit geben, die Fähigkeiten der Argumentation dramatisch zu erweitern – sie hätten Größenordnungen mehr Bandbreite, könnte zu Gedanken sind, die im Text nicht gut vertreten sind, und im Allgemeinen ohne den Schleifen des Lesens ihrer Argumentation danach.

Aber … wir würden das nicht verstehen können. Zumindest haben wir derzeit keine Techniken, die uns diesen Einblick geben.

Es gibt einen starken Anreiz für uns, diesen Weg einzugehen, aber die Forscher sind besorgt, dass es uns viel schwieriger macht, die Machenschaften unserer Modelle zu verstehen.

Das ist wahrscheinlich genug, aber ich möchte wirklich im Allgemeinen versuchen, sich weniger auf … Verschwörungstheorien, Milliardäre und das gerade -up -Schicksal zu konzentrieren, das in solchen Threads passiert. Ich möchte nur versuchen, den Menschen zu helfen, Themen zu verstehen, die sie derzeit nicht über ein so wichtiges Thema sind.

Bitte, wenn Sie Fragen haben oder sogar eine meiner Behauptungen konstruktiv herausfordern möchten, würde ich es lieben, wenn Sie dies tun.