Diese Visualisierung vergleicht das prognostizierte Bewertungswachstum von OpenAI mit geschätzten Verbesserungen der Leistung großer Sprachmodelle zwischen 2023 und 2025 (wobei die OpenAI-Bewertungen auf die Erstinvestition von Microsoft im Jahr 2019 zurückgehen).
Die Modellleistung wird als relative Fähigkeitsverbesserung im Laufe der Zeit dargestellt (normalisiert gegenüber einer früheren Basislinie), während die Bewertungszahlen auf öffentlich gemeldeten Prognosen basieren. Das Ziel besteht nicht darin, zu suggerieren, dass der KI-Fortschritt zum Stillstand gekommen ist, sondern darin, zu visualisieren, wie sich Erwartungen und Bewertungen im Verhältnis zu messbaren Gewinnen entwickelt haben.
Es gibt offensichtliche Einschränkungen bei der Quantifizierung der „Modellfähigkeit“ hier und ich bin offen für Vorschläge zu alternativen Benchmarks oder Anpassungen der Methodik.
Für alle, die sich für den breiteren Kontext, die Annahmen und die Interpretation dieses Diagramms interessieren, habe ich die Analyse hier in einem längeren Artikel erweitert:
https://medium.com/@maxgorman2004/openais-narrative-is-outpacing-its-models-b1b47d89010f
Von BusinessPilot4614
7 Kommentare
>Model performance is represented as relative capability improvements
How is that measured? (What are those „win odds“?)
now do the valuation vs user base/revenue/assets
For any of you saying AI is in a bubble: why hasn’t it popped if everyone agrees its a bubble?
The valuation is a measurable thing, but measuring the „model capabilities“ as a scalar value is like measuring a „tech company’s innovative-ness“ or „the usefulness of the internet.“ It’s an absurdly subjective metric.
Tech companies are looking at AI like a bunch of ancient neanderthals huddling around the new invention of fire. One sticks some food in the fire and half the neanderthals cry out in anger while another half cry out in delight.
It’s going to be like this for a while.
Might as well graph the Tesla stock price vs the maximum range on full car battery. There should barely be any positive correlation.
This does make sense. Once it reaches a certain threshold to be useful to new applications, adoption rapidly increases. The difference between the best search engine and one almost as good was never that big, but one got the vast majority of marketshare
6.6 X incompetent is still incompetent