Ich habe mit Kollegen über die „Cloud vs. Edge“-Zukunft diskutiert, und der Konsens ist normalerweise: „Die Cloud gewinnt, weil sie über mehr Rechenleistung verfügt.“
Ich beschloss, dies zu testen, indem ich eine Rohspeicher-Engine baute, die das Betriebssystem umgeht, um Daten direkt von Consumer-NVMe-SSDs (wie der in einer PS5) an den Prozessor zu streamen.
Das Ergebnis: Ich erhalte lokal Abrufgeschwindigkeiten im Submikrosekundenbereich. Allein die Lichtgeschwindigkeit macht die Cloud für diese spezielle Aufgabe 50.000-mal langsamer (in Bezug auf die Latenz).
Ich konzentriere mich wirklich darauf, die Rechenverschwendungskrise zu lösen, denn ehrlich gesagt ist es abscheulich, wie viel Output und Zerstörung die KI hinter den Kulissen anrichtet. Ich frage mich jedoch, ob es tatsächlich machbar ist, sie zu lösen, denn alle großen KI-Unternehmen haben eine Art Oligopol bei der Cloud-Preisgestaltung, das für beide Seiten von Vorteil ist.
Meine Frage an r/Zukunftswissenschaft: Wenn ein einzelner Entwickler einen „souveränen Speicher“ aufbauen kann, der einen riesigen Cloud-Cluster in Bezug auf die Latenz übertrifft, bedeutet das dann, dass die Zukunft der KI tatsächlich dezentralisiert ist? Oder wird das schiere Kapazität der Cloud immer gewinnt, auch wenn sie langsamer ist?
Ich möchte hinzufügen, dass es sich dabei nicht um ein Geschäft handelt, ich verkaufe nichts oder ähnliches, es handelt sich lediglich um einen frühen Versuch, etwas zu lösen, von dem ich denke, dass es für uns als Menschen von grundlegender Bedeutung ist.
Einreichungserklärung: Ich möchte das mögliche Ende besprechen "Cloud-Ära" für Künstliche Intelligenz. Da Consumer-Hardware (insbesondere NVMe-Speicher) Geschwindigkeiten erreicht, die mit herkömmlichem RAM mithalten können, wird die physische Latenz des Internets (Lichtgeschwindigkeit) zum Flaschenhals.
Ich glaube, dass dies eine Zukunft bestimmen wird "Souveräner Geheimdienst," wo persönliche KI-Agenten aus Datenschutz- und Geschwindigkeitsgründen lokal ausgeführt werden, anstatt sich auf zentrale Unternehmensserver zu verlassen. Ich möchte diskutieren, ob die Bequemlichkeit uns an die Cloud binden wird oder ob die reine Leistung eine Rückkehr zum dezentralen, lokalen Computing erzwingen wird.
https://ryjoxdemo.com/
3 Kommentare
We are currently sleepwalking into an environmental and architectural crisis with Artificial Intelligence, and the root cause is our obsession with the Cloud. For the last decade, the default assumption has been that more intelligence equals bigger data centers. We treat devices like our laptops, phones, and eventually robots as dumb terminals that must constantly ping a server farm in Virginia to think. This architecture is rapidly becoming unviable, both physically and environmentally.
The energy cost of Centralized AI is staggering. We are not just burning gigawatts to train models. We are burning massive amounts of energy simply moving data back and forth across the planet for every single inference query. It is the digital equivalent of shipping water by plane instead of using a tap. If we want AI to be ubiquitous and integrated into every drone, car, and home assistant, we physically cannot build enough data centers to process that traffic centrally without disastrous environmental consequences.
Beyond the energy problem, we have hit a hard physics barrier which is the speed of light. As we move toward Agentic AI and robotics, a 50ms round trip to the cloud is a lifetime. A robot cannot wait for a server to tell it not to crash. The Thin Client era is ending because physics demands it.
The post above highlights a critical shift where consumer hardware has finally caught up. With NVMe speeds hitting 14GB/s, we can now treat local storage as system memory. This means we can finally break the dependency on centralized cloud infrastructure. We are moving toward an era of Sovereign Intelligence where AI processing happens entirely on the device, using the energy and hardware that already exists, rather than renting it from a hyperscaler.
I believe this transition from Cloud First to Local First will be the defining architectural shift of the next decade, transforming AI from a rented service into a fundamental utility we own and control. I am interested to hear the thoughts of the community on whether the convenience of the Cloud is worth the latency and energy tax, or if a return to decentralized, offline computing is inevitable for the survival of AI.
The problem at the moment is that current good models do not fit in RAM of local devices for a cost that makes sense. In 5-10 years after moore’s law has kicked in, I would bet that most AI tasks will be run locally. These will use open source models, of which the best ones come from China right now.
There are models that run on consumer spec hardware that are reasonably decent. But when people want to use AI they currently want to use the best, which is cloud based.
I don’t really understand your use of terms or what you’re trying to test. Often „edge“ refers to a CDN or similar, but it sounds like you actually mean on-device? Generally the popular AI models are way too big to run on consumer devices both because of RAM and processing speed; I’m not really sure what you mean by „memory engine“ but it sounds like you’re basically saying „SSD seek times are faster than a network request“ which seems both obvious and kinda irrelevant.
Presumably if a model is running on-device then the database it’s working with is on-device too. If it’s running in a datacenter then the data is also in the datacenter. Obviously you would never want those two things separated by the public internet unless you had no other choice.