Hallo zusammen,

Dies sollte eine noch größere Ankündigung sein. Ich wollte ein Projekt, an dem ich diesen Sommer gearbeitet habe, mit zwei Praktikanten teilen. Wir haben ein Problem angegangen, das Technologiegiganten wie Google, OpenAI (Whisper) und Meta praktisch ignoriert haben.

🚫 Das Problem

Wie Sie wissen, ist auf Zypern die offizielle Sprache Hochgriechisch, aber im Alltag sprechen die meisten Menschen Griechisch Zypriotischer Dialekt.

Wenn Sie hier versuchen, KI-Sprach-zu-Text-Apps oder KI-Sprachassistenten zu verwenden, scheitern diese schwer. Große Models behandeln den Dialekt als "Lärm" oder "schlechtes Griechisch." Selbst Metas riesiges 1.600-Sprachen-Modell unterstützt dies nicht.

💡 Der Plan vs. die Realität

Wir dachten, dies wäre eine Standard-Feinabstimmungsaufgabe:

1. Schnappen Sie sich einen Griechen wav2vec Modell.
2. Laden Sie einen Datensatz herunter.
3. Verbrennen Sie einige GPU-Credits.
4. Profitieren.

Der Realitätscheck: Es gab NEIN Datensätze. Vorhandene Forschungsdaten gingen entweder verloren, wurden beschädigt oder hinter einer 35.000-Euro-Paywall gesperrt.

🛠 Die Lösung (auf die harte Tour)

Da Daten = KI, mussten wir die gesamte Pipeline von Grund auf neu aufbauen. Folgendes haben wir getan:

• Daten abrufen: Wir haben stundenlang zyprisches Fernsehen, Radio und Podcasts heruntergeladen.
• Crowdsourcing: Wir haben eine Plattform gebaut (voiceofcyprus.org), um echte Übersetzungen von Einheimischen zu sammeln.
• Unordentliche Daten: Wir haben jeden NLP-Trick genutzt, um den Modellkontext mithilfe sehr unvollkommener Audiodaten zu lehren.

Wir haben alles als Open-Source-Lösung bereitgestellt:

https://huggingface.co/datasets/Elormiden/RIK_Cypriot_Collection_Dataset
https://huggingface.co/datasets/Elormiden/RIK_Cypriot_News_Dataset

🚀 Das Ergebnis

In nur 6 Wochen und mit nur GPU-Guthaben im Wert von 150 $wir haben ein kleines Modell trainiert, das tatsächlich den zypriotischen Dialekt versteht!
https://huggingface.co/Elormiden/bert-base-cypriot-greek

Die Produktion ist noch nicht perfekt, aber es ist die erste funktionierende Pipeline. Wir haben bewiesen, dass die Aufgabe ohne ein Big-Tech-Budget lösbar ist. Dies bietet Forschern und lokalen Entwicklern eine Grundlage, um endlich eine Sprach-KI für die Insel zu entwickeln, die die Menschen vor Ort verstehen kann.

Das Mitnehmen: Man kann die beste Architektur der Welt haben, aber Keine Daten = keine KI

Die vollständige Aufschlüsselung des Projekts finden Sie hier: https://youtu.be/zN_FMIWRSLA

Und für die Griechischsprachigen gibt es hier eine KI-übersetzte Version der Erklärung: https://youtu.be/hcoXFNVP6L4