Ich habe dieses Projekt letzte Woche gestartet, um Epstein-Dokumente leicht durchsuchbar zu machen und ein Archiv für den Fall zu erstellen, dass Daten aus offiziellen Quellen entfernt werden. Dies entwickelte sich schnell zu einem viel größeren Projekt als erwartet, was Zeit, Aufwand und Kosten betrifft :). Es ist mir auch gelungen, viele Dokumente des Aufsichtsausschusses des Repräsentantenhauses zu archivieren, darunter auch den Epstein-Nachlass.
Ich habe alles gescrapt, es über die Batch-API von OpenAI ausgeführt und eine Volltextsuche mit Netzwerkdiagrammen erstellt, die die PostgreSQL-Volltextsuche nutzt.
Derzeit sind 1.317.893 Dokumente indexiert und 238.163 Personen identifiziert (viele Duplikate, die derzeit an der Deduplizierung arbeiten). Ich importiere derzeit auch Nicht-PDF-Daten (wie Videos usw.).
Feedback ist willkommen, dies ist mein erstes großes Datensatzprojekt mit KI. Ich habe unzählige Automatisierungsskripte in Python geschrieben, die Website für die Suche erstellt und etwas Caching hinzugefügt, um die Dinge zu beschleunigen.
Von indienow
3 Kommentare
All of this data came from the DOJ’s Epstein Transparency Act releases, and the House Oversight Committee’s public releases. I used D3 for the visualizations.
I like how there’s C, S, a, N, B, E, and #1 in the second image. It’s cool to have a code name.
This is amazing, great work!