Die USDA Plants -Datenbank ist eine unschätzbare Ressource, aber die Art und Weise, wie sie veröffentlicht wird, ist nicht gerade effizient. Die Rohdaten kommen als 32.800 einzelne JSON -Dateienaddieren zu mehr als 700 MB für nur die Anlagenaufzeichnungen.
Ich wollte sehen, ob ich es nutzbarer machen könnte, also normalisierte ich alles in SQLite -Tabellen und komprimierte die Datenbank auf ungefähr ungefähr 17MB.
Das macht es möglich zu:
- Führen Sie den gesamten Datensatz direkt in einem Browser aus (kein Server erforderlich)
- Suchen und filtern Sie sofort, auch in mehr als 30.000 Pflanzen
- Rennen Sie SQL -Abfragen (zB „Alle einheimischen Michigan -Pflanzen mit“ Sonnenblume „im Namen“)
- Exportieren von Ergebnissen in CSV/JSON
- Laden Sie die DB herunter und verwenden Sie sie vollständig offline (bald kommt es in Kürze)
Da die Regierung derzeit im Abschaltmodus (keine neuen Updates bis zum Ende und die Finanzierung von Projekten wie diese immer ungewiss) war, war es der richtige Zeitpunkt, um zu zeigen, wie die Daten aufbewahrt und zugänglicher gestaltet werden können.
Sie können es hier versuchen: Plantatlas.ai frei und offen für die Verwendung.
Von clean_rebel29
5 Kommentare
You should share this on Bluesky
And here we were told DOGE was going to solve every issue like this across the govt. Leave it to a passionate netizen on reddit. Kudos
Nice work!
I saw a similar project recently that optimized the US dataset for matching motor vehicle vin numbers to their models by a similar factor (>100mb down to a browser-friendly payload). In that case it wasn’t that the data was full of „junk“ so much as it was mostly archival metadata. Where would you say your biggest optimization savings came from, just the conversion to SQLite?
I presume you’re going to share this on hacker news as well.
It looks great visually and putting together all the individual json files into a single database is the real work. Do you have a data pipeline to update the data as more files introduced or data format changes?
One thing that got my attention is that, the right hand side list is not tied to the left hand side filters, and as I changed the filters to find some plants local to my area (I’m not really a plant guy, so I was just experimenting) the list on the right kept showing 100 records but I couldn’t find where that limit is being set, and I wasn’t able to navigate any further into other records.
Download the DB and use it fully offline (coming soon) <- thank you for this. Maybe some projects that try to preserve stuff like this will be able to add it as well. Really do appreciate your efforts and hard work.