[OC] 70.000 Bilder von Kleidungsstücken, sortiert nach visueller Ähnlichkeit in einer 3D-Punktwolke

Diese Visualisierung stellt den Fashion-MNIST-Datensatz dar, der aus 70.000 Graustufenbildern in 10 verschiedenen Bekleidungskategorien (T-Shirts, Hosen, Turnschuhe usw.) besteht.

Ich habe ein Convolutional Neural Network (CNN) darauf trainiert, diese Elemente zu erkennen. Anstatt nur die endgültige Klassifizierung zu betrachten, habe ich den internen 512-dimensionalen Vektor extrahiert, der von den Faltungsschichten erzeugt wurde. Dieser Vektor stellt die dar "Merkmale" die KI sieht.

Um dies zu visualisieren, habe ich Dimensionsreduktionsalgorithmen (t-SNE und UMAP) verwendet, um diese 512 Dimensionen in eine 3D-Wolke zu projizieren. Das Ergebnis ist, dass Elemente, die die KI optisch ähnlich findet, zusammendriften und natürliche Cluster entstehen.

Es ist interessant zu sehen, wie die Klassen Hemd, T-Shirt, Pullover und Mantel aufgrund ihrer visuellen Ähnlichkeit überlappende Cluster im latenten Raum bilden, während Schuhklassen wie Sneaker und Stiefel deutliche, dichte Cluster bilden, die gut getrennt sind. Zwischen den beiden Clustern liegen hoch geschnittene Sneakers und einige Stiefel und bilden eine Übergangszone.

Schauen Sie es sich hier an: bulovic.at/fmnist

^Erneut posten, da ich beim letzten Mal die Quelle und die Tools nicht angegeben habe.