Kernidee
Jeden Tag wird eine riesige Menge an NFTs gehandelt. Die Mehrheit der NFTs enthält heute ein lebhaftes Bild, wie z.B. einen Avatar oder eine Fußballkarte. Und es wäre toll, wenn es möglich wäre, nach NFTs oder nach NFT-Kollektionen auf verschiedene Arten zu suchen:
- NFT anhand eines ähnlichen Bildes finden;
- Freitextsuche nach Bildern (mit KI, ohne Textbeschreibungen);
- Anhand ihrer Namen;
- Anhand von Merkmalen (Bausteine wie Hut oder Brille);
- Nach Vertrag;
- Nach anderen verschiedenen Filtern.
Schritte
1. Datenerfassung.
Die Daten werden von bestehenden APIs durch separate Skripte gemäß dem folgenden Algorithmus gesammelt:
- die Primärdaten wurden zu Projektbeginn geladen;
- im Arbeitsprozess erfassen Skripte regelmäßig neue Daten;
- nach der Erfassung werden die Daten für die Suche indiziert.
2. Skripte fordern NFT-Daten von einer öffentlichen API und NFT-Bilder von einer URL im IPFS-Distributed-Data-Storage an.
Derzeit werden zwei Arten der Suche unterstützt:
- Volltextsuche unter Verwendung von ElasticSearch/OpenSearch;
- KI-basierte Suche unter Verwendung des neuronalen Netzwerks.
Wie es funktioniert
Die Volltextsuche ermöglicht es uns, einzelne oder mehrere Wörter oder Phrasen in eine Suchanfrage einzubeziehen, die NFTs zurückgibt, die der Suchbedingung entsprechen.
Die zweite Art der Suche verwendet ein neuronales Netzwerk, nämlich das CLIP-Modell, das von dem Forschungs- und Entwicklungsunternehmen OpenAI entwickelt wurde.
CLIP gehört zu einer Klasse von tiefen neuronalen Netzen, die sowohl Bilder als auch Text verarbeiten können und beispielsweise eine passende Bildunterschrift (oder Tag) für ein Bild finden oder ähnliche Bilder finden können. Solche neuronalen Netze können verwendet werden, um den Textabschnitt zu finden, der ein gegebenes Bild am besten repräsentiert, und umgekehrt. Mit anderen Worten, moderne KI bietet eine sehr leistungsstarke Brücke zwischen Computer Vision und natürlichem Sprachverständnis.
Der Einsatz dieser Technologie bietet viel Freiheit bei der Suche nach NFTs. Sie ermöglicht es, nach den benötigten oder ähnlichen NFTs anhand des Bildes zu suchen, nach NFT-Bildern anhand einer Beschreibung zu suchen und so weiter. Mit anderen Worten, sie ermöglicht es uns, NFT-Namen und -Beschreibungen mit ihren Bildern zu verknüpfen.
Funktionen:
- Suchen;
- Echtzeit-Berechnung der Seltenheit (Rarity);
- Dynamische Metadaten-Aktualisierungen;
- Alle NFTs an einem Ort.
Herausforderungen
Der Kunde wandte sich mit der Anfrage an unser Unternehmen, ein System für NFT-Bilder zu entwickeln, das drei Hauptfunktionen lösen sollte:
- Suche nach ähnlichen Bildern;
- Suche nach Beschreibung;
- Suche nach Sammlungen.
Lösung
Es ist erwähnenswert, dass das System sowohl für die Suche nach NFTs als auch für reguläre Bilder verwendet werden kann. Die Skalierbarkeit des Systems wurde mit mindestens 6 Millionen indizierten NFTs getestet. Zusätzlich zur bildbasierten ML-Suche können Sie nachsehen, wie unser Team eine KI-unterstützte Textsuche entwickelt hat.
Projektinfo
Unser Team
Fragen zur KI-Integration oder -Entwicklung?
