KI-Alltag - Bildbewertung mit Gemini optimieren

Es regnet und die Kids brauchen Beschäftigung - was liegt da näher als Pokémon-Karten zu sortieren? 

Das Ziel war, den Tauschwert der doppelten Karten zu ermitteln, damit die Kids diese mit ihren Freunden gegen andere Karten tauschen können. Nun kann man natürlich jede Karte anhand der Seriennummer einzeln online suchen - das ist aber aufwändig, daher habe ich das mit einem Experiment mit der Gemini KI verbunden. 

Das Set-up 

Die Gemini-KI habe ich zunächst über einen einfachen Prompt über die Aufgabe informiert und habe sie selbst Vorschläge machen lassen, wie sie die Aufgabe am besten lösen könnte. Der Vorschlag eine Tabelle zu erstellen war gut, meine Vermutung war, dass die KI dann auch weniger halluziniert bzw. nachträglich Einträge ändert - was sich als richtig erwies.

Wir haben mit der KI einen Eingabeprozess vereinbart in dem die Karteninformationen in die Tabelle übertragen werden:

Gleichzeitig sollte die KI zu jeder Karte den aktuellen Handelswert online recherchieren und den Link zu der Website in einer eigenen Spalte anzeigen.

Soweit so gut. 
Allerdings wurde das Eintippen natürlich schnell langweilig.

Das Training

So kam ich auf die Idee Fotos von den Karten zu machen und sie in Gemini zu laden. Die erste Bildanalyse war trotz Erklärung im Prompt (Achte auf den Kartenbereich oben links für den Namen,...) nicht erfolgreich und voller Halluzinationen.

Die Kinder sagten schon: "Ha, die KI kann doch nicht alles!"
Ich so: "Hold my coffee!"

 

Zunächst haben ich ein "Training" durchgeführt, bei der ich dem Chatbot Bilder von neuen Pokémon-Karten hochgeladen habe und im Prompt den korrekten Namen und Kartennummer. Das hat ihm geholfen, seine Fähigkeiten zur Bilderkennung zu verbessern und Muster zu erkennen. Anschließend habe ich Fotos von neuen Karten hochgeladen, und die KI hat Namen und Kartennummern zuverlässig erkannt.

Da die Karten in eine Liste eingetragen wurden, hat die KI auch die bisherigen Uploads auf dem Schirm und erinnert sich an noch fehlende Informationen (wie bei der Karte "Fuentente").

Unterstützung bei der Karten-Bewertung 

Da nun die KI zuverlässig die Karten erkennt ging es zur eigentlichen Aufgabe: eine Einschätzung zum Wert der Pokémon-Karten ermitteln und in die Tabelle eintragen. Das war nun ziemlich einfach, denn die richtigen Nummern und Namen waren ja schon in der Tabelle...

Fazit 

Mit relativ wenig Aufwand war es möglich die KI mit Bildmaterial zu trainieren. Es bietet sich an, Daten, die man später weiter verwenden will von der KI in Tabellen oder andere Dokumente schreiben zu lassen, sodass sie "gespeichert" bleiben.

.