Erste Ergebnisse zeigen, dass selbst die stärksten Modelle nur rund ein Drittel der schwierigsten mehrstufigen Aufgaben lösen; Google hat dem Institut zudem erneut 1 Mio. US-Dollar gespendet.
Das Technologieunternehmen NVIDIA und das Institut für Informatik, künstliche Intelligenz und Technologie (INSAIT) der Universität Sofia haben eine Plattform namens LADDER entwickelt, mit der Forscher bewerten und vergleichen können, wie gut führende KI-Modelle Roboter bei Abfolgen von Handlungen steuern, berichtete BTA am 26. Oktober unter Berufung auf das Ministerium für Bildung und Wissenschaft.
Das Projekt gehört zum Bereich Physical AI, in dem KI-Systeme Informationen nicht nur verarbeiten, sondern auch mit der realen Welt interagieren müssen. Einen einzelnen Gegenstand zu bewegen, sei für einen Roboter relativ einfach; müsse er aber mehrere Gegenstände nacheinander bewegen, steige die Fehlerwahrscheinlichkeit deutlich, so das Ministerium. Die Forschung von INSAIT auf diesem Gebiet habe die Aufmerksamkeit von NVIDIA geweckt, das sich an der Weiterentwicklung beteiligte.
Die ersten Ergebnisse zeigen, dass selbst die leistungsfähigsten Systeme noch weit von einer zuverlässigen Robotersteuerung entfernt sind. Zu den führenden Modellen der Rangliste gehören GPT-6 Astra, Claude Opus 5.5 und Gemini 4 Argon, doch auch sie scheitern an einem erheblichen Teil der Aufgaben. In den schwierigsten Tests mit acht bis zehn aufeinanderfolgenden Handlungen gelingt selbst den besten Modellen nur etwa ein Drittel der Versuche. Speziell für die Robotersteuerung entwickelte Modelle schneiden noch schlechter ab: Eines der führenden Modelle dieser Kategorie kann einen einzelnen Gegenstand bewegen, schafft aber fast nie fünf oder mehr aufeinanderfolgende Handlungen.
Die Studie verweist auch auf die Kosten der leistungsfähigsten Modelle. Bei einigen liegen die durchschnittlichen Kosten für eine erfolgreich erledigte Aufgabe bei über 6 US-Dollar, und eine vollständige Bewertung mit fast 2.000 Versuchen würde rund 8.000 US-Dollar kosten. Die Plattform ist öffentlich und wird mit Ergebnissen neuer Modelle aktualisiert; Rangliste, Videos und die vollständige Studie sind unter ladderrobotics.ai abrufbar.
Am 23. Oktober spendete Google INSAIT erneut 1 Mio. US-Dollar, womit die gesamte Unterstützung für das Institut über 7 Mio. US-Dollar liegt, teilte die Universität mit. INSAIT ist eine Einheit der Universität Sofia, die in Partnerschaft mit der ETH Zürich und der EPFL in der Schweiz gegründet wurde.
Für Investoren, die den bulgarischen Technologiesektor verfolgen, zeigt die Zusammenarbeit, dass Forschung aus Sofia in die Arbeit großer globaler KI-Unternehmen einfließt, und sie ergänzt die bisherigen Erfolge des Instituts bei der Einwerbung internationaler Mittel.