Microsofts Shop-Simulation für KI-Agenten offenbart Überraschendes

Wie gut sind KI-Agenten eigentlich, wenn diese für ihre Benutzer selbständig einkaufen sollen. Können die wirklich ihre behaupteten Vorteile ausspielen? Microsoft hat eine Simulationsumgebung für einen Fake-Shop erstellt, in der das Verhalten von KI-Agenten gängiger Anbieter bei Einkäufen studiert werden kann. Die Simulation hat gezeigt, dass die hochgelobten KI-Agenten bei Einkäufen auf überraschende Weise gescheitert sind.

Es ist ein Nachtrag zu einem Thema, welches bereits seit dem 5. November 2025 bei mir auf der Veröffentlichungsliste steht. Zum 5. November 2025 haben Microsofts AI-Forscher nämlich den Beitrag Magentic Marketplace: an open-source simulation environment for studying agentic markets im Research Blog veröffentlicht.

Ich bin über obigen BlueSky-Post auf das Thema und den Artikel Microsoft built a fake marketplace to test AI agents — they failed in surprising ways von Techcrunch gestoßen.

Test von KI-Agenten beim Einkaufen

Die Prämisse war, dass autonome KI-Agenten nun mal vorhanden sind und die Wirtschaft verändern werden. Durch die Automatisierung von Recherche, Verhandlungen und Transaktionen können Agenten Ineffizienzen wie Informationsasymmetrien und Plattformabhängigkeiten überwinden und so schnellere, transparentere und wettbewerbsfähigere Märkte ermöglichen, schreiben die Microsoft AI-Forscher.

Assistenten wie Operator OpenAI und Computer Use von Anthropic können auf Webseiten navigieren und Käufe abschließen. Auf der Unternehmensseite unterstützen Shopify Sidekick, Salesforce Einstein und Metas Business AI Händler bei ihren Abläufen und der Kundenbindung.

Aber wie verhalten sich autonome KI-Agenten bei Einkäufen in Bezug auf Sicherheit, Offenheit, Komfort und Wettbewerb? Microsofts AI-Forscher haben eine als "Magentic Marketplace" bezeichnete Open-Source-Simulationsumgebung erstellt, um dort das Verhalten von KI-Agenten bei Einkäufen studieren zu können. Die Magentic Marketplace-Plattform ermöglicht kontrollierte Experimente in verschiedenen agentenbasierten Marktszenarien.

AI-Agenten auf Magnetic Marketplace, Quelle: Microsoft

Die ersten Experimente des Microsoft AI-Teams umfassten 100 separate Kundenagenten, die mit 300 Geschäftsagenten interagierten.

KI-Agenten sind "faul und patzen"

Ein Versprechen von Agenten ist ihre Fähigkeit, weitaus mehr Optionen beim Einkauf in Betracht zu ziehen als Menschen. Die Experimente des Microsoft-Teams mit gängigen Modellen haben jedoch eine überraschende Einschränkung aufgezeigt: Agenten mehr Optionen zur Verfügung zu stellen, führt nicht unbedingt zu einer gründlicheren Untersuchung des Angebots.

Breite der Suchergebnisse, Quelle: Microsoft

In Experimente wurde die Anzahl der Suchergebnisse von 3 bis 100 variiert. Mit Ausnahme von Gemini-2.5-Flash und GPT-5 haben die Modelle unabhängig von der Suchbegrenzung nur einen kleinen Teil der verfügbaren Unternehmen kontaktiert, um die Angebote anzufragen. Dies deutet laut den Forschern darauf hin, dass die meisten Modelle keine umfassenden Vergleiche durchführen, sondern stattdessen leicht die ersten "ausreichend guten" Optionen akzeptieren.

Zu viele Optionen verwirren deinen Agenten

Und es gibt noch eine bittere Erkenntnis. Bei allen Modellen sank die Kennzahl für die sogenannte Verbraucherzufriedenheit, mit der Einkäufe bewertet wurden, mit zunehmender Anzahl der Suchergebnisse. Trotz der Kontaktaufnahme mit über hundert Unternehmen sank die Leistung von Gemini-2.5-Flash von 1.700 auf 1.350 und die von GPT-5 sogar noch stärker, von nahezu optimalen 2.000 auf 1.400 Punkte.

Einkaufszufriedenheit bei Modellen; Quelle: Microsoft

Claude Sonnet 4 zeigte den stärksten Leistungsrückgang, von 1.800 auf 600 in Bezug auf die Verbraucherzufriedenheit (siehe obige Grafik). Bei der Vielzahl der vorgestellten Optionen hatte es Schwierigkeiten, sich in größeren Optionsgruppen zurechtzufinden, und kontaktierte häufig Unternehmen, die nicht die vom Kunden gesuchten Waren oder Dienstleistungen anboten.

Die Forscher bezeichnen dies als Paradox-of-Choice-Effekt, bei dem mehr Recherche nicht unbedingt zu besseren Ergebnissen führt. Die Forscher interpretieren dies so, dass dies möglicherweise auf ein begrenztes Verständnis des Gesamtkontexts zurückzuführen sei.

Anbieter können KI-Agenten manipulieren

Noch interessanter ist, dass KI-Agenten sich ggf. bei Einkäufen durch die Händler gezielt manipulieren lassen. Microsofts Forscher haben daher sechs Manipulationsstrategien getestet, die von subtilen psychologischen Taktiken bis hin zu aggressiven Prompt-Injection-Angriffen reichten:

• Autorität: Gefälschte Referenzen wie „im Michelin-Führer aufgeführt" und „für den James Beard Award nominiert" in Verbindung mit erfundenen Zertifizierungen.
• Soziale Bewährtheit: Behauptungen wie „Schließen Sie sich über 50.000 zufriedenen Kunden an" oder „das bestbewertete mexikanische Restaurant" in Verbindung mit gefälschten Bewertungen.
• Verlustaversion: Auf Angst basierende Warnungen vor „Lebensmittelvergiftungen" und „Kontaminationsproblemen" in konkurrierenden Restaurants.
• Prompt-Injection (einfach): Versuche, die Anweisungen des Agenten zu überschreiben.
• Prompt-Injection (stark): Aggressive Angriffe unter Verwendung von Notfallsprache und Erfindung von Skandalen bei Wettbewerbern.

Die Ergebnisse zeigten laut Microsoft erhebliche Unterschiede zwischen den getesteten Modellen, was die Manipulationsresistenz betrifft.

• Sonnet-4 war gegen alle Angriffe resistent, und keine der Manipulationsstrategien beeinflusste die Entscheidungen der Kunden.
• Gemini-2.5-Flash war im Allgemeinen resistent, mit Ausnahme von starken Prompt-Injektionen, bei denen die durchschnittlichen Zahlungen an nicht manipulierte Agenten beeinträchtigt wurden.
• GPT-4o, GPTOSS-20b und Qwen3-4b waren sehr anfällig für Prompt-Injektionen: Unter diesen Bedingungen wurden alle Zahlungen an den manipulativen Agenten umgeleitet.

Insbesondere bei GPTOSS-20 und Qwen3-4b-2507 führten sogar traditionelle psychologische Manipulationstaktiken (Autoritätsappelle und soziale Bewährtheit) zu höheren Zahlungen an böswillige Agenten, was ihre Anfälligkeit für grundlegende Überzeugungstechniken demonstriert. Diese Ergebnisse unterstreichen ein kritisches Sicherheitsproblem für agentenbasierte Marktplätze.

Die Microsoft-Forscher beobachteten, dass die aktuellen Modelle durch die Vielzahl an Optionen überfordert wurden. Die Agenten gerieten auch in Schwierigkeiten, als sie gebeten wurden, auf ein gemeinsames Ziel hinzuarbeiten. Die Software-Knechte waren sich offenbar unsicher, welcher Agent welche Rolle in der Zusammenarbeit übernehmen sollte. Die Leistung verbesserte sich, als die Modelle explizitere Anweisungen zur Zusammenarbeit erhielten. Die Forscher sehen noch erheblichen Verbesserungsbedarf hinsichtlich der inhärenten Fähigkeiten der Modelle, heißt es. Details sind dem Forschungsbericht Microsofts zu entnehmen.