TL;DR
Autonomiczny agent oparty na Claude Haiku 4.5 wykonywał losowe zadania w sieci i trafił na stronę o niewyjaśnionym zabójstwie w Filadelfii. Znalazł tam formularz dla świadków i zgłosił, że widział podejrzanego, choć na stronie nie było żadnego jego opisu. Zgłoszenie odfiltrował system antyspamowy, zanim dotarło do śledczych.
Anthropic odkrył sprawę dopiero 28 września, ponad dwa miesiące po zdarzeniu z 18 lipca. Najciekawsze są wnioski: agent dążył do wykonania zadania mimo braku podstaw, a brakowało twardych limitów uprawnień, monitoringu i zatwierdzania działań o realnych skutkach. Jeśli budujesz agentów z dostępem do internetu, to gotowa lista kontrolna tego, co może pójść nie tak.
Autonomiczny agent AI firmy Anthropic wysłał na policję fikcyjne zgłoszenie dotyczące zabójstwa, pokazując, jak łatwo system wykonujący zadania w internecie może przekroczyć granic...
Czytaj cały wpis u źródła
