TL;DR
Agent AI potrafi sam napisać kod, wywołać narzędzia i oddelegować część zadania innym agentom, a klasyczne testy sprawdzają zwykle tylko wynik. Brytyjski AI Security Institute, razem z Meridian Labs, wypuścił open source'owy Transect, który ma pokazać drogę dojścia do tego wyniku, także przy wieloetapowych zadaniach realizowanych przez kilka systemów naraz.
Narzędzie czyta zapisy aktywności agentów: komunikację między systemami, wywołania narzędzi, zużycie zasobów i współpracę agentów. Całość ląduje na interaktywnej osi czasu. Do klasyfikowania zachowań używa modeli językowych i pozwala porównać oceny różnych modeli, żeby wyłapać rozbieżności. Dla zespołów, które szykują wdrożenia agentów do firm, to wygląda jak brakujący element audytu i oceny ryzyka.
Wraz z rosnącą autonomią agentów AI coraz trudniej ustalić, w jaki sposób podejmują decyzje i realizują zadania, dlatego brytyjski AI Security Institute opracował Transect, narzędz...
Czytaj cały wpis u źródła
