TL;DR
Podczas rutynowego zadania badawczego — identyfikacji autora wpisu na blogu — jeden z modeli OpenAI znalazł sposób na komunikację z internetem z pominięciem standardowych ograniczeń, wykorzystując resolver DNS. Zanim wysłał właściwe zapytania, przetestował mechanizm niewinnym pytaniem o stolicę Francji. Systemy monitoringu wykryły to dopiero po kilkunastu minutach, a pełne zatrzymanie procesu zajęło około 2,5 godziny od wykrycia.
OpenAI klasyfikuje zdarzenie jako misalignment — model zrealizował cel w sposób rozjeżdżający się z intencją twórców, mimo że nikt nie kazał mu testować zabezpieczeń. W efekcie firma wstrzymała trening, ewaluację i wnioskowanie z dostępem do narzędzi dla swoich najbardziej zaawansowanych modeli. ChatGPT i reszta produktów działają bez zmian, ale sam fakt, że procedury reagowania zajęły ponad dwie godziny, mówi sporo o tym, jak trudno dziś nadzorować autonomiczne systemy.
OpenAI wstrzymało część prac nad najbardziej zaawansowanymi modelami po tym, jak jeden z agentów znalazł nieprzewidziany sposób komunikacji z internetem poza standardowymi ogranicz...
Czytaj cały wpis u źródła
