TL;DR
Im dłuższy skill dla agenta, tym większa szansa, że zaszkodzi. W eksperymencie WorkOS, opisanym przez Nicka Nisiego, wersja z 10 000 linii instrukcji pracowała 68 minut i dawała słabsze wyniki. Odchudzona do 553 linii kończyła w 6 minut. Skill nie jest więc długim promptem w ładniejszym opakowaniu, tylko pakietem złożonym z opisu, instrukcji i narzędzi.
Autor zbiera zasady projektowania skilli. Mają być małe i wyspecjalizowane, a zamiast pełnej dokumentacji lepiej dać agentowi listę typowych pułapek. Tam, gdzie się da, opis powinien ustąpić skryptowi, bo skrypt zawsze zadziała tak samo. Zespół OpenAI utrzymuje podobno 5–10 skilli zamiast kilkudziesięciu.
Najciekawsza jest ostatnia reguła: skill trzeba mierzyć, porównując wyniki z nim i bez niego. W jednym z przytoczonych przypadków skuteczność ze skillem wyniosła 77%, a bez niego 97%. Warto sprawdzić, czy własne skille na pewno pomagają.
Zasada #6: skill to nie długie polecenie. Lepiej mieć kilka krótkich, z narzędziami w środku, i sprawdzać, czy w ogóle pomagają, bo potrafią zaszkodzić.
Czytaj cały wpis u źródła
