Z kamerą wśród LLM-ów: Softmax, Temperatura, Sampling, Halucynacje

W poprzednich odcinkach przyjrzeliśmy się ogólnemu cyklowi życia modelu językowego (trenowanie i inferencja) oraz temu, jak modele “rozumieją” (a raczej: przetwarzają) język naturalny w oparciu o semantykę, atencję i tensory. Teraz kontynuujemy, zagłębiając się w konsekwencje takich a nie innych decyzji architektonicznych 🥩. Modele halucynują 😵‍💫 każdy/a z nas się prawd. z tym zetknął/ęła. Z […]