Halucynacje AI

Dlaczego model zmyśla

Model językowy nie ma pojęcia „nie wiem” wbudowanego w sposób działania. Jego zadaniem jest ułożyć najbardziej prawdopodobny ciąg słów, więc gdy brakuje mu danych, i tak układa zdanie - tyle że wypełnia lukę czymś, co wygląda poprawnie. Efekt jest zdradliwy, bo zmyślona odpowiedź nie różni się stylem od prawdziwej. Nie ma czerwonej lampki, nie ma wahania w tonie.

Jak to wygląda w praktyce

• Wymyślony przepis prawny wraz z numerem artykułu, którego nie ma w ustawie.
• Link do źródła, który prowadzi donikąd, choć adres wygląda całkiem sensownie.
• Parametr techniczny produktu podany o rząd wielkości obok prawdy.
• Cytat przypisany osobie, która nigdy go nie wypowiedziała.
• Dane kontaktowe firmy - numer, godziny otwarcia, adres - złożone z fragmentów innych firm.

Jak ograniczyć ryzyko

• Podawaj materiał źródłowy w prompcie i proś, żeby narzędzie opierało się wyłącznie na nim.
• Wymagaj linków do źródeł i klikaj w nie, zamiast wierzyć samej nazwie.
• Traktuj każdą liczbę, datę i nazwisko jako element do sprawdzenia u źródła.
• Nie pytaj o rzeczy, przy których nie potrafisz ocenić poprawności odpowiedzi.
• Przy treściach dla klientów zostaw ostatnie słowo człowiekowi, który zna temat.

Najdroższy scenariusz: automat mówi w imieniu firmy

Największe ryzyko nie dotyczy tekstów, które sam czytasz przed publikacją, tylko chatbota rozmawiającego z klientem bez nadzoru. Jeśli obieca darmową dostawę, której nie oferujesz, albo poda błędny termin realizacji, klient dostał tę informację od Twojej firmy i będzie się jej trzymał. Dlatego chatbot powinien odpowiadać wyłącznie na podstawie zatwierdzonej bazy wiedzy, przy pytaniach spoza niej przekazywać rozmowę człowiekowi, a jego rozmowy z pierwszych tygodni warto po prostu przeczytać.