Jak sprawdzać to, co mówi AI

Czego się nauczysz

• Czym jest halucynacja i dlaczego się zdarza
• Które części odpowiedzi sprawdzać najpierw: nazwiska, liczby, daty, cytaty i linki
• Jak prosić o źródła, a potem samodzielnie je sprawdzać
• Jak oddzielać fakty od domysłów AI

Idea

Narzędzia AI piszą płynny, pewny siebie tekst bez względu na to, czy treść jest poprawna. Kiedy narzędzie tworzy coś, co brzmi wiarygodnie, ale jest fałszywe, na przykład książkę, która nie istnieje, albo cytat, którego nikt nie wypowiedział, nazywamy to halucynacją: pewnym siebie wynikiem, który jest błędny lub zmyślony. Dzieje się tak, bo model przewiduje prawdopodobny tekst. Nie kłamie i nie wie, kiedy się myli.

Nie musisz sprawdzać każdego słowa. Sprawdzaj te części, które wyrządziłyby szkodę, gdyby były błędne. Zwykle ryzykowne są nazwiska, liczby, daty, cytaty i linki, a także wszystko, co dotyczy prawa, zdrowia lub finansów. Przy każdej z nich sięgnij do źródła pierwotnego: oryginalnego dokumentu, oficjalnej strony, samego przepisu albo publikacji danej osoby. Wpis na blogu, który powtarza to twierdzenie, nie jest potwierdzeniem.

Możesz poprosić AI o źródła. To pomaga, ale nie jest ostatnim krokiem. Podane źródło może nie istnieć, może dotyczyć czegoś innego albo może nie mówić tego, co twierdzi AI. Otwórz je i znajdź zdanie, które potwierdza twierdzenie. Jeśli go nie znajdziesz, traktuj twierdzenie jako niepotwierdzone.

Na koniec poproś AI, żeby oznaczyło własną odpowiedź: które części pochodzą ze źródła lub z materiału, który mu dajesz, a które są wiedzą ogólną, domysłami lub opiniami. Te oznaczenia nie zawsze są trafne, ale pokazują, gdzie zajrzeć najpierw.

Przykład

Właścicielka małej firmy pyta:

Kiedy mija termin złożenia kwartalnej deklaracji podatku od sprzedaży
i jaka jest kara za spóźnienie? Podaj link do oficjalnego przepisu.

Odpowiedź podaje datę, kwotę kary i link. Dobrze się ją czyta. Właścicielka sprawdza każdą część:

• Link otwiera stronę urzędu skarbowego, ale dotyczy innego formularza.
• Strona urzędu poświęcona jej deklaracji podaje inny termin dla jej regionu.
• Kary za spóźnienie nie ma na żadnej oficjalnej stronie, którą udaje się jej znaleźć.

Zadaje kolejne pytanie:

Które części twojej odpowiedzi pochodzą ze źródła, które możesz wskazać,
a które są wiedzą ogólną lub domysłem? Umieść je na osobnych listach.

AI przenosi karę na listę domysłów. Właścicielka bierze termin z oficjalnej strony, a w sprawie kary dzwoni do urzędu skarbowego. AI pomogło jej zobaczyć, co trzeba sprawdzić, ale każdy fakt, na którego podstawie działała, pochodził ze źródła pierwotnego.

Poćwicz teraz

1. Zadaj dowolnemu narzędziu AI pytanie o fakty dotyczące czegoś, co dobrze znasz, na przykład twojego miasta, pracy albo hobby.
2. Poproś, żeby podało co najmniej dwa źródła z linkami.
3. Podkreśl w odpowiedzi każde nazwisko, liczbę, datę i cytat.
4. Otwórz każde źródło i poszukaj dokładnego zdania, które potwierdza każdy podkreślony element.
5. Oznacz każdy element jako potwierdzony, błędny lub nieznaleziony.

Na koniec będziesz mieć krótką listę twierdzeń ze statusem przy każdym z nich i pierwsze wyczucie, jak bardzo to narzędzie wymaga sprawdzania w twojej dziedzinie. Przy dłuższym wyszukiwaniu informacji przejdź do lekcji Wyszukuj informacje z AI i sprawdzaj przypisy.

Skopiuj ten szablon

Odpowiedz na to pytanie: [twoje pytanie].

Następnie podziel odpowiedź na trzy listy:
1. Fakty ze źródłem, które mogę sprawdzić. Przy każdym podaj nazwę
   źródła i link.
2. Wiedza ogólna, która nie pochodzi z konkretnego źródła.
3. Domysły, założenia lub opinie.

Jeśli nie masz pewności co do nazwiska, liczby, daty lub cytatu, zaznacz
to obok. Nie wymyślaj źródeł.

Prośba o zaznaczenie niepewności nie sprawia, że odpowiedź AI jest poprawna. Nadal sprawdzaj to, co ważne.

Sprawdź wynik

• Czy każdy link się otwiera i czy prowadzi do oryginalnej lub oficjalnej strony?
• Czy źródło własnymi słowami mówi to, co twierdzi AI?
• Czy nazwiska są poprawnie zapisane, a daty i liczby dokładnie zgadzają się ze źródłem?
• Czy cytaty są dosłowne i czy wypowiedziała je wskazana osoba?
• Czy źródło jest wystarczająco aktualne do twojego celu? Szukaj daty na stronie.
• Czy domysły są wyraźnie oddzielone od faktów?

Częste błędy

• Sprawdzanie tylko, czy link działa. Prawdziwa strona nadal może dotyczyć czegoś innego. Znajdź zdanie, które potwierdza twierdzenie.
• Pytanie tego samego AI, czy jest pewne. Może się zgodzić albo zmienić odpowiedź bez żadnych nowych dowodów. Zamiast tego sprawdź źródło pierwotne.
• Traktowanie pewnego tonu jako oznaki trafności. Ton nic nie mówi o prawdzie. Oceniaj każde twierdzenie po jego źródle.
• Sprawdzanie wszystkiego z taką samą starannością. Zabraknie ci czasu. Zacznij od tego, co wyrządziłoby szkodę, gdyby było błędne: pieniądze, zdrowie, kwestie prawne i wszystko, co opublikujesz lub wyślesz.