Como verificar o que a IA diz

O que você vai aprender

• O que é uma alucinação e por que ela acontece
• Quais partes de uma resposta conferir primeiro: nomes, números, datas, citações e links
• Como pedir fontes e depois conferi-las você mesmo
• Como separar os fatos dos palpites da IA

A ideia

As ferramentas de IA escrevem textos fluentes e seguros, esteja o conteúdo correto ou não. Quando uma ferramenta produz algo que parece certo, mas é falso, como um livro que não existe ou uma frase que ninguém disse, isso se chama alucinação: uma resposta dada com segurança que está errada ou foi inventada. Isso acontece porque o modelo prevê o texto mais provável. Ele não está mentindo e não sabe quando está errado.

Você não precisa conferir cada palavra. Confira as partes que causariam dano se estivessem erradas. Nomes, números, datas, citações e links são os pontos de risco de sempre, junto com tudo o que for jurídico, médico ou financeiro. Para cada um, vá a uma fonte primária: o documento original, o site oficial, a própria lei ou a publicação da própria pessoa. Um post de blog que repete a afirmação não conta como confirmação.

Você pode pedir fontes à IA. Isso ajuda, mas não é a última etapa. Uma fonte citada pode não existir, pode tratar de outro assunto ou pode não dizer o que a IA afirma. Abra a fonte e encontre a frase que sustenta a afirmação. Se não encontrar, trate a afirmação como não confirmada.

Por fim, peça à IA que classifique a própria resposta: quais partes vêm de uma fonte ou do material que você deu, e quais são conhecimento geral, palpites ou opiniões. Essas classificações nem sempre estão certas, mas mostram onde olhar primeiro.

Exemplo

A dona de uma pequena empresa pergunta:

Qual é o prazo para entregar a minha declaração trimestral de imposto
sobre vendas, e qual é a multa por atraso? Me dê um link para a regra
oficial.

A resposta traz uma data, uma multa e um link. O texto parece bom. Ela confere cada parte:

• O link abre uma página no site da receita, mas sobre outro formulário.
• A própria página da receita para a declaração dela mostra outro prazo para a sua região.
• A multa por atraso não aparece em nenhuma página oficial que ela consiga encontrar.

Ela manda uma mensagem de acompanhamento:

Quais partes da sua resposta vêm de uma fonte que você consegue
indicar, e quais são conhecimento geral ou palpite? Coloque-as em
listas separadas.

A IA passa a multa para a lista de palpites. Ela pega o prazo da página oficial e liga para a receita para perguntar sobre a multa. A IA a ajudou a ver o que pesquisar, mas cada fato em que ela se baseou para agir veio da fonte primária.

Pratique agora

1. Faça a qualquer ferramenta de IA uma pergunta factual sobre algo que você conhece bem, como a sua cidade, o seu trabalho ou um hobby.
2. Peça que ela inclua pelo menos duas fontes com links.
3. Sublinhe cada nome, número, data e citação na resposta.
4. Abra cada fonte e procure a frase exata que sustenta cada item sublinhado.
5. Marque cada item como confirmado, errado ou não encontrado.

No fim, você deve ter uma lista curta de afirmações com um status para cada uma, e uma primeira ideia de quanto essa ferramenta precisa ser conferida na sua área. Para pesquisas mais longas, continue com Pesquise com IA e verifique as citações.

Copie este modelo

Responda a esta pergunta: [sua pergunta].

Depois divida a sua resposta em três listas:
1. Fatos com uma fonte que eu possa conferir. Dê o nome da fonte e o
   link de cada um.
2. Conhecimento geral que você não tirou de uma fonte específica.
3. Palpites, suposições ou opiniões.

Se não tiver certeza de um nome, número, data ou citação, diga isso ao
lado dele. Não invente fontes.

Pedir à IA que aponte suas incertezas não torna a resposta correta. Continue conferindo as partes que importam.

Confira o resultado

• Todos os links abrem, e são a página original ou oficial?
• A fonte diz o que a IA afirma, com as próprias palavras?
• Os nomes estão escritos corretamente, e as datas e os números batem exatamente com a fonte?
• As citações estão palavra por palavra e foram ditas pela pessoa indicada?
• A fonte é atual o bastante para o seu objetivo? Procure uma data na página.
• Os palpites estão claramente separados dos fatos?

Erros comuns

• Conferir só se o link funciona. Uma página real pode tratar de outro assunto. Encontre a frase que sustenta a afirmação.
• Perguntar à mesma IA se ela tem certeza. Ela pode concordar, ou mudar a resposta, sem nenhuma prova nova. Confira uma fonte primária.
• Tomar um tom seguro como sinal de precisão. O tom não diz nada sobre a verdade. Julgue cada afirmação pela fonte.
• Conferir tudo com o mesmo cuidado. Vai faltar tempo. Comece pelo que causaria dano se estivesse errado: dinheiro, saúde, questões jurídicas e tudo o que você vai publicar ou enviar.