AI가 알려 준 내용 확인하는 법

이번에 배울 내용

• 환각이 무엇이고 왜 생기는지
• 답에서 먼저 확인해야 할 부분: 이름, 숫자, 날짜, 인용문, 링크
• 출처를 요청한 다음 직접 확인하는 방법
• 사실과 AI의 짐작을 구분하는 방법

핵심 개념

AI 도구는 내용이 맞든 틀리든 유창하고 자신 있는 글을 써요. 존재하지 않는 책이나 아무도 한 적 없는 말처럼, 그럴듯하지만 사실이 아닌 내용을 만들어 내는 것을 환각이라고 해요. 틀렸거나 지어낸 내용을 자신 있게 내놓는 것이에요. 모델이 그럴듯한 텍스트를 예측하기 때문에 생기는 일이에요. 거짓말을 하는 것도 아니고, 자기가 틀렸다는 것을 알지도 못해요.

모든 단어를 확인할 필요는 없어요. 틀렸을 때 피해를 줄 부분을 확인하세요. 이름, 숫자, 날짜, 인용문, 링크가 흔히 위험한 지점이고, 법률, 의료, 금융에 관한 내용도 마찬가지예요. 각각에 대해 1차 출처로 가세요. 원본 문서, 공식 웹사이트, 법 조문 자체, 또는 그 사람이 직접 낸 글이요. 같은 주장을 되풀이하는 블로그 글은 확인으로 치지 않아요.

AI에게 출처를 요청할 수 있어요. 도움이 되지만, 그게 마지막 단계는 아니에요. 인용된 출처가 존재하지 않을 수도 있고, 다른 내용을 다룰 수도 있고, AI가 주장하는 내용을 말하지 않을 수도 있어요. 직접 열어서 주장을 뒷받침하는 문장을 찾으세요. 찾을 수 없다면 그 주장은 확인되지 않은 것으로 다루세요.

마지막으로 AI에게 자기 답에 표시를 붙여 달라고 하세요. 어느 부분이 출처나 내가 준 자료에서 왔고, 어느 부분이 일반 지식, 짐작, 의견인지요. 이 표시가 늘 맞지는 않지만, 어디부터 봐야 할지 알려 줘요.

예시

작은 사업체를 운영하는 사람이 이렇게 물어요.

분기별 판매세 신고 마감일은 언제이고, 연체 가산금은 얼마인가요?
공식 규정 링크도 알려 주세요.

답에는 날짜, 가산금, 링크가 나와요. 그럴듯하게 읽혀요. 사업주는 각 부분을 확인해요.

• 링크는 세무서 웹사이트의 페이지로 열리지만, 다른 서식에 관한 페이지예요.
• 세무서가 직접 낸 해당 신고 안내 페이지에는 사업주의 지역에 대해 다른 마감일이 나와 있어요.
• 연체 가산금은 사업주가 찾을 수 있는 어떤 공식 페이지에도 나와 있지 않아요.

사업주는 후속 질문을 해요.

답 중에서 근거로 제시할 수 있는 출처에서 나온 부분은 어디이고, 일반
지식이나 짐작인 부분은 어디인가요? 별도의 목록으로 나눠 주세요.

AI는 가산금을 짐작 목록으로 옮겨요. 사업주는 마감일을 공식 페이지에서 가져오고, 가산금은 세무서에 전화해서 물어봐요. AI는 무엇을 찾아봐야 할지 알게 도와줬지만, 사업주가 따른 사실은 모두 1차 출처에서 나왔어요.

직접 해 보기

1. 사는 동네, 직업, 취미처럼 잘 아는 것에 대해 아무 AI 도구에나 사실을 묻는 질문을 하세요.
2. 링크가 있는 출처를 적어도 두 개 넣어 달라고 하세요.
3. 답에 나온 이름, 숫자, 날짜, 인용문에 모두 밑줄을 그으세요.
4. 출처를 하나씩 열어서, 밑줄 그은 항목을 뒷받침하는 정확한 문장을 찾으세요.
5. 항목마다 확인됨, 틀림, 찾지 못함으로 표시하세요.

마지막에는 상태가 표시된 짧은 주장 목록과, 내 분야에서 이 도구를 얼마나 확인해야 하는지에 대한 첫 감각이 남아 있어야 해요. 더 긴 리서치를 하려면 AI로 리서치하고 인용 확인하기로 이어 가세요.

이 템플릿 복사하기

이 질문에 답해 주세요: [질문].

그런 다음 답을 세 가지 목록으로 나눠 주세요:
1. 제가 확인할 수 있는 출처가 있는 사실. 각각 출처 이름과 링크를
   알려 주세요.
2. 특정 출처에서 가져오지 않은 일반 지식.
3. 짐작, 가정, 의견.

이름, 숫자, 날짜, 인용문 중 확실하지 않은 것이 있으면 그 옆에 그렇다고
적어 주세요. 출처를 지어내지 마세요.

AI에게 불확실한 부분을 표시해 달라고 해도 답이 정확해지는 것은 아니에요. 중요한 부분은 계속 확인하세요.

결과 확인하기

• 모든 링크가 열리고, 원본이나 공식 페이지인가요?
• 출처가 AI가 주장하는 내용을 출처 자체의 표현으로 말하고 있나요?
• 이름의 철자가 맞고, 날짜와 숫자가 출처와 정확히 일치하나요?
• 인용문이 한 글자도 다르지 않고, 이름이 나온 그 사람이 한 말인가요?
• 출처가 내 목적에 맞을 만큼 최신인가요? 페이지에 날짜가 있는지 찾아보세요.
• 짐작이 사실과 분명히 구분되어 있나요?

자주 하는 실수

• 링크가 열리는지만 확인하기. 실제 페이지라도 다른 내용을 다룰 수 있어요. 주장을 뒷받침하는 문장을 찾으세요.
• 같은 AI에게 확실하냐고 묻기. 새로운 근거 없이 동의하거나 답을 바꿀 수 있어요. 대신 1차 출처를 확인하세요.
• 자신 있는 어조를 정확성의 신호로 여기기. 어조는 사실 여부에 대해 아무것도 알려 주지 않아요. 주장마다 출처로 판단하세요.
• 모든 것을 똑같이 꼼꼼하게 확인하기. 시간이 모자라게 돼요. 틀렸을 때 피해를 줄 것부터 시작하세요. 돈, 건강, 법적인 사항, 그리고 공개하거나 보낼 모든 것이요.