Як перевіряти те, що каже ШІ

Чого ви навчитеся

• Що таке галюцинація і чому вона виникає
• Які частини відповіді перевіряти насамперед: імена, числа, дати, цитати й посилання
• Як попросити джерела, а потім перевірити їх самостійно
• Як відокремити факти від здогадів ШІ

Ідея

Інструменти ШІ пишуть гладкий, упевнений текст незалежно від того, чи правильний зміст. Коли інструмент видає щось, що звучить правдоподібно, але є хибним, наприклад книжку, якої не існує, чи цитату, якої ніхто не казав, це називають галюцинацією: упевненим результатом, що є неправильним або вигаданим. Так стається тому, що модель передбачає ймовірний текст. Вона не бреше і не знає, коли помиляється.

Не обов'язково перевіряти кожне слово. Перевіряйте ті частини, які завдали б шкоди, якби виявилися неправильними. Імена, числа, дати, цитати й посилання — звичні зони ризику, як і все, що стосується права, медицини чи фінансів. Для кожного такого пункту зверніться до першоджерела: оригінального документа, офіційного вебсайту, самого закону чи власної публікації людини. Допис у блозі, що повторює твердження, не є підтвердженням.

Можна попросити ШІ навести джерела. Це допомагає, але це не останній крок. Наведеного джерела може не існувати, воно може бути про інше або не казати того, що стверджує ШІ. Відкрийте його й знайдіть речення, яке підтверджує твердження. Якщо не знайдете, вважайте твердження непідтвердженим.

Нарешті, попросіть ШІ позначити частини власної відповіді: що взято з джерела чи з наданого вами матеріалу, а що є загальними знаннями, здогадами чи думками. Ці позначки не завжди правильні, але вони показують, куди дивитися насамперед.

Приклад

Власниця невеликого бізнесу запитує:

Який кінцевий термін подання моєї квартальної декларації з податку з продажів
і який штраф за запізнення? Дай мені посилання на офіційне правило.

Відповідь містить дату, суму штрафу й посилання. Читається добре. Вона перевіряє кожну частину:

• Посилання відкриває сторінку на сайті податкової служби, але вона про іншу форму.
• На власній сторінці податкової служби для її декларації вказано інший кінцевий термін для її регіону.
• Штраф за запізнення не згадано на жодній офіційній сторінці, яку їй вдалося знайти.

Вона надсилає уточнення:

Які частини твоєї відповіді взято з джерела, на яке ти можеш вказати,
а які є загальними знаннями чи здогадом? Розподіли їх на окремі
списки.

ШІ переносить штраф до списку здогадів. Кінцевий термін вона бере з офіційної сторінки, а щодо штрафу телефонує до податкової. ШІ допоміг їй побачити, що треба з'ясувати, але кожен факт, на який вона спиралася, узято з першоджерела.

Спробуйте самі

1. Поставте будь-якому інструменту ШІ фактичне запитання про те, що ви добре знаєте, наприклад про ваше місто, роботу чи хобі.
2. Попросіть навести щонайменше два джерела з посиланнями.
3. Підкресліть у відповіді кожне ім'я, число, дату й цитату.
4. Відкрийте кожне джерело й знайдіть точне речення, яке підтверджує кожен підкреслений пункт.
5. Позначте кожен пункт як підтверджений, хибний або не знайдений.

Наприкінці у вас має бути короткий список тверджень зі статусом для кожного і перше уявлення про те, наскільки ретельно цей інструмент треба перевіряти у вашій сфері. Для довших досліджень перейдіть до уроку Досліджуйте зі ШІ й перевіряйте посилання на джерела.

Скопіюйте цей шаблон

Дай відповідь на це запитання: [ваше запитання].

Потім розподіли свою відповідь на три списки:
1. Факти з джерелом, яке я можу перевірити. Для кожного вкажи назву
   джерела й посилання.
2. Загальні знання, які ти не брав з конкретного джерела.
3. Здогади, припущення чи думки.

Якщо ти не впевнений щодо імені, числа, дати чи цитати, так і скажи поруч
із ними. Не вигадуй джерел.

Якщо попросити ШІ позначати непевне, його відповідь від цього не стане правильною. Важливі частини все одно перевіряйте.

Перевірте результат

• Чи відкривається кожне посилання і чи веде воно на оригінальну чи офіційну сторінку?
• Чи каже джерело своїми словами те, що стверджує ШІ?
• Чи правильно написано імена і чи точно збігаються дати й числа з джерелом?
• Чи наведено цитати дослівно і чи сказала їх саме названа людина?
• Чи достатньо актуальне джерело для вашої мети? Пошукайте дату на сторінці.
• Чи чітко відокремлено здогади від фактів?

Поширені помилки

• Перевіряти лише те, що посилання працює. Справжня сторінка може бути про інше. Знайдіть речення, яке підтверджує твердження.
• Запитувати той самий ШІ, чи він упевнений. Він може погодитися або змінити відповідь без жодних нових доказів. Натомість перевірте першоджерело.
• Вважати впевнений тон ознакою точності. Тон нічого не каже про правдивість. Оцінюйте кожне твердження за його джерелом.
• Перевіряти все з однаковою ретельністю. Вам забракне часу. Почніть із того, що завдасть шкоди, якщо виявиться хибним: гроші, здоров'я, юридичні питання й усе, що ви опублікуєте чи надішлете.