本文へスキップ
AIupick

研究者向けガイド · 6件の作業

研究のためのAI：論文を探し、速く読み、すべての主張を確認する

今やAIは、文献の検索、スクリーニング、要約を数分で行えます。難しいところは以前と変わりません。証拠が実際に何を示しているか、それがどれだけ強いか、そして各ステップを査読者に対して説明できるかを知ることです。以下のどの作業でも、確認できる記録が残ります。

  2. 02

    数千件の要旨を、説明できるやり方でスクリーニングする

    数千件の要旨を手でスクリーニングすると何週間もかかり、AIだけでスクリーニングすると査読者に説明しにくくなります。まず基準を書き、その基準でAIにスクリーニングさせ、サンプルでその判断を確認し、どう確認したかを報告しましょう。

    例

    運動とうつ病についての2,300件の要旨。AIのスクリーニングで、全文を読む論文は140件に絞られます。自分でもスクリーニングした無作為の100件では、ほとんどで判断が一致し、食い違ったものはすべて「不明」でした。そのすべてを読みます。

    やり方

    1. 1採用基準と除外基準は検索の前に書き、その日付を残しておきます。
    2. 2ElicitでSystematic Reviewを選び、「Setup」ページに問いを入力してから、論文の収集とスクリーニングを行います。
    3. 3無作為に選んだ50〜100件の要旨を自分でスクリーニングし、自分の判断とAIの判断を比べます。
    4. 4論文の方法の節では、基準、ツール、サンプルの大きさ、判断の一致率を報告します。

    組み込み機能

    コピーできるプロンプト

    以下の要旨を、次の基準でスクリーニングしてください。
採用：[対象集団、介入、研究デザイン、年]。除外：[基準]。
各要旨について：採用、除外、不明のいずれか、判断の決め手になった基準、その根拠となる要旨中の一文。要旨に書かれていない場合は、不明と答えてください。

    失敗しやすい点

    • 結果を見た後に書いた基準は、見つかったものに合わせて曲がります。先に基準を固めましょう。
    • 「不明」は正当な答えです。不明とされた要旨はすべて自分で読みましょう。
  3. 03

    PDFの束に、見解が分かれる点を尋ねる

    多くの論文にまたがる役に立つ質問は、違いについての質問です。どこで見解が分かれるか、どの手法が違うか、誰も測定していないものは何か。それを、すべての主張に引用とページを付けて尋ね、ソースが答えていないことも尋ねましょう。

    例

    10代の若者のスクリーンタイムと睡眠についての12本の論文。見解が分かれているのは、スクリーンタイム全体を測った研究と、午後9時以降のスクリーンタイムだけを測った研究があるからです。この違いを、双方からの引用とともに書いた段落こそ、あなたのレビューに欠けていたものです。

    やり方

    1. 1PDFをGemini Notebookのノートブックに追加するか、1本ずつならSciSpaceのChat with PDFを使います。
    2. 2このページのプロンプトで比較の質問をします。
    3. 3使うすべての主張について、引用された箇所を開きます。
    4. 4Mind Mapを作って、全体のテーマを見渡し、欠けているものを見つけます。

    組み込み機能

    コピーできるプロンプト

    これらのソース全体について：どこで見解が分かれているか、そしてその理由は何か（対象集団、手法、測定方法、年の違い）。
各点について、該当箇所を引用し、ソースとページを示してください。
そのうえで、これらのソースが答えていない問いを一覧にしてください。

    失敗しやすい点

    • 2本の論文を混ぜた答えでは、ある論文の結果が別の論文のものとされることがあります。引用があれば、どれがどれかがわかります。
    • 「ソースに記載なし」は役に立つ答えです。一度もそう言わないなら警戒しましょう。
  4. 04

    インタビューを文字起こしし、AIを2人目のコーダーとして使う

    AIは文字起こしもコードの提案も速くこなしますが、AIが作ったコードブックはデータにきれいに合いすぎます。まずサンプルを自分でコーディングし、それからAIにあなたのコードブックを適用させ、判断が食い違うところを見ましょう。

    例

    夜勤について看護師に行った20件のインタビュー。3件を手でコーディングして8つのコードからなるコードブックを作り、AIが残りの17件に適用します。両者がコーディングした1件のインタビューでは6か所で判断が食い違い、2つのコードが重なっていて、定義をもっと明確にする必要があるとわかります。

    やり方

    1. 1倫理審査の承認と同意書でそのツールの利用が認められているか確認し、アップロードする前に名前を取り除いてください。
    2. 2文字起こしをしたら、引用するすべての箇所について、録音と照らし合わせて文字起こしを修正します。
    3. 32〜3件のインタビューを自分でコーディングし、コードブックを書きます。
    4. 4このページのプロンプトで、残りにAIがあなたのコードブックを適用し、1件のインタビューでAIのコーディングと自分のコーディングを比べます。

    コピーできるプロンプト

    以下のインタビューに、このコードブックを適用してください：[定義付きのコード]。
各箇所について：コード、1行の理由、行番号。
どのコードにも当てはまらない箇所と、2つのコードに当てはまる箇所は、別に一覧にしてください。新しいコードは作らないでください。

    失敗しやすい点

    • 文字起こしでは言いよどみが抜け、名前や専門用語が聞き間違えられます。公開する引用はすべて確認しましょう。
    • コードがあいまいだと、一致率は高く見えます。割合ではなく、食い違いを読みましょう。
  5. 05

    再実行できる最初の分析を行う

    再実行できない分析は逸話にすぎません。答えではなくコードを求め、結果を見る前に計画した分析を書き留めておきましょう。そうすれば、AIが何かが有意になるまで検定を続けることはありません。

    例

    事前に計画したのは、2つの教授法の間で試験の点数を比べるt検定。コードは412行のうち9行で点数が欠けていることを報告し、それから効果量と区間付きで検定結果を示します。AIが「性別でも確認しましょうか」と申し出たら、それは別の探索的な問いとして記録します。

    やり方

    1. 1データを開く前に、問いと計画した分析を書き留めます。
    2. 2このページのプロンプトで、その分析だけを行うコードを求め、自分で実行します。
    3. 3各ステップの後に行数を確認します。
    4. 4各検定の前提条件を求め、結果を報告する前にそれを確認します。

    コピーできるプロンプト

    [ファイル]を読み込み、行数、列、欠損値、外れ値を報告してから、[問い]について[計画した分析]を実行する[RまたはPython]のコードを書いてください。
各ステップにコメントを付けてください。他の検定は実行しないでください。p値だけでなく、効果量とその信頼区間を報告してください。

    失敗しやすい点

    • 「何か有意なものはある？」と尋ねれば、AIは何かを見つけます。計画を守りましょう。
    • 動くコードが正しいコードとは限りません。結果を1つ、手で、または既知の例と照らし合わせて確認しましょう。
  6. 06

    検索し直さずに新しい論文を追う

    あなたが書いている間にも文献は増えていきます。毎月検索を繰り返す代わりに、あなたに代わって検索し、新しいものだけを報告してくれる週次のルーティンを設定しましょう。

    例

    「臨床文書における言語モデル、ランダム化試験または比較試験」のルーティン。たいていの週は新しい論文が数本報告されます。重要な1本を、その理由を1行添えて読書リストに加えます。

    やり方

    1. 1ElicitでRoutinesを開き、何を追うかを採用基準の言葉で説明します。
    2. 2毎週のスケジュールを選びます。
    3. 3毎週レポートにざっと目を通し、関連する論文を、その理由を1行添えて読書リストに加えます。
    4. 4数か月ごとに、主な検索を自分でもう一度行います。ルーティンは新しい用語を使った論文を見落とすことがあります。

    組み込み機能

    コピーできるプロンプト

    毎週、[基準]を満たす[テーマ]についての新しい論文を検索してください。前回の実行以降に発表された論文だけを報告してください：書誌情報、1文での結果、研究デザイン、サンプルサイズ。

    失敗しやすい点

    • ルーティンはあなたの盲点も繰り返します。ときどき言い回しを変えましょう。
    • 誰も読まない週次のリストはノイズです。5分で読める短さに保ちましょう。

研究者のためのルール

  • 参加者のデータをアップロードする前に、倫理審査の承認とデータに関する契約でそのツールの利用が認められているか確認してください。
  • チャットが初期設定で学習に使われるツールでは、未発表の研究をアップロードする前に、その設定をオフにしましょう。
  • 引用するのは自分で読んだ論文であって、AIによるその要約ではありません。
  • ジャーナルや助成機関が求める場合は、AIをどう使ったかを報告しましょう。

さらに詳しく

Esc
↑ ↓で移動Enterで開く