본문으로 건너뛰기
AIupick

연구자 가이드 · 작업 6개

연구를 위한 AI: 논문 찾기, 더 빨리 읽기, 모든 주장 확인하기

이제 AI는 몇 분 만에 문헌을 검색하고, 선별하고, 요약할 수 있어요. 어려운 부분은 예전과 같아요. 근거가 실제로 무엇을 말하는지, 얼마나 강한지, 그리고 각 단계를 심사자 앞에서 방어할 수 있는지 아는 것이요. 아래 작업은 모두 확인할 수 있는 기록을 남겨요.

  2. 02

    방어할 수 있는 방식으로 초록 수천 편 선별하기

    초록 수천 편을 직접 선별하려면 몇 주가 걸리고, AI만으로 선별하면 심사자 앞에서 방어하기 어려워요. 먼저 기준을 쓰고, AI가 그 기준으로 선별하게 하고, 표본으로 AI의 판단을 확인하고, 어떻게 확인했는지 보고하세요.

    예시

    운동과 우울증에 관한 초록 2,300편. AI 선별 후 전문을 읽을 논문 140편이 남아요. 직접 선별도 해 본 무작위 100편에서는 대부분 판단이 일치하고, 불일치는 모두 “불확실”이었으며, 그건 전부 직접 읽어요.

    하는 방법

    1. 1검색하기 전에 포함 기준과 제외 기준을 쓰고, 날짜를 기록해 두세요.
    2. 2Elicit에서 “Systematic Review”를 선택하고 “Setup” 페이지에 질문을 입력한 다음, 논문을 모으고 선별하세요.
    3. 3무작위로 고른 초록 50~100편을 직접 선별하고, 내 판단을 AI의 판단과 비교하세요.
    4. 4연구 방법에 기준, 도구, 표본 크기, 판단이 일치한 비율을 보고하세요.

    기본 제공

    복사할 프롬프트

    아래 초록을 이 기준으로 선별해 주세요.
포함: [대상 집단, 중재, 설계, 연도]. 제외: [기준].
초록마다: 포함, 제외, 불확실 중 하나, 판단을 결정한 기준, 그리고 판단의 근거가 된 초록 속 문장. 초록에 나와 있지 않으면 불확실로 답해 주세요.

    잘못되기 쉬운 지점

    • 결과를 본 뒤에 쓴 기준은 찾은 결과 쪽으로 휘어요. 기준을 먼저 확정하세요.
    • “불확실”도 타당한 답이에요. 불확실한 초록은 모두 직접 읽으세요.
  3. 03

    여러 PDF에 서로 어디서 다른지 묻기

    여러 논문을 두고 할 만한 질문은 차이에 관한 거예요. 어디서 의견이 갈리는지, 어떤 방법이 다른지, 아무도 측정하지 않은 게 뭔지요. 주장마다 인용과 페이지를 붙여 이런 것을 묻고, 소스가 답하지 못하는 것도 물어보세요.

    예시

    청소년의 스크린 타임과 수면에 관한 논문 12편. 어떤 논문은 전체 스크린 타임을, 다른 논문은 밤 9시 이후의 스크린 타임만 측정해서 결과가 갈려요. 양쪽의 인용을 붙인 그 차이가 리뷰에 빠져 있던 문단이에요.

    하는 방법

    1. 1PDF를 Gemini Notebook의 노트북에 추가하거나, 한 번에 논문 한 편씩 SciSpace의 Chat with PDF를 쓰세요.
    2. 2이 페이지의 프롬프트에 있는 비교 질문을 하세요.
    3. 3쓸 주장마다 인용된 구절을 열어 보세요.
    4. 4Mind Map을 만들어 자료 전체의 주제를 보고 빠진 것을 찾으세요.

    기본 제공

    복사할 프롬프트

    이 소스들 전체에서 어디서 서로 의견이 갈리고, 그 이유는 무엇인가요(대상 집단, 방법, 측정 방식, 연도의 차이)?
항목마다 해당 구절을 인용하고 소스와 페이지를 알려 주세요.
그다음 이 소스들이 답하지 못하는 질문을 나열해 주세요.

    잘못되기 쉬운 지점

    • 두 논문을 섞은 답은 한 논문의 결과를 다른 논문의 것으로 돌릴 수 있어요. 인용을 보면 어느 게 어느 건지 알 수 있어요.
    • “소스에 없음”은 쓸모 있는 답이에요. 이 답이 한 번도 나오지 않는다면 경계하세요.
  4. 04

    인터뷰를 전사하고 AI를 두 번째 코더로 쓰기

    AI는 빠르게 전사하고 코드를 제안하지만, AI가 만든 코드북은 데이터에 너무 깔끔하게 들어맞아요. 먼저 표본을 직접 코딩하고, 그다음 AI가 내 코드북을 적용하게 한 뒤 서로 다른 부분을 살펴보세요.

    예시

    야간 근무에 관한 간호사 인터뷰 20건. 세 건을 직접 코딩해 코드 여덟 개로 된 코드북을 만들고, AI가 나머지 17건에 적용해요. 둘 다 코딩한 인터뷰 한 건에서 여섯 구절의 판단이 달랐는데, 이를 보면 코드 두 개가 겹쳐서 정의를 더 분명히 해야 한다는 걸 알 수 있어요.

    하는 방법

    1. 1연구윤리 승인과 동의서에서 그 도구를 허용하는지 확인하고, 올리기 전에 이름을 지우세요.
    2. 2전사한 다음, 인용할 구절은 모두 녹음과 대조해 전사본을 바로잡으세요.
    3. 3인터뷰 두세 건을 직접 코딩하고 코드북을 쓰세요.
    4. 4이 페이지의 프롬프트로 AI가 나머지에 내 코드북을 적용하게 하고, 인터뷰 한 건에서 AI의 코딩을 내 코딩과 비교하세요.

    복사할 프롬프트

    아래 인터뷰에 이 코드북을 적용해 주세요: [코드와 정의].
구절마다: 코드, 한 줄짜리 이유, 줄 번호.
어느 코드에도 맞지 않는 구절과 두 코드에 맞는 구절은 따로 나열해 주세요. 새 코드는 만들지 마세요.

    잘못되기 쉬운 지점

    • 전사본은 머뭇거림을 빼먹고 이름과 전문 용어를 잘못 알아들어요. 발표하는 인용은 모두 확인하세요.
    • 코드가 모호하면 일치율이 높아 보여요. 비율이 아니라 불일치한 부분을 읽으세요.
  5. 05

    다시 돌릴 수 있는 첫 분석 실행하기

    다시 돌릴 수 없는 분석은 일화에 불과해요. 답이 아니라 코드를 요청하고, 결과를 보기 전에 계획한 분석을 적어 두세요. 그래야 AI가 뭔가 유의하게 나올 때까지 검정을 계속하지 않아요.

    예시

    미리 계획한 분석: 두 교수법 간 시험 점수의 t-검정. 코드는 412행 중 9행에 점수가 빠졌다고 보고한 다음, 효과 크기와 구간이 포함된 검정 결과를 내놓아요. AI가 “성별로도 확인해 볼게요”라고 제안하면, 그건 별도의 탐색적 질문으로 기록해요.

    하는 방법

    1. 1데이터를 열기 전에 질문과 계획한 분석을 적어 두세요.
    2. 2이 페이지의 프롬프트로 딱 그것만 하는 코드를 요청하고, 직접 실행하세요.
    3. 3단계마다 행 수를 확인하세요.
    4. 4검정마다 가정을 물어보고, 결과를 보고하기 전에 확인하세요.

    복사할 프롬프트

    [파일]을 불러와 행, 열, 결측값, 이상값을 보고한 다음, [질문]에 대해 [계획한 분석]을 실행하는 [R 또는 Python] 코드를 써 주세요.
단계마다 주석을 달아 주세요. 다른 검정은 실행하지 마세요. p값만이 아니라 효과 크기와 신뢰 구간도 보고해 주세요.

    잘못되기 쉬운 지점

    • “유의한 게 있나요?”라고 물으면 뭔가 찾아낼 거예요. 계획을 지키세요.
    • 돌아가는 코드가 맞는 코드는 아니에요. 결과 하나는 직접 계산하거나 알려진 예시와 대조해 확인하세요.
  6. 06

    다시 검색하지 않고 새 논문 따라잡기

    글을 쓰는 동안에도 새 문헌은 계속 나와요. 매달 검색을 반복하는 대신, 나 대신 검색하고 새로운 것만 알려 주는 주간 루틴을 설정하세요.

    예시

    “임상 문서 작성에서의 언어 모델, 무작위 또는 대조 연구”에 대한 루틴. 대부분의 주에 새 논문 몇 편을 알려 주고, 그중 중요한 한 편을 이유 한 줄과 함께 읽을 목록에 추가해요.

    하는 방법

    1. 1Elicit에서 “Routines”를 열고, 지켜볼 내용을 포함 기준의 표현 그대로 설명하세요.
    2. 2주간 일정을 고르세요.
    3. 3매주 보고서를 훑어보고, 관련 있는 논문을 이유 한 줄과 함께 읽을 목록에 추가하세요.
    4. 4몇 달마다 주요 검색을 직접 다시 해 보세요. 루틴은 새로운 용어를 쓰는 논문을 놓칠 수 있어요.

    기본 제공

    복사할 프롬프트

    매주 [기준]을 충족하는 [주제] 관련 새 논문을 검색해 주세요. 지난번 실행 이후 발표된 논문만 알려 주세요: 서지 정보, 한 문장 요약 결과, 설계, 표본 크기.

    잘못되기 쉬운 지점

    • 루틴은 내 사각지대를 그대로 되풀이해요. 가끔 표현을 바꿔 보세요.
    • 아무도 읽지 않는 주간 목록은 소음일 뿐이에요. 5분 안에 읽을 수 있을 만큼 짧게 유지하세요.

연구자 규칙

  • 참여자 데이터를 올리기 전에 연구윤리 승인과 데이터 계약에서 그 도구를 허용하는지 확인하세요.
  • 채팅이 기본적으로 학습에 사용되는 곳이라면, 발표하지 않은 연구를 올리기 전에 그 설정을 끄세요.
  • 인용은 직접 읽은 논문으로 하고, 절대 AI의 요약을 인용하지 마세요.
  • 학술지나 연구비 지원 기관에서 요구하면 AI를 어떻게 썼는지 밝히세요.

더 알아보기

Esc
↑ ↓ 이동Enter 열기