첫 검색에는 내가 아는 단어만 들어갑니다
자동화된 결정에 이의를 제기하는 절차를 조사한다고 해 보겠습니다. “automated appeals”를 검색하니 제품 소개만 나옵니다. 그런데 상담 기관은 “challenging a decision”, 행정 기관은 “reconsideration”이라는 표현을 씁니다. 새로 검색해 볼 단서입니다. 법적으로 같은 절차를 뜻하는지는 따로 확인해야 합니다. 처음 생각한 말로만 검색하면 필요한 기록을 놓칠 수 있습니다.
AI 검색 도구도 비슷한 문제를 만납니다. BrowseComp는 여러 차례 검색해야 찾을 수 있는 드문 사실을 알아내는 능력을 평가합니다.[1] OpenAI는 deep research가 검색을 계획하고 수행한 뒤 발견한 내용에 대응하는 시스템이라고 설명합니다.[2] 검색 엔진에 접근할 수 있는 것만으로는 부족합니다. 앞서 찾은 내용을 다음 검색에 활용해야 합니다.
쓸 만한 자료를 열었다면 두 가지를 물어봅니다. 내 질문에 답하는 데 도움이 될까요? 더 나은 검색어나 찾아볼 곳을 알려 줄까요? 직접적인 답이 없어도 기록을 보관한 기관이나 원래 연구의 링크가 나올 수 있습니다. 답뿐 아니라 이런 단서도 남깁니다.
쓸 만한 결과 하나가 다음에 검색할 말을 알려 줄 수 있습니다.
검색어와 출처, 놓칠 수 있는 사람의 경험을 적습니다
자료를 많이 모으기 전에 짧은 검색 계획을 만듭니다. 먼저 그 문제를 가리킬 만한 단어를 적습니다. 예전 명칭과 약어, 다른 언어의 표현도 포함합니다. 다음에는 연구 데이터베이스, 공식 기록, 제품 문서, 지역 단체처럼 근거를 찾을 만한 곳을 적습니다. 첫 검색에서 놓칠 수 있는 사람의 경험이나 시기도 표시합니다.
이의 제기 사례에서 제품 회사는 제품의 작동 방식을 설명할 수 있습니다. 행정 기관은 처리 통계를 공개할 수 있고, 상담 기관은 사람들이 결정에 이의를 제기하며 겪는 어려움을 알려 줄 수 있습니다. 자료마다 답하는 질문이 다릅니다. 여러 출처를 살펴야 제품 설명이 풍부하다는 이유로 서비스 전체를 파악했다고 착각하는 일을 줄일 수 있습니다.
항목마다 무엇을 어디서 찾을지 적습니다. “행정 기관의 연례 보고서에서 처리 시간을 찾기”는 “효율성 조사”보다 구체적입니다. 결과가 나오지 않으면 기록 자체가 있는지, 접근이 제한됐는지, 다른 이름으로 찾아야 하는지 확인해 볼 수 있습니다.
첫 검색으로 그 분야의 표현을 배웁니다
처음에는 여러 종류의 자료를 읽습니다. 반복되는 용어와 저자, 기관, 날짜, 참고문헌을 살펴봅니다. 출발점으로 삼을 만한 문서를 몇 개 골라 서지 정보와 함께 저장합니다. 어떤 자료가 도움이 될지 파악하기 전에 관련 있어 보이는 결과를 전부 내려받을 필요는 없습니다.
넓게 검색하면 쓸 만한 자료를 더 찾을 수 있지만 무관한 결과도 늘어납니다. 검색을 좁히면 읽을 부담은 줄지만 다른 표현을 쓴 자료를 놓칠 수 있습니다. 전체 관련 자료 중 얼마나 찾아냈는지를 recall, 찾은 자료 중 실제로 관련 있는 자료의 비율을 precision이라고 합니다. Cochrane의 검색 지침도 이미 찾은 기록을 참고해 검색어를 수정하는 과정을 설명합니다.[5] 탐색적인 조사에서는 첫 검색으로 용어를 배우고 이후 검색을 더 구체화하는 방법을 쓸 수 있습니다. 관련 연구를 정해진 절차에 따라 찾아 종합하는 Systematic review에서는 미리 정한 계획에 맞춰 폭넓게 검색해야 합니다.
첫 검색을 마치면 다음 사람이 이어받을 수 있도록 짧게 적습니다. 이후 쓸 용어와 살펴볼 출처, 눈에 띄는 공백을 남깁니다. 예를 들면 “행정 보고서에는 reconsideration, 상담 페이지에는 challenge라는 표현이 나옵니다. 서비스 통계는 찾았지만 중간에 포기한 사람들의 경험은 아직 없습니다”라고 쓸 수 있습니다. 다음 검색에서 할 일이 분명해집니다.
발견한 단서에 맞춰 검색을 바꿉니다
논문에서 처음 본 용어를 검색하다 기록 보관소를 찾고, 그곳에서 다른 설명을 발견할 수 있습니다. Marcia Bates는 이렇게 정보를 조금씩 모으며 다음 검색이 달라지는 과정을 berrypicking이라고 설명했습니다.[4] 처음부터 알맞은 검색어를 알고 시작하는 것은 아닙니다.
바꿀 이유를 구체적으로 잡습니다. 관련 행정 기록 여러 개에 reconsideration이 나온다면 원래 검색어와 함께 써 봅니다. 보고서들이 같은 연구를 인용한다면 그 연구를 찾습니다. 다른 나라의 결과만 나온다면 조사할 지역을 검색어에 넣거나 현지 기록을 찾습니다. 검색을 바꿀 때는 앞서 찾은 어떤 단서 때문에 바꾸는지 확인합니다.
이전 검색어와 새 검색어를 함께 남기고 바꾼 이유를 한 문장 적습니다. 내 생각에 맞는 결과만 찾으려는 방향으로 바뀌지 않았는지도 살필 수 있습니다. 좋은 수정은 빠진 자료를 찾고 원출처를 확인하거나, 처음 내린 답에 반하는 설명을 검토하는 데 도움이 됩니다.
무엇을 배웠는지 설명할 수 있다면 검색어를 바꾸는 것도 진전입니다.
원출처와 그 뒤의 연구를 함께 읽습니다
보고서에서 중요한 주장을 만나면 그 문장이 인용한 자료를 직접 열어 봅니다. 실제로 무엇을 연구했는지, 보고서가 원래 연구의 한계를 유지했는지 확인합니다. 이어서 그 자료를 인용한 후속 연구도 찾습니다. 같은 결과를 얻었거나, 다른 환경에서 시험했거나, 비판하거나 오류를 고쳤을 수 있습니다. 검색어와 다른 표현을 쓰는 자료도 이렇게 찾을 수 있습니다.
문서의 참고문헌을 거슬러 읽는 방법을 backward citation searching, 그 문서를 인용한 후속 자료를 찾는 방법을 forward citation searching이라고 합니다. TARCiS 지침은 Systematic review에서 검색만으로 자료를 찾기 어려운 주제라면 이런 인용 추적을 다른 검색 방법과 함께 활용하도록 권합니다.[7] 인용을 한 줄기 따라갔다고 필요한 자료를 모두 찾은 것은 아닙니다. 한 분야나 언어에서 출발하면 계속 그 안에 머물 수 있습니다.
질문에 여러 관점이 필요하다면 관련 있는 출발 문서도 여러 개 고릅니다. 어떤 문서에서 시작했는지, 논문 사이의 인용 관계를 제공하는 어느 검색 서비스에서 언제 찾았는지, 몇 차례 따라갔는지 기록합니다. 관련 기록이 계속 나오는데 중단했다면 이유도 적습니다. TARCiS는 이런 항목을 보고하도록 안내합니다.[7] 다른 사람이 검색 범위를 확인할 수 있기 때문입니다.
검색을 나눠 맡기고 결과는 함께 검토합니다
질문을 독립적인 부분으로 나눌 수 있다면 사람이나 AI 에이전트가 동시에 검색할 수 있습니다. 한쪽은 공식 기록, 다른 쪽은 기술 평가, 또 다른 쪽은 서비스 이용 경험을 찾는 식입니다. Anthropic도 멀티에이전트 연구 시스템에서 이런 분업을 설명합니다.[3] 다만 어느 서비스나 정의를 다룰지처럼 모두에게 필요한 질문이 미해결 상태라면 나눠 검색하는 효과가 줄어듭니다.
각 검색에 할 일과 유력한 출처, 시간 제한, 공통 보고 형식을 정해 줍니다. 접근할 수 있는 기록의 범위 같은 제한도 밝힙니다. 요약뿐 아니라 출처 링크와 중요한 구절, 결과가 없었던 검색어, 아직 확인하지 못한 부분도 요청합니다. 그래야 무엇을 확인했는지 알 수 없는 매끄러운 답변만 받는 일을 피할 수 있습니다.
결과를 모을 때는 중요한 구절을 살피고 용어의 정의를 비교합니다. 반복되는 주장은 원출처까지 따라갑니다. 에이전트 세 개가 같은 결론을 내놓아도 보고서 하나를 인용한 글 세 편을 각각 찾았을 수 있습니다. 그 경우 바탕이 된 출처는 하나이며 독립적인 확인이 더 필요할 수 있습니다.
방향을 바꾼 이유를 짧게 남깁니다
브라우저 방문 기록에는 연 페이지가 남습니다. 검색어를 바꾸거나 어떤 자료 보관소를 포기한 이유는 잘 남지 않습니다. 작업하면서 무엇을 발견했고, 무엇을 바꿨고, 그다음 어떻게 됐는지를 간단히 적습니다. 실패한 검색도 다른 연구자가 같은 시행착오를 줄일 단서를 남겼다면 기록할 가치가 있습니다.
검색어를 AND·OR 등으로 조합한 검색식과 날짜·언어 같은 제한 조건은 검색하는 동안 남깁니다. 나중에 복원하기는 어렵습니다.[5] 공식적인 문헌 검색이라면 동료에게 검색 전략도 검토받습니다. PRESS 지침은 검색이 연구 질문에 맞는지, AND와 OR를 올바르게 썼는지, 철자 차이나 필터 때문에 유용한 기록이 빠지지 않는지 등을 확인하도록 안내합니다.[6]
기록의 상세함은 작업에 맞춥니다. 탐색적인 검색에서는 새 용어, 날짜 제한, 새로운 자료 보관소, 중단 이유처럼 찾을 수 있는 자료를 바꾼 결정을 남깁니다. Systematic review에서는 보고 기준이 요구하는 전체 검색 정보를 보관합니다. 짧은 판단 기록은 이유를 설명하지만 그 전체 기록을 대신하지는 못합니다.
방향을 바꾼 이유는 기억이 생생할 때 기록합니다.
가상의 검색 판단 기록입니다. 두 차례 성과가 없었다면 진행 상황을 검토합니다. 반드시 두 번 만에 멈추라는 규칙은 아닙니다.
더 검색해서 무엇을 얻을지 확인합니다
폴더 안의 보고서 스무 편이 같은 주장을 되풀이할 수 있습니다. 문서 수보다 최근 검색에서 새로 얻은 내용을 살핍니다. 다른 집단이나 설명, 반대 근거, 답을 바꿀 증거가 나왔나요? 이미 검토한 내용만 반복된다면 검색을 더 해도 얻을 것이 줄 수 있습니다.
멈추기 전에는 계획에 적은 장소와 용어를 확인하고 남은 공백을 밝힙니다. Cochrane은 새 용어로 관련 기록을 더 찾을 수 있는지 등 여러 중단 판단 방법을 논의하며, 적절한 방식은 문헌고찰의 종류에 따라 달라집니다.[5] 탐색 중 같은 결과가 반복되면 진행 상황을 살펴볼 이유가 됩니다. 모든 검색에 적용할 중단 규칙은 아닙니다. 접근 가능한 기록을 다 찾았더라도 답의 근거는 여전히 약할 수 있습니다.
어디서 검색했고 중요한 방향 전환은 무엇이었으며 어떤 범위를 살피지 못했는지 짧게 정리합니다. 기록 보관소에 접근할 수 있게 되거나 새 연구가 나오거나 빠진 집단의 자료를 얻는다면 검색을 다시 시작할 수 있습니다. 그런 조건도 적습니다. 독자가 왜 멈췄고 무엇이 미해결로 남았는지 알 수 있어야 합니다.