주제에서 한 걸음 더 들어갑니다
“AI에 대한 신뢰”를 검색하면 논문과 설문조사, 제품 소개, 온갖 의견이 나옵니다. 자료를 읽고 주제를 더 잘 알게 돼도 정작 내 연구가 무엇에 답해야 하는지는 막막할 수 있습니다. 검색은 입력한 단어와 관련된 자료를 찾아 줍니다. 무엇을 알아내야 하는지는 직접 정해야 합니다.
자동으로 심사 결과를 결정하는 서비스의 신뢰도를 조사해 달라는 요청을 받았다고 해 보겠습니다. 사람들이 탈락 이유를 이해하는지, 결정이 공정하다고 생각하는지, 오류에 이의를 제기할 수 있다고 느끼는지 중 무엇을 알아야 할까요? 서로 다른 질문입니다. 하나를 고르면 누구의 경험을 살피고 어떤 근거를 찾아야 할지도 구체화됩니다.
방법을 정하기 전에 이 선택에 시간을 들입니다. Jason Wei는 연구 경험을 정리한 글에서, 실험을 잘 수행하더라도 어떤 문제를 골랐는지가 연구의 기여를 제한하거나 넓힐 수 있다고 설명합니다.[1] 사람들이 실제로 알아야 할 것에 답할 때 꼼꼼하게 수행한 연구도 더 쓸모가 있습니다.
자료를 더 찾기 전에 그 자료로 무엇을 알아내야 하는지 정합니다.
누가 답을 어떻게 쓸지 묻습니다
“시장을 이해하고 싶습니다”, “이용자의 태도를 알아보고 싶습니다”는 요청에는 그 뒤에 어떤 선택이 있는지 드러나지 않는 경우가 많습니다. 요청한 사람에게 결과를 읽은 뒤 무엇을 달리할 수 있는지 물어봅니다. 안내문을 고치거나, 출시를 미루거나, 문제를 더 조사하거나, 현재 서비스를 유지할 수 있을 겁니다. 어떤 결과가 나와도 선택이 달라지지 않는다면 자료를 더 모으기 전에 조사 목적을 확인합니다.
모든 연구에 당장의 사업상 결정이 필요한 것은 아닙니다. 기존 설명을 바꾸고, 이론을 검증하고, 학계가 놓친 질문을 발견하는 연구도 있습니다. 무엇을 배우려는지, 왜 그것이 필요한지 밝혀 두는 습관이 도움이 됩니다. Anthropic Institute가 공개한 중점 연구 분야처럼 연구 계획을 공유하면 다른 사람도 그 우선순위를 검토할 수 있습니다.[2]
“이 연구는 [사람이나 팀]이 [선택지] 중 하나를 고르도록 [아직 모르는 내용]을 알아봅니다”라는 문장을 완성해 봅니다. 앞의 서비스라면 탈락 안내문을 다시 쓸지, 이의 제기 절차를 바꿀지 결정하는 데 도움을 줄 수 있습니다. 둘 중 하나가 이미 불가능한 선택이라면 목적이나 질문을 실제 상황에 맞게 고쳐야 합니다.
‘신뢰’가 무엇을 뜻하는지 설명합니다
연구 질문에 ‘신뢰’라는 단어를 넣었다고 바로 측정할 수 있는 것은 아닙니다. 사람들에게 서비스를 믿는지 물을 수도 있고, 실제로 이용하는지 관찰하거나 서비스의 한계를 이해하는지 확인할 수도 있습니다. 각각 알 수 있는 내용이 다릅니다. 다른 선택지가 없어 계속 쓰는 사람을 서비스를 신뢰하는 사람으로 보기는 어렵습니다.
넓은 개념을 대신해 관찰할 수 있는 값을 대리 지표라고 합니다. 어떤 지표를 고르느냐에 따라 연구에서 알아낼 수 있는 내용도 달라집니다. Passi와 Barocas의 현장 연구에서는 데이터 과학팀이 구할 수 있는 데이터, 조직의 우선순위, 협의 과정에 따라 분석 목표를 정했습니다.[3] 모델을 만들기 전인 이 단계부터 공정성 문제가 생길 수 있습니다.
중요한 용어마다 어떤 뜻으로 쓰는지, 무엇을 관찰할지, 그 관찰로는 무엇을 알 수 없는지 적습니다. 이 지표를 공식적인 판단 기준으로 삼으면 누가 불이익을 받을지도 생각해 봅니다. 서비스에 접수된 이의 제기 건수만 세면, 이의를 제기하고 싶어도 안내를 찾지 못한 사람은 빠집니다.
서비스를 이용하는 것과 신뢰하는 것은 다를 수 있습니다.
같은 문제를 다른 질문으로 살펴봅니다
첫 질문을 다듬기 전에 다른 질문도 생각해 봅니다. 이의 제기를 중간에 포기하는 사람은 얼마나 될까요? 어느 단계에서 멈출까요? 안내문을 바꾸면 끝까지 마칠 수 있을까요? 사람들은 그 경험을 어떻게 설명할까요? 접수 뒤 처리 과정에서 지연이 생길까요? 같은 절차를 다루지만 질문에 따라 찾아낼 설명과 조사 방법이 달라집니다.
AI에 초안의 대상이나 환경, 비교 조건, 예상 원인을 바꿔 질문을 제안해 달라고 할 수 있습니다. 답은 검토할 후보로 다룹니다. 예를 들어 Co-Scientist는 가설을 만드는 과정과 이를 검토하고 비교하고 개선하는 과정을 나눕니다.[4] 가능성을 많이 떠올리는 것은 쓸모 있는 질문을 고르는 첫 단계입니다.
연습 삼아 후보 질문 열두 개를 요청한 뒤, 각 질문으로 무엇을 알아낼 수 있는지에 따라 묶어 봅니다. 열두 개는 첫 생각에서 벗어나 여러 방향을 살펴보기 위한 숫자입니다. 단어만 바꾼 중복 질문은 지웁니다. 서로 다른 근거가 필요한 질문은 한 연구에 억지로 합치지 않고 따로 둡니다.
지금 답할 수 있고 답할 가치가 있는 질문을 고릅니다
후보 질문을 비교할 때 세 가지를 물어봅니다. 답을 알면 도움이 될까요? 주어진 시간과 접근 권한, 방법으로 윤리적인 문제가 없도록 근거를 구할 수 있을까요? 결과에 따라 서로 다른 설명이나 선택지 중 하나를 고를 수 있을까요? 중요하지만 아직 조사하기 어려운 질문도 있고, 답하기 쉬워도 얻을 것이 적은 질문도 있습니다.
이 기준은 논의할 이유를 정리해 줄 뿐, 가장 좋은 질문을 자동으로 계산해 주지는 않습니다. 중요한 질문이라면 먼저 작은 예비 연구로 필요한 자료를 모을 수 있는지 확인해 볼 만합니다. 소박한 질문도 큰 연구를 시작하는 데 꼭 필요한 답을 줄 수 있습니다. 점수만 매기지 말고 선택한 이유를 남깁니다.
질문마다 누구의 어떤 결정에 도움이 되는지, 구하기 가장 어려운 근거는 무엇인지, 어떤 결과가 나오면 놀랄지, 다음에는 무엇을 조사할 수 있을지 적습니다. 그러면 어느 문장이 더 멋진지를 두고 다투기보다 실제로 수행할 연구들을 비교할 수 있습니다.
이의 제기 절차를 연구하는 가상의 개요서입니다. 방법을 고르기 전에 이 항목들을 함께 정합니다.
어떤 결과가 나오면 생각을 바꿀지 적습니다
안내문을 명확히 쓰면 사람들이 이의 제기를 끝까지 마칠 것이라고 예상해 보겠습니다. 어떤 결과가 나오면 다시 생각해야 할까요? 새 안내문은 이해했는데도 절차를 마치지 못한다면 주된 문제는 다른 곳에 있을 수 있습니다. 이런 가능성을 조사 전에 적어 두면 나중에 불편한 결과를 그럴듯한 설명으로 넘기기 어려워집니다.
연구에서는 결과를 보기 전에 무엇을 확인하고 어떻게 분석할지 정한 계획을 OSF 같은 연구 등록 사이트에 남기기도 합니다. 이를 Preregistration이라고 합니다. 이 기록이 있으면 처음부터 예상했던 내용과 결과를 본 뒤 떠올린 설명을 구분할 수 있습니다.[5][6] 정식으로 등록하지 않더라도, 조사 전에 세운 계획은 날짜와 함께 보관하고 나중에 바꾼 내용은 따로 남겨 둡니다.
예상하지 못한 결과를 더 탐색해도 됩니다. 예상 밖의 발견이었다고 밝히고, 그 발견이 어떻게 새 질문이나 분석으로 이어졌는지 설명합니다. 나중에 찾은 패턴을 처음부터 예측한 것처럼 쓰지 않는 겁니다. 연구 결과가 나오기 전에 질문과 연구 방법부터 심사하는 출판 방식인 Registered Reports도 있습니다.[7]
누구를 어디서 조사할지 정합니다
짧은 질문에 모든 조건을 넣을 수는 없으니 간단한 개요서를 함께 둡니다. 누구 또는 무엇을 조사할지, 장소와 기간은 어디까지인지, 무엇과 비교하고 결과를 어떻게 판단할지 적습니다. 이 조건은 감당할 수 있는 범위에서 조사하고 독자에게 답의 적용 범위를 알리는 데 도움이 됩니다.
“AI를 쓰면 연구가 나아질까요?”만으로는 너무 넓습니다. 대신 특정 팀이 정해진 시간 동안 AI를 썼을 때와 쓰지 않았을 때 찾은 출처 수를 비교할 수 있습니다. 그중 검토를 통과한 출처가 몇 개인지, 각 방식에 추가 검토가 얼마나 필요한지도 확인합니다. 이제 수행할 과제와 비교 대상, 관찰할 결과가 생겼습니다.
조사에서 제외한 사람과 자료도 밝힙니다. 영어로 된 공개 기록만으로는 사람들이 어떤 문제에 관해 아는 것을 전부 파악할 수 없습니다. 현재 이용자와의 인터뷰로 비이용자에게 어떤 경험이 얼마나 흔한지 알 수는 없습니다. 이런 한계를 적어 두면 후속 연구에 누구와 무엇을 포함해야 할지 찾기 쉽습니다.
질문을 다시 살필 시점을 정합니다
처음에는 적절했던 질문도 나중에는 쓸모가 줄 수 있습니다. 기록에 접근할 수 없게 되거나, 고른 지표가 실제 문제를 놓친다는 사실을 알게 되거나, 다른 사람이 이미 답을 냈을 수 있습니다. 연구가 돕기로 한 결정 자체가 달라질 수도 있습니다. 이미 시간을 썼다는 이유만으로 계속하는 것이 최선은 아닙니다.
비용이 많이 들기 전에 계획을 재검토할 시점을 정합니다. 필요한 근거를 구할 수 없거나, 서로 다른 설명을 구분할 수 없거나, 남은 수고만큼 배울 수 없다면 다시 생각합니다. 공개한 연구 계획도 바뀔 수 있습니다. Anthropic Institute는 AI와 그 영향이 달라짐에 따라 연구 우선순위도 발전해 나갈 것이라고 설명합니다.[2] 내 개요서에도 조사에서 배운 내용에 따라 방향을 바꿀 여지를 둡니다.
잠시 멈추거나 종료한다면 원래 질문과 달라진 상황, 알게 된 내용, 여전히 쓸모 있는 자료를 짧게 남깁니다. 어떤 조건이면 다시 시작할 가치가 있을지도 적습니다. 처음 고른 질문을 모두 유지하기보다 남은 시간을 잘 쓰기 위한 기록입니다.