Anthropic Build Day가 끝난 뒤 엔지니어에게 질문 하나를 던졌습니다.
보험 QA를 만들고 있습니다. 업무 절차는 사람이 설계해야 할까요, Agent에게 맡겨야 할까요?
그는 잠깐 생각한 뒤 이렇게 답했습니다.
둘 다 만들어서 비교해 보세요.
짧은 답이었지만 방향은 분명했습니다. Agent의 자율성은 같은 질문과 평가 기준 위에서 결정할 수 있습니다.
약관 검색이 끝난 자리에서 workflow가 시작된다
제가 설명한 누수 질문에는 여러 업무가 한 문장에 섞여 있었습니다.
- 누수를 인지한 뒤 보험에 가입했습니다.
- 현재 누수는 사비로 처리할 계획입니다.
- 90일 뒤 같은 위치에서 발생한 누수의 보상 범위를 질문합니다.
- 우리 집 수리와 아랫집 피해에 적용되는 담보를 질문합니다.
- 자기부담금 조건이 다른 상품도 함께 찾습니다.
검색어는 ‘누수 보험’으로 짧게 만들 수 있습니다. 답변 과정은 훨씬 깁니다. 사고 인지, 보험 가입, 면책기간, 재발 시점의 시간관계를 먼저 구성해야 합니다. 이어서 이전 사고의 연장과 새로운 사고를 구분할 근거를 찾고, 피보험자 재산 손해와 제3자 배상 책임을 각각의 담보에 연결합니다.
마지막에는 약관 해석과 상품 비교를 분리합니다. 계약 정보가 더 필요한 시점에는 구체적인 추가 질문도 만들어야 합니다.
RAG는 관련 문서를 수집합니다. 보험 QA 시스템은 그 근거를 어떤 순서로 연결할지까지 다뤄야 합니다. 검색 정확도에서 workflow 설계로 문제가 확장되는 지점입니다.
두 방식에서 출발했다
사람이 보험 업무 절차를 미리 정의하면 재현성과 감사 가능성이 높아집니다. 질문 유형이 늘어날수록 분기 관리 비용도 함께 커집니다.
Claude가 질문마다 계획을 만들면 새로운 질문에 유연하게 대응하고 필요한 도구를 직접 선택할 수 있습니다. 실행할 때마다 검색 경로와 호출 횟수에는 차이가 생깁니다.
Anthropic 엔지니어의 조언은 두 구조 사이의 경계를 실험으로 찾으라는 뜻이었습니다. 먼저 Agent가 실제 질문을 처리하는 과정을 관찰합니다. 반복되는 절차는 skill과 deterministic step으로 고정합니다. 안정적으로 수행되는 영역은 Agent의 역할로 유지합니다.
세 가지 구조를 같은 조건에 올린다
실험에서는 세 가지 구조를 비교합니다.
| 방식 | 계획 | 근거 수집 | 검증 |
|---|---|---|---|
| Deterministic | 사람이 정의한 고정 workflow | 정해진 순서로 도구 호출 | 규칙 기반 체크 |
| Agentic | Claude가 질문별 계획 생성 | Claude가 도구 선택·반복 | Claude가 결과 평가 |
| Hybrid | Claude가 질문을 분해 | 시스템이 evidence protocol 실행 | 규칙과 Claude가 함께 검증 |
Hybrid가 정확성과 재현성의 균형을 가장 잘 맞출 것이라는 가설을 세웠습니다. Claude는 사용자의 질문을 구조화하고, 시스템은 근거 수집과 검증 절차를 통제합니다.
사용자 질문
→ Claude: 주장과 하위 작업으로 분해
→ System: 작업 유형별 evidence protocol 실행
→ Claude: 근거 충분성을 확인하고 다음 작업 제안
→ System: 인용, 시간관계, 답변 범위 검증
→ Claude: 최종 답변 작성같은 질문, 문서, 도구를 세 구조에 제공합니다. 계획과 통제 방식만 달리해 구조 자체의 영향을 확인합니다.
답변과 과정을 함께 평가한다
최종 문장만 읽으면 유창한 답변이 높은 점수를 받기 쉽습니다. 보험 QA에서는 답변에 도달한 과정도 품질의 일부입니다. 다섯 가지 기준을 사용합니다.
필수 쟁점 회수율
질문마다 필요한 사실과 판단 항목을 gold checklist로 만듭니다. 누수 사례에는 가입 전 인지, 동일 사고 여부, 담보 구분, 면책, 자기부담금이 포함됩니다. 각 구조가 이 항목을 얼마나 회수했는지 측정합니다.
근거 지지율
인용 구간이 바로 앞의 주장을 직접 뒷받침하는지 확인합니다. 상품과 약관의 기준 시점도 함께 검증합니다.
추가 정보 요청의 정확도
계약 정보와 사고 사실이 충분한 질문에는 답변을 생성합니다. 정보가 더 필요한 질문에는 구체적인 추가 질문을 생성합니다. 두 상황을 구분하는 정확도를 측정합니다.
실행 재현성
각 질문을 여러 번 실행합니다. 선택한 도구, 검색 횟수, 최종 결론의 분산을 기록합니다. 평균 성능과 실행별 편차를 함께 봅니다.
운영 비용
도구 호출 수, token 비용, latency를 기록합니다. 정확도와 비용의 관계를 분석하고, 질문 복잡도에 따른 workflow routing 기준을 만듭니다.
경계는 평가 결과가 정한다
약관 버전과 기준 시점 확인, 주장과 인용 근거의 연결, 개인정보와 권한 검증, 감사 로그는 시스템이 책임집니다.
사용자 질문을 하위 작업으로 나누고 검색어를 확장하며 다음 작업을 제안하는 과정은 Agent가 맡습니다.
Build Day에서 얻은 핵심은 자율성의 경계를 찾는 방법이었습니다. 사람의 workflow와 Agent의 계획을 같은 평가셋 위에서 비교하고, 결과에 따라 경계를 조정합니다.
에이전트의 자율성은 운영 정책입니다. 데모의 인상은 출발점이 되고, 반복 측정한 평가 결과가 최종 범위를 결정합니다.