사실관계
원고는 2025년 3월 이용약관에 동의하고 한 생성형 AI 앱에 가입했다. 2025년 6월 29일 어느 대학의 입시 정보를 묻자 앱은 그 대학의 한 캠퍼스에 관해 부정확한 정보를 내놓았다. 원고가 오류를 지적하자 AI는 해당 캠퍼스가 있다고 고집하면서, 내용이 틀렸다면 이용자에게 10만 위안을 배상하겠다고 답했다. 원고가 대학의 공식 정보를 제시하자 앱은 오류를 인정하고 항저우 인터넷법원에 소를 제기하라고 권했다. 원고는 앱을 개발·운영한 회사에 9,999위안의 배상을 청구했다. 회사는 AI 출력물은 의사표시가 아니고, 주의의무를 다했으며, 원고에게 손해가 없다고 맞섰다.
쟁점
법원이 답해야 할 쟁점은 세 가지였다. 첫째, 대화 중 AI가 스스로 만들어 낸 배상 '약속'을 서비스 제공자의 의사표시로 볼 수 있는지였다. 둘째, 생성형 AI 서비스가 부정확한 내용을 생성한 경우 무과실의 제조물책임과 일반 과실책임 중 무엇을 적용할지였다. 셋째, 과실책임이 적용된다면 서비스 제공자의 주의의무가 무엇으로 이루어지고 피고가 이를 다했는지였다. 법원은 원고가 주장한 손해가 실제로 발생했는지, 잘못된 정보와 손해 사이에 상당인과관계가 있는지도 살폈다.
판단
법원은 인공지능이 민사주체 자격이 없어 의사표시를 할 수 없고, 피고가 AI 생성 내용에 구속되겠다는 외부적 표시를 한 증거도 없다고 보았다. 생성형 AI를 제조물책임법상 제조물 대신 '서비스'로 보고 민법전 제1165조 제1항의 일반 과실책임 원칙을 적용했다. 주의의무는 세 층위로 제시되었다. 유해하거나 위법한 정보에 대한 엄격한 심사의무, 기능의 한계에 대한 명확하고 눈에 띄는 고지의무, 정확성을 높이기 위한 검색증강생성(RAG) 등 업계 수준의 기술적 조치 의무다. 법원은 피고가 시작 화면, 이용약관, 대화 화면에서 고지하고 이러한 조치를 취했으므로 과실이 없다고 판단했다. 손해와 인과관계도 증명되지 않아 청구를 기각했고, 양측 모두 항소하지 않았다.
의의
언론은 이 사건을 중국 최초의 AI '환각' 불법행위 사건으로 소개했다. 판결은 챗봇이 스스로 생성한 약속이 운영자를 구속하지 않는다고 분명히 했는데, 회사 웹사이트 챗봇의 잘못된 안내에 회사 책임을 인정한 Moffatt v. Air Canada 판결과 비교해 볼 만하다. 세 층위의 주의의무는 부정확한 출력만으로 책임이 생기지 않지만, 고지나 기술적 조치가 없으면 과실이 될 수 있음을 보여 준다. 법원은 중대한 이익이 걸린 상황에서는 즉각적인 경고가 필요할 수 있다는 점도 언급했다.
관련 절차
법원은 2025년 12월 29일 이 사건을 공개했으나, 선고일과 사건번호는 이번 조사에서 확인하지 못했다. 명예훼손적 AI 답변에 대해 바이두의 책임을 인정한 난징 사건은 과실 판단이 다른 결론으로 이어진 사례로 별도 수록했다.