알고리즘 오류는 무과실 책임으로 간주되는가? 사법부의 블랙박스 시련

정정 (2026년 10월 19일): 이 글은 당초 EU가 인공지능 책임 지침(AILD) 초안을 통해 인과관계 추정을 도입하고 있다고 설명했으나, 집행위원회가 2025년에 이 제안을 철회했으므로 해당 부분을 개정 제조물 책임 지침의 추정 규정을 기준으로 바로잡았습니다.

알고리즘이 인지 노동을 대체하는 오늘날의 인공지능(AI) 혁명에서 역사는 되풀이되고 있습니다. 스스로 학습하는 자율주행차가 보행자를 치거나, AI 기반 인사(HR) 봇이 여성 지원자를 부당하게 걸러 내거나, 의료 AI가 치명적인 오진을 했을 때, "내 코드에는 오류가 없었고 알고리즘이 수백만 개의 데이터 포인트를 통해 스스로 이 판단에 도달했다"는 소프트웨어 개발자의 항변이 통할까요? 수십억 개의 매개변수로 이루어진 "블랙박스(Black Box)" 앞에서 "과실"을 따지는 전통적 법리가 한계를 드러내면서, 가장 뜨거운 질문이 떠오릅니다. 알고리즘 오류는 법적으로 무과실(위험) 책임으로 간주되는가?

이 글에서는 과실 책임과 무과실 책임의 구별, 미국의 "제품 대 서비스" 딜레마, 유럽연합의 최근 지침, 튀르키예 채권법(TBK) 제71조를 중심으로, 채권법과 불법행위법의 근간을 뒤흔드는 이 근본적 위기를 배경, 법적 틀, 영향, 결론의 순서로 깊이 있게 분석합니다.

1. 배경: 책임법의 기초와 AI 역설

수 세기 동안 법철학은 손해배상의 근거로 "과실이 있는 인간의 의지"를 찾아 왔습니다. 누군가 손해를 배상해야 한다면, 그가 고의나 과실(부주의)로 그 손해를 일으켰어야 합니다. 그러나 AI, 특히 딥러닝 모델의 특성은 이 공식을 깨뜨립니다.

1.1. 과실 책임의 붕괴

전통적인 불법행위법(예: 튀르키예 채권법 제49조)의 원칙은 "과실 책임"입니다. 원고(피해자)가 피고의 과실을 증명해야 합니다. 그런데 알고리즘이 실수했을 때 전통적 의미의 코딩(if-then-else) 오류는 없을 수도 있습니다. 시스템이 주어진 데이터 세트의 통계적 확률에 따라 예측할 수 없는(창발적, emergent) 결과를 만들어 냈을 수 있기 때문입니다.

피해를 입은 평범한 시민이 Google이나 OpenAI 같은 회사가 보유한, 매개변수 1.7조 개 규모의 비공개 모델에 "설계 부주의"가 있었다는 사실을 법정에서 증명(입증 책임, Burden of Proof)하기란 이론적으로나 현실적으로 불가능합니다. 법이 계속 "과실"만을 따진다면 거대 AI 기업들은 자신이 일으킨 피해를 결코 배상하지 않을 것입니다.

1.2. 돌파구로서의 "무과실 (위험) 책임"

이러한 부정의를 막기 위해 법은 "무과실 책임" 또는 "위험 책임" 원칙에 기댑니다. 원자력 발전소, 폭발물 공장, 자동차의 운영자는 아무리 예방 조치를 철저히 하더라도 그 활동 자체가 본질적으로 높은 위험을 안고 있기 때문에, 과실이 없어도 발생한 손해를 책임집니다. 오늘날 법조계에서 가장 뜨거운 논쟁은 "스스로 학습하는 고위험 자율 시스템"을 이러한 위험한 활동의 범주에 넣을 수 있느냐는 것입니다.

2. 법적 축: 소프트웨어는 "제품"인가 "서비스"인가?

알고리즘 오류가 무과실 책임의 대상이 되려면 먼저 알고리즘의 법적 성격부터 규정해야 합니다.

2.1. 미국의 접근 방식: 제조물 책임(Product Liability) 딜레마

미국의 제조물 책임법은 매우 강력합니다. 결함 있는 제품이 소비자에게 손해를 입히면 제조업자는 무과실 책임을 집니다. 그러나 수십 년간 미국 판례법(불법행위법 리스테이트먼트)은 "소프트웨어"나 "정보"를 물리적 "제품(chattel)"이 아닌 "서비스"로 보는 것이 일반적이었습니다. 지도책의 잘못된 정보 때문에 사고가 났다고 해서 출판사를 상대로 무과실 책임 소송을 제기할 수는 없습니다.

하지만 오늘날 심장박동기를 제어하는 알고리즘이나 테슬라의 자율주행 소프트웨어 오토파일럿은 단순한 "정보"에 그치지 않고, 물리적 세계에 직접 개입하는 행위자입니다. 이 때문에 미국 법원들은 물리적 하드웨어에 탑재된 알고리즘을 "제품"으로 보아 무과실 책임의 범위에 넣기 시작했지만, (ChatGPT처럼) 클라우드에서만 실행되는 알고리즘은 여전히 회색 지대에 남겨 두고 있습니다.

2.2. 유럽연합: 제조물 책임 지침(PLD)의 업데이트

기술 규제에 세계에서 가장 적극적인 유럽연합은 2024년 1985년 제조물 책임 지침(PLD)을 개정하는 역사적 조치를 취했습니다. 개정 지침은 "소프트웨어 및 AI 시스템"을 명시적으로 "제품"으로 정의했습니다.

개정 PLD는 입증 부담도 덜어 줍니다. 기술적·과학적 복잡성 때문에 원고가 제품(예: 의료 진단 시스템)의 결함이나 결함과 손해 사이의 인과관계를 입증하기가 지나치게 어려운 경우, 원고가 그 개연성을 보이면 각국 법원은 결함 또는 인과관계를 추정할 수 있고, 기업은 이 추정을 반증할 수 있습니다. 과실 책임 청구에 "인과관계 추정(Presumption of Causality)"을 도입하려던 별도의 인공지능 책임 지침(AILD)은 2022년에 제안되었으나 2025년 집행위원회가 철회했습니다. PLD의 무과실 책임 구조와 함께 보면, 결함 있는 소프트웨어에 대해서는 사실상 무과실 책임에 매우 가까운 법적 토대가 마련된 셈입니다.

3. 영향 (Implications): 소프트웨어 산업과 혁신

알고리즘 오류를 "무과실 책임"의 대상으로 분류하면 법적 파장은 물론 막대한 경제적 파장이 뒤따를 것입니다.

• 스타트업의 멸종 위험: Google이나 Microsoft는 알고리즘 오류로 1억 달러 규모의 무과실 책임 소송을 당해도 감당할 수 있습니다. 하지만 갓 대학을 졸업한 청년 3명이 세운 의료 영상 AI 회사는 과실이 없더라도 배상 소송 한 건으로 파산하고 말 것입니다. 결국 시장에는 거대 기업만 살아남게 될 수 있습니다.
• 오픈 소스의 막다른 골목: 공익을 위해 무료로 공개되는 오픈 소스 AI의 개발자(Hugging Face, Mistral 모델 등)가, 제3자가 코드를 내려받아 하드웨어에 탑재했다가 발생한 손해에 대해서까지 "무과실 책임"을 진다면 오픈 소스 생태계는 완전히 무너질 것입니다. 세계 곳곳에서 오픈 소스 코드에 대한 규제 면제가 논의되는 이유가 여기에 있습니다.
• 방어적 엔지니어링: 의사가 소송이 두려워 불필요한 검사를 하는 것(방어 진료)처럼, 소프트웨어 개발자들은 법적 책임을 피하려고 AI 시스템의 성능을 일부러 제한할 것이고, 인류는 커다란 기술적 도약의 기회를 잃게 될 것입니다.

4. 결론 (Conclusions): 법은 어떻게 기계와 화해할 것인가?

결국 고위험 알고리즘(자율 무기, 무인 자동차, 수술 로봇)의 오류를 "무과실 책임"의 틀에서 다루는 것은 현대 법이 피할 수 없는 과제입니다. 그렇지 않으면 수십억 개의 매개변수로 된 블랙박스 뒤에 숨은 기업들은 끝내 책임을 지지 않을 것입니다.

그러나 이러한 책임의 대가로 혁신이 위축되어서는 안 됩니다. 튀르키예와 국제사회가 해야 할 일은 자동차 책임보험이나 지진보험처럼 중앙에서 운영하는 의무적 "알고리즘 피해 보상 풀"을 만드는 것입니다. AI로 피해를 입은 시민은 긴 재판을 기다리지 않고 이 기금에서 곧바로 배상을 받을 수 있어야 합니다. 그러면 시민은 과실을 증명하느라 애쓸 필요가 없고, 기술 기업은 예측 가능한 보험료로 위험에 대비할 수 있습니다.