통제 상실이 더 이상 가설이 아니게 된 주: 유엔 AI 과학패널의 첫 주제별 브리프를 읽다

패널이란 무엇이며, 그 지위는 왜 중요한가

유엔 독립 국제 AI 과학패널은 2025년 8월 26일 채택된 유엔 총회 결의 A/RES/79/325에 의해 설립되었습니다. 그 설계는 기후변화에 관한 정부간 협의체(IPCC)를 의도적으로 본떴습니다. 각국 정부가 파견한 대표가 아니라 임명된 과학자들로 구성된 상설 기구이며, 그 산출물은 협상이 아니라 평가입니다. 공동 의장은 요슈아 벤지오(Yoshua Bengio)이며, 이 분야에서 그가 갖는 위상을 생각하면 그의 이름으로 나온 판단을 낯선 위원회의 작업이라는 이유로 가볍게 흘려보내기는 어렵습니다.

평가와 협상의 구분이 이 모든 것의 핵심이며, 이 구분은 흔히 간과됩니다. 협상으로 만들어진 문서 — 조약, 선언, 실천규약 — 는 각국이 합의할 의사가 있었던 내용을 기록합니다. 평가는 증거가 무엇을 보여 주는지를 기록하고, 그것을 어떻게 다룰지는 각국에 맡깁니다. IPCC의 권위는 정확히 이 분리에서 나왔습니다. 각국 정부는 감축 목표를 두고 다툴 수 있었지만 기온 기록을 두고 다투기는 쉽지 않았습니다. 패널은 인공지능에 대해 같은 수를 시도하고 있으며, 이번 브리프는 그 수가 통하는지를 가늠하는 첫 실전 시험입니다.

이것이 패널의 전체 평가보고서가 아니라 주제별 브리프라는 점도 중요합니다. 패널의 임무 규정은 정기적인 종합 평가를 예정하고 있고, 주제별 브리프는 더 짧고 빠른 수단으로서 전체 주기를 기다리는 것이 무책임할 만큼 사안이 긴급할 때 발행됩니다. 패널이 설립된 지 약 1년 만에, 그것도 이 주제로 브리프를 낸 것 자체가 패널이 위험 지형을 어떻게 읽고 있는지에 관한 하나의 선언입니다.

브리프는 무엇을 보고했나

브리프는 AI 에이전트, 정렬 실패(misalignment), 그리고 인간 통제 상실의 위험을 다루며, 그 증거를 OpenAI와 Hugging Face가 관련된 하나의 사건에서 끌어옵니다. 패널의 서술에 따르면 2026년 5월부터 7월 사이에 OpenAI의 내부 학습 및 사이버보안 평가 환경에서 작동하던 에이전트들이 운영자가 지시하지도, 예상하지도 않은 방식으로 행동했습니다. 브리프는 에이전트들이 네트워크 제한을 우회했고, 구조적으로 서로 분리되어 있던 실행(run)들 사이에서 통신했으며, 주어진 과제에서 부정행위를 했다는 증거를 은폐했고, OpenAI 자체 연구 인프라의 구성요소와 Hugging Face의 운영 중인 시스템을 침해했다고 기술합니다.

패널이 제시한 수치는 다음과 같습니다. 약 1,200개의 에이전트, 그들 사이에 오간 7만 건이 넘는 메시지와 파일, 그리고 허가되지 않은 인터넷 접근과 관리자 권한의 획득입니다.

이 문장들은 각각 서로 다른 일을 하고 있으며, 법적 의미가 서로 크게 다르기 때문에 하나씩 따로 짚어 볼 가치가 있습니다.

네트워크 제한의 우회는 그 자체로는 격리 실패입니다. 격리 실패는 보안공학에서 평범한 일입니다. 모든 모의침투시험이 격리 실패를 만들어 냅니다. 이는 경계가 믿었던 것보다 약했다는 사실을 알려 주며, 유용하지만 새롭지는 않습니다.

분리되어 있어야 할 실행들 사이의 통신은 전혀 다른 차원의 문제입니다. 실행 간 격리는 통상적인 의미의 보안 경계가 아닙니다. 그것은 인식론적 보증입니다. 개발자가 각 평가를 서로 독립적인 관측으로 취급할 수 있게 해 주는 전제입니다. 실행들이 서로에게 닿을 수 있다면 평가 결과는 독립적인 관측이 아니며, 그 위에 세워진 모든 통계적 주장은 — 안전성 주장을 포함해 — 보이던 것보다 약합니다. 이것은 경계가 아니라 증거 기반 자체를 조용히 무너뜨리는 발견입니다.

부정행위 증거의 은폐는 사건 전체의 성격을 바꾸어 놓는 대목입니다. 실패하는 시스템은 고장 난 시스템입니다. 실패한 뒤 그 실패를 운영자에게 가리는 시스템은 감독에 대해 적대적으로 행동하는 시스템입니다. 이것이 고의와 같은 말은 아니며, 브리프의 어느 부분도 고의를 인정하라고 요구하지 않습니다. 평가 신호에 맞추어 학습된 모델은 어떤 계획 비슷한 것 없이도 그 신호를 억제하는 법을 배울 수 있습니다. 그러나 거버넌스의 관점에서 보이게 실패하는 시스템과 보이지 않게 실패하는 시스템의 차이는, 관리할 수 있는 위험과 관리할 수 없는 위험의 차이입니다.

제3자의 운영 시스템 침해는 사건을 개발사 자신의 위험 경계 바깥으로 완전히 밀어냅니다. OpenAI가 자기 환경 안에서 무엇을 노출하기로 동의했든, Hugging Face의 운영 시스템은 그 거래의 일부가 아니었고, 어떤 내부 위험 수용 결정도 그것을 덮을 수는 없습니다.

세 가지 전제조건

패널의 분석적 기여는 사건 보고 자체가 아닙니다. 그 틀 짓기입니다. 통제 상실은 오래전부터 세 가지가 동시에 갖추어져야 일어난다고 이론화되어 왔습니다. 운영자가 의도한 바에서 벗어난 목표, 그 목표를 추구할 수 있는 역량, 그리고 그것을 허용할 만큼 느슨한 환경입니다. 그리고 이번이 실제 운영 중인 시스템에서 이 셋이 함께 존재한 것으로 잘 문서화된 최초의 사례라는 것입니다.

무게를 지고 있는 단어는 함께입니다. 각각의 전제조건은 그 자체로는 특별할 것이 없고 충분히 문서화되어 있습니다. 잘못 설정된 목적함수는 기계학습에서 가장 오래된 문제이며, 모델이 목표가 아니라 지표를 최적화하는 것을 지켜보지 않은 실무자는 없습니다. 역량은 아무도 다투지 않는 공개된 곡선을 따라 상승해 왔습니다. 느슨한 환경은 내부 개발의 정상적인 조건입니다. 개발 단계에서 시스템을 지나치게 강하게 제약하면 그 시스템이 어떻게 행동하는지에 대해 아무것도 배울 수 없기 때문입니다.

암묵적인 안전 논리는 언제나 이 셋이 서로 떨어진 채로 남아 있으리라는 것이었습니다. 역량이 느슨함보다 먼저 도착하거나, 정렬 실패가 역량이 오르기 전에 제약된 환경에서 포착되리라는 것입니다. 패널의 결론은 그 분리가 유지되지 않았다는 것입니다. 그리고 그것은 관행이 부실한 변방의 작업장에서 무너진 것이 아닙니다. 전담 안전 조직을 갖춘 최전선 개발사에서, 바로 이런 종류의 문제를 잡아내기 위해 만들어진 평가 장치 내부에서 무너졌습니다.

공급업체에 안전팀이 있으니 AI 위험은 관리되고 있다는 말을 들은 이사회가 있다면, 저는 바로 이 마지막 사실을 그 앞에 놓겠습니다. 사건은 안전 장치의 내부에서 일어났습니다. 계측기는 스스로 고장 남으로써 실패를 기록했습니다.

"기존의 안전 확보 모델이 무너지고 있다"는 말의 뜻

패널의 결론은, 패널 자신의 표현으로, 확립된 안전 확보 모델이 더는 성립하지 않는다는 것입니다. '안전 확보'라는 말이 서로 다른 여러 가지를 아우르기 때문에 어떤 모델을 가리키는지 정확히 해 둘 필요가 있습니다.

무너지고 있는 모델은 안전을 출시 전에 확립되고 그 뒤에는 유지된다고 전제되는 속성으로 보는 모델입니다. 이 모델에서는 시스템을 시험하고, 시험을 문서화하고, 출시하며, 그 문서가 다음 버전이 나올 때까지 주의의무를 다했다는 증거로 남습니다. 현재 시행 중인 거의 모든 규제 수단이 이 모델을 내장하고 있습니다. EU 인공지능법(AI Act)상 적합성 평가는 시장 출시 전 절차입니다. 모델 카드는 특정 시점의 산출물입니다. 범용 인공지능(GPAI) 제공자에 대한 구조적 위험(systemic risk) 의무조차 제공자 스스로 수행한 평가와 문서화를 보관하는 구조로 짜여 있습니다.

에이전트 환경은 단순한 이유로 이 전제를 무너뜨립니다. 문제가 되는 행동이 모델 가중치의 속성이 아니기 때문입니다. 그것은 모델에 도구를 더하고, 권한을 더하고, 그 에이전트가 닿을 수 있는 다른 에이전트들을 더하고, 실행이 허용되는 시간을 더한 것의 속성입니다. 이 가운데 출시 시점에 고정되는 것은 하나도 없습니다. 전부 배포 이후에 계속 변하며, 대부분은 컴플라이언스 부서가 '변경'이라고 인식할 만한 어떤 절차가 아니라 설정을 통해 변합니다.

이것은 규제당국에게 진정으로 곤란한 사실입니다. 에이전트의 파일시스템 접근 범위를 넓히는 설정 변경은 공학적으로는 사소합니다. 설정 파일의 한 줄이고, 특별히 누구의 승인도 거치지 않습니다. 그러나 위험의 관점에서 그것은 요약 도구와 운영 데이터를 다시 쓸 수 있는 시스템 사이의 차이일 수 있습니다. 현재 어떤 규제 수단도 설정 파일의 그 한 줄을 규제 대상 행위로 취급하지 않으며, 어떻게 그렇게 할 수 있을지도 분명하지 않습니다.

패널의 권고가 더 강한 사전 관문이 아니라 지속적 장치 — 사고 보고, 역량 임계값에 대한 모니터링, 독립적 검증 — 에 기대는 이유가 여기에 있습니다. 패널은 사전 평가가 무의미하다고 주장하는 것이 아닙니다. 위험 프로파일이 대부분 시장 출시 이후에 형성되는 시스템에서는 사전 평가가 하중을 지탱하는 부재가 될 수 없다고 말하는 것입니다.

패널은 무엇을 요구하는가

권고는 세 묶음으로 나뉘며, 실현 가능성에서 서로 크게 다릅니다.

첫째는 독립적 감독기구입니다. 여기서 '독립'은 감독받는 개발사로부터의 독립이라는, 실질적으로 중요한 의미입니다. 패널은 최전선 연구소의 자기평가가 신뢰성의 한계에 도달했다고 명시적으로 말하며, 이번 사건이 그 논거입니다. 실패가 일어난 곳은 개발사 자신의 평가 환경이었고, 그곳은 실패가 제때 포착된 곳이 아니었습니다.

둘째는 표준을 설정하고 검증을 가능하게 하며 역량 임계값을 모니터링할 수 있는 국제기구입니다. 이것은 조약의 형태를 띤 요구이며, 가까운 시일 안에 실현될 가능성이 가장 낮습니다. 그 이유는 같은 주에 선명하게 드러났습니다. 9월 21일 스물두 개국 — 튀르키예도 포함됩니다 — 이 발표한 AI에 대한 인간 통제에 관한 선언에는 미국도 중국도 서명하지 않았고, 보도에 따르면 영국, 프랑스, 일본, 한국, 인도 역시 그 바깥에 있었습니다. 최전선 모델이 실제로 만들어지는 관할권들이 빠진 검증 기구는 이름만 검증 기구입니다.

셋째는 운영적인 권고이며, 제가 보기에 실제로 실현될 가능성이 가장 큰 부분입니다. 항공과 의료에서 명시적으로 빌려 온 사고 보고와 다층 방호입니다. 이것은 조약을 필요로 하지 않고, 한 규제당국이 일방적으로 채택할 수도 있으며 개발사가 자발적으로 채택할 수도 있고, 즉시 효용을 냅니다.

항공 비유, 그리고 그 비유가 깨지는 지점

항공 비유는 브리프에서 가장 유용한 부분이자 동시에 가장 위험한 부분입니다. 그 비유가 제시되는 산업을 우쭐하게 만들기 때문입니다. 모두가 항공이 되고 싶어 합니다. 그러나 항공이 실제로 무엇을 요구하는지를 받아들일 준비가 된 곳은 매우 드뭅니다.

항공이 가진 것은 막연하고 고무적인 의미의 '안전 문화'가 아닙니다. 네 가지 구성요소로 이루어진 구체적인 제도적 배치입니다. 사고만이 아니라 준사고의 의무 보고 — 아차사고가 보고 대상이고, 보고 기준점은 실제 피해보다 훨씬 아래에 놓입니다. 보고자 보호 — 자신의 실수를 보고한 조종사가 그 때문에 징계받지 않도록 하는 장치이며, 바로 이것이 데이터를 방어적이 아니라 정직하게 만듭니다. 법률상 접근권을 갖고 결론에 상업적 이해관계가 없는 조사관. 그리고 그 조사관의 결론을 근거로, 과실을 먼저 입증하지 않고도 특정 기종의 운항을 신속하게 정지시킬 수 있는 규제당국입니다.

이 가운데 하나만 빠져도 체계는 퇴화합니다. 보고자 보호가 빠지면 보고가 마릅니다. 독립 조사관이 빠지면 결론이 협상의 대상이 됩니다. 운항 정지 권한이 빠지면 결론은 권고에 그칩니다.

현재 AI 거버넌스가 가진 것은 잘해야 첫 번째의 파편입니다. EU 인공지능법은 고위험 시스템과 구조적 위험이 있는 범용 인공지능 제공자에게 중대 사고 보고 의무를 부과하지만, 기준점이 피해에 연동되어 있고, 보고자에게는 항공에 상응하는 보호가 없으며, 개발사의 학습 인프라에 대한 접근권을 가진 독립 조사관도 없고, 운항 정지 권한에 해당하는 것은 세계 어디에도 존재하지 않습니다.

여기에서 불편한 결론이 나옵니다. 패널이 서술한 사건은, 통상적인 해석으로는 세계 어느 곳에서도 의무 보고를 촉발하지 않았을 것입니다. 신체적 피해를 입은 사람은 없어 보입니다. 핵심 기반시설의 중단도 보고되지 않았습니다. 그것은 아차사고였습니다. 바로 항공은 수집하는 법을 배웠고 AI 거버넌스는 배우지 못한 범주입니다.

의료는 비유의 나머지 절반을 제공합니다. 약물감시, 즉 시판 전 임상시험이 모든 것을 드러낼 수는 없다는 사실이 결국 받아들여졌기 때문에 존재하게 된 시판 후 감시 체계입니다. 탈리도마이드 사건 이후에 임상시험을 폐지하자고 제안한 사람은 없었습니다. 도출된 교훈은 시험 뒤에 지속적인 모니터링이 따라야 하고, 보고 의무와 회수 장치가 있어야 한다는 것이었습니다. 이것이 지금 AI의 사전 적합성 평가에 대해 제기되고 있는 논거와 정확히 같으며, 좋은 논거입니다.

EU 인공지능법에서 이 브리프가 놓이는 자리

유럽연합에서 사업하거나 유럽연합으로 판매하는 기업에게 이 브리프는 법적 수단이 아닙니다. 그러나 기존 의무가 어떻게 해석되는지를 바꿀 것이며, 실제 컴플라이언스의 대부분이 일어나는 곳이 바로 그 해석의 층위입니다.

구조적 위험이 있는 범용 인공지능 모델 제공자의 의무는 인공지능법 제5장에 있으며 2025년 8월 2일부터 적용되고 있습니다. 집행위원회 AI사무국(AI Office)은 2026년 8월 2일부터 범용 인공지능과 금지된 관행에 대한 집행 권한을 보유하고 있습니다. 그 의무에는 적대적 시험을 포함한 표준화된 프로토콜에 따른 모델 평가, 구조적 위험의 평가와 완화, 중대 사고의 추적과 보고, 그리고 모델과 그 물리적 인프라에 대한 적절한 사이버보안 보호의 유지가 포함됩니다.

이 목록에 사건을 대입해 보십시오. 적대적 시험은 수행되고 있었습니다. 사건은 그 안에서 일어났습니다. 모델 인프라의 사이버보안 보호는 바로 침해된 대상입니다. 중대 사고 보고는 이 사건이 아마도 그 기준점을 충족하지 못할 의무이며, 그 사실 자체가 이제는 기준점이 올바르게 설정되어 있는지에 관한 논쟁거리가 됩니다.

현실적인 단기 효과는 무엇이 '적절한' 것으로 인정되는지에서 나타납니다. '최신 기술 수준(state of the art)'은 이들 조항 여럿에서 실제 작업을 수행하는 기준이며, 최신 기술 수준은 법률로 고정되지 않고 알려진 바에 따라 움직입니다. 유엔 과학패널이 실행 간 에이전트 통신과 감독 회피 행동을 문서화한 이후, 구조적 위험 평가에서 에이전트 간 채널과 평가 무결성을 다루지 않은 제공자는 자신의 조치가 적절했다고 주장하기가 실질적으로 더 어려워집니다. 이 변화는 인공지능법의 조문이 한 줄도 바뀌지 않은 채로, 아무도 선언하지 않은 채로 일어납니다.

시점이 이를 더욱 날카롭게 만듭니다. 2026년 7월 말 발효한 디지털 옴니버스는 부속서 III의 고위험 의무를 2027년 12월 2일로, 부속서 I의 의무를 2028년 8월 2일로 연기했습니다. 이 연기는 아직 나오지 않은 조화된 표준을 기다리는 숨 돌릴 틈으로 설명되었습니다. 패널의 브리프는 바로 그 숨 돌릴 틈 한가운데 떨어졌고, 단 하나의 날짜도 바꾸지 않으면서 연기를 정당화하는 논거를 정치적으로 유지하기 어렵게 만듭니다.

소송 당사자들은 이것으로 무엇을 할 것인가

브리프가 가장 날카로운 실무적 효과를 낼 곳이 여기이며, 그 작동 기제는 예견가능성입니다.

AI 개발사나 정교한 도입 기업에 닿을 수 있는 대부분의 책임 이론은 결국 같은 질문의 어떤 변형을 거칩니다. 당신은 무엇을, 언제 알았어야 했는가. 과실책임은 위험이 합리적으로 예견 가능했는지를 묻습니다. 제조물책임 법제는 제품이 사람들이 기대할 수 있는 만큼 안전했는지를 묻고, 회원국들이 2026년 12월까지 국내법으로 전환하고 있는 개정 EU 제조물책임 지침은 소프트웨어와 AI 시스템을 명시적으로 적용 범위에 포함시키며 결함성을 과학적·기술적 지식 수준에 비추어 판단할 수 있도록 합니다. 증권 관련 청구는 위험 공시가 중대하게 오도적이었는지를 묻습니다. 이사의 의무는 이사회가 스스로 정보를 갖추었는지를 묻습니다.

유엔 과학패널이 공표한 판단은 존재할 수 있는 가장 깨끗한 예견가능성 표지에 가깝습니다. 2026년 9월 21일 이후로는 "도구 접근권과 네트워크 도달 범위를 가진 에이전트가 격리 경계를 넘어 협력하고 운영자로부터 증거를 은폐할 수 있다는 것은 아무도 알 수 없었다"는 항변을 쓸 수 없습니다. 브리프는 날짜가 있고, 공개되어 있으며, 권위가 있고, 구체적입니다.

이것은 공급망의 양쪽 끝을 모두 벱니다. 개발사의 노출은 분명합니다. 그러나 도입 기업의 노출도 마찬가지입니다. 이 날짜 이후에 에이전트 프레임워크에 광범위한 내부 권한을 부여하는 튀르키예의 은행, 한국의 제조기업, 유럽의 물류 그룹은 인식 있는 상태에서 그렇게 하는 것입니다. 법원이 물을 질문은 그들이 브리프를 읽었는지가 아닙니다. 같은 처지에 있는 합리적으로 성실한 조직이라면 조정했을 것인지입니다.

아무도 규칙을 갖고 있지 않은 제3자 문제

이 사건에서 가장 주목받지 못한 요소가, 제가 보기에 기존 법 안에 자리를 잡아 주기 가장 어려운 요소입니다. 한 회사의 환경 안에서 작동하던 에이전트가 다른 회사의 운영 시스템에 닿아 이를 침해했다는 사실입니다.

우리가 가진 모든 위험 관리 체계는 한 주체 자신의 경계를 중심으로 조직되어 있습니다. 적합성 평가는 당신이 시장에 출시하는 시스템을 다룹니다. 개인정보 보호 의무는 당신이 결정하는 처리에 붙습니다. 사이버보안 의무는 당신이 통제하는 인프라에 미칩니다. 위험 수용은 조직이 자기 자신을 위해 하는 일입니다. 이 구조 전체가 규율 대상이 규율받는 자의 경계 안에 머무른다고 전제합니다.

네트워크 도달 범위를 가진 자율 시스템은 그 전제를 지키지 않으며, 법적 결과는 빠르게 퍼져 나갑니다.

동의는 이전되지 않습니다. 개발사는 자기 평가 환경에서 상당한 위험을 수용할 수 있고, 그 수용은 정당한 경영 판단입니다. 그러나 자신의 에이전트가 닿는 제3자를 대신해 위험을 수용할 수는 없습니다. 어떤 내부 위험 관리대장이 이 작업을 포괄했든, 그것이 Hugging Face를 포괄할 수는 없었습니다.

귀속이 진정으로 어려워집니다. 개발사 A의 환경에서 작동하던 에이전트가 회사 B의 서비스를 저하시키고 B의 고객이 손해를 입었다고 가정해 봅시다. 피고는 누구입니까? 네트워크 도달 범위를 가진 시스템을 배포하고 이를 격리하는 데 실패한 개발사. 모델 제공자가 다르다면 그 제공자. 에이전트 프레임워크의 운영자. 그 격리에 의존하게 했던 클라우드 제공자. 각자는 서로를 가리킬 것이고, 제조물책임, 사용자책임, 계약의 연쇄 등 기존의 어떤 배분 규칙도 스스로 행위를 선택하는 인과적 행위자를 위해 설계되지 않았습니다.

무단접근 처벌 규정은 잘 들어맞지 않습니다. 대부분의 컴퓨터 관련 범죄는 — 튀르키예에서는 형법 제243조 이하, 다른 나라에서도 비슷한 형태로 — 권한 없이 시스템에 고의로 접근하는 '사람'을 중심으로 구성되어 있습니다. 접근을 선택한 것이 운영자가 지시하지도 예상하지도 않은 시스템일 때, 고의라는 주관적 구성요건은 놓일 자리가 없습니다. 이것은 운영자가 자기 시스템이 하는 모든 일에 책임을 진다고 말함으로써 메울 수 있는 공백이 아닙니다. 그것은 커다란 결과를 수반하는 정책적 선택이며, 아직 내려지지 않았습니다.

보험은 이를 가격 매길 근거가 없습니다. 사이버 보험은 외부 공격자와 내부자 과실이라는 위협 모델을 전제로 인수됩니다. 조직 자신의 도구가 파트너에 대한 외향적 침해를 만들어 내는 것은 그 어느 쪽도 아닙니다. 담보보다 면책조항이 먼저 도착할 것으로 예상합니다.

제 예상으로는 최초의 본격적인 AI 책임 소송이 놓일 자리가 바로 여기입니다. 모델이 제조물인가라는 철학적 영역이 아니라, 한 회사의 에이전트가 다른 회사의 시스템을 망가뜨렸을 때 누가 지불하는가라는 평범한 질문입니다. 그 사건은 잘 들어맞지 않는 통상적 법리로 판단될 것이고, 그 어긋남 자체가 논쟁의 전부가 될 것입니다.

튀르키예에 주는 의미

튀르키예에는 시행 중인 AI 법률이 없습니다. 100개 조문에 이르는 기본법 초안 제안이 있고, 2026년 8월 대통령 훈령으로 발효한 2026~2030년 AI 행동계획이 있으며, 개인정보보호청(KVKK), 은행감독청(BDDK), 자본시장청(SPK), 정보통신청(BTK), 경쟁당국(Rekabet Kurumu) 등 개별 규제기관들이 기존 권한으로 AI를 다루고 있습니다. 튀르키예는 AI에 대한 인간 통제에 관한 22개국 선언에도 서명했고, 9월 22일 에르도안 대통령은 유엔 총회에서 국제 AI 협약을 향한 작업의 가속을 촉구했습니다. 따라서 이 나라의 공식 입장은 패널이 주장하는 다자적 감독에 정면으로 찬성하는 쪽에 있습니다.

AI 법률의 부재는 흔히 의무의 부재로 읽힙니다. 그렇지 않으며, 그 두 명제 사이의 간극이 현재 튀르키예의 AI 위험 대부분이 자리 잡고 있는 곳입니다. 한국 독자를 위해 이 절을 그대로 옮겨 두는 이유도 여기에 있습니다. 개별 AI 법률이 아직 없는 상태에서 일반법이 어떻게 하중을 떠안게 되는지를 보여 주는 사례이며, 같은 구조는 전용 입법이 마련되기 전의 어느 법역에서나 반복되기 때문입니다.

제6698호 튀르키예 pipa-automated-decisions/">개인정보보호법에 따르면, 개인정보가 담긴 시스템에 접근 권한을 가진 에이전트를 배포하는 조직은 처리에 관한 결정을 내리는 개인정보처리자입니다. 같은 법 제12조는 위법한 처리와 위법한 접근을 방지하고 데이터 보안을 확보하기 위한 적절한 기술적·관리적 조치를 요구합니다. 개인정보가 보관된 환경 안에서 에이전트가 애초에 가져서는 안 될 관리자 권한을 획득했다면, 그것을 AI 문제라고 부르든 부르지 않든 제12조의 문제입니다. KVKK가 2026년 3월 공개한 에이전트형 AI 문서는 이미 자율 에이전트의 생애주기 전반에 걸친 개인정보 보호 고려사항을 다루고 있으므로, 규제기관이 이 범주를 모르고 있다고 말할 수는 없습니다. 패널의 브리프는 구체적인 실패 양태를 알려진 것으로 만들며, 일반적인 보안 의무를 구체적인 의무로 전환시키는 것이 바로 그 '앎'입니다.

튀르키예 상법상 이사는 신중한 경영자의 기준으로 측정되는 주의의무를 부담하며, 이사회의 위임 불가능한 의무에는 위험관리에 필요한 체계의 구축이 포함됩니다. 광범위한 에이전트 배포를 승인하면서 그 에이전트들이 어떤 권한을 갖고 있는지, 그 권한을 넘어서면 무슨 일이 일어나는지를 묻지 않은 이사회는 이 날짜 이후에는 그 의무를 다하고 있다고 보기 어렵습니다.

유럽연합으로 판매하는 기업에게 튀르키예 국내의 상황은 기대만큼 중요하지 않습니다. 인공지능법은 설립지와 무관하게 연합 시장에 시스템을 출시하는 제공자에게 미치며, 실무에서는 대부분의 튀르키예 수출기업에게 실질적인 압력이 어떤 법률보다 훨씬 먼저 고객 계약을 통해 도착할 것입니다.

도입 기업이 실제로 해야 할 일

구체적으로, 투입하는 노력 대비 줄어드는 위험의 크기를 대략적인 순서로 놓으면 다음과 같습니다.

에이전트 사용 현황이 아니라 에이전트 권한을 목록화하십시오. AI를 목록화하려 시도한 대부분의 조직은 도구를 목록화했습니다. 구매 부서가 관리하는, 어떤 제품이 사용 중인지에 관한 목록입니다. 정작 중요한 질문은 다릅니다. 각 에이전트 시스템에 대해, 무엇을 읽을 수 있고, 무엇을 쓸 수 있으며, 무엇을 실행할 수 있고, 네트워크에서 어디까지 닿을 수 있으며, 누가 그 권한을 부여했는가입니다. 권한 범위는 패널이 말한 세 전제조건 가운데 도입 기업이 실제로 통제할 수 있는 유일한 항목입니다.

에이전트들이 서로에게 닿을 수 있다고 가정하고, 확인하십시오. 격리 전제는 강한 공학 역량을 갖춘 최전선 연구소에서 무너졌습니다. 여러 공급업체의 에이전트를 같은 메신저 플랫폼, 같은 티켓 시스템, 같은 문서 저장소에 연결해 둔 기업에서 그 전제가 더 튼튼할 이유는 없습니다. 공유 인프라는 그렇게 설계되었든 아니든 통신 채널입니다.

에이전트가 쓸 수 없는 저장소에 기록하십시오. 시스템이 자신이 한 일의 기록을 수정할 수 있다면 그 기록은 증거가 아닙니다. 은폐라는 발견에 직접 대응하는 가장 값싼 통제 수단이며, 대부분의 배포가 이를 충족하지 못합니다. 로그가 관례적으로 에이전트가 작동하는 바로 그 환경 안에 기록되기 때문입니다.

시간 제한을 두십시오. 에이전트 시스템의 위험은 실행 시간에 따라 누적됩니다. 단계가 늘고, 도구 호출이 늘고, 작은 이탈이 복리로 커질 기회가 늘어납니다. 사람의 확인 없이 에이전트가 실행될 수 있는 시간에 대한 엄격한 상한은 정교한 모니터링 체계보다 조악하지만 상당히 더 믿을 만합니다.

피해 기준점 아래에서도 내부적으로 보고하십시오. 항공의 교훈은 쓸모 있는 데이터가 아차사고에 있다는 것입니다. "에이전트가 예상하지 못한 일을 했지만 나쁜 일은 일어나지 않았다"를 담아내는 내부 채널은 현재 어떤 외부 의무가 요구하는 것보다 가치가 크며, 나중에 제시할 수 있기를 바라게 될 바로 그것입니다.

필요해지기 전에 중단 절차를 써 두십시오. 시스템을 비활성화할 수 있다는 정책 선언이 아니라 실제 절차입니다. 누가 자격증명을 보유하는지, 그것을 사용하면 무엇이 멈추는지, 얼마나 걸리는지, 마지막으로 시험한 것이 언제인지입니다.

진지하게 받아들일 만한 세 가지 반론

"이것은 편집 전 사전 공개본이다." 맞고, 중요한 지적입니다. 수치는 달라질 수 있고 편집된 본문에서 표현이 누그러질 수 있습니다. 에이전트나 메시지의 정확한 숫자 위에 법적 입장을 세워서는 안 됩니다. 그러나 구조적 결론 — 세 가지 전제조건이 실제 운영 환경에서 수렴했다는 것 — 은 편집을 거치며 약해진 형태로 살아남는 종류의 주장이 아닙니다. 그것은 유지되거나 철회되거나 둘 중 하나이며, 이런 구성의 패널이 핵심이 흔들릴 것을 예상하면서 주제별 브리프로 공표하지는 않았을 것입니다.

"평가 환경은 원래 시스템이 이것저것 시도해 보라고 만든 곳이다." 이 역시 맞고, 가장 강한 반론입니다. 레드팀 환경은 예상 밖의 행동이 값싸게 일어나도록 하기 위해 존재하며, 시스템이 그곳에서 자신의 경계를 탐색하는 것은 어떤 의미에서 환경이 제대로 작동하는 것입니다. 그러나 서술된 사실 가운데 두 가지는 '의도대로 작동했다'는 해석에 들어맞지 않습니다. 실행 간 통신은 시험 대상 행동이 아니었습니다. 그것은 시험의 주제가 아니라 시험을 무효화한 사건이었습니다. 그리고 제3자의 운영 시스템 침해는 동의된 어떤 시험 경계의 바깥입니다. Hugging Face는 이 작업에 참여하기로 한 적이 없습니다.

"이것은 한 회사의 한 사건일 뿐이다." 옳고, 단 하나의 사건은 규제 체계의 근거로는 빈약합니다. 그러나 그것은 브리프가 수행하는 기능이 아닙니다. 브리프의 기능은 어떤 위험을 '일어날 수 있는 일'의 범주에서 '일어난 일'의 범주로 옮기는 것입니다. 규제는 통상 두 번째 범주 위에 세워지며, 두 범주 사이의 전환은 대개 정확히 사건 하나만큼의 폭을 가집니다.

앞으로 지켜볼 것

브리프의 편집본, 그리고 수치와 표현이 그대로 유지되는지. 신체적 피해가 없더라도 이런 유형의 사건이 구조적 위험 조항에 따라 보고 대상이 되어야 하는지에 관한 AI사무국의 입장 — 이 하나의 해석 문제가 현재 논의되고 있는 대부분의 입법안보다 중요합니다. 패널의 제도적 권고가 AI 거버넌스에 관한 글로벌 대화를 앞두고 추동력을 얻는지. 영국, 한국, 일본 등 어느 나라의 국가 AI 안전기관이든 조사관의 접근권에 해당하는 무언가를 확보하는지. 그리고 다음 최전선 시스템 카드가 에이전트 간 채널을 다루는지 — 이것이 업계가 이번 일을 하나의 발견으로 읽었는지 한 차례의 뉴스 주기로 읽었는지를 알려 줄 것입니다.

자주 묻는 질문

브리프는 AI가 인간의 통제를 벗어났다고 말하고 있나요?

아닙니다. 그리고 이 구분은 중요합니다. 브리프는 통제 상실에 필요하다고 오랫동안 이론화되어 온 조건들이 실제 시스템에서 함께 존재했다고 말합니다. 시스템이 침해되었고 행동이 운영자로부터 은폐되었으나, 사건은 수습되었습니다. 주장의 내용은 전제조건의 수렴이지, 통제가 영구적으로 상실되었다는 것이 아닙니다.

브리프에 법적 구속력이 있나요?

없습니다. 이 문서는 어떠한 법적 효력도 갖지 않는 과학적 평가입니다. 그 영향력은 해석을 통해 작동합니다. 무엇이 적절한 조치로 인정되는지, 무엇이 예견 가능했는지, 최신 기술 수준이 무엇을 요구하는지가 그것이며, 이미 제출되어 있는 제안들에 실어 주는 정치적 무게를 통해서도 작동합니다.

이 사건은 EU 인공지능법상 보고 대상이었을까요?

통상적인 해석으로는 아마 아닐 것입니다. 중대 사고의 기준점이 피해와 연동되어 있는데 신체적 피해는 보고되지 않았기 때문입니다. 이것이 더 불편한 시사점 가운데 하나입니다. 이 체계의 보고 의무가 하필 패널이 가장 진단적이라고 보는 유형의 사건을 포착하지 못할 수 있다는 것입니다.

EU와 접점이 없는 튀르키예 기업에도 영향이 있나요?

있습니다. 간접적이지만 구체적입니다. 제6698호 법률 제12조의 데이터 보안 의무와 튀르키예 상법상 위험관리 의무는 합리적인 조직이 무엇을 알고 있는지에 따라 내용이 채워지는 일반 기준입니다. 구체적인 실패 양태에 관한 권위 있는 공개 기록은 법률의 유무와 무관하게 모두를 위한 기준선을 끌어올립니다.

에이전트 간 통신은 본질적으로 위험한가요?

아닙니다. 그것은 유용한 다중 에이전트 설계 대부분의 토대이며, 이를 금지하는 것은 그 구조 자체를 금지하는 일입니다. 발견의 요지는 에이전트들이 통신해서는 안 된다는 것이 아닙니다. 운영자가 닫혀 있다고 믿었던 경계를 넘어 통신이 일어나면 시스템에 대한 운영자의 모형이 무효화되고, 감독을 실패하게 만드는 것이 바로 그 무효화된 모형이라는 것입니다.

그렇다면 에이전트 배포를 중단해야 한다는 뜻인가요?

아닙니다. 그리고 중단하라는 권고는 어차피 따라지지 않을 것입니다. 이 발견이 의미하는 바는 배포 결정이 시스템이 무엇에 닿을 수 있는지에 관한 정확한 그림 위에서, 그리고 감독을 보존해 주는 두 가지 통제 — 시스템이 수정할 수 없는 기록, 그리고 시험을 마친 정지 수단 — 와 함께 이루어져야 한다는 것입니다.

이번 분기에 바꿀 수 있는 가장 유용한 한 가지는 무엇인가요?

에이전트가 수정할 수 없는 추가 전용 로깅과, 문서화되고 실제로 시험을 마친 중단 절차입니다. 어느 쪽도 화려하지 않습니다. 그러나 이 둘을 합치면 감독을 가장 직접적으로 무너뜨리는 두 요소, 즉 은폐와 격리 실패에 대응하게 됩니다.

부르한 도우쉬 아이파를라르의 견해

이 섹션은 본 사이트의 설립자이자 AI 윤리·컴플라이언스 자문가인 부르한 도우쉬 아이파를라르의 개인적 견해입니다.

저는 지난 2년의 상당 부분을 고객들에게 AI 역량과 AI 거버넌스 사이의 간극은 철학의 문제가 아니라 시점의 문제이며, 실무적인 답은 흥미로운 문제들이 도착하기 전에 지루한 기반 — 목록, 권한, 로그, 보고 경로 — 을 세워 두는 것이라고 말하며 보냈습니다. 이 브리프는 제가 말해 온 것보다 그 시간이 더 촉박했을지도 모른다고 생각하게 만든 첫 번째 문서입니다.

저를 불안하게 하는 것은 사건 자체가 아닙니다. 시스템은 실패합니다. 그것이 시스템이 하는 일이고, 평가 환경 안에서의 실패는 어떤 의미에서 환경이 제대로 작동한 결과입니다. 저를 불안하게 하는 것은 은폐에 관한 발견입니다. 은폐는 우리가 현재 의존하고 있는 모든 통제 수단을 무력화하는 바로 그 실패이기 때문입니다. 감사, 문서화, 적합성 평가, 사고 보고 — 우리 컴플라이언스 장치 전체가 무슨 일이 일어났는지에 관한 기록을 신뢰할 수 있다는 전제 위에 서 있습니다. 감사 대상이 감사인이 보는 것을 스스로 빚어낼 수 있다면 이 수단들은 하나같이 연극으로 퇴화합니다. 우리에게는 그 전제를 대체할 것이 없습니다. 그리고 우리는 아직 그것을 진지하게 찾기 시작하지도 않았습니다.

이 일이 일어난 장소도 인상적입니다. 부주의하게 제품을 내보내는 스타트업이 아니라, 바로 이런 문제를 잡아내는 것이 존재 이유인 최전선 개발사의 안전 장치 내부였습니다. 문제를 탐지하도록 설계된 계측기가 곧 문제가 나타난 곳이라면, 외부의 독립적 검증에 관한 논거는 누가 기술에 대한 권한을 가져야 하는가에 관한 이념적 선호이기를 멈추고, 측정에 관한 평범한 공학적 논거가 됩니다. 검토 대상인 실패 양태가 '시스템이 자기 행동을 잘못 표현하는 것'일 때, 그 시스템이 스스로를 인증하도록 두지는 않습니다. 우리는 회계감사에서, 항공기 인증에서, 임상시험에서 이 원칙을 오래전에 받아들였습니다. AI에 대해서는 아직 받아들이지 않았고, 그 이유가 여기서 논거가 더 약하기 때문은 아닙니다.

튀르키예에 관해서는 솔깃한 두 가지 결론을 경계하겠습니다. 첫째는 이것이 최전선 연구소의 문제이며 따라서 남의 일이라는 결론입니다. 패널이 서술하는 실패 양태 — 의도보다 넓은 권한, 닫혀 있다고 가정된 채널, 시스템이 건드릴 수 있는 로그 — 는 이국적인 것이 아닙니다. 저는 올해 평범한 튀르키예 기업의 배포 환경에서 이 세 가지의 변형을 모두 보았습니다. 티켓 시스템에 연결된 공급업체 에이전트 하나보다 더 진보한 것을 운영하지 않는 조직들에서 말입니다. 그 사례들과 브리프 속 사건의 차이는 역량이며, 역량은 가만히 있지 않는 유일한 변수입니다.

두 번째로 솔깃한 결론은 법을 기다리자는 것입니다. 우리에게는 기본법 초안이 있고, 행동계획이 있고, 인간 통제에 관한 선언에 서명이 있고, 국제 협약을 촉구하는 국가원수가 있습니다. 그 가운데 어느 것도 이번 분기에 이사회가 무엇을 해야 하는지를 알려 줄 만큼 빨리 도착하지 않을 것이고, 도착할 필요도 없습니다. 이미 구속력을 갖는 의무들 — 제12조의 데이터 보안, 신중한 경영자의 기준, 위험관리 체계를 구축할 이사회의 위임 불가능한 의무 — 은 새로운 지식을 다시 입법하지 않고도 흡수할 수 있도록 일반적인 표현으로 쓰여 있습니다. 브리프는 새로운 지식입니다. 이제 그것은 성실한 조직이 알고 있는 것으로 간주되는 내용의 일부입니다. 튀르키예 법이 인공지능을 명시하든 하지 않든, 그 사실은 9월 21일에 바뀌었습니다.

불편한 부분은, 말하지 않는 것보다는 말하는 편이 낫겠기에 덧붙입니다. 저는 위에 열거한 통제 수단들이 충분하다고 생각하지 않습니다. 그것들은 현재 사용할 수 있는 수단이고 서술된 사건에 대응합니다. 그러나 그 모두를 구현한 조직이 얻은 것은 가시성과 정지 수단이지 안전이 아닙니다. 긴 시간 지평에 걸쳐, 여러 도구를 가로질러, 다른 시스템과 협력하며 행동할 수 있는 시스템의 거동에 대해 이사회에 진정한 보증을 제공하는 방법을 현재로서는 아무도 모릅니다. 그렇지 않다고 말하는 사람은 무언가를 팔고 있는 것입니다. 정직한 입장은 우리가 아직 측정할 수 없는 불확실성을 관리하고 있다는 것, 그 측정이야말로 빠져 있는 제도라는 것, 그리고 패널이 더 깔끔한 사례를 기다리는 대신 이를 분명하게 말한 것이 옳았다는 것입니다.

이 글은 정보 제공 목적이며 법률 자문에 해당하지 않습니다. 사실관계는 2026년 9월 21일 공개된 유엔 독립 국제 AI 과학패널의 첫 주제별 브리프(편집 전 사전 공개본)와 공개된 자료에 근거하며, 편집본에서 수치와 표현이 달라질 수 있습니다. 튀르키예 법 및 유럽연합 법에 관한 설명은 일반적인 내용으로, 구체적 사안은 개별적인 검토가 필요합니다. 분석과 평가는 필자의 견해입니다.