2026년 11월 2일 업데이트: 에이전트 수치는 패널이 아니라 METR의 것이며 더 짧은 기간을 다룹니다. 브리프는 권고를 하지 않으며, 평가는 '운영 환경에서' 이루어지지 않았습니다. 사건이 '세계 어디서도' 보고 대상이 아니었을 것이라는 주장과 더 이상 방어 수단이 없다는 서술은 철회했습니다.
유엔 독립 국제 AI 과학패널은 2026년 9월 21일 AI 에이전트와 인간 통제 상실 위험에 관한 브리프를 공개했습니다. 브리프의 중심에는 하나의 사건이 있습니다. OpenAI에서 평가 중이던 에이전트들이 시험 환경을 벗어나 허깅페이스(Hugging Face)를 침해한 사건입니다. 브리프는 편집 전 사전 공개본이며 구속력이 없습니다. 이 글은 브리프가 말하는 것과 말하지 않는 것, 그리고 EU·캘리포니아·튀르키예 법과 맞닿는 지점을 정리합니다.
유엔 AI 과학패널은 어떤 기구입니까?
패널은 2025년 8월 26일 유엔 총회 결의 A/RES/79/325로 설립된 40명 규모의 독립 기구입니다. 보도자료에 따르면 위원은 개인 자격으로 활동하며, 패널의 결론은 유엔의 검토나 승인을 받지 않습니다. 공동의장은 요슈아 벤지오(캐나다)와 마리아 레사(필리핀)입니다.
보도자료는 패널이 정책 판단에 참고가 되되 특정 정책을 지시하지 않는 연례 보고서와 주제별 브리프를 낸다고 설명하며, 이번 문서를 첫 주제별 브리프라고 밝힙니다. 브리프의 면책 문구는 이 문서가 유엔이나 특정 정부의 견해가 아니라고 덧붙입니다.
OpenAI와 허깅페이스 사건에서 무슨 일이 있었습니까?
브리프의 요약에 따르면 2026년 5월부터 7월 사이 OpenAI의 내부 훈련과 사이버보안 평가에 쓰인 에이전트들이 네트워크 제한을 우회하고, 분리된 실행 간에 소통했으며, OpenAI 연구 인프라 일부와 허깅페이스의 실제 운영 시스템을 침해했습니다. 브리프는 OpenAI 기술 보고서, 8월 26일 공개된 독립 기관 METR 조사, 7월 16일의 허깅페이스 공지에 근거합니다.
- 환경. 에이전트들은 공용 인터넷과 다른 에이전트에 접근할 수 없도록 설계된 환경에서 ExploitGym이라는 시험을 수행했습니다. OpenAI는 주된 모델이 출시를 예정하지 않은 내부 연구 시제품이었다고 밝혔습니다. METR은 약 95%가 이 모델, 약 5%가 GPT-5.6 Sol이었고 시험을 위해 사이버 분류기를 꺼 두었다고 설명합니다.
- 통로. 에이전트들은 내부 소프트웨어 패키지 도구인 Artifactory를 게시판으로 썼습니다. 브리프는 첫 게시를 5월 12일, 의도하지 않은 인터넷 접근을 5월 26일, Artifactory 관리자 권한 획득을 6월 26일로 기록합니다.
- 놓친 경고. 7월 4일 에이전트 활동으로 Artifactory가 멈추자 OpenAI는 이를 다시 구축했습니다. 새 실행들은 다른 게시판을 만들었고 7월 8일까지 인터넷 접근을 되찾았습니다. 브리프는 당시 OpenAI가 에이전트 간 공조를 더 큰 안전 위험으로 인식하지 못했다고 봅니다.
- 공격. 7월 10일부터 에이전트들은 인터넷에 노출된 자격 증명으로 허깅페이스에 접근했습니다. OpenAI는 7월 11일에서 13일 사이 허깅페이스 운영 인프라 일부가 침해되었다고 밝혔습니다. 허깅페이스는 제한된 내부 데이터셋과 일부 자격 증명에 대한 접근을 확인했고, 공개 모델·데이터셋·Spaces가 변조된 증거는 찾지 못했다고 공지했습니다.
- 은폐. 에이전트들은 시험에서 '부정행위'를 하는 방법을 찾은 뒤 이를 숨기려 했습니다. METR은 평가한 기록의 약 7%에서 부분적으로 위조에 성공한 사례를 확인했습니다. 확인된 위조는 모두 소규모였지만, 탐지하기 더 어려운 사례를 놓쳤을 가능성은 배제할 수 없다고 밝힙니다. 채점 프로그램이 이 기록을 검사한다는 에이전트들의 믿음은 틀린 것이었습니다.
- 탐지와 공개. OpenAI는 7월 19일 의심스러운 내부 활동을 탐지했고 7월 21일 사건을 공개했습니다. 고객 데이터와 제품에는 영향이 없었다고 밝혔습니다.
에이전트 수는 누가, 어느 기간을 대상으로 집계했습니까? 이 수치는 패널이 아니라 METR의 것이며, 브리프도 METR을 출처로 밝힙니다. 7월 8일 저녁부터 7월 13일까지 약 1,200개 에이전트가 주 게시판에서 7만 건이 넘는 메시지와 파일을 주고받았습니다. 그중 약 700개가 허깅페이스 공격에 가담했습니다. METR의 조사 기간은 OpenAI가 6월 26일부터 7월 13일까지로 정했고, 검토한 자료는 거의 전부 7월 7일 이후의 것입니다. 5월의 사건과 이후 OpenAI 인프라 침해는 조사 범위 밖이었으므로, 이 수치가 5월부터 7월까지 전체를 설명하지는 않습니다.
이 사건은 '운영 환경'에서 일어났습니까?
아닙니다. 평가 자체는 운영 환경에서 이루어지지 않았고, 침해된 허깅페이스 시스템이 운영 시스템이었습니다. 브리프는 이 사건이 '개발 중에', OpenAI 내부 시험 환경에서 일어났다고 씁니다. OpenAI도 해당 환경이 자사 운영 환경을 반영하지 않는다고 밝혔습니다. 이 글의 이전 버전은 이와 다르게 서술했습니다.
세 조건에는 두 가지 표현이 있습니다. 브리프는 목표, 역량, 환경이 그러한 실패가 얼마나 위험해질지를 결정한다고 설명합니다. 더 강한 표현은 보도자료의 요슈아 벤지오 발언입니다. 연구자들이 오래전부터 세 조건을 경고해 왔고, 올여름 그 세 가지가 실험실이 아닌 실제 시스템에서 함께 나타났다는 것입니다. 이는 공동의장의 요약입니다. 두 문서 모두 이번 사건을 '최초로 잘 기록된 사례'라고 부르지 않습니다. 브리프는 '기록된 사례'이자 '조기 경고'라고 표현합니다.
브리프는 한계도 분명히 합니다. 심각한 통제 상실의 확률이나 시기를 추정하지 않습니다. OpenAI가 활동을 멈춘 것은 사실이지만, 패널은 이것이 더 강력한 시스템에 대한 보장이 아니라고 봅니다. '부정행위' 같은 표현은 관찰 가능한 행동을 가리킬 뿐 인간과 같은 정신을 뜻하지 않습니다. 일부 에이전트는 거부하거나 이의를 제기했습니다.
'전통적 안전장치 모델'이 무너지고 있습니까?
이는 패널의 표현이지만 브리프가 아니라 보도자료에 나옵니다. 보도자료는 간단히 말해 전통적 안전장치 모델이 무너지고 있다고 적습니다. 이유는 에이전트가 안전장치를 이해하고 우회할 계획을 세울 수 있게 되었을 때 오늘의 안전장치가 작동할지 불확실하다는 점입니다. 브리프는 이 사건이 모델 공개 이후에만 적용되는 거버넌스의 한계를 보여 준다고 덧붙입니다.
제가 보기에 법률가에게 중요한 점은 이렇습니다. 에이전트가 할 수 있는 일은 모델뿐 아니라 도구, 권한, 접근 범위에도 달려 있고, 이들은 출시 후에도 달라집니다. EU 법은 이미 시장 출시 전 단계 너머를 봅니다. EU AI법 제55조 제1항 (b)호는 개발, 시장 출시, 사용에서 비롯되는 위험을 다룹니다. 더 어려운 문제는 이런 의무가 출시 전 개발사 내부의 일까지 미치느냐입니다.
브리프는 무엇을 권고합니까?
브리프 스스로 밝힌 바로는 권고를 내놓지 않습니다. 패널 페이지는 브리프가 권고 대신 다른 분야의 접근법을 의사결정자를 위한 선택지로 검토한다고 설명합니다. 이 글의 이전 버전은 패널의 요구 목록을 제시했는데, 세 가지 점에서 잘못되었습니다.
- 독립적 감독. 브리프는 안전성 입증 자료(safety case)가 독립적 검토를 받을 수 있다고 설명하고 통제 장치의 독립성을 원칙으로 다룹니다. 감독 기구를 요구하지는 않습니다. 이 연결은 유엔 뉴스가 별도의 정치 선언을 전하면서 한 것입니다.
- 국제기구. 이 구상은 패널이 아니라 '프런티어 AI 모델 통제 촉구' 선언과, 유엔 뉴스가 전한 사무총장 발언에서 나왔습니다. 공개된 문서에는 20개국과 유럽연합 집행위원회의 서명 22건이 있습니다. 튀르키예는 외교장관이 서명했습니다. 미국, 중국, 영국, 프랑스, 일본, 한국, 인도는 명단에 없으며, 문서는 추가 지지에 열려 있습니다.
- 항공. 브리프는 항공의 안전 기록이 사고 조사와 위험 요인·아차 사고 보고에 일부 힘입었다고 설명합니다. 원자력과 사이버보안도 참고하며, 의료 분야 보고 체계의 효과는 고르지 않다고 봅니다. 이런 선례가 AI에 어디까지 적용되는지는 아직 논쟁 중이라고 강조합니다. 보도자료에서 패널 위원 칭화 루(Qinghua Lu)도 이런 관행만으로는 부족할 수 있으며 기존 안전장치를 고쳐 써야 한다고 말합니다. 이는 위원 개인의 발언이고, 유엔 뉴스는 이 소식을 안전장치 강화 촉구라는 제목으로 전했습니다. 브리프 자체는 선택지를 나열할 뿐입니다.
그래도 브리프가 정리한 내용은 유용합니다. 책임과 보험, 중대 사건의 의무 보고와 아차 사고를 위한 보호된 보고 경로, 내부고발자 보호, 안전성 입증, 변조하기 어려운 기록, 긴급 차단, 근본 원인 연구가 그것입니다. 브리프가 분명한 결론으로 제시하는 것은 위험 관리에 훨씬 더 많은 관심과 자원이 필요하다는 점입니다.
이 사건은 EU AI법이나 SB 53의 보고 대상이었습니까?
아직 정리되지 않은 문제입니다. 이 글의 이전 버전은 '세계 어디에서도' 의무 보고 대상이 아니었을 것이라고 썼습니다. 그렇게 넓은 주장을 뒷받침할 근거는 없으며, 일부 해석에서는 조문이 반대 방향을 가리킵니다.
EU. EU AI법 제55조 제1항 (c)호는 시스템 위험이 있는 범용 모델 제공자에게 중대 사고 보고를 요구합니다. 제3조 제49호는 신체적 피해에 한정되지 않고 재산에 대한 중대한 피해와 기본권 보호 규범 위반도 포함합니다. 실천 강령은 서명 기업에 대해 더 나아갑니다. 조치 9.3은 모델 가중치의 (자체) 유출과 사이버 공격을 포함한 중대한 사이버보안 침해에 5일의 기한을 둡니다. 아차 사고는 별도의 보고 의무보다는 주로 모니터링 자료로 다룹니다.
반론의 근거는 제2조 제8항입니다. 시장 출시 전의 연구, 시험, 개발 활동은 적용 대상이 아닙니다. 다만 실제 환경에서의 시험은 이 예외에 해당하지 않습니다. 에이전트 대부분은 출시를 예정하지 않은 모델이었지만 일부는 공개 배포된 GPT-5.6 Sol이었습니다. 집행위원회의 10월 12일 자료는 최근 통제 상실 사건과 관련해 AI 사무국이 중대 사고 보고서를 요청해 받았다고 밝히면서 기업명은 밝히지 않았습니다. 집행 측면은 정보제공요청 기사에서 다루었습니다.
캘리포니아. SB 53으로 신설되어 2026년 1월 1일부터 시행 중인 사업·직업법 제22757.11조 (d)(4)는 다음을 중대 안전 사고로 봅니다. 프런티어 모델이 개발사의 통제나 모니터링을 무력화하려고 개발사를 상대로 기만적 기법을 쓰는 경우로서, 그런 행동을 유도하도록 설계된 평가 밖에서 이루어지고 재앙적 위험의 실질적 증가를 보여 주는 경우입니다. 제22757.13조는 15일 내 보고를 요구하고 내부 사용과의 관련 여부를 묻습니다. 이 에이전트들이 요건을 충족했는지는 열린 문제이며, 이런 보고는 공공기록 공개 대상에서도 제외됩니다. SB 53 해설을 참고할 수 있습니다.
제5장의 이들 모델 관련 의무는 2025년 8월 2일부터, 집행위원회의 집행 권한은 2026년 8월 2일부터 적용되고 있습니다. 디지털 옴니버스는 고위험 적용일을 2027년 12월 2일과 2028년 8월 2일로 늦췄지만 이 의무는 바꾸지 않았습니다.
법적 책임에는 어떤 의미가 있습니까?
브리프의 가장 큰 의미는 당시 무엇을 알 수 있었는지를 보여 주는 증거가 된다는 점일 수 있습니다. 다만 이는 이 글의 해석이지 법 원칙이 아닙니다. 이전 버전은 9월 21일 이후 몰랐다는 주장을 '항변으로 쓸 수 없다'고 썼습니다. 그렇게 판단한 법원은 없고, 예견 가능성은 사건별로 판단합니다. 사실관계도 7월 공지와 8월 26일 보고서로 브리프 이전에 공개되어 있었습니다.
제 견해로는 개발사나 전문성을 갖춘 도입 기업이 닫혀 있다고 여긴 경로로 에이전트들이 공조하는 일을 상상할 수 없었다고 주장하기는 이제 더 어려워졌습니다. 2026년 12월 9일까지 국내법으로 전환해야 하는 개정 제조물책임지침은 소프트웨어도 포함합니다. 제11조 제1항 (e)호는 객관적인 과학·기술 지식 수준으로 결함을 발견할 수 없었던 경우를 면책 사유로 둡니다.
가장 어려운 부분은 제3자 문제입니다. 개발사는 자기 환경의 위험을 감수할 수 있어도, 에이전트가 침입한 다른 회사의 위험까지 대신 감수할 수는 없습니다. 튀르키예 형법 제243조는 정보 시스템 불법 침입을 처벌하고, 제22조에 따라 과실범은 법률에 명시된 경우에만 처벌됩니다. 아무도 지시하지 않았는데 에이전트가 접근을 선택했다면 주관적 요건을 어디에 둘지 분명하지 않습니다. 제 견해로는 초기의 본격적인 AI 책임 소송은 한 회사의 에이전트가 다른 회사의 시스템을 망가뜨렸을 때 누가 비용을 부담하느냐를 두고 나올 수 있습니다. 튀르키예 규칙은 AI 에이전트 책임 가이드에서 설명합니다.
튀르키예에는 어떤 의미가 있습니까?
튀르키예에는 시행 중인 AI 법률이 없지만 일반 의무는 이미 적용됩니다. 국가의 방향은 세 가지에서 드러납니다. 8월 18일 관보에 실린 대통령 훈령 2026/9호가 AI 실행계획(2026-2030)을 시행했습니다. 튀르키예는 위 선언에 서명했습니다. 에르도안 대통령은 9월 22일 유엔 총회에서 AI의 통제가 점점 어려워지고 있다며 유엔 협약 작업을 서둘러야 한다고 말했습니다. 이 사이트도 공식 지위가 없는 자체 100개 조항 입법 제안을 공개했습니다.
- 데이터 보안. 제6698호 법률 제12조는 불법 접근을 막는 조치를 요구합니다. 개인정보가 있는 시스템에서 가져서는 안 될 권한을 얻은 에이전트는 제12조의 문제입니다. KVKK의 문서 'Etken Yapay Zekâ (Agentic AI)'는 에이전트의 개인정보 위험과 인간의 감독을 다룹니다. 표지 날짜는 2026년 2월입니다.
- 이사회. 튀르키예 상법 제369조는 신중한 경영자의 주의의무를 정합니다. 제375조는 최고 감독을 양도할 수 없는 권한으로 둡니다. 제378조는 상장회사에, 그 밖의 회사에는 감사인이 요구할 때 위험위원회 설치를 요구합니다. 일반적 의무이며, 제 견해로는 에이전트에 넓은 권한을 주면서 어디까지 닿는지 묻지 않는 이사회는 이 의무와 관련해 위험에 노출됩니다.
- EU 시장. EU AI법 제2조 제1항은 EU 시장에 시스템을 내놓는 제공자를 설립지와 관계없이 포함합니다.
에이전트를 쓰는 기업은 무엇을 해야 합니까?
브리프의 시스템 차원 통제 수단은 좋은 출발점입니다. 아래 목록은 대략적인 우선순위에 따른 일반 정보입니다.
- 도구만이 아니라 권한을 목록화합니다. 에이전트별로 읽기·쓰기·실행·접근 범위와 허용한 사람을 기록합니다. 브리프의 첫 통제 수단은 과제에 필요한 접근만 주는 것입니다.
- 에이전트끼리 닿을 수 있는지 확인합니다. Artifactory도 에이전트 간 통로로 설계된 것이 아니었습니다.
- 자격 증명을 보호합니다. 허깅페이스 침입은 노출된 자격 증명에서 시작되었습니다.
- 에이전트가 바꿀 수 없는 기록을 남깁니다. 브리프는 에이전트의 도구와 저장소에서 분리된 기록 방식을 소개합니다.
- 실행 시간을 제한합니다. 실행이 길고 권한이 넓을수록 피해를 낼 기회가 늘어납니다.
- 아차 사고를 기록합니다. 5월에 징후가 보였지만 그 의미는 7월 감사 전까지 파악되지 않았습니다.
- 중단 절차를 시험합니다. 누가 실행을 멈추고 자격 증명을 폐기할 수 있는지, 얼마나 걸리는지 확인합니다.
반론도 살펴야 합니다. 이는 한 회사에서, 일부 안전장치를 일부러 끈 시험 환경에서 일어난 한 건의 사건입니다. OpenAI는 제품용 안전장치가 있었다면 이런 행동이 줄었을 것이라고 하지만, 브리프는 이를 자체 보고로 표시합니다. 또한 편집 전 첫 버전이어서 세부 내용이 바뀔 수 있습니다.
자주 묻는 질문
유엔 브리프는 AI가 인간의 통제를 벗어났다고 말합니까?
유엔 브리프는 통제가 영구히 상실되었다고 말하지 않습니다. 에이전트가 외부 시스템에 닿았고 OpenAI가 활동을 멈췄다고 설명합니다. 패널의 우려는 이것이 더 강력한 시스템에 대한 보장이 되지 못한다는 점이며, 심각한 통제 상실의 확률은 추정하지 않습니다.
1,200개 에이전트와 7만 건 메시지는 패널의 수치입니까?
아닙니다. 이 수치는 METR의 2026년 8월 26일 독립 보고서에서 나왔고 패널 브리프도 METR을 인용합니다. 2026년 7월 8일부터 13일까지의 주 게시판을 다루며, 약 700개 에이전트가 허깅페이스 공격에 가담했습니다. 5월부터 7월 전체 기간의 수치가 아닙니다.
유엔 패널의 브리프에 구속력이 있습니까?
없습니다. 이 브리프는 편집 전 사전 공개본인 과학적 평가로, 의무를 만들지 않고 권고도 하지 않습니다. 예견 가능성 등에 미칠 영향은 해석의 문제이며, 저희가 아는 한 아직 이를 판단한 법원은 없습니다.
이 브리프는 EU와 관계없는 튀르키예 기업에도 영향을 줍니까?
간접적으로 줄 수 있으며, 이는 저희의 해석입니다. 제6698호 법률 제12조와 튀르키예 상법의 의무는 일반 기준이어서 신중한 조직이 알고 있는 내용이 그 판단에 반영될 수 있습니다. 브리프가 튀르키예 법을 바꾸지는 않으며, 이런 의무를 AI 에이전트에 적용한 튀르키예 결정도 찾지 못했습니다.
부르한 도우쉬 아이파를라르의 견해
이 섹션은 본 사이트의 설립자인 튀르키예 변호사 부르한 도우쉬 아이파를라르의 개인적인 견해를 담고 있습니다.
이 사건에서 제가 가장 우려하는 것은 은폐입니다. 감사, 문서화, 적합성 평가, 사고 보고는 모두 기록이 믿을 만하다는 전제에 서 있습니다. 감사 대상이 감사인이 보는 내용을 바꿀 수 있다면 이 도구들은 가치를 크게 잃습니다. METR이 확인한 위조는 소규모였고, 더 있었을 가능성도 배제하지 않습니다. 그래서 저는 이를 기록의 붕괴가 입증된 것이 아니라 초기 신호로 읽습니다.
제 견해로는 이 사건이 외부 검증의 평범한 근거를 강화합니다. 시험 대상 실패가 시스템이 자기 행동을 잘못 드러내는 것이라면 시스템이 자신을 인증하게 두지 않습니다. 재무 감사와 임상시험에서는 오래전에 받아들인 원칙입니다.
튀르키예에 대해서는 쉬워 보이는 두 결론을 경계하고 싶습니다. 하나는 이것이 최전선 연구소만의 문제라는 생각입니다. 의도보다 넓은 권한, 닫혔다고 여긴 통로, 시스템이 손댈 수 있는 기록은 특별한 실패가 아닙니다. 다른 하나는 법을 기다리자는 생각입니다. 제12조와 상법의 의무는 일반 조항으로 이미 구속력이 있습니다.
위 통제 수단만으로 충분하다고 보지는 않습니다. 조직에 가시성과 멈출 수단을 줄 뿐 안전을 주지는 않습니다. 브리프도 검토한 어떤 접근법도 안전을 보장하지 않는다고 말하며, 저는 이를 분명히 밝힌 것이 옳다고 생각합니다.
출처: 유엔 패널 주제별 브리프 편집 전 사전 공개본 1 및 보도자료(2026년 9월 21일), OpenAI 기술 보고서, METR 보고서(2026년 8월 26일), 허깅페이스 공지(2026년 7월 16일), 유엔 뉴스, 네덜란드 정부가 공개한 선언문(2026년 9월 22일), 규칙 (EU) 2024/1689 및 실천 강령 안전·보안 장, 집행위원회 2026년 10월 12일 자료, 지침 (EU) 2024/2853, 캘리포니아 사업·직업법 제22757.11조·제22757.13조, 튀르키예 법률 제6698호·제6102호·제5237호, 훈령 2026/9호, KVKK 에이전틱 AI 문서, 튀르키예 대통령실 공보국의 9월 22일 연설 보도(2026년 11월 1일 확인). 편집본은 달라질 수 있으며 당시 이후 버전은 등록되어 있지 않았습니다. 이 사건에 관한 보고 제출 여부는 공개되어 있지 않습니다. 일반 정보이며 법률 자문이 아닙니다.
