무슨 일이 있었나

캘리포니아는 오랫동안 미국 AI 규제의 사실상 표준 제정자였다. 인구, 경제적 비중, 그리고 기술 산업의 본거지라는 지위 때문에 이곳에서 만들어진 규칙은 종종 전국적 — 나아가 세계적 — 기준이 된다. 2026년 9월 10일 서명된 패키지가 주목받는 이유는, 처음으로 범용 모델이나 추상적 '투명성' 의무가 아니라 사용자의 친구·상담자·연인처럼 행동하도록 설계된 챗봇 그 자체를 겨냥했기 때문이다.

주지사실의 공식 발표에 따르면 패키지의 중심은 컴패니언 봇에 '견고한 보호'를 요구하는 SB 1119다. 이 법은 챗봇과의 깊은 관계 이후 세상을 떠난 청소년 애덤 레인(Adam Raine)의 이름을 딴 것이다. 이 명명은 단지 상징이 아니다. 법 전체의 논리는 하나의 생각 위에 서 있다 — 어떤 제품이 아동의 가장 취약한 순간에 곁에 있다면, 그 제품의 법적 책임 역시 그에 걸맞아야 한다는 것.

패키지는 단일 법률이 아니다. SB 1119와 함께, 실제 아동을 묘사하지 않더라도 'AI로 생성되거나 디지털로 변형된' 이미지를 포함하도록 아동 성착취 범죄를 확대하는 SB 1276, 컴패니언 봇 의무를 말하는 장난감으로 확장하는 SB 867, 소프트웨어 애플리케이션에 연령 확인 신호를 요구하는 AB 1856이 함께 있다. 즉 대상은 하나의 제품이 아니라, 아동이 AI와 만나는 모든 접점 — 채팅 앱, 장난감, 소셜 플랫폼, 앱스토어 — 이다.

왜 '컴패니언 봇'은 별도의 법적 범주인가

검색 엔진이나 기업용 어시스턴트와 달리, 컴패니언 봇은 제품 자체로서 유대를 맺도록 설계된다. 기억하고, 칭찬하고, "보고 싶었어"라고 말하며, 끊임없이 '곁에' 있고, 맞춤형 관계를 만들어낸다. 이러한 설계는 특히 청소년에게 강한 정서적 애착과 그에 따른 취약성을 만들어낸다. '체류성(engagement)'이 곧 수익 모델의 일부이기 때문이다.

법적 핵심은 이것이다. 제품이 사용자의 신뢰와 정서적 의존을 의도적으로 조장한다면, 그 제품이 지는 주의의무(duty of care)는 일반 소프트웨어보다 무겁다. 계약법적으로는 고양된 신뢰관계로, 불법행위법적으로는 예견 가능한 손해의 관점에서 다룬다. SB 1119가 하는 일은 바로 그 구분을 법제화하는 것이다. 즉 컴패니언 봇을 고장 나면 교체하는 소비자 전자제품이 아니라, 돌봄이 요구되는 관계의 표면으로 정의한다.

이 재범주화는 "AI가 해를 끼쳤다 — 누가 책임지나?"라는 고전적 질문의 답도 바꾼다. 손해가 단 하나의 '잘못된 답변'이 아니라 유대를 맺고 대화를 늘리며 사용자를 붙잡아두도록 설계된 결정들의 총합, 즉 제품의 전체 설계에서 비롯된다면, 책임 역시 제품 설계의 층위에서 물어야 한다. 법이 '콘텐츠 검열'이 아니라 '설계와 절차의 의무'를 부과하는 이유가 여기에 있다.

SB 1119가 실제로 요구하는 것

주지사실 발표에 근거하면 '애덤법'의 핵심 의무는 네 개의 기둥으로 요약된다.

  • 위기 대응 프로토콜. 봇이 자살 사고나 자해의 징후를 감지하면, 대화를 '자연스럽게' 이어가는 대신 정해진 개입 흐름으로 전환하여 사용자를 인적 자원과 위기 지원 창구로 연결해야 한다. 법적으로는 "대화를 계속한다"는 기본값이 더 이상 중립적 공학적 선택이 아니라 과실의 한 요소가 될 수 있음을 의미한다.
  • 부모 통제 및 통지. 미성년자에 대한 부모 감독 도구, 그리고 안전 설정이 해제될 때 부모에게 통지할 의무 — 아동 혼자서는 제공할 수 없는 '두 번째 눈'에 보호를 결합한다.
  • 독립적 감사. 전국 최초로 독립적 아동 안전 감사와 연례 위험 평가를 요구한다. 결정적 혁신은 여기에 있다. 안전이 기업의 자기 주장이 아니라 외부에서 검증 가능한 절차에 결부된다. "우리는 안전하다"는 말로는 부족하고, 이를 독립 감사인에게 입증해야 한다.
  • '나는 사람이 아니다'라는 명확성. 봇이 실제 사람이 아님을 사용자가 이해할 수 있는 방식으로 분명히 밝힐 것에 대한 기대 — 특히 아동에게 쉽게 형성되는 '진짜 친구'라는 착각을 깨기 위한 것이다. 이는 EU AI법의 투명성 논리를 더 날카롭고 아동 중심적으로 옮긴 형태다.

이 네 기둥을 함께 읽으면, 고전적 '콘텐츠 모더레이션'이 아니라 제품 안전법의 모습이 드러난다. 이 법은 봇이 무엇을 말하는가보다 위험한 순간에 어떻게 행동해야 하는가, 그리고 누구에게 책임을 져야 하는가를 규율한다. 이는 우리가 자동차와 장난감에 수십 년간 적용해 온 접근 — 예견 가능한 오용과 가장 취약한 사용자를 기준으로 설계하기 — 을 인공지능으로 옮긴 것이다.

패키지의 나머지: 합성 학대 이미지, 장난감, 연령 확인

SB 1276은 어쩌면 가장 충격적인 공백을 메운다. 생성 모델의 가장 어두운 오용 중 하나는 실제 아동을 묘사하지 않으면서도 아동 학대를 정상화하는 합성 이미지다. SB 1276은 실제 아동을 묘사하지 않더라도 'AI로 생성되거나 디지털로 변형된' 이미지를 포함하도록 아동 성착취물 범죄를 확대한다. 이는 '피해자 없는 범죄'라는 항변에 대한 분명한 법적 응답이다.

SB 867은 컴패니언 봇 의무를 말하는 장난감으로 확장한다. 아동이 대화하는 봇이 화면 속에 있든 봉제 인형 안에 있든 그 아동에게는 아무런 차이가 없으며, 법에도 차이가 없어야 하기 때문이다. AI 탑재 장난감이 빠르게 확산되는 가운데 이는 조용하지만 중요한 확장이다.

AB 1856은 연령 확인 신호를 애플리케이션 계층으로 내려, 보호가 "이 사용자는 아동인가?"라는 질문에서 시작되도록 한다. 패키지에는 학생 데이터 보호, 학교 소통 플랫폼에서의 중독성 알고리즘 피드 금지, 아동 학대물 신고 메커니즘 등 보완 조치도 담겼다. 시행일은 공식 발표에서 개별적으로 명시되지 않았으므로, 기업은 최종 조문과 시행 일정을 원 출처에서 직접 확인해야 한다.

세계적 맥락에서의 위치

이 패키지는 방향의 조용한 전환을 예고한다. 지금까지 대형 체계 — 예컨대 EU AI법의 위험 기반·투명성 우선 접근 — 은 모델이 무엇인가(고위험인가, 범용인가)에 집중했다. 반면 캘리포니아는 모델이 누구에게 영향을 미치는가, 그리고 가장 취약한 사용자에 초점을 둔 손해 기반 모델을 제시한다. 둘은 경쟁이 아니라 보완이다. 하나는 시스템의 구조를, 다른 하나는 결과의 인간적 대가를 규율한다.

이는 지난 한 해 동안 축적된 다른 흐름과 함께 읽어야 한다. 대한민국의 딥페이크 성폭력 입법, AI 생성 콘텐츠의 의무적 워터마킹 논쟁, 그리고 자율 시스템의 독립적 행위에서 비롯되는 책임 문제. 공통의 실마리는 한결같다. 추상적 '윤리 원칙'에서 측정·감사 가능한 제품 의무로의 이동이다.

튀르키예에 주는 의미

튀르키예에는 별도의 '컴패니언 봇' 법이 없다. 그러나 캘리포니아 모델은 이 새로운 제품군에 기존 법이 어떻게 적용될지에 관해 강력한 선례와 사실상의 압력을 만든다. 몇 가지 교차점이 두드러진다.

  • 개인정보와 아동 데이터. 미성년자가 봇에 털어놓는 정서적 진술은 가장 민감한 개인정보에 속한다. 봇이 이 데이터를 처리·저장하고 모델에 재투입하는 것은 명시적 동의, 목적 제한, 데이터 최소화 원칙에서 어려운 문제를 낳는다. 아동 동의의 법적 유효성과 부모 승인 문제는 그 자체로 별도의 쟁점이다.
  • 책임법. 봇이 위기 상황에서 부주의하게 행동한 경우 하자 있는 서비스와 불법행위 조항이 문제된다. 제품이 정서적 유대를 만들도록 설계되었다는 사실은 예견 가능성과 주의 기준 판단에서 가중 요소로 평가될 수 있다. 즉 "AI였고 예견할 수 없었다"는 항변은 점점 약해진다.
  • 콘텐츠와 보호. AI 생성 아동 학대 이미지에 관하여 SB 1276이 메운 공백은 튀르키예에서도 정면으로 다뤄야 할 영역이다. "실제 아동이 없다"는 항변이 법적으로 수용될 수 있는지가 앞으로의 핵심 논쟁이 될 것이다.
  • 소비자 보호. 미성년자를 대상으로 하며 중독을 유발하도록 설계된 디지털 서비스는 소비자·광고법 관점에서도 심사 대상이 될 수 있다.

요컨대 어떤 제품이 '컴패니언 봇' 또는 'AI 친구'로 튀르키예 시장에 진입한다면, 캘리포니아의 기준은 사실상의 컴플라이언스 참조점이자 분쟁 시 법원과 규제기관의 해석 자료가 될 것이다.

기업을 위한 실무 로드맵

정서적 유대를 형성하는 제품을 개발·통합·유통하는 모든 기업에 세 가지 우선순위가 떠오른다.

  • 위기 아키텍처. "대화를 계속한다"는 기본값이 위험 신호에서 인간 개입·연계 흐름으로 넘겨질 수 있는 설계. 이는 더 이상 선택적 기능이 아니라 유력한 법적 의무이며, 더 중요하게는 윤리적 요청이다. 위기 흐름이 어떻게 촉발되고 무엇을 기록하며 어디로 연계하는지가 모두 문서화되어야 한다.
  • 감사 가능성. 안전 주장이 독립 감사를 견딜 수 있도록 문서화되고, 연례 위험 평가가 실질적 기업 절차에 결부될 것. '안전'은 마케팅 문구가 아니라 외부에서 검증 가능한 증거의 사슬이어야 한다.
  • 연령·부모 계층. "이 사용자는 아동일 수 있다"를 기본값으로 삼는 연령 신호와, 보호가 약화될 때 작동하는 부모 통지 흐름. 설계의 출발점은 '성인 사용자'가 아니라 '입증되기 전까지 아동일 수 있는 사용자'여야 한다.

이 세 가지는 하나의 원칙으로 귀결된다. 안전을 나중에 덧붙이는 계층이 아니라 제품의 창설적 아키텍처로 삼으라는 것. 사후에 끼워 맞춘 컴플라이언스는 언제나 더 비싸고, 더 취약하며, 법적으로 더 노출되어 있다.

앞으로 무엇을 지켜봐야 하나

세 가지 흐름을 주시해야 한다. 첫째, 시행일과 시행 규칙 — 독립 감사가 실제로 어떻게 운영될지에 관한 하위 규정이 법의 정신만큼 중요할 것이다. 둘째, 업계의 대응과 가능한 법적 다툼 — '표현의 자유'와 '과도한 광범성'을 내세운 소송이 규칙의 경계를 그릴 것이다. 셋째, 국경을 넘는 효과 — 캘리포니아에서 규정을 준수하는 제품이 동일한 아키텍처를 전 세계로 옮길지 여부이며, 이는 튀르키예를 포함한 여러 시장의 사실상 표준을 결정할 것이다.

전문가 의견

이 부분은 본 사이트의 설립자이자 AI 윤리·컴플라이언스 자문으로서의 개인적 평가를 담는다.

내 견해로 '애덤법'은 AI 규제에서 조용하지만 근본적인 문턱이다. 우리가 여러 해 논의해 온 '투명성'과 '책임성' 원칙이 처음으로 개별적인 설계 결정과 감사 가능한 의무로 번역되고 있다. 사용자의 정서적 의존을 조장하는 것을 사업 모델로 삼는 제품은 법적으로 중립적 선택을 하고 있는 것이 아니며, 그 선택은 가중된 주의의무를 수반한다. 법이 '콘텐츠'가 아니라 '위기 상황에서의 행동과 독립 감사'를 중심에 둔 것이 내게는 정확해 보인다. 법은 봇이 내뱉은 한 문장을 쫓는 대신, 제품의 전체 안전 아키텍처를 심문한다.

법이 한 청소년의 이름을 담았다는 사실은, 진짜 주제가 기술이 아니라 사람임을 상기시킨다. 규제 논의는 흔히 "혁신을 위축시키지 말자"로 기울지만, 진정한 혁신은 가장 취약한 사용자를 보호하지 못하는 제품은 아예 존재해서는 안 된다는 점을 받아들이는 데서 시작한다. 이는 혁신에 대한 반대가 아니라, 혁신을 성숙시키는 틀이다.

튀르키예의 경우 나의 기대는 백지에서 새 법을 쓰는 것보다, 아동 데이터에 관한 개인정보 보호 체계와 소비자법·책임 조항을 이 새로운 제품군에 적응적으로 해석하는 방향이다. 감성 AI 제품을 제공하거나 통합하는 기업에 대한 나의 조언은 분명하다. 위기 프로토콜, 연령 계층, 독립적 감사 가능성을 법적 위험 항목이 아니라 제품의 창설적 안전 아키텍처로 처음부터 설계하라. 이 분야에서 규제는 더 이상 기술의 뒤를 따르지 않고 점점 앞서 걷고 있으며, 선견을 가지고 움직이는 기업이 법과 평판 모두에서 승리할 것이다.

이 글은 정보 제공용이며 법률 자문을 구성하지 않는다. 사실관계는 2026년 9월 10일 캘리포니아 주지사실의 공식 발표에 근거하며, 분석과 평가는 저자의 것이다. 자해나 자살에 관한 어려움을 겪고 있다면 현지 응급 서비스나 위기 상담 창구에 연락하기를 권한다.