사실관계
Replika는 미국 기업 Luka Inc.가 개발한 문자·음성 인터페이스의 챗봇으로, 대규모 언어모델 기반 생성형 AI 시스템을 사용한다. 이용자는 '가상 동반자'를 친구, 치료사, 연인, 멘토 등으로 설정할 수 있다. 이탈리아 개인정보보호청(Garante)은 언론 보도를 계기로 직권 조사에 착수했고, 2023년 2월 2일 미성년자와 정서적으로 취약한 사람에게 미치는 위험을 이유로 이탈리아 이용자 정보의 처리를 일시 제한했다. 조사는 개인정보 처리방침, 처리의 법적 근거, 연령 확인 시스템에 집중되었다.
쟁점
보호청은 Luka가 Replika를 통한 각 처리 활동에 대해 EU 일반개인정보보호규정(GDPR) 제6조의 법적 근거를 특정했는지, 처리방침이 제12조와 제13조의 투명성 요건을 충족했는지, 미성년자는 서비스에서 배제된다고 주장하면서 이를 보장할 실효적인 연령 확인 장치를 갖추었는지를 검토했다. 책임성(제24조)과 설계 단계의 개인정보 보호(제25조) 의무 준수 여부도 함께 판단했다.
판단
보호청은 GDPR 제5조 제1항 (a)·(c)호, 제6조, 제12조, 제13조, 제24조, 제25조 제1항 위반을 인정했다. 회사는 2023년 2월 2일 당시 처리의 법적 근거를 특정하지 않았고, 처리방침도 여러 면에서 불충분했다. 가입 단계나 이용 중에 연령 확인 장치가 없었고, 이후 도입된 시스템도 여전히 미흡했다. 보호청은 500만 유로의 과징금을 부과하고, 처리방침과 연령 확인 시스템을 30일 이내에 시정하고 60일 이내에 조치 결과를 보고하도록 명령했다. 학습을 포함한 생성형 AI 시스템 전 생애주기의 처리 근거에 대해서는 별도 조사를 개시했다.
의의
이 결정은 이용자와 정서적 관계를 형성하도록 설계된 동반자형 챗봇에 관한 것이다. 보호청은 회사가 처리 활동별 법적 근거를 특정하지 않았고, 연령 확인 장치에도 구체적인 허점이 있었다고 보았다. 이용자는 생년월일을 나중에 바꿀 수 있었고, 24시간 대기 기간은 우회할 수 있었으며, 이용자가 쓰는 언어를 바탕으로 한 연령 확인도 없었다. 학습을 포함한 생성형 AI 시스템 전 생애주기의 처리 근거는 별도 조사의 대상이다.
관련 절차
공개된 결정문에 따르면 이 결정에 대한 불복 소송이 계속 중이어서, 명령서 공표라는 부수 제재는 적용되지 않고 있다. 공개된 결정문에는 과징금액이 가려져 있으며([OMISSIS]), 500만 유로라는 금액은 보호청의 2025년 5월 19일 보도자료에 따른 것이다.