지난 1년 동안 AI는 단순한 조언에서 실제 행동으로 진화했습니다. 이제 ‘에이전트형’ 시스템은 다단계 작업을 계획하고, 시스템 조회, 메시지 전송, 자금 이체, 다른 도구 및 에이전트 호출 등 제한된 인간의 개입만으로 이를 수행합니다. 이러한 기능은 실로 유용합니다. 또한 이는 대부분의 계약과 정책에 내재된 ‘최종 단계는 인간이 수행한다’는 전제를 깨뜨립니다.
책임 소재의 공백
에이전트가 잘못된 공급업체를 예약하거나, 도구 호출을 통해 데이터를 유출하거나, 거부했어야 할 거래를 실행할 때, 누가 그에 대한 책임을 져야 할까요? 모델 개발자, 에이전트를 배포한 회사, 호출된 도구의 공급업체, 아니면 목표를 설정한 사용자일까요? 책임법은 인간의 결정과 예측 가능한 수단을 중심으로 구축되었습니다. 목표를 달성하기 위해 즉흥적으로 경로를 결정하는 에이전트는 이러한 모든 범주에 어색하게 끼어 있습니다.
좋은 거버넌스의 모습
- 권한의 명확한 설정. 에이전트가 단독으로 수행할 수 있는 사항, 확인이 필요한 사항, 금지된 사항을 문서와 코드로 명확히 정의해야 합니다. 지출, 수취인, 데이터 범위에 대한 엄격한 제한을 설정해야 합니다.
- 기본적으로 로깅을 수행합니다. 에이전트의 목표, 단계, 도구 호출 및 처리한 데이터를 기록합니다. 발생한 상황을 재구성할 수 없다면, 이를 방어할 수도 없습니다.
- 명명된 인간 소유자. 배포된 모든 에이전트에는 모델이 아닌, 책임을 질 수 있는 사람이 소유자로 지정되어야 합니다.
- 계약상의 명확성. 귀사, AI 공급업체 및 고객 간의 책임을 명시적으로 배분하십시오. 침묵은 분쟁으로 이어집니다.
- 킬 스위치. 작업 도중 에이전트를 중지할 수 있는 기능과, 이로 인해 발생할 수 있는 혼란에 대비한 검증된 대응 계획.
법의 향방
규제 당국은 ‘자율성이 책임을 면제하지 않는다’는 단순한 원칙에 의견을 모으고 있다. EU AI법의 논리에 따르면, 조직이 현실 세계에서 행동하는 시스템을 더 많이 도입할수록 감독, 문서화, 위험 관리에 대한 의무도 그만큼 커진다. 에이전트가 개인 데이터를 다루는 모든 경우, 데이터 보호법이 또 다른 규제를 추가합니다. 타당한 입장은 AI 에이전트를 유능하지만 감독을 받지 않는 직원처럼 취급하는 것입니다. 즉, 명확한 권한을 부여하고, 그 행동을 주시하며, 이를 입증할 수 있는 기록을 보관해야 합니다.
