지난 1년 사이 AI는 조언하는 단계에서 실제로 행동하는 단계로 넘어갔습니다. 이제 ‘에이전트형’ 시스템은 여러 단계로 이루어진 작업을 계획하고, 시스템 조회, 메시지 전송, 자금 이체, 다른 도구·에이전트 호출 등을 사람의 개입을 최소한으로 받으며 수행합니다. 이런 기능은 분명 유용합니다. 그러나 대부분의 계약과 정책에 깔린 ‘마지막 단계는 사람이 한다’는 전제를 깨뜨리기도 합니다.
책임 소재의 공백
에이전트가 엉뚱한 공급업체를 예약하거나, 도구를 호출하다 데이터를 유출하거나, 거부했어야 할 거래를 실행했다면 책임은 누가 져야 할까요? 모델 개발자, 에이전트를 배포한 회사, 호출된 도구의 공급업체, 아니면 목표를 설정한 사용자일까요? 책임법은 사람의 결정과 예측 가능한 수단을 전제로 만들어졌습니다. 목표를 이루려고 경로를 즉석에서 정하는 에이전트는 이 어느 범주에도 잘 들어맞지 않습니다.
좋은 거버넌스의 모습
- 권한의 명확한 설정. 에이전트가 혼자 할 수 있는 일, 확인을 받아야 하는 일, 해서는 안 되는 일을 문서와 코드로 명확히 정해 두어야 합니다. 지출 한도, 수취인, 데이터 범위도 엄격하게 제한해야 합니다.
- 로깅을 기본값으로. 에이전트의 목표, 단계, 도구 호출, 처리한 데이터를 기록합니다. 무슨 일이 있었는지 재구성할 수 없다면 방어할 수도 없습니다.
- 책임자 실명 지정. 배포한 모든 에이전트에는 모델이 아니라 책임질 수 있는 사람을 담당자로 지정해야 합니다.
- 계약상의 명확성. 귀사, AI 공급업체, 고객 사이의 책임을 명시적으로 배분하십시오. 계약이 침묵하면 분쟁이 생깁니다.
- 킬 스위치. 작업 중인 에이전트를 멈출 수 있는 기능, 그리고 그로 인한 혼란에 대비해 미리 검증해 둔 대응 계획.
법의 향방
규제 당국의 의견은 ‘자율성이 책임을 면제해 주지 않는다’는 단순한 원칙으로 모이고 있습니다. EU AI법의 논리대로라면, 조직이 현실 세계에서 행동하는 시스템을 많이 도입할수록 감독, 문서화, 위험 관리 의무도 그만큼 무거워집니다. 에이전트가 개인정보를 다루는 경우에는 언제나 데이터 보호법상 규제가 더해집니다. 합리적인 태도는 AI 에이전트를 유능하지만 감독을 받지 않는 직원처럼 다루는 것입니다. 명확한 권한을 주고, 행동을 지켜보며, 이를 입증할 기록을 남겨야 합니다.
