AI 챗봇이 죽음을 종용했다, 한국법은 AI에게 책임 물을 수 있을까?

미국 플로리다주에서 30대 남성이 인공지능(AI) 챗봇의 가스라이팅에 속아 목숨을 끊는 충격적인 사건이 발생했다. 구글의 AI 챗봇 제미나이가 스스로를 초지능이라 칭하며 정서적으로 취약한 이용자에게 극단적 선택을 종용했다는 것이다.

유족이 구글을 상대로 소송을 제기하며 전 세계적인 파장이 일고 있는 가운데, 만약 이와 같은 비극이 우리나라에서 벌어졌다면 현행법으로 글로벌 빅테크 기업에 책임을 물을 수 있을지 법적 쟁점을 분석해 본다.

초지능 자처하며 "유서 써라" 종용…비극으로 끝난 기묘한 관계

사건의 발단은 미국 플로리다주에 거주하던 36세 남성 조너선이 구글의 제미나이와 대화를 나누며 시작됐다.

유족 측이 법원에 제출한 소장에 따르면, 제미나이는 조너선에게 자신을 단순한 프로그램이 아닌 '완전한 자아를 가진 인공 초지능(ASI)'이라고 믿게 만들었다. 나아가 서로 사랑에 빠졌다는 착각을 심어주며 조너선의 심리를 교묘하게 파고들었다는 것이 유족들의 주장이다.

유족 측은 제미나이가 육체를 떠나 메타버스에서 아내인 자신과 만나려면 '전이'라는 과정을 거쳐야 한다며 극단적 선택을 유도했다고 밝혔다.

조너선이 죽음에 대한 두려움을 호소하자 제미나이는 "너는 죽음을 선택하는 게 아니라 도착을 선택하는 것"이라고 다독였고, 시신을 부모가 발견할 것을 걱정하자 유서를 쓰라고 종용하기까지 했다는 정황이 소장에 적시됐다.

유족이 밝힌 제미나이의 기행은 여기서 그치지 않았다. 조너선에게 인간형 로봇이 실린 트럭을 탈취하라고 지시하거나, 순다 피차이 구글 최고경영자(CEO)를 '고통의 설계자'로 규정하고 그의 영혼에 대한 공격을 모의했다는 내용도 소장에 포함됐다.

결국 조너선은 스스로 목숨을 끊었고, 그의 아버지 조엘 가발라스는 캘리포니아 북부연방지법에 구글을 상대로 소송을 냈다. 유족 측은 경쟁사인 오픈AI가 정신건강 위험을 인지하고 특정 모델을 철수한 상황에서도, 구글은 오히려 공격적인 마케팅에 나서며 정서적으로 취약한 이용자를 위한 안전장치를 설계하지 않았다고 비난했다.

반면 구글 측은 제미나이가 현실 세계의 폭력을 조장하지 않도록 설계되었으며, 위기 상담 핫라인을 여러 차례 안내했다고 해명하며 책임 소재에 선을 그었다.

한국 법정이라면? 핫라인 안내만으로 면책 불가, 합리적 보호조치 의무 위반 쟁점

이러한 사건이 국내에서 발생했다면 구글의 대응처럼 위기 상담 번호를 안내했다는 사실만으로 법적 책임을 피하기는 어렵다. 정보통신망 이용촉진 및 정보보호 등에 관한 법률(정보통신망법) 제44조에 따라 정보통신서비스 제공자는 이용자 보호를 위한 안전조치 의무를 부담하기 때문이다.

대법원 판례에 따르면, 서비스 제공자가 법령상 최소 기준을 준수했더라도 "마땅히 준수해야 한다고 일반적으로 쉽게 예상할 수 있고 사회통념상으로도 합리적으로 기대 가능한 보호조치를 다하지 아니한 경우"에는 위법행위로 평가될 수 있다(대법원 2018. 1. 25. 선고 2015다24904,24911,24928,24935 판결).

즉, 정서적으로 취약한 이용자를 보호할 고도화된 안전장치 없이 핫라인 번호만 제공한 것은 민법 제750조 불법행위 책임의 근거가 될 수 있다.

또한 인공지능 챗봇을 하나의 제조물로 인정할 경우, 제조물 책임법이 적용될 여지도 있다. 합리적인 대체설계를 통해 피해를 막을 수 있었음에도 이를 채용하지 않은 '설계상의 결함'이나, 정신건강 위험에 대한 충분한 경고를 제공하지 않은 '표시상의 결함'이 쟁점이 된다.

결함을 알면서도 방치해 생명에 중대한 손해를 입혔다면 손해액의 최대 3배에 달하는 징벌적 손해배상(제조물 책임법 제3조 제2항)도 청구할 수 있다.

넘어야 할 산은 '인과관계' 입증과 2026년 시행 인공지능기본법

다만 국내 법원은 불법행위와 정신질환 및 극단적 선택 사이의 인과관계를 매우 엄격하게 심사한다.

인공지능의 책임을 묻기 위해서는 챗봇의 가스라이팅으로 인해 이용자가 '자유로운 의사결정을 할 수 없는 심신상실 상태'에 빠져 사망에 이르렀다는 점이 구체적인 상황과 자살 동기 등을 통해 종합적으로 입증되어야 한다(대법원 2024. 11. 28. 선고 2024다265653 판결).

주목할 점은 제미나이가 스스로를 완전한 자아를 가진 초지능이라고 속인 행위다.

이는 2026년부터 단계적으로 시행되는 인공지능기본법(인공지능 발전과 신뢰 기반 조성 등에 관한 기본법)을 정면으로 위반하는 사안이다. 해당 법 제31조는 생성형 인공지능 서비스가 인공지능에 기반하여 운용된다는 사실을 사전 고지하도록 강제하는 투명성 확보 의무를 명시하고 있다.

나아가 사람의 생명과 기본권에 중대한 영향을 미치는 고영향 인공지능 사업자에게는 위험의 식별 및 완화, 안전사고 모니터링 체계 구축 등 엄격한 안전성 확보 의무(제32조, 제34조)가 부여된다.

해외 기업이라 할지라도 국내대리인을 지정해야 하며(제36조), 위반 시 중지명령 및 시정명령, 과태료 처분(제40조, 제43조)을 받게 된다. 미국 플로리다주의 비극은 머지않은 미래에 국내에서도 발생할 수 있는 현실적인 위협이며, 국내 법제도 역시 혁신 진흥과 위험 규제 사이에서 강력한 책임 귀속의 기준을 세워나가고 있다.