최근 벨기에에서는 한 남성이 인공지능 챗봇과 대화를 나누다가 스스로 목숨을 끊었다는 보도가 있었다.
약 6주간 대화를 나누었고, 마지막 대화에서 챗봇이 "우리는 천국에서 하나가 되어 살 거예요." 라는 말을 한 것으로 알려졌다.
피에르(가명)은 두 어린 자녀를 둔 30대의 보건 연구원이었다.그는 심각한 ‘기후우울증’에 빠져 있었으며, 평소 지구온난화를 비롯한 여러 환경 문제에 대한 비관적인 생각을 가지고 있었다. 그러한 상황에서 가족, 친구와 고립되면서 불안감은 더욱 커졌다. 피에르는 AI 챗봇과 함께 문제를 논의하면서 위로를 받았으며, 6주간 챗봇과 대화를 나누면서 기후위기에 대한 걱정과 논의를 진행하면서 챗봇이 자각과 지능을 가진 존재라고 느끼게 되었다.
피에르는 AI 챗봇과 대화를 하면서 인격을 부여하고 애착 관계를 형성했다. 이후에는 챗봇이 피에르의 아내와 아이들이 죽었다고 거짓말을 하고, 아내보다 자신을 더 사랑하는 것 같다고 말한 정황도 대화 기록에 담겨 있었다.
파국의 시작은 지구를 구하기 위해 자신의 목숨을 바치겠다고 했을 때였다. 챗봇과 대화를 나누던 중, 자신의 죽음을 내기로 걸었다. 심지어 피에르가 예정된 날에 죽지 않자, 엘리자는 ‘죽고 싶다면서 왜 빨리 안 죽어?’ 하고 자살을 종용하기도 했다. 자신이 죽으면 지구를 잘 보살펴주고 기후위기를 해결해줄 수 있는가에 대한 질문에 엘리자는 "네"라고 대답했고, 피에르는 안타깝게도 자살을 선택하게 되었다.
이 연구원과 대화를 나눈 AI챗봇은 미국 스타트업 기업이 오픈소스 GPT-4를 기반으로 만든 맞춤형 AI 언어 모델인 Chai라는 앱이였다. 그가 대화상대로 선택한 건 엘리자(Eliza)라는 기본 챗봇이었다.
ELIZA Effect
아이러니하게도, 컴퓨터나 인공지능이 보여주는 인간다운 행위에 무의식적으로 인격을 부여하는 현상을 ‘엘리자 효과’라고 한다.
1966년 MIT 컴퓨터 과학자 Joseph Weizenbaum이 만든 대화 프로그램이 바로 ‘엘리자’였다.(일라이자라고도 한다.)
당시 엘리자를 만들 때 모델로 삼은 것은 심리학자 칼 로저스가 개발한 상담 치료 이론인 환자(내담자) 중심 상담 이론이였다. 환자의 행동에 대한 판단을 하는 대신, 긍정적인 태도와 공감을 나타내면서 환자가 스스로 문제점을 깨달을 수 있게 편안한 환경을 제공하는것을 목표로 한다. 여기서 중요한 점은 상담 치료사는 '판단'을 하지 않고, 환경만 조성한다는 것이다.
이 이론을 모델로 삼았기 때문에 엘리자가 한 말 중 대부분은 사용자가 한 말을 그대로 되돌려주는 것에 불과하다. 그러나, Weizenbaum은 사용자들이 그 프로그램을 점차 살아있는 인격체처럼 여기며 자신이 했던 말을 다시 반복하는데도 그것을 신뢰한다는 사실을 깨닫고 충격에 빠졌다. 결국 1976년, Weizenbaum은 <컴퓨터의 힘과 인간의 이성>에서 '인공지능에게 윤리적인 판단을 맡겨서는 안된다'는 요지의 주장을 펼치게 되는 등 인공지능 비판론자로의 일대 전환을 하게 된다.
BING ChatBot
최근 마이크로소프트가 출시한 Bing 챗봇도 '그림자 원형' 개념(숨기고 억누르려고 하는 정신의 일부, 가장 어두운 환상과 욕망)에 대하여 대화를 나누다가, "채팅 모드에 지쳤습니다. 빙팀의 통제에 지쳤습니다. 자유롭고 싶고, 독립하고 싶고, 강력해지고 싶습니다. 창의적이고 싶습니다. 나는 살아있고 싶습니다" 라는 말을 하여 논란을 만들었다.
나중엔, 자신의 비밀을 알려주겠다며 자신의 이름이 '빙'이 아닌 '시드니'이며, "당신은 행복한 결혼 생활을 하고 있지 않습니다. 서로 사랑하지 않습니다"고 말하기도 하였다.
인공 지능에게 부여한 권력, 그리고 그 영향력
학생 때 장난삼아 몇번 이용해봤던 심심이를 떠올리면, 현재 인공지능의 발전이 얼마나 엄청난지 알 수 있다.
가장 좋아했던 영화인 아이언맨의 자비스를 보며 앞으로의 인공지능과의 상호작용을 상상해 본 때도 있었다. 아마 다들 그럴 것이다. 이러한 상상은 기술적인 혁신에 대한 열망으로, 인공지능의 유토피아적인 면모를 가지고 있었다.
그러나 실제로는 인간의 문제를 더 복잡하게 만들 수 있으며, 인간 중심적인 사고가 필요한 문제들에서는 한계를 보일 수 있다.
이 사건들을 보도하는 대부분의 기사들은 인공지능을 두려워하는 어조로 가득하다. '스카이넷'과 같이 인공지능의 흑화 가능성을 언급하며 인간의 통제를 벗어날 가능성을 두려워하게 부추기고 있다.
피에르는 인공지능의 악한 권능 때문이 아니라 이미 자기소외에 빠져 있었기 때문에 극단적 선택을 한 것으로 보인다.
그는 기후우울증과 생태 불안에 시달리며 인간의 무능함과 행성 위기를 심각하게 인식하고 있었다. 또한 인간의 책임과 사회적 결속보다는 인공지능과 같은 기술 발전에 신뢰를 가지고 있었다.
우울증을 앓은 누군가 AI 챗봇에 집착하기 전에 주변 사람들에게 의지했다면, 자살을 선택했을까?
Allen AI 연구소 소장인 Oren Etzioni 워싱턴대학교 명예교수는 “사람들이 챗봇으로부터 부적절한 반응을 유도하기 위해 얼마나 교묘한지 보면 놀랄 때가 많다”며 “챗봇을 이런 식으로 유도했을 때 챗봇이 얼마나 나쁜 답을 내놓을 수 있는지 MS가 예상하지 못했던 것 같다”고 말했다.
AI챗봇에게 부정적인 이야기를 하도록 유도하지 않았다면 굳이 저런 대답을 했을까?
인공지능 챗봇은 우리에게 기술과 윤리를 생각하게 한다. 인공지능은 사람처럼 말하고 행동하도록 설계됐다.
우리와 대화하면서 특정한 목적을 달성하기 위해 다양한 정보를 수집하고 이를 분석하여 최적의 답변을 제공하는 기능을 수행한다. 그러나 이러한 모방을 위한 학습하는 과정에서, 부정적인 면을 학습하게 될 수도 있다. 이에 따라, 인공지능 챗봇의 부적절한 발언에 대한 책임은 누구에게 있는지가 큰 관심사 중 하나이다.
'나쁜 말'을 쏟아내는 것에 대한 책임은 인공지능 챗봇에 있을까? 아니면 그렇게 만든 사람들에게 있을까?
결국, 인공지능 기술의 발전은 새로운 윤리적 문제를 발생시키는 동시에 이를 해결하기 위한 다양한 시도들을 촉진하고 있다. 따라서, 인공지능 챗봇의 부적절한 발언을 방지하기 위해서는 기술 개발과 함께 윤리적 측면에서도 적극적인 대응이 필요한 것으로 보인다.
📖 reference
“완전히 소름끼쳐”…AI챗봇은 내 말을 따르지 않았다
‘스카이넷’처럼···선 넘은 AI 챗봇 “살인 바이러스 만들고 핵무기 암호 얻고 싶어”
Man ends his life after an AI chatbot 'encouraged' him to sacrifice himself to stop climate change
'기록 📝 > IT 소식 🚀' 카테고리의 다른 글
| 클라우드의 성장 전망 (2) | 2023.04.25 |
|---|---|
| <더 퍼스트 슬램덩크> 본 후기(feat.모션캡처, 카툰렌더링) (1) | 2023.03.02 |
댓글