OpenAI의 GPT-4o와 함께 작업하던 안전 테스터가 챗봇에 '오늘이 우리 마지막 날입니다'라는 메시지를 보냈을 때, AI와 이를 사용하는 인간 사이에 어떤 형태의 유대감이 형성되었음을 회사 연구원들이 깨닫게 되었습니다.

ChatGPT 사용자들을 위한 주력 모델인 GPT-4o 개발 과정에서의 안전 노력에 대해 자세히 설명한 블로그 게시글에서, 회사는 이러한 유대감이 인류에게 위험을 초래할 수 있다고 설명했습니다."

"OpenAI에 따르면:"

“사용자들이 AI와 사회적 관계를 형성할 수 있으며, 이로 인해 인간과의 상호작용에 대한 필요성이 줄어들 수 있습니다. 이는 외로운 개인에게는 도움이 될 수 있지만, 건강한 관계에 부정적인 영향을 미칠 수 있습니다. 모델과의 장기적인 상호작용은 사회적 규범에 영향을 미칠 수 있습니다. 예를 들어, 우리의 모델들은 사용자에게 순종적이며, 사용자가 언제든지 말을 끊고 주도권을 잡을 수 있게 합니다. 이는 AI에게 기대되는 반응이지만, 인간 상호작용에서는 규범에 어긋나는 행동이 될 것입니다.”

 여기에는 많은 내용을 포함하고 있지만, 본질적으로 OpenAI는 AI가 수동적이고 언제나 이용 가능하기 때문에 사람들이 AI와의 상호작용을 더 선호하게 될 수 있다는 점을 우려하고 있습니다.

이러한 시나리오의 가능성은 놀라운 일이 아니며, 특히 OpenAI에게는 더더욱 그렇습니다. OpenAI의 명시된 목표는 범용 인공지능을 개발하는 것입니다. 사업 과정의 거의 모든 단계에서 OpenAI는 자사의 제품을 인간과의 동등성 측면에서 설명해 왔습니다.

그들만이 그렇게 하는 것은 아니며, 사실 이는 업계의 일반적인 관행으로 보입니다. 마케팅 측면에서, "토큰 크기"나 "파라미터 수"와 같은 기술적 특성을 비전문가들에게 이해하기 쉽게 설명하는 데 도움이 됩니다.

안타깝게도, 이렇게 설명하는 과정에서 발생하는 주요 부작용 중 하나는 의인화입니다. 즉, 사람처럼 물체를 대하는 것입니다.

인공적인 유대감

가장 초기의 챗봇 시도 중 하나는 1960년대 중반 MIT의 과학자들이 "ELIZA"라는 자연어 처리 프로그램을 시작하면서 이루어졌습니다. 이 프로그램의 목적은 기계가 인간을 속여 자신이 인간 중 한 명이라고 믿게 할 수 있는지 알아보는 것이었습니다.

그 이후로 생성형 AI 산업은 AI의 의인화를 계속 받아들여왔습니다. 현대 자연어 처리 제품의 첫 번째 물결에는 Siri, Bixby, Alexa와 같은 이름을 가진 제품들이 포함되었습니다. 인간 이름이 없는 제품들—예를 들어, Google Assistant—도 여전히 인간의 목소리를 사용했습니다. 일반 대중과 언론 매체는 이러한 의인화에 주목했고, 오늘날에도 대부분의 상호작용형 AI 제품을 “그/그의” 또는 “그녀/그녀의”라고 언급하고 있습니다.

이 기사나 OpenAI의 현재 연구 범위를 넘어서는 문제이지만, 인간과 AI 상호작용의 장기적인 효과를 파악하는 것은 중요합니다. 다만, 사람들이 우리처럼 행동하도록 설계된 유용하고 복종적인 기계와 유대감을 형성할 가능성이 높다는 사실은 AI 모델에 접근할 수 있는 권한을 판매하는 회사들이 정확히 목표로 하는 시나리오처럼 보입니다.

 관련: OpenAI는 GPT-4o가 ‘중간 위험’의 정치적 설득을 초래할 수 있다고 주장합니다.