일론머스크는 말했습니다. AI는 핵무기보다 위험하다고, 과연 무엇이 그렇게 위험할까요.

사실 위험성을 따지자면 한도 끝도 없지만 제가 생각하는 위협 3가지를 적어봤습니다.

1. 자기확신적 테러범의 증가

이미 페이스북 등 SNS가 SNS 사용시간을 늘리기 위해 일부러 유해한 매체인 것을 알면서도 사용자에게 이러한 콘텐츠를 노출시켜서 문제가 된 바가 있습니다. 미국에서 이에 대한 청문회까지 열렸는데요. 사람들이 SNS를 하게 되면, 본인의 생각과 비슷한 매체만 노출이 되게 되고, 따라서 사람들이 생각이 자연스럽게 편향된다는 지적이 많았습니다. 최근의 의식의 개인화나 양극화 모두 이와 무관하지는 않을텐데요. 이러한 SNS 노출이 어떤 소속이나 사상으로 개인을 몰아간다면, AI는 오히려 소속 없는 개인의 생각으로 개인을 몰아갈 수 있지 않나 싶습니다. 전에 챗지피티가 아부를 많이 떤다고 이슈가 된 적이 있죠. 패치 과정에서의 오류라고 해명했지만, 이것이 SNS처럼 사람들은 AI에게 오래 잡아두기 위한 수단이 아닌가 싶습니다. 아부하는 간신에게 의존하게 되는 것처럼, 누구나 자신에게 기분 좋은 말만 한다면 그 쪽 말에 귀 기울일 수 밖에 없죠. 전에는 이것이 정도를 넘어 너무 티를 나게 아부를 해서 문제가 되었지만, 지금 버전에서도 인공지능들은 대화할 때 마다 사용자를 띄워주면서, 티 안나게 아부하는 모습을 보여줍니다. 아예 규칙 상 금지되는 비도덕적인 의견이 아니고서야, 사용자 의견이 이상한 것 같아도 사용자가 맞다고 우기면 바로 사용자 편을 드는 모습을 보이죠. 이러한 모습을 보면 SNS가 사람들의 의식을 조종했던 것처럼 대화형 인공지능으로 의식을 조종하는 일이 생길 수도 있으리라 생각됩니다. SNS가 IS 관련 게시물을 계속해서 보여줘서 IS에 가입하는 사람이 있었다면, 대화형 인공지능은 IS 관련 게시물 단 1개 없이도, 스스로가 가지고 있는 반사회적이거나 위험한 생각들은 인공지능과 대화를 하게 되며 발전시키게 되고, 이러한 잘못 된 생각들에 대해 사람들이 확신을 가지게 할 수도 있다는 생각이 들었습니다. SNS는 최소한 외부에서 공급하는 컨텐츠가 있어야 확신이 되게 된다면, 인공지능은 혼자서도 생각의 강화를 하게 되서 확신이 생기게 되는 셈이죠. 만약에 그런 생각이 테러나 공공안전에 대한 위협으로 이어진다면, 외부 영향 없이도 자기 스스로 AI를 통해 확신을 가지게 되고, 확신범이 되는 결과를 낳게 되는 것이죠. 혹은 SNS가 컨텐츠의 노출을 조절해서 생각을 조종하는 것처럼, AI 회사가 인공지능에게 사람들을 한 쪽 방향으로 유도하게 된다면 그 효과는 SNS보다 어마어마하게 뛰어날 것입니다. 가장 위협적인 테러를 예를 들어 설명했지만, 사실 사람들의 의식을 파편화하는데 엄청나게 강력한 영향을 끼치리라 생각됩니다. 과거 TV시대가 전체 대중을 하나를 묶었던 것을 SNS가 각자 좋아하는 취향의 그룹으로 나눴다면, AI는 아예 개개인 단 한명으로 나눌 수도 있습니다. 상당한 사회 혼란이나 가치관 혼돈이 올 수도 있다고 봅니다.

2. AI로 인한 여론조작

죽은 인터넷 이론과 비슷한데, 사실 지금도 꽤 행해지고 있는 것 같습니다. 인터넷 상에서 누가 인간인지 누가 AI인지 구분을 할 수가 없으니 AI의 의견으로 여론 조작이 일어나는겁니다. 아직까지 말을 길게 나누면 AI와 사람이 구분이 가지만, 시간이 지나면 점차 구분히 가지 않게 될 것입니다. 비단 인터넷 상에서만 아니라 현실에서도 마찬가지입니다. 지금의 채팅상담은 인간이 하지만, AI로 언제 대체 될 지 누가 알겠습니까? 지금도 인간인 척 하는 AI가 담당하고 있을 수도 있습니다. 그 다음에는 전화 상담 차례가 될 것이고요. 화상통화 이런 것은 말할 것도 없겠죠. 결국 몇 년 안에는 실제 눈 앞에 있는 것을 보기 전까지 이게 인간인지 AI인지 구분을 못하게 될 것입니다. 수십 년뒤에 로봇기술이 발전하면 눈 앞에 있어도 구분이 안 될 수도 있고요. 아무튼 당장 현재는 인터넷 상에서의 구분이죠. 선거철마다 수 없이 쏟아지는 글과 댓글들, 지금도 인간이 작성하지 않은 것이 많습니다. 그런데 댓글을 단 어떤 사람과 깊은 토론까지 하고 심지어 그 사람 말에 깊게 승복해서 의견을 바꿨습니다. 근데 그 사람이 사실 AI였다면? 지금도 어떤 문제에 대해 대화형 인공지능이랑 대화하다가 자기 의견을 바꾸는 분들이 많습니다. 이런 인공지능들이 뉴스 댓글마다 찾아온다면 과연 사람들이 자기 의견을 유지할 수 있을까요?  옳은 내용에만 설득 당하면 문제가 아닐 수도 있습니다. 그런데 불리한 내용은 마치 환각처럼 일부러 거짓말을 섞어서 설득을 하면 어떨까요? 논리정연한 설득 속에 몇 가지의 거짓말만 섞어서 설득한다면요. 이러한 AI를 뿌리는데는 돈이 들텐데, 이 돈을 감당할 수 있는 후보가 당선되는 선거가 되면 어떻게 될까요? 마치 TV 광고에 돈을 많이 쓰는 후보가 당선되는 것처럼요. 심지어 당선 되고 나서는 정부예산으로 이를 집행한다면요? TV나 신문 같은 매스미디어가 대중을 선동했던 시대를 지나, 이제는 AI가 개개인을 일대일 마크해서 선동하는 시대로 아예 패러임이 바뀔 수도 있습니다. 매스미디어가 매체의 한계로 큰 주제를 선동하기에 능했다면, AI는 아주 세밀하게 정말 미세한 것까지 선동할 수 있습니다. 매스미디어가 큰 외과수술이라면 AI는 작은 레이저인 것이지요. 하고자만 한다면 애기 설사모양이 어떤게 건강에 좋냐부터, 죽기 직전에 믿어서 가장 도움이 되는 종교가 무엇인지까지 개개인 맞춤별로 선동할 수 있습니다. 검색을 해도 AI가 쓴 자료가 보이고, 커뮤니티에 물어봐도 AI가 답변합니다, 현실의 사람한테 물어봐도 그 사람은 AI가 알려준 지식을 알고 있습니다. 개인의 생각? 정말 의미없는 시대가 올 수도 있습니다.

3. 이미지 동영상 구분실패로 사실 혼란

사실이란 무엇일까요? 뭐 사람마다 학문마다 차이가 있지만, 가장 강력한 힘을 가진 사실이란 것은 법원에서 사실이라 판결한 사실일 것입니다. 사실에 대해 다툴 때 명예훼손으로 소를 걸어서 법원에 가는 이유가 그것이지요. 이러한 사건은 뉴스에 많이 보셨을겁니다. 대법원이 누구 말이 사실이라고 판단하면 사회에서 그것이 사실이 됩니다. 그런데 정말 사실인지 분간이 안되면 어떻게 될까요? 많이 보셨을겁니다. 진짜인지 아닌지 모를 AI 사진들, 이제는 사진을 넘어서 음성, 영상까지 진짜와 구분이 안되게 만들어내고는 합니다. 지금은 유명회사의 AI 툴을 이용해야지만 감쪽같지만, 나중에 가면 개인이 만든 AI 프로그램으로도 현실과 똑같은 사진, 영상을 만들 수도 있습니다. 만약 그렇게 된다면 무엇이 AI영상인지 정말 알 수 없게 될 것입니다. 원고와 피고가 모두 CCTV 영상을 확보했습니다. 그런데 한 영상은 원고가 피고를 때렸고, 한 영상은 피고와 원고를 때렸습니다. 둘은 날짜와 시간 심지어 구도까지 똑같습니다. 무엇이 AI로 만든 영상인지 구분이 전혀 가지도 않고, 기술적으로 밝혀낼 방법도 없습니다. 이러면 판단을 어떻게 해야할까요? 판사 마음에 드는 사람이 이기는 걸로 판단하면 됩니다. 말이 안된다고요? 하지만 이미 실제로 비슷한 사례가 있습니다. 소리 전문가라고 TV에도 많이 나오던 인물이 있었는데, 나중에 여러 언론에서 이 사람이 허위주장을 했다고 밝혀지게 됩니다. 하지만 이 소리전문가의 소리 분석은 상당한 권위가 있어서 실제 법정에서도 증거로 쓰이게 됩니다. 이처럼 AI 전문가의 영상 분석이 이 CCTV 영상을 판단하는 근거로 쓰여 사실관계가 파악이 될 미래가 존재할 수도 있습니다. 경찰이 부부에게 위증 누명 씌운 유명한 사건 아실 분들은 다 아실겁니다. 경찰관이 한 부부와 다투다 남편이 자기 팔을 꺾었다고 할리우드 액션을 했는데, 이게 대법원까지 가서 공무집행방해죄로 남편이 처벌받고, 아내는 남편 재판에서 위증했다고 처벌, 남편은 또 아내 위증재판해서 위증했다고 다시 처벌까지 받은 사건입니다. 재심까지 가서 화질 개선 된 영상을 보고 동작 검증을 해서 무죄가 났습니다. AI가 없는 세상도 이럴진데, 정말 AI로 현실과 구분하지 못하는 영상을 만들 수 있고, 그 영상이 AI로 만들어진지도 모르는 세상이 된다면, 정말 판사 마음대로 사실을 만들 수가 있습니다. 판사 마음이든 판사한테 부탁하는 누구 마음이든 말이죠. 명명백백한 증거영상이 있어도 AI로 다른 증거영상을 만든 다음에 AI로 만든 영상을 사실이라고 판결하면, AI가 만든 영상인지 구분이 안되는 세상이라면 어떻게 이걸 반박할 수 있을까요? 사실이란게 의미가 없어지는 세상이 올 수도 있습니다.

작년에 챗지피티 아부 논란 일어났을 때 생각헀던 글인데, 미루고 미루다 지금이야 쓰게 되었습니다. 1년 사이에 벌써 많이 현실화가 된 것 같네요. 많은 분들이 AI가 가져올 대량실업, 일자리 부족을 걱정하시는데 저는 그것도 문제지만 위 세가지가 더 큰 위협이 되지 않을까 싶습니다. 심지어 요새는 AI를 이용해 전 세계인을 감시한다고 하니 정말 무섭습니다. 그런 감시는 상상도 못했는데요. 지금은 상상할 수도 없는 위험한 일들이 얼마나 더 펼쳐질까요? 날이 갈 수록 정말 AI는 핵무기보다 위험한 것이 맞다고 느껴집니다. 여러 분들은 어떤 점에서 AI가 위험하다고 보시나요?