합리주의와 효율적 이타주의도 만나게 된다.



국내에는 해리포터와 합리적 사고의 구사법(이하 HPMOR)으로 번역되었던 유명 해리 포터 팬픽에 에밋 쉬어가 등장해요. 작가인 엘리저 유드코프스키가 이 팬픽의 애독자이자 후원자였던 쉬어를 그리핀도르의 수색꾼이라는 설정으로 깜짝등장시켜준 것. 쉬어는 OPEN AI의 지도부 갈등 사태 때 임시 CEO여서 이 일은 기사까지 타고 유명해집니다.

그런데, 이 사건은 단순히 유명한 팬픽의 작가와 애독자의 관계가 불러온 해프닝은 아니에요. HPMOR의 작가인 유드코프스키는 AI 종말론과 합리주의자로 대표되는 인터넷 세력의 한 축에 깊숙히 관여하고 있는 사람이니까요.


AI의 발전에 대해 우려하는 글들을 따라가다가 해리 포터를 만나는 일은 생각보다 쉽게 일어나요. 왜냐면, 이 분야에서 가장 시끄러운 사람 중 하나가 엘리저 유드코프스키이기 때문. 엘리저는 다양한 방식으로 AI의 위험성을 경고하는 데, 그는 단순히 AI가 불러올 경제적 파급효과를 넘어서 종말론자에요. AI가 발전함에 따라 나노머신들이 다이아몬드형의 박테리아를 만들고, 박테리아들은 태양광을 에너지 삼아 자가복제하여 증식하는 데 이게 제트기류를 타고 전 세계에 퍼져 인류를 멸망시킬꺼라는 시나리오를 설파하거든요. 대충 그레이구와 페이퍼클립 맥시마이저를 적당히 버무렸죠.

https://www.lesswrong.com/posts/FijbeqdovkgAusGgz/grey-goo-is-unlikely

사람들은 이 이론이 독창성이 떨어질 뿐만 아니라 현실성마저 없다고 해요. 이런 아포칼립스를 구상하기에 그가 가지고 있는 화학과 물리학, 그리고 AI에 대한 지식이 너무 형편없었거든요.

  그럼에도, 유드코프스키는 많은 곳에서 AI 전문가로 초빙되는 사람이에요.  인공지능을 위한 특이점 기관(SIAI)(Singularity Institute for Artificial Intelligence)을 설립해 스탠포드 대학교의 도움을 받아 특이점 회담을 06년부터 개최하였는데, 이 활동으로 주목받으며 피터 틸과 같은 실리콘 밸리 기업가들의 후원을 받아 조직을 키워나갔어요. 이후에는 이 조직의 이름과 웹도메인을 AI 컨설팅 업체에 팔고, 현재는 기계지능연구기관(MIRI)(Machine Intelligence Research Institute)를 후신으로 세움. 본격적으로 AI가 세상에 드러나 그 위험성에 대한 관심 역시 높아지면서, 엘리저의 이력도 자연스럽게 주목받았어요. 그가 세운 MIRI는 OPEN AI의 설립과 발전에 크게 관여하기도 했죠. 덕분에 더 많은 후원을 받았고 더 많은 곳에 초빙됨. 그가 말하는 AI의 위험성에 대한 경고들은, 근거있고 사실인 것과, 근거가 빈약하고 허무맹랑한 것이 합쳐져서 세상에 퍼져나갔죠.

그래서 AI의 위험성에 대해 경고하는 말이나 이론의 발자취를 따라가다 보면, 갑자기 어느 순간 퀴렐 교수와 헤르미온느가 '예기치 못한 파멸'에 대해 이야기 나누는 장면이 나와요. 그 이론의 추종자들이 AI 전문가가 쓴 팬픽션이 담은 통찰을 보라면서 링크를 남기거든요. 이 팬픽에서는 퀴렐 교수가 꽤 이지적인 주동인물로 묘사 되어서 팬들 사이에서는 굉장히 인기 있다고 하네요.

당연히 사람들은 이 해리포터 팬픽 작가이자 AI 전문가로 인용되는 유대인이 어떤 배경을 가졌고, 무슨 AI 개발에 참여 했는지 궁금했죠. 일단 저는 그랬어요. 그러나 검색하면 나오는 건 해리 포터 팬픽과 단체 활동들과 기고문 뿐. 지금에야 위키피디아 페이지에 깔끔하게 그가 IEEE나 수학 학술지에 어떤 논문도 써낸 적 없을 뿐만 아니라, 대학교는 물론 고등학교도 나오지 않았다는 사실이 써 있지만, 2015년도의 그의 항목에는 그런 게 없었거든요.

  그래서 이 경력불명의 AI 전문가가 쓴 글들을 찾아가면 자연스럽게 해리 포터 팬픽 뿐만 아니라 합리주의(Rationalist)운동 하고도 만나게 됩니다. 합리주의 운동의 가장 큰 인터넷 웹 포럼인 Lesswrong은 그가 만든 사이트거든요. 여기서 말하는 합리주의는 철학사에서 등장한 인식론에서의 합리주의와는 조금 달라요. 인터넷의 회의론자(skeptic) 모임을 상상하면 됩니다.

또 이 합리주의 운동과 깊게 얽힌 다른 운동이 바로 효율적 이타주의(EA)(Effective Altruism)에요. 본래 효율적 이타주의는 지역사회를 위해 봉사하는 것 보다 말라리아 치료제를 보급하기 위한 펀딩에 모금하는 게 왜 효율적인지를 설득하는 공리주의에 기반한 구호운동인데, 이는 인터넷 합리주의자들과 잘 결합했어요. 여기서 문제가 생겨요. 이 합리주의 운동의 주요 인물이자, 포럼을 만든 사람이 AI가 인류를 멸절시키리라는 강한 믿음을 가졌죠. 그리고 이 믿음을 EA에 적용하면, 말라리아 치료제보다도 더 중한 것은 AI 발전에 대해 경고하고, 안전한 AI를 개발할 수 있도록 하는 거에요. 그러려면? 그걸 전담하는 기관인 MIRI에 투자나 후원을 해야겠죠? 이 합리주의 커뮤니티와 EA운동은 실리콘 밸리에서 아주 크게 성공하여, 일론 머스크를 비롯해 벤 델로나 비탈릭 부테린, 샘 뱅크먼-프리드 같은 암호화폐 생태계에서 유명한 백만장자들까지도 포섭해요. EA의 이름으로 운용되는 펀드는 '비전통적'인 박애사업 중에서 미국 최대로 성장했어요. 전 뭐가 전통적이고 뭐가 비전통적인지 모르겠는데, EA가 말하기엔 그렇다고 하네요. 이런 연유로 EA는 AI 연구 통제에 집중하는 실리콘 밸리식 EA와 말라리아 치료제 문제에 집중하는 전통적인 EA(ex.Givewell)로 나뉘게 되었어요.


제가 이 합리주의 커뮤니티를 검색을 통해 알게 되고 얼마 지나지 않아(2016년), 한 가지 큰 일이 생겨요. 합리주의 커뮤니티의 네임드 유저인 su3su2su1가 종적을 감추고 사라진 것. 그는 텀블러에서 주로 활동했고, 두 가지로 유명했는데, 하나는 HPMOR의 플롯과 서술, 과학 지식 면에서의 오류를 챕터별로 분석해 비판한 장문의 리뷰글을 연재한 것. 다른 하나는 합리주의 커뮤니티에서 EA의 미명 하에 MIRI를 펀딩하는 걸 비판하는 거였어요. 합리주의 커뮤니티 내에서도 MIRI의 효용에 대해서는 많은 갑론을박이 있었는데, MIRI 비판론자들의 입장을 요약하면 MIRI의 효용에 대한 변호가 대부분 정치가의 삼단논법에 기반해 있어 도저히 못 참아 주겠다는 것. 정치가의 삼단 논법은 아래와 같아요.

1. 우리는 무엇이던 간에 해야 합니다! (We must do something.)
2. 이게 바로 그겁니다! (This is something.)
3. 그러므로 이걸 반드시 해야 합니다! (Therefore, we must do this.)

그가 종적을 감추게 된 이유는 얼마 지나지 않아 밝혀지는 데, 합리주의 커뮤니티의 또 다른 네임드 유저가 평소 su3su2su1가 말한 경력에서 뭔가 이상한 낌새를 눈치채고, 개인적으로 조사한 끝에 su3su2su1가 자신의 학위와 활동에 대해 일부 거짓말을 한 게 드러났고, 이에 대해 해명하지 않으면 이를 구체적으로 커뮤니티에 밝히겠다고 경고한 거였어요.

https://slatestarscratchpad.tumblr.com/post/140061032741/nostalgebraist-shlevy-im-the-reason

su3su2su1는 평소에 자신이 주장한 대로 데이터 사이언스 현직자는 맞았지만, 그는 수학이 아니라 이론물리학에 박사학위가 있었고, 자리에 있었다던 EA 컨퍼런스에 참여한 적이 없었다고 하네요.

  이 사건으로 구심점을 잃어서인지, 혹은 MIRI가 실제로 많은 재능과 연구자들을 끌어모은 연구기관으로 크게 발전하여 인터넷에서의 비판이 의미를 잃어서인지 모르겠지만, 2016년 이후로 Lesswrong을 비롯한 합리주의 커뮤니티에서 안전한 AI를 위한 효율적 이타주의를 하는 것에 대한 반대의견은 자취를 감춰요. 그리고 2022년 11월 EA의 안전한 AI 연구와 자선사업에 거금을 지원한 샘 뱅크먼-프리드의 FTX 파산과 금융사기 사태가 터지면서 이에 직간접적으로 연루된 EA 자선가들의 이름이 오르내렸어요. 샘 알트먼의 팔로워 중 몇 명이 표준 모델은 옳았다며(Standard model was right!) 이 사건을 리트윗한 알트만의 트윗 아래에 댓글을 달았어요. 대부분의 사람들은 인터넷 트롤의 헛짓거리라고 보았겠죠.

하지만, su3su2su1를 기억하는 사람들은 알죠. 저 유저의 닉네임이 표준모형의 대칭군을 의미한다는 걸. 그리고 그가 HPMOR에서 양자물리학과 에너지 보존을 가지고 과학적 오류를 범한 소설을 얼마나 신랄하게 비판했는 지. 그리고 이 사연을 구구절절하게 설명하는 게 얼마나 미친놈처럼 보일지. 그러니 어쩌겠어요? meme을 말할 뿐.







p.s 약간 엘리저의 경력을 신랄하게 표현한 것 같은데, 전 엘리저가 이 분야에서 본인이 직접 학술적 기여를 한 적이 없고 업계 경력이나 학위가 없다는 이유로 그의 의견을 평가 절하 해야 한다고 생각하지 않아요. 그는 AI 업계가 있기도 전 부터 그곳에 있었고, 샘 알트만이 인정한 것 처럼 AI에 대한 그의 열정은 아이러니하게도 AI 개발과 펀딩에 큰 역할을 했거든요. 단지, 허무맹랑한 말을 할 때가 있을 뿐이죠.

p.s2  su3su2us1가 남긴 HPMOR의 비평글들은 IT/테크 블로거인 Dan luu가 아래 링크에 아카이빙 했습니다.
https://danluu.com/su3su2u1/hpmor/