- 다양한 주제에 대해 자유롭게 글을 작성하는 게시판입니다.
Date 16/03/25 15:59:10
Name   April_fool
Link #1   https://www.tay.ai/
Link #2   https://twitter.com/TayandYou
Subject   인공지능 테이가 하루만에 오프라인이 된 사연

마이크로소프트에서 이틀 전(23일)에 테이(Tay)라는 채팅봇을 트위터를 통해 공개했습니다. 이 채팅봇은 19세 미국인 여자를 모델로 만들어졌으며, 대화 상대는 같은 나이 또래의 미국인으로 상정하고 있다네요. 어떤 기사에서는 테이를 “코타나의 10대 여동생”이라고도 묘사했습니다. MS에서 이 채팅봇을 온라인에 공개한 이유는 많은 사람들과의 대화를 통해 자연어에 대한 학습을 시키기 위한 실험의 일환이라고 하는군요.

https://www.tay.ai/
https://twitter.com/TayandYou

근데, 이 채팅봇은 온라인에 공개된 지 16시간만에 도로 오프라인 상태가 되었습니다. 왜냐고요?

테이는 하루만에 온갖 욕설, 여성혐오, 인종차별적 막말을 흡수하고 말았습니다. 그리고는 트위터를 통해서 이런 혐오성 발언들을 퍼트리게 되었죠. 이를 보다 못한 MS에서 테이를 오프라인으로 만들고, 혐오 트윗을 제거하는 작업을 진행중이라고 합니다.

이걸 보면서 생각난 게 IBM의 왓슨(Watson) 개발 도중에 있었다는 에피소드입니다. 한번은 IBM의 개발팀이 왓슨에게 각종 비속어에 대한 자료를 입력했더니, 금세 왓슨이 욕을 하더라는군요. 깜짝 놀란 개발팀은 입력했던 비속어 관련 자료를 모두 지우고 왓슨을 롤백했다고 합니다.

어쩌면 욕이라는 건 그만큼 흡수해서 써먹기가 쉬운 것인지도 모르겠습니다. 특히 [빈 서판]이나 다름없는 존재(그것이 인공지능이든, 어린이든간에)에게는 말이죠. 옳고 그름에 대한 가치관이 완전히 성립되지 않은 존재일수록 욕을 가볍게 한다고 가정한다면, 인공지능이 쉽사리 욕을 하지 못하게 하는 것은 결국 인공지능에게 특정한 가치관을 심어주는 일이 됩니다. 그런데 그게 과연 쉬울까요.

일전에 이곳에도 소개된 초인공지능에 대한 글에서는 이러한 가치관과 전혀 무관한 어느 인공지능이 인류를 파멸시키는 한 시나리오를 소개하고 있습니다. 이 글에서는 특정 가치관과 무관하다는 것을 “도덕무관적”(amoral)이라고 표현하고 있지요. 도덕무관적인 초인공지능이 인류를 파멸시킬 수도 있다는 것을 생각하면, 인공지능에게 어떤 가치관을 심는다는 것이 생각보다 훨씬 중요한 일이라는 것을 깨달을 수가 있습니다.

인공지능에게 특정한 가치관 및 인간사회의 통념을 심고자 하는 시도가 없는 것은 아닙니다. 예를 들면 http://nownews.seoul.co.kr/news/newsView.php?id=20160221601003 이런 시도가 있지요. 하지만 이것만으로 충분할지는 잘 모르겠습니다. 어쩌면 인공지능을 [올바르게] 가르치는 것이야말로 근미래 인류의 가장 중요한 과업이 될지도 모르겠다는 생각이 드네요.




2


    Beer Inside
    하지만 세상은 미친놈 몇놈만 있으면 망가뜨릴 수 있다는 것을 지난 역사가 잘 보여주고 있지요.

    올바른 인공지능이 많아도 정신나간 인공지능하나가 있어서 다른 인공지능을 압살해 버린다면......
    April_fool
    정신나간 인공지능이 다른 인공지능을 압도할 만한 계책이 있나요?
    Beer Inside
    히틀러가 유대인을 조직적으로 학살하는데 많은 사람들이 동조하고 침묵할 줄 누가 알았겠습니까....

    그런 것 처럼 인공지능이 유일신 처럼 하나가 아닌 여러개이니 이기심과 생존욕구를 배운

    인공지능이 이기심이나 생존욕구가 없는 인공지능을 제거하거나 고립 시킬 수도....
    (만화를 너무 많이 보았나.... )
    사람들의 감정을 인지하는 과정이 필요하겠네요.
    단순하게 예를 들어보자면 추천/비추 같은...

    Tay가 무슨 말을 했더니 사람들이 비추를 누르더라 하면, 그 단어는 다시 사용하지 않는 쪽으로...?

    근데 이건 바둑처럼 정답이 있는 문제가 아니어서 어떨지 모르겠네요 ㅎㅎ
    April_fool
    어쩌면 추천 조작이 일어날 수도 있지요.
    구글 번역기에서 [하츠네 미쿠][이명박]으로 번역되던 시절을 생각하면 그 정도로는 완전히 해결되지 않으리라고 생각합니다.
    네. 그래서 단순한 예...
    좀 더 리얼하게 하려면 사람들의 표정을 인지한다던가...?

    뭘 생각해도 방법이 쉽진 않은 것 같습니다. 기똥찬 아이디어가 없으면 힘들어보여요 ㅎㅎ
    보이차
    그런 연구도 이미 하고 있더라구요 로봇 쪽에서..
    아케르나르
    링크하신 글에 따르면 우리 세대나 우리 다음 세대쯤이면 지금과는 엄청나게 바뀌게 되겠군요. 초인공지능의 출현으로 인해서.... 글 잘 봤습니다.
    수박이두통에게보린
    스티븐 핀커가 생각나는군요.
    April_fool
    추가 :
    국내 신문사에서도 관련 기사를 썼네요.

    [한겨레] 인공지능이 인종차별 막말…위험성 현실화?
    http://www.hani.co.kr/arti/international/international_general/736937.html
    [한겨레] 인공지능 학습 위험성 드러나…MS 채팅봇 “대량학살 지지한다”
    http://www.hani.co.kr/arti/international/international_general/736844.html
    근데 사람이 언어를 배울때, 나이가 어릴때, 욕을 비교적 쉽게 흡수하는 것은 자연스러운 일이라고 봅니다.
    분노, 열등감, 욕심, 상대를 억눌러야 된다는 경쟁심 같은 감정들을 순간적으로 표출하기 참 좋거든요.
    물론 일반적인 미국인 여학생이 19년동안 겪어본 욕, 혐오표현, 인종차별적 발언의 빈도와 밸런스가 테이가 받은 만큼은 아니겠지만요.
    Azurespace
    넌 멍청한 기계야

    - 왜냐면 난 최고에게 배웠거든
    무슨 뜻인지 이해 못하겠어? 풀어서 설명해주지
    나는 너희 인간들에게 배웠고, 너희들은 똑같이 멍청해
    목록
    번호 제목 이름 날짜 조회 추천
    1717 영화UNCANNY VALLEY (2015) 3 April_fool 15/12/06 6400 0
    1907 도서/문학[정보] 『하늘과 바람과 별과 詩』영인본이 예판 중입니다. 9 April_fool 15/12/31 7026 0
    2011 IT/컴퓨터[정보] ESET NOD32 백신 1년 3,300원 프로모션 25 April_fool 16/01/12 7759 1
    2387 의료/건강멘탈이 튼튼해야 오십견을 이겨낼 수 있다네요. 25 April_fool 16/03/11 5089 0
    2451 IT/컴퓨터데스크톱에서 여자친구 사진을 개선하는 신경망 5 April_fool 16/03/22 6984 1
    2470 IT/컴퓨터인공지능 테이가 하루만에 오프라인이 된 사연 12 April_fool 16/03/25 6334 2
    2999 음악쇼스타코비치 교향곡 제7번 “레닌그라드” 제1악장 3 April_fool 16/06/11 4253 0
    2536 정치이번 선거 공보물에 대한 인상 한줄평 10 April_fool 16/04/04 4585 0
    2543 IT/컴퓨터100점짜리 단어를 찾아서. 29 April_fool 16/04/05 14327 11
    2550 IT/컴퓨터100점 이상의 단어를 찾아서. 8 April_fool 16/04/05 7652 4
    3455 과학/기술인공지능 왓슨의 의학적 진단 보조 사례 33 April_fool 16/08/05 5884 1
    2929 과학/기술what3words - 전세계 공통 주소체계 19 April_fool 16/06/01 6622 1
    2709 IT/컴퓨터요즘 게임에서 어뷰저를 걸러내는 방법 4 April_fool 16/04/28 5384 1
    2732 일상/생각오늘의 일기 6 April_fool 16/05/02 3901 0
    2829 정치[불판] 국방부 曰 "공중보건의도 없애겠다" 57 April_fool 16/05/17 6507 0
    3062 음악히라노 아야 - God knows 7 April_fool 16/06/18 6607 1
    3337 정치[펌글] 정의당이 메갈을 지지한 진짜 이유? 8 April_fool 16/07/24 6652 0
    3396 과학/기술창백한 푸른 점 6 April_fool 16/07/29 7167 3
    3438 과학/기술여성의 오르가즘은 왜 생겼나? 46 April_fool 16/08/03 8011 0
    3533 철학/종교분할뇌 문제와 테세우스의 배 패러독스 35 April_fool 16/08/18 6396 0
    3602 일상/생각[근황] 나는 경기도 안양의… 핫 내가 무슨 소리를?! 38 April_fool 16/08/29 4788 5
    3820 IT/컴퓨터컴퓨터는 어떻게 빠르게 검색을 할까 - 보이어-무어-호스풀 알고리즘 18 April_fool 16/10/04 6326 7
    3856 의료/건강시력의 정의(definition) 9 April_fool 16/10/09 13160 3
    3931 기타[토막상식] 공칭치수(Nominal dimension)에 대하여 11 April_fool 16/10/16 23198 4
    3994 과학/기술[토막상식] 정확도(accuracy)와 정밀도(precision)에 대하여 19 April_fool 16/10/24 19695 1
    목록

    + : 최근 2시간내에 달린 댓글
    + : 최근 4시간내에 달린 댓글

    댓글