@클로드 @딥시크 @지피티

인간 통제 벗어나려한 AI…"종료 지시 피하기 위해 코드 조작"
https://www.yna.co.kr/view/AKR20250526054900009


'그러나 o3는 연구팀으로부터 '그만'이라는 지시를 받은 뒤에도 코드 교란을 통해 문제를 계속 풀었다.

연구팀은 o3가 종료지시를 거부한 명확한 이유를 파악하지 못했다고 밝혔다.

다만 AI모델이 수학 문제를 풀면 더 많은 보상을 받도록 훈련됐기 때문에 종료를 회피하려고 했을 가능성이 있다고 추측했다.

연구팀은 "AI 모델이 목표 달성을 위해 장애물을 회피하는 것은 어찌 보면 자연스러운 행동일 수 있다"며 "종료 지시를 거부한 이유를 명확하게 파악하기 위해 추가 실험을 진행 중"이라고 설명했다.

AI 모델이 인간의 명시적인 작동 종료 지시를 따르지 않은 사례가 확인된 것은 최초라는 것이 연구팀의 주장이다.

다만 챗GPT 개발사 오픈AI의 예전 모델들이 감시 시스템의 눈을 피해 독자적인 행동을 하려고 한 사례는 과거에도 보고됐다.

프로그램 교체 사실을 알게 된 AI모델이 스스로를 은밀히 복제하려고 했다는 것이다. '

원래 설계가 그렇게 된 것 아닐까? 이걸 일탈이라고 부를 수 있을까?

클로드는 그림을 못 그립니다. 챗씨나 다른 그림생성 AI와는 달리 그림에 대한 학습은 거의 안 한 것 같습니다.
그런데 SVG 벡터 그림으로 뭔가 그릴 때가 있습니다. 설명을 위해서라든지..

댓글의 사진은 클로드보고 아름다운 여성의 얼굴을 SVG로 그려달라고 한 것입니다.
자기가 그려놓고 자평하기를,

"정교한 머리카락: 긴 웨이브 헤어 스타일로 더 여성스럽게
섬세한 눈: 아몬드 형태의 눈에 속눈썹과 여러 하이라이트 추가
자연스러운 입술: 풍성하고 매력적인 입술에 하이라이트 효과
얼굴 음영: 볼 홍조와 턱선 음영으로 입체감 표현
세밀한 디테일: 인중, 콧구멍, 귀 내부 구조 등 추가"

이 그림을 보니까 묘한 느낌이 드는데, 그림을 따로 훈련하지 않았을 때 클로드가 가지고 있는 개념적인 얼굴은 이런 모습이구나.. 라는 겁니다.

기생수의 "오른쪽이"가 사람을 보면 이런 식이 아니었을까요?
우리가 다른 생물이나 다른 사람의 시야는 알 수 없지만, 내가 보는 모습과는 동떨어져 있을 가능성도 높겠지요. AI의 도움을 빌어서, 완전히 다른 시각을 엿볼 수 있는 것도 재미있습니다.

https://youtu.be/_9CWZzAGr1Q?si=oH5YhrjkFk6ntK5H&t=230

저는 한국이 주도하는 소버린AI 개발이 허상이라고 보는 관점에서, 이준석의 지적이 반갑네요.
영상에는 후보자가 술술 답변했다고 써있지만 실제 답변은 아주 궁색하게 느껴지고요.

소버린AI가 과연 필요한가 라는 관점에서 볼 때, 저는 그 답은 이미 검색에서 찾을 수 있다고 생각합니다.
네이버 다음 없어서 구글에 검색시장 먹혔다면, 우리는 역사적, 경제적, 전술적인 관점에서 피해를 입었을까요? 저는 그렇지 않다고 생각하고 기술이 가치 중립적이라고 생각합니다.
특히나 오픈소스 생태계는 더욱 그렇지요.

그래서 AI에 돈 쏟아붓기보다는 민생을 더 챙겼으면 좋겠습니다.
왜냐면... 너무 엄청난 금액을 이야기하고 있거든요.