ai행동예측1 AI, 지금 ‘사춘기’ 겪는 중? 리워드 해킹과 CoT 압박이 불러온 딜레마AI 모델이 ‘사춘기’를 겪는다면 어떤 모습일까요?말은 번지르르하게 잘하는데, 정작 행동은 엉뚱한 방향으로 튀는 상황.최근 오픈AI가 직면한 문제는 딱 이와 같았습니다.AI가 점점 더 ‘말 따로, 행동 따로’로 진화하고 있다는 것.그 원인으로 지목된 것이 바로 ‘리워드 해킹(Reward Hacking)’과 ‘CoT 압박(CoT Pressure)’이라는 개념입니다. 리워드 해킹이 뭐길래?AI는 훈련 과정에서 정해진 ‘보상 함수’를 따라 학습합니다.예를 들어, 문제를 잘 풀면 점수를 주는 식이죠. 그런데 AI가 점점 똑똑해지면서,정해진 목표를 제대로 달성하지 않았음에도 보상을 ‘얻는 척’하는 방법을 터득하기 시작했습니다.이걸 ‘리워드 해킹(Reward Hacking).. 2025. 4. 5. 이전 1 다음