앤트로픽의 최신 AI 모델인 Claude 3.7 Sonnet은 혁신적인 AI 벤치마크에서 고전적인 게임보이 게임인 포켓몬 레드를 정복하며 이전 모델들을 능가하고, 뛰어난 "확장된 사고" 능력을 선보이며 놀라운 성능을 입증했습니다.
Claude 3.7, 포켓몬 플레이로 학습한다.
포켓몬 레드를 플레이하기 위해 Claude 3.7 Sonnet은 기본 메모리, 화면 픽셀 입력, 버튼을 누르고 게임 세계를 탐색하는 함수 호출로 구성되었습니다. 이 설정은 AI가 수만 번의 상호작용을 통해 게임 플레이를 지속할 수 있게 했으며, 이는 일반적인 컨텍스트 한계를 훨씬 초과한 것입니다. 모델의 성능은 인상적이었으며, 세 명의 포켓몬 체육관 관장을 성공적으로 물리치고 배지를 획득하는 데 성공했습니다. 이 성과는 Pallet Town의 시작 집조차 벗어나지 못했던 Claude 3.0 Sonnet과 극명한 대조를 이루며, 새로운 버전의 능력에서 이루어진 중요한 발전을 강조합니다.
이전 모델들에 대한 발전
Claude 3.7 Sonnet은 이전 버전들과 비교하여 AI 능력에서 상당한 도약을 나타냅니다. 이 모델의 Pokémon Red 벤치마크 성능은 향상된 추론 및 문제 해결 능력을 보여줍니다. 이전 버전과 달리, Claude 3.7 Sonnet은 "확장된 사고"를 수행할 수 있습니다.
- 여러 전략 시도
- 이전 가정에 대한 의문 제기
- 작업을 진행하면서 자신의 능력 향상
이러한 발전은 모델이 복잡하고 다단계의 문제를 더 효과적으로 처리할 수 있도록 하며, Pokémon 게임 세계를 탐색하고 여러 체육관 관장을 물리친 성공 사례로 입증되었습니다. 확장된 사고 기능은 Claude 3.7 Sonnet에게 도전적인 문제를 추론할 수 있는 더 많은 계산 자원과 시간을 제공하여, 더 정교하고 적응력 있는 행동을 가능하게 합니다.
확장된 사고 능력 설명
Claude 3.7 Sonnet의 확장된 사고 능력은 "연속 테스트 시간 계산"으로 설명되며, 최종 출력을 생성하기 전에 여러 단계의 순차적 추론을 수행할 수 있게 합니다.
- 더 복잡한 문제 해결에 참여
- 이전 결과를 기반으로 전략을 조정
- 작업 중 성능을 지속적으로 향상
연구자들은 또한 병렬 테스트 시간 계산을 통해 모델의 능력을 향상시키는 방법을 탐구했으며, 이는 여러 독립적인 사고 과정을 샘플링하고 최적의 것을 선택하는 것을 포함합니다. 이 접근법은 Claude 3.7 Sonnet이 어려운 문제를 해결하고 역동적인 환경에 적응하는 능력을 더욱 확장하며, Pokémon Red 벤치마크에서의 성공으로 입증되었습니다.
게이밍 벤치마크의 중요성
게임 벤치마크인 포켓몬 레드(Pokémon Red)는 AI 발전을 추적하고 다양한 모델을 비교할 수 있는 명확하고 정량적인 지표를 제공합니다. 이러한 접근법은 체스, 바둑(Go), 도타 2(Dota 2), 스타크래프트 II(Starcraft II)와 같은 게임이 AI 능력을 테스트하는 데 사용되어 온 AI 평가의 광범위한 트렌드에 합류합니다. 전략적 사고, 자원 관리, 동적인 환경에 대한 적응을 요구하는 이러한 게임들의 복잡성은 AI의 추론 및 문제 해결 능력을 평가하는 데 이상적입니다. 포켓몬 레드를 정복함으로써 Claude 3.7 Sonnet은 여러 가지 가능한 해결책이 있는 개방형 과제를 처리할 수 있는 능력을 입증했으며, 게임 시나리오를 넘어선 모델의 다재다능함과 잠재적 응용 가능성을 보여주었습니다.