François Chollet: How We Get To AGI
このYouTube動画は、AI研究者であるフランソワ・ショレ氏が、汎用人工知能（AGI）への道筋について自身の見解を語ったものです。ショレ氏は、これまでのAI開発の主流であった「事前学習のスケーリング」アプローチの限界を指摘し、新たなパラダイムとして「テスト時適応」と「プログラム合成」の重要性を提唱しています。
この講演の要点は、以下の3つにまとめられます。
1. 「事前学習のスケーリング」の限界と「流動性知能」の重要性
ショレ氏は、2020年から2024年にかけてのAI開発を「事前学習スケーリングの時代」と位置づけています。この時代では、大規模言語モデル（LLM）のモデルサイズと学習データ量を増やすことで、多くのベンチマークで予測通りに性能が向上しました。この「スケーリング則」の成功から、多くの研究者は規模の拡大を続ければいずれAGIに到達できると楽観視していました。しかし、ショレ氏はこのアプローチでは「流動性知能」、すなわち未知の課題にその場で適応し解決する能力は生まれないと主張します。彼はその証拠として、自身が開発したベンチマーク「ARC-AGI」を挙げます。このベンチマークは、単なる知識の記憶ではなく、未知の規則性を見抜く推論能力を測るものです。GPT-2からGPT-4へとモデルが5万倍もスケールアップしたにもかかわらず、このベンチマークのスコアは0%から10%程度へとわずかに向上したに過ぎませんでした。これは、人間が容易に高得点を取れるのとは対照的であり、事前学習のスケーリングだけでは真の知能の核心に迫れないことを明確に示しています。
2. 新たなパラダイム「テスト時適応（Test-Time Adaptation）」の台頭
事前学習スケーリングの限界が明らかになる中、2024年以降のAI研究では新たなパラダイムとして「テスト時適応（Test-Time Adaptation, TTA）」が注目されているとショレ氏は述べます。これは、AIモデルが学習時だけでなく、推論時（テスト時）にも与えられた新しいタスクに直面した際、その場で自身の内部状態を変化させて適応していく能力を指します。静的な知識を再生するだけでなく、動的に学習し問題を解決するこのアプローチは、「流動性知能」を実現するための重要な一歩です。実際に、このTTAの考え方を取り入れたシステムは、これまで停滞していたARC-AGIベンチマークで劇的な性能向上を見せ始めました。特に、OpenAIが発表したO3モデルは、TTAを用いることでこのベンチマークにおいて人間レベルの性能を達成しました。この事実は、AGIへの道筋が、単に巨大なモデルを作ることから、より動的で適応的な「学習プロセス」自体をモデルに組み込む方向へとシフトしていることを示唆しています。
3. AGIへの道筋：「プログラム合成」による自動的な発明
ショレ氏は、AGIの最終的な目標を、既存のタスクを自動化することに留まらず、科学的発見のような未知の課題を解決する「発明」にあると定義します。そして、その実現のためには、深層学習（Type 1の直感的・連続的な知能）と、論理的な推論（Type 2の離散的な知能）という2つの異なる知能を結びつける必要があると主張します。その鍵となる技術が「離散的なプログラム探索」、すなわち「プログラム合成」です。これは、深層学習モデルが持つ直感的な判断力をガイドとして利用し、膨大なプログラムの探索空間から、目の前の新しい課題を解決するための最適なプログラム（アルゴリズム）を効率的に探索・合成するアプローチです。ショレ氏が設立した新しいAI研究所「NDEA」では、この「深層学習にガイドされたプログラム合成エンジン」の開発に注力しています。このエンジンは、自ら学習し、自己改善を続けることで、最終的には人間の科学者と協働し、科学の進歩そのものを加速させる能力を持つAIの実現を目指しています。
