Почему Gemini на миллион токенов слабее Claude на 200 тысяч

Под последним видео прилетел комментарий: мол, Gemini нормально пашет в длинных чатах, окно у него реально больше, а разговоры про то, что миллион токенов не равен 128 тысячам, это глупость. Разбираю, почему это не так. Контекстное окно у Gemini Pro 1 000 000 токенов, у Claude Opus 200 000, и на бумаге кажется, что Gemini в 5 раз лучше. В реальной работе всё наоборот, и вот почему.

Что такое контекстное окно

Это сколько текста нейросеть видит за один раз. Измеряется в токенах: примерно 1 токен равен 0,75 слова на английском, на русском чуть меньше. У Gemini Pro окно 1 000 000 токенов, у Claude Opus 200 000. Цифра больше, но сама по себе она ещё ничего не значит.

Видеть не значит понимать

Контекстное окно это не память, а скорее периферическое зрение. Представь, что читаешь книгу на 500 страниц и держишь перед глазами все страницы сразу. Это не значит, что ты понимаешь связь между первой и последней. У нейросетей так же: чем дальше информация от текущего момента, тем хуже модель её использует. Называется attention degradation, внимание размывается. У Gemini окно больше, но качество внимания к середине хуже.

Архитектура важнее размера

Claude от Anthropic заточен на глубокое понимание контекста и связей между частями текста: меньше токенов, но каждый весит больше. Gemini от Google заточен на скорость и объём: влезает больше, но обработка поверхностнее. Это как грузовик и спорткар. Грузовик везёт больше, но за точностью и скоростью реакции идёшь к спорткару.

Lost in the middle

Есть исследование «Lost in the Middle», в том числе от самих разработчиков, включая Google. Суть: когда контекст большой, модель начинает игнорировать середину. Начало помнит, конец помнит, а середину будто не видит. Чем больше контекст, тем сильнее эффект. Gemini с миллионом токенов страдает от этого больше, чем Claude с 200 тысячами.

Причём тут качество обучения

Размер окна это архитектура, а качество ответов зависит от того, на чём модель обучали и дообучали. У Claude это RLHF и Constitutional AI, фокус на точность, логику и следование инструкциям. Gemini тренировали на универсальность и интеграцию с продуктами Google. Разные цели, разные результаты.

Практический пример

Загрузи в Gemini документ на 100 страниц и попроси найти противоречия между разделами 3 и 47. Gemini видит оба, но связь между ними ставит плохо: ответ поверхностный или мимо. Claude видит меньше за раз, но то, что видит, понимает глубже, и связи ставит точнее. 200 тысяч токенов с хорошей архитектурой сильнее миллиона с посредственной. Миллион токенов это в основном маркетинг: «наша цифра больше» хорошо звучит в презентации, но в работе важнее, как модель удерживает внимание и связывает части.