LongCat-2.5 — новая модель от Meituan для автономных агентов

Китайский технологический гигант Meituan представил LongCat-2.5. Модель создана для решения сложных инженерных задач и длительного автономного взаимодействия в среде агентов. Архитектура построена по схеме Mixture-of-Experts с 1,6 трлн общих параметров, из которых на каждый токен активируются около 48 млрд. Главными особенностями релиза стали нативная визуальная токенизация, контекстное окно в 1 млн токенов и полный цикл обучения на отечественных китайских чипах.

Разработчики сообщили об этом в официальном анонсе LongCat, раскрыв подробности архитектуры, оптимизации инференса и бенчмарков. Новая версия развивает идеи семейства моделей LongCat, открытых летом 2026 года, и ориентирована на сквозную разработку кода, автоматизацию браузеров и работу с многостраничными корпоративными данными.

Нативная визуальная токенизация и дискретные эмбеддинги

В отличие от классических мультимодальных систем, где визуальный энкодер работает отдельно от языковой части, LongCat-2.5 переводит изображения в многоуровневые дискретные токены. Это позволяет главной сети обрабатывать текст и графику в едином пространстве. Метод базируется на архитектуре Semantic-and-Aligned Encoder с остаточным квантованием векторов, описанной исследователями в препринте на сервере arXiv.

Фиксированный токенизатор позволяет вычислять визуальные токены заранее в офлайн-режиме и кэшировать их на диске. Это исключает тяжелые расчеты компьютерного зрения из основного обучающего графа, выравнивает нагрузку между графическими процессорами и упрощает нарезку сверхдлинных последовательностей данных.

Визуальные эмбеддинги обучаются совместно с языковой основой. Тесты на промежуточной MoE-модели с 3 млрд активных параметров подтвердили, что текстовые и визуальные токены тесно переплетаются в едином пространстве смыслов. Модель уверенно справляется с генерацией трехмерных сцен, разметкой веб-интерфейсов и визуальным программированием.

Обучение на отечественных китайских чипах и супернодная топология

Обучение модели на 1,6 трлн параметров происходило исключительно на специализированных китайских ИИ-ускорителях в условиях жестких аппаратных ограничений. Объем памяти каждого ускорителя не превышает 80 ГБ. Инженеры Meituan оптимизировали структуру параллелизма под топологию супернод, минимизировав медленный обмен данными между отдельными стойками.

Степени параллелизма FSDP и экспертного параллелизма EP строго согласованы с числом ускорителей внутри одной суперноды. Передача параметров, пересылка экспертных токенов и обмен контекстом происходят внутри локальных высокоскоростных шин. Для словарного запаса применили гибридное разделение, распределив эмбеддинги и финальный слой классификатора по доменам параллелизма данных и контекста.

Для предотвращения перекосов нагрузки между экспертами введена динамическая репликация на базе MoonEP с пороговым включением. Дополнительно реализован двухуровневый FSDP, сохраняющий веса FP32 в распределенном виде, непрерывные плоские буферы и алгоритмы связи без промежуточного копирования памяти. На длинных последовательностях пропускная способность обучения на одну карту выросла на 86% относительно базового DDP.

Масштабирование обучения с подкреплением и дистилляция MOPD

Ключевым фактором автономии агентов стало масштабное обучение с подкреплением на длинных траекториях. Датасет синтезировали автоматически на основе реальных pull request и связанных обсуждений с GitHub. Агенты размечали задачи, поднимали изолированные тестовые среды и формировали проверяемые модульные тесты для верификации кода.

Для борьбы с задержками длинных задач внедрен асинхронный сбор траекторий с динамическим оверсэмплингом. Чтобы модель не искала обходные пути ради формальной награды, в обучающих средах полностью отключен доступ в интернет, удалена история git и временные кэши. Действия агента верифицирует отдельная модель-судья, штрафуя за зацикливание рассуждений или повторные вызовы инструментов.

Интеграция профильных навыков выполнена через алгоритм Multi-Expert Online Policy Distillation. Специализированные группы экспертов обучают единую модель через дистилляцию с полным словарем. Для снижения затрат траектории нарезаются на фиксированные префиксы, объединяются в древовидные структуры и рассчитываются за один проход через механизм Tree Attention.

Оптимизация инференса INT4 W4A4 и разделение Prefill и Decode

Инференс модели на 1,6 трлн параметров оптимизирован с помощью квантования W4A4. Экспертные веса и матрицы активаций сжаты до 4 бит и обрабатываются на аппаратных тензорных ядрах INT4. Преобразования FlatQuant сохранили исходное качество генерации на уровне полновесной версии, уменьшив требования к памяти в несколько раз.

Процесс инференса разделен на независимые кластеры Prefill и Decode в пропорции 3:2. На этапе предварительного заполнения контекста токены распределяются по страницам через механизм KVP, предотвращая дублирование в кэше. Алгоритм разреженного внимания LSA выгружает часть ключей и значений в системную память, снижая задержку генерации первого токена на 15,91% и время между токенами на 19,72%.

Сравнение бенчмарков нового поколения

В официальных тестах LongCat-2.5 показала кратный рост эффективности по сравнению с предыдущим поколением и составила прямую конкуренцию флагманским коммерческим системам. Модель продемонстрировала уверенное решение задач в реальных консолях, автоматизацию браузера и визуальное программирование интерфейсов.

Доступность, API и интеграция с инструментами разработки

LongCat-2.5 доступна через облачный API по тарифам 0,30 $ за 1 млн входных токенов и 1,20 $ за 1 млн выходных токенов. Это делает работу с окном в 1 млн токенов значительно доступнее западных аналогов. В среде разработки OpenCode для уровней Zen и Go открыт бесплатный тестовый доступ с подтвержденным нулевым хранением пользовательских данных.

Сервис предоставляет полную совместимость со спецификациями OpenAI и Anthropic. Разработчики могут переключить рабочие окружения Claude Code, Codex, Hermes или Kilo Code на эндпоинт LongCat простой сменой базового URL и токена в переменных среды. 

Следите за независимыми тестами ИИ-агентов, бенчмарками мультимодальных моделей и их обновлениями в разделе новостей на aimarketcap.ru.