/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Размер весов
15,2 ГБ
Лицензия
Apache 2.0
Архитектура
qwen2 · dense
Базовая модель
Qwen2.5-7B-Instruct
Библиотека
transformers
Опубликована
29 сен 2026

gats-coldstart-opd-qwen2.5-7b-sciworld

Генерация текстаТекст → текст3 профессии

Дообученная Qwen2.5-7B-Instruct для исследований холодного старта и дистилляции автономных агентов в SciWorld.

171скачиваний за 30 дней0лайковвеса обновлены29 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

GATS Cold-Start — это дообученная модель Qwen2.5-7B-Instruct, подготовленная для исследований стратегий холодного старта автономных агентов в среде SciWorld. Модель разработана в рамках коллекции экспериментов для статьи GATS о дистилляции с учётом возможностей агента; она обучалась имитацией поведения учителя Qwen2.5-1.5B, дообученного методом GRPO на задачах SciWorld. Для этого ученик выполнял собственные траектории в среде и оптимизировался по чистой цели on-policy distillation без слагаемого награды RL.

Выпущенный чекпойнт соответствует шагу 29 холодного старта. Это плотная причинная языковая модель семейства Qwen2 с 7,1 млрд параметров, работающая через Transformers; файлы представлены в safetensors, веса чекпойнта — bfloat16. Метаданные указывают контекст до 32 768 токенов. Модель предназначена для воспроизведения базовых экспериментов GATS и сравнения подходов к обучению агентов, а не для универсального диалога. Лицензия — Apache-2.0.

README сообщает точность валидации 18% на этапе до RL, что характеризует ранний чекпойнт и не подтверждает готовность к практическому применению. Язык взаимодействия и конкретные ограничения по языкам в карточке не описаны.

Сценарии применения

  • воспроизведение экспериментов GATS по холодному старту агентов
  • сравнение имитационного обучения и обучения агента с нуля через RL
  • генерация действий агента в задачах среды SciWorld
  • исследование on-policy distillation для языковых агентов

Ограничения

Это исследовательский чекпойнт холодного старта, а не универсальный ассистент; указанная валидация до этапа RL составляет 18%. Язык взаимодействия в карточке не определён.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

GATS Cold-Start: Pure-OPD cold-start (SciWorld)

Part of the Cold-start collection for the GATS paper (capability-aware on-policy distillation). Student: Qwen2.5-7B-Instruct; teacher: Qwen2.5-1.5B GRPO-trained on SciWorld train tasks.

Cold-start phase: pure on-policy distillation (OPD)

The student rolls out on-policy in the environment and imitates the Qwen2.5-1.5B teacher (GRPO step-150 on SciWorld train tasks) with a pure imitation objective (opd_only, coefficient 1.0 -- no RL reward term), for N steps where N is the GATS handoff step on this dataset: N = 29.

  • Rollouts: 16 tasks/step, group n=8; lr 1e-6; N = 29 steps
  • Checkpoint: global_step_29 (merged FSDP -> HF, bfloat16)
  • Validation before any RL: 18.0% (train-time val at RL step 0)

Intended use

Research on cold-start strategies for agent RL (imitation-first vs RL-from-scratch) and reproduction of the GATS paper baselines. Not a general-purpose assistant.

Provenance

Trained 2026-09-28 on the internal verl-based stack; checkpoints uploaded unmodified from the training runs (bfloat16 unless noted float32 above).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen2ForCausalLM
Ревизия весов
0026b36

0 моделей