Характеристики

Контекст: 262 144 токена
Параметры: 2,6 млрд
Размер весов: 61,1 ГБ
Лицензия: Apache 2.0
Архитектура: qwen3_moe · MoE
Базовая модель: Qwen3-Coder-30B-A3B-Instruct
Библиотека: transformers
Опубликована: 17 авг 2026

Ссылки

tt-x15-megatron-51-30B

Генерация текстаТекст → текст3 профессии

Экспериментальный GRPO-чекпойнт Qwen для генерации текста и кода, сохранённый как отрицательный контроль после коллапса обучения.

185скачиваний за 30 дней0лайковвеса обновлены4 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

laion/tt-x15-megatron-51-30B — экспериментальный контрольный чекпойнт TaskTrove X15, созданный обучающей командой эксперимента на базе Qwen/Qwen3-Coder-30B-A3B-Instruct. Это диалоговая MoE-модель для генерации текста и кода; чекпойнт получен дообучением GRPO на DCAgent/exp_rpt_multifile с использованием SkyRL и Terminus-2. В метаданных указаны 2,6 млрд параметров и контекст до 262 144 токенов.

Эксперимент проверял, предотвращают ли выбранные параметры обучения поздний коллапс модели. Проверка дала отрицательный результат: обучение было остановлено после коллапса, а этот чекпойнт сохранён как отрицательный контроль, а не как результат для штатного применения. Модель может служить для изучения поведения обучения и генерации кода, но качество её ответов после коллапса не подтверждено для практических задач. Доступна по лицензии Apache-2.0.

Сценарии применения

изучение коллапса при GRPO-обучении моделей кода
сравнение контрольных точек эксперимента TaskTrove X15
анализ генерации кода и многофайловых задач агентом

Ограничения

Экспериментальная ветка коллапсировала: награда упала почти до нуля, а ответы укорачивались; чекпойнт предназначен как отрицательный контроль, его практическое качество не подтверждено. В эксперименте одновременно менялись три гиперпараметра, что затрудняет установление причины.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

tt-x15-megatron — step 51 (X15 Megatron entropy rescue)

GRPO checkpoint from the TaskTrove X15 experiment, trained on Iris / CoreWeave (cw-rno2a, 4x8 H100, Megatron runtime). Base model Qwen/Qwen3-Coder-30B-A3B-Instruct, trained on DCAgent/exp_rpt_multifile with SkyRL + Terminus-2. X15 tested whether lr 8e-6 + eps_clip_low 0.3 + temp 1.2 prevents the X14 Megatron late collapse; the answer is negative — the arm collapsed the same way.

Checkpoint selection

global_step_51 — the owner-confirmed campaign selection (trailing-5 0.2199; step reward 0.2441; pass@8 0.4219; entropy 0.0194), the best pre-collapse saved checkpoint (near-tie with step 39 within smoothing flavor). Exported on-Iris from the sharded Megatron checkpoint bank (427.7 GB distcp, 30 objects) via the checkpoint-export job at the saved policy geometry (2x8 H100).

Run status — KILLED at 101/400 (COLLAPSED)

Reward peaked ~0.2273 trailing-5, collapsed to ~0 at steps 84/86 and held ~8% of peak for 13+ steps while tokens shrank 9.2k -> 7.6k. Mechanism (first identified for this family): entropy collapse shortened per-turn output until agents exhausted max_turns: 30 unfinished (cap-hitters 23% -> 100%, tokens/turn 572 -> 281). Not infrastructure. Not an admissible horizon result; the arm is preserved as the collapse-family negative control. Confound: three hyperparameters moved at once.

See training_logs/ for metrics.csv (stitched per-step curve + trailing-5 EMA), report.md, reward_plot.png, and the launch rl_config.yaml. W&B: dogml/OpenThoughts-Agent v5dzu6fw.

Training Traces

open-athena/tt-x15-megatron — 1/8 systematic subsample (every 8th trial of 53,411 = 6,677 selected, uniform coverage of steps 1-101). The full set (~256 GB) exceeded the sync host's free disk (47 Gi); 1/4 (~64 GB) also did not fit. Documented, owner-precedented deviation (same rule as tt-x10-fsdp2-fa2: smallest stride that fits).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen3MoeForCausalLM
Ревизия весов: 09a6037