Характеристики

Контекст: 262 144 токена
Параметры: 2,6 млрд
Размер весов: 61,1 ГБ
Лицензия: Apache 2.0
Архитектура: qwen3_moe · MoE
Базовая модель: Qwen3-Coder-30B-A3B-Instruct
Библиотека: transformers
Опубликована: 18 авг 2026

Ссылки

tt-x16-entropy0p003-42-30B

Генерация текстаТекст → текст11 профессий

Экспериментальный чекпойнт Qwen3-Coder, дообученный методом GRPO для генерации текста и диалоговых задач, включая программирование и агентные сценарии.

161скачиваний за 30 дней0лайковвеса обновлены4 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

laion/tt-x16-entropy0p003-42-30B — экспериментальный чекпойнт шагa 42, созданный в ходе исследования TaskTrove X16. Это дообучение инструктивной MoE-модели Qwen3-Coder-30B-A3B-Instruct методом GRPO с бонусом энтропии 0,003; модель предназначена для генерации текста и диалогового взаимодействия, в том числе для программирования и агентных сценариев. Использует архитектуру Qwen3 MoE, содержит 2,6 млрд параметров и поддерживает контекст до 262 144 токенов.

Чекпойнт выбран как лучший по скользящей EMA награды среди сохранённых шагов этого запуска. Эксперимент остановили на шаге 92 из 400 после снижения награды и энтропии; README характеризует результат как отрицательный контроль: бонус энтропии не удержал исследование на данном расписании обучения. Модель опубликована в формате safetensors под лицензией Apache-2.0.

Сценарии применения

генерация ответов в диалоге
помощь с программированием
проверка экспериментальных настроек GRPO
исследование поведения языковой модели при длинном контексте

Ограничения

Запуск остановлен на шаге 92 из 400 после коллапса награды и снижения энтропии; авторы отмечают, что бонус энтропии 0,003 не удержал исследование. Результат не является подтверждённым итогом полного горизонта обучения.

Для каких профессий подходит11

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.3Разработка и данныеРефакторинг, миграция и модернизацияAI помогает улучшать структуру программ и переносить их на новые технологии без потери поведения.20 задач9 764модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

tt-x16-entropy0p003 — step 42 (X16 entropy bonus 0.003)

GRPO checkpoint from the TaskTrove X16 exploration sweep (entropy-bonus lever on the X14 Megatron recipe), trained on Iris / CoreWeave (cw-rno2a, 4x8 H100, Megatron runtime 6a25520f). Base model Qwen/Qwen3-Coder-30B-A3B-Instruct, trained on DCAgent/exp_rpt_multifile with SkyRL + Terminus-2. This arm added entropy_loss_coef 0.003 to test whether an entropy bonus holds exploration on the collapsing Megatron schedule (relaunch r2 on the #404 entropy-loss fix).

Checkpoint selection

global_step_42 — highest trailing-5 reward EMA (alpha=1/3) over the stitched two-generation W&B curve (steps 1-92, no gaps): EMA 0.2268; step reward 0.2520; pass@8 0.375; entropy 0.0237. This matches the owner's "best single reads 42-43" note. All 31 banked checkpoints (steps 3-90) were retained, so the true EMA-best was available (unlike the Jupiter KL arms). Exported on-Iris via the checkpoint-export job at the saved policy geometry (2x8 H100, Megatron profile).

Run status — killed at 92/400 after COLLAPSE (POLICY stop condition met)

The arm cleared its early gate and improved to ~0.25 reward, then collapsed in epoch 2 from ~step 77: reward 0.02-0.05 for steps 77-88, entropy at 0.06x step 1, grad norm decaying — the POLICY stop condition. Verdict: an entropy bonus of 0.003 does NOT hold exploration on this schedule. Not an admissible horizon result; preserved as the entropy-lever negative control. Stopped by owner decision 2026-08-18 (job killed at logged step 92; banked 90).

See training_logs/ for metrics.csv (stitched per-step curve + trailing-5 EMA), report.md, reward_plot.png, and the launch rl_config.yaml. W&B: dogml/OpenThoughts-Agent runs zgyhu8oc + vne6jh9g (r2 generations).

Training Traces

open-athena/tt-x16-entropy0p003 — 1/16 systematic subsample (every 16th trial of 51,701, uniform coverage of steps 1-92). The full set (~248 GB) and 1/8 (~31 GB) exceeded the sync host's free disk (28 Gi); smallest-stride-that-fits per the owner-precedented deviation rule (x10/x15 used 1/8 under more headroom).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen3MoeForCausalLM
Ревизия весов: 7858b3c