/ Модель
Каталог

Характеристики

Лицензия
Apache 2.0
Библиотека
transformers
Опубликована
27 авг 2026

Ссылки

Hugging FacearXiv 2512.07175

SPACE_Qwen3-4B

HoangTran223
Генерация текстаТекст → текст

Экспериментальная версия Qwen3-4B, дообученная методом self-play SPACE для диалоговой генерации текста на промптах UltraChat.

0скачиваний за 30 дней0лайковвеса обновлены6 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SPACE Qwen3-4B — экспериментальная модель генерации текста от HoangTran223, полученная применением метода self-play SPACE к Qwen3-4B SFT, дообученной на UltraChat. Итоговая политика находится в чекпойнте ite3; в репозитории также сохранены три предыдущие итерации и обучающие генерации. Для обучения использовалась подвыборка из 50 тысяч промптов UltraChat, а максимальная длина последовательности составляла 1024 токена.

Модель предназначена для диалоговой генерации текста и ответов на пользовательские запросы. Она загружается через Transformers как AutoModelForCausalLM и распространяется в формате safetensors по лицензии Apache-2.0. Метаданные указывают английский язык; отдельные сведения о контекстном окне при использовании модели не приведены. Карточка описывает один экспериментальный запуск и не приводит оценок качества или сравнительных результатов.

Сценарии применения

  • генерация ответов в диалоге на английском языке
  • создание чат-бота общего назначения
  • ответы на пользовательские текстовые запросы

Ограничения

В карточке нет оценок качества или сравнений с другими моделями. Обучение ограничено подвыборкой UltraChat, а максимальная длина последовательности при обучении составляла 1024 токена.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SPACE Qwen3-4B (Ultrachat)

Self-play SPACE (Wang et al., NeurIPS 2025) run on Qwen3-4B SFT (HoangTran223/qwen3_4b_sft_ultrachat200k_20260818_170154).

  • Prompts: UltraChat 50k subset of HuggingFaceH4/ultrachat_200k
  • Loss: SPACE (mu=1.0), RMSProp, batch 2 × grad accum 2, max_length=1024
  • LR: 5e-7 (ite0–1), 1e-7 (ite2–3)

All 4 iterations finished. ite3/ is the final policy.

from transformers import AutoModelForCausalLM
m = AutoModelForCausalLM.from_pretrained("HoangTran223/SPACE_Qwen3-4B", subfolder="ite3")

Layout

  • ite0/, ite1/, ite2/, ite3/: finished checkpoints + generated train.jsonl
  • data/Ultrachat50k/train.jsonl: prompts used for generation
  • scripts/SPACE_full_qwen3_4b.sh: launch script
  • logs/: wandb offline runs, Hydra configs, tmux stdout

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
195e049

0 моделей

    Создать бенчмарк