/ Модель

Характеристики

Контекст
262 144 токена
Параметры
3,4 млрд
Лицензия
Apache 2.0
Архитектура
qwen3_5_text · dense
Базовая модель
Qwen3.5-4B
Библиотека
transformers
Опубликована
6 сен 2026

ps4mas-sft-4b-claude-low400-ep3-mask16k

Генерация текстаТекст → текст4 профессии

Дообученная версия Qwen3.5-4B для генерации текста и диалоговых ответов, обученная на диалоговых данных, дистиллированных из Claude.

107скачиваний за 30 дней0лайковвеса обновлены6 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

yinita/ps4mas-sft-4b-claude-low400-ep3-mask16k — дообученная методом полного SFT текстовая модель на базе Qwen/Qwen3.5-4B. Она воспроизводит экспериментальную конфигурацию SFT на 9B, используя тот же набор данных диалогов, дистиллированных из ответов Claude, и маскирование потерь по сообщениям. Обучение проводилось в течение трёх эпох с learning rate 2e-5; максимальная длина последовательности при обучении составляла 16 384 токена.

Модель предназначена для генерации текста и диалоговых ответов. Архитектура — плотная Qwen3.5, класс Qwen3_5ForCausalLM; в репозитории заявлено 3,4 млрд параметров. Контекст модели — до 262 144 токенов. Веса сохранены в safetensors и используются через Transformers. Лицензия — Apache-2.0. README не приводит оценки качества этой версии или перечень поддерживаемых языков; базовая карточка Qwen указывает мультимодальные возможности, но для этой производной модели метаданные подтверждают только текстовую генерацию и чат.

Сценарии применения

  • генерация диалоговых ответов
  • создание текстовых ответов в стиле обучающих диалогов
  • экспериментальное воспроизведение SFT-конфигурации на 4B
  • тестирование маскирования потерь по сообщениям при дообучении языковых моделей

Ограничения

README не сообщает результатов оценки качества этой версии или поддерживаемых языков. Маскирование потерь и длина последовательности 16 384 токена относятся к настройке обучения и сами по себе не подтверждают качество на длинном контексте.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ps4mas-sft-4b-claude-low400-ep3-mask16k

Full-FT Qwen/Qwen3.5-4B reproducing: 9B sft_full_9b_claude_low400_ep3 (tiny_eval 3.682); 4B repro with message_loss_mask + max_seq=16384

9B originalthis 4B
Datadata/sft_splits/claude_distill/sft_claude_teacher_chat.masked.jsonl (1276 hops)same
Objectivefull sequence SFT (no LoRA)same
Epochs / lr3 / 2e-5same
Batchper-device 1, grad accum 2, 8 GPU ZeRO-2same
Seq4096same

Local path: results/0903/sft_full_4b_claude_low400_ep3_mask16k
Uploaded: 2026-09-06T05:33:39.014259+00:00

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("yinita/ps4mas-sft-4b-claude-low400-ep3-mask16k", trust_remote_code=True)
tok = AutoTokenizer.from_pretrained("yinita/ps4mas-sft-4b-claude-low400-ep3-mask16k", trust_remote_code=True)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3_5ForCausalLM
Ревизия весов
bba9ac9

0 моделей