Компактная дообученная на Counter-SFT-01 диалоговая модель для генерации ответов с соблюдением формата, разрешённых действий и бюджета.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Counter-SFT-01 — компактная диалоговая модель, разработанная Ishagarg1103 путём полного supervised fine-tuning модели Qwen3.5-0.8B в формате BF16 на наборе данных Counter-SFT-01. Она предназначена для генерации ответов в сценариях, где требуется следовать заданному формату и ограничениям, выбирать разрешённые действия и учитывать бюджет. В описании приведены результаты: успешность выполнения задачи составила 56,7% на валидационной выборке и 60,0% на тестовой; корректность разбора, форматирования, допустимых действий, бюджета и итогового поля достигла 100% на всех оценённых выборках.
Модель основана на плотной архитектуре Qwen3.5 и доступна через Transformers в формате safetensors. Метаданные указывают поддержку чата и текстовой генерации. Основной известный недостаток — ошибки в арифметике; результаты относятся к указанным оценочным выборкам и не гарантируют аналогичного качества в других сценариях. Лицензия в предоставленных данных не указана.
Арифметика была основной категорией ошибок в оценивании. Приведённые показатели относятся к указанным выборкам и могут не отражать качество на других задачах.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Full-parameter BF16 supervised fine-tuning of Qwen3.5-0.8B on the Counter-SFT-01 dataset.
| Split | Task success |
|---|---|
| Balanced train sample | 65.6% |
| Validation | 56.7% |
| Test | 60.0% |
| Challenge template D | 36.7% |
Parse, format, allowed-action, budget, and final-field validity were 100% on every evaluated split. Arithmetic remained the main failure category.
Generation uses <|im_end|> token ID 248046 as EOS and PAD.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…