Характеристики

Контекст: 262 144 токена
Параметры: 581 млн
Размер весов: 2 ГБ
Архитектура: qwen3_5_text · dense
Базовая модель: Qwen3.5-0.8B
Библиотека: transformers
Опубликована: 19 сен 2026

Ссылки

Hugging Face

Qwen35-0.8B-FlyEmbedding-v31

vtava

Генерация текстаТекст → текст3 профессии

Экспериментальная доработка Qwen3.5-0.8B с адаптером FlyEmbedding-v3.1 для генерации текста и диалогов.

294скачиваний за 30 дней0лайковвеса обновлены19 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Qwen35-0.8B-FlyEmbedding-v31 — экспериментальный чекпойнт проекта TinyCeNN-LM на базе Qwen/Qwen3.5-0.8B с остаточным адаптером FlyEmbedding-v3.1, ориентированным на сохранение исходного поведения модели. Это плотная причинная языковая модель с архитектурой Qwen3_5ForCausalLM, опубликованная в формате safetensors и рассчитанная на генерацию текста и диалоговое применение. В метаданных указаны 581,4 млн параметров и контекст до 262 144 токенов.

Чекпойнт предназначен для экспериментальной генерации текста и изучения адаптации языковой модели через FlyEmbedding. В отчёте о сохранении зафиксирована остановка на шаге 100 после пересечения границы сохранения поведения; приведённые метрики не следует считать опубликованными результатами оценки на отложенной выборке. Качество генерации может заметно отличаться от базовой модели. Датасет не зафиксирован в карточке. Лицензия в предоставленных данных не указана.

Сценарии применения

эксперименты с адаптацией компактной языковой модели
генерация текста в исследовательских прототипах
проверка сохранения поведения базовой модели при дообучении

Ограничения

Это исследовательский чекпойнт; качество генерации может заметно отличаться от базовой модели. Приведённые метрики не обозначены как результаты оценки на отложенной выборке, а использованный датасет не зафиксирован.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen35-0.8B-FlyEmbedding-v31

Research artifact from TinyCeNN-LM. Architecture: Qwen3.5-0.8B + FlyEmbedding-v3.1 preservation-first residual adapter.

Architecture

Architecture/run type: Qwen3.5-0.8B + FlyEmbedding-v3.1 preservation-first residual adapter
Base model: Qwen/Qwen3.5-0.8B
Dataset: Not recorded
Source code: https://github.com/vtavakkoli/TinyCeNN-LM

Latest saved results

Metric	Value
`stop_reason`	preservation boundary crossed at step 100: top1=0.984375, kl=0.000834

The Hugging Face repository keeps timestamped run artifacts under runs/. This preserves training reports, configs and run metadata independently of the temporary Colab filesystem.

Saved experiment files

config.json
flyembedding_report.json
generation_config.json
lm_eval_fly_results.json
lm_eval_qwen_results.json
tokenizer_config.json

Reproducibility

Run the matching notebook from the TinyCeNN-LM repository. Colab notebooks use a Hugging Face write token from the HF_TOKEN Colab Secret; tokens should never be pasted into notebook source.

Limitations

This is a research checkpoint. Metrics saved here are the metrics produced by the corresponding training notebook/script; unless explicitly marked as held-out evaluation, they should not be treated as publication-grade benchmark results. Generation quality can differ substantially from the base model.

Citation

If you use this experimental checkpoint, cite the TinyCeNN-LM repository and the upstream base model.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Репозиторий недоступен на Hugging Face.

Класс архитектуры: Qwen3_5ForCausalLM
Ревизия весов: d5fab81