II.7DevOps, облако и эксплуатация IT-систем

LFM2.5-8B-A1B-DSpark — черновая модель speculative decoding от Liquid AI для ускорения генерации целевой модели LiquidAI/LFM2.5-8B-A1B. В SGLang она предлагает блоки токенов, которые целевая модель проверяет; согласно карточке, этот способ сохраняет результат генерации таким, каким он был бы без черновой модели. Указано ускорение декодирования примерно в 2,6 раза в SGLang и поддержка запуска на устройствах Apple с Metal. Модель использует архитектуру DSpark с пятью слоями полного внимания, Markov head ранга 256 и confidence head. В README указано 327,7 млн параметров в BF16, размер блока 9 и словарь из 128 000 токенов; в метаданных каталога указано 503,3 млн параметров. Контекст целевой модели составляет до 128 000 токенов. Для работы модель подключается к целевой LFM2.5-8B-A1B через сборку SGLang с поддержкой DSpark. Она предназначена для ускорения инференса совместимой целевой модели, а не для самостоятельной генерации. Лицензия указана как other; конкретные условия использования следует сверить с карточкой модели.

SergiioB опубликовал реконструкцию черновой модели Nemotron-3.5-Lightning DFlash для запуска через vLLM на Intel XPU. Это не самостоятельная чат-модель: её используют как draft-модель спекулятивного декодирования вместе с целевой моделью GPTQ INT4 G64-sym. По карточке это архитектура Qwen3 с классом DFlashDraftModel; в репозитории указаны 741,7 млн параметров, формат safetensors и контекст до 1 048 576 токенов. Веса реконструированы из NVFP4 в BF16, чтобы совместимый образ vLLM XPU мог загрузить официальный DFlash-спекулятор. Автор описывает копирование BF16-тензоров и деквантизацию NVFP4-тензоров MLP и fc. На Intel Arc Pro B70 с целевой GPTQ-моделью приведены замеры скорости генерации и принятия спекулятивных токенов; результаты относятся к конфигурации и условиям тестирования из карточки. Лицензия указана как other, поэтому перед использованием следует проверить условия исходной модели и репозитория.

Qwen3.5-35B-A3B-DFlash — черновая модель DFlash, совместно переобученная Z-Lab и Modal для базовой модели Qwen/Qwen3.5-35B-A3B. Она не является самостоятельной языковой моделью: её подключают к целевой модели в сервере инференса со спекулятивным декодированием, например SGLang с поддержкой DFlash. Модель использует облегчённый черновой блоковый диффузионный подход: параллельно предлагает несколько токенов, которые целевая модель проверяет. Это позволяет увеличить пропускную способность генерации, сохраняя распределение выходов целевой модели. В карточке указаны 798 млн параметров, контекст 262 144 токена и обучение на последовательностях длиной 40 000 токенов со скользящим вниманием. В тестах авторов на NVIDIA B200 ускорение достигало 3,71 раза при конкурентности 1 и 2,89 раза при конкурентности 32; показатели зависят от нагрузки и настроек. Модель рассчитана на ускорение серверной генерации текста целевой моделью, включая задачи рассуждений и генерации кода, представленные в тестах GSM8K, MATH500 и HumanEval. Для работы нужны совместимая целевая модель и сервер с поддержкой DFlash; сама по себе эта модель текст не генерирует. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.5-4B-TMax-CISPO — дообученная модель семейства Qwen3.5, созданная автором репозитория на базе Qwen/Qwen3.5-4B. Она обучена методом CISPO в среде TMax-15K с асинхронным сбором запусков и обучением; агент использует интерфейс команд Terminus-2. Модель предназначена для экспериментов с RL для терминальных агентов и выполнения командных сценариев короткой и умеренной сложности. Это плотная модель на 4 млрд параметров в формате safetensors, работающая через Transformers; базовая модель мультимодальна, но данное обучение использовало только текстовые данные. Модель не настроена для универсального диалога. Лицензия — Apache-2.0.

Supra-Router-51M-zh-cn — компактная причинная языковая модель семейства Llama, дообученная разработчиком aifeifei798 на SupraLabs/Supra-Router-51M для маршрутизации запросов между локальной малой моделью и облачной большой моделью. Принимая текстовый запрос в формате `Task: [запрос]\nAnalysis: `, она генерирует строку с предполагаемой областью, оценкой сложности, признаками математики и кода, рекомендуемым маршрутом и кратким обоснованием. Модель содержит 51,8 млн параметров и рассчитана на контекст до 5120 токенов; карточка указывает английский и китайский языки, а примеры этой версии включают запросы на китайском. Назначение модели — предварительная классификация и маршрутизация пользовательских запросов в системах с несколькими моделями, в том числе на периферийных устройствах. Она генерирует структурированные текстовые признаки, а не выполняет саму маршрутизацию как отдельное действие. Обучение этой версии описано как дообучение на китайском наборе данных маршрутизации; указанная в общей карточке базовой модели схема меток определяет домен, сложность, наличие математики и кода, а также выбор малой или большой модели. Модель распространяется в формате safetensors по лицензии Apache-2.0. Небольшой размер позволяет рассматривать её для лёгкого предварительного отбора запросов, однако README сообщает о наборе всего из 992 примеров и не приводит независимой оценки качества именно этой версии. Структурный формат входа и выхода важен для применения; качество классификации и маршрутизации за пределами обучающих примеров может быть ограниченным.

A.X K2 DSpark — вспомогательная модель чернового декодирования от SK Telecom для A.X K2. Это не самостоятельная языковая модель: её подключают вместе с целевой моделью в vLLM для ускорения генерации текста методом speculative decoding. Черновая модель предлагает несколько токенов параллельно, используя скрытые представления A.X K2 и лёгкое моделирование зависимостей между позициями; затем A.X K2 проверяет предложения и определяет итоговые токены. Архитектура включает трёхслойный черновой модуль в стиле Qwen3, Markov head и confidence head. Модель рассчитана на A.X K2 — MoE-модель с 688 млрд общих и 33 млрд активных параметров — и конфигурацию с контекстом 256K. Внутренние тесты на английском и корейском языках, математике, науке и коде показали примерно 1,8-кратный рост пропускной способности в однопоточном режиме; реальное ускорение зависит от нагрузки, длины вывода, параллелизма и доли принятых черновых токенов. При точной проверке выходное распределение целевой модели сохраняется. Модель предназначена для сервинга A.X K2 через форк vLLM SK Telecom и не заявлена как совместимая с другими целевыми моделями или вариантами A.X K2. Для динамического чернового декодирования в описанной версии vLLM требуется отключить асинхронное планирование. Лицензия — Apache-2.0; README указывает, что применяются те же сценарии использования, что и для A.X K2.

Qwen3-8B-DFlash-b16 — вспомогательная модель-черновик для ускорения генерации текста методом speculative decoding. Она разработана для работы вместе с целевой моделью Qwen/Qwen3-8B: DFlash использует лёгкую блочную диффузионную модель, чтобы параллельно предлагать продолжения, которые затем проверяет целевая модель. Это не самостоятельная чат-модель; её назначение — ускорять инференс целевой модели без потери точности. В README заявлено ускорение до 6,17 раза для Qwen3-8B, однако результат зависит от условий запуска и конфигурации. В репозитории указаны архитектура DFlashDraftModel семейства Qwen3, библиотека Transformers, формат safetensors и контекст 40 960 токенов. Для загрузки требуется включить trust_remote_code=True; также описана поддержка SGLang, а интеграция с vLLM на момент карточки находилась в разработке. Модель содержит 1,2 млрд параметров. Лицензия — MIT.

Карточка модели manateelazycat/GLM-5.3-Flash-DFlash2 на Hugging Face совпадает с карточкой incoai/GLM-5.3-Flash-DFlash2, поэтому описание составлено по ней. GLM-5.3-Flash-DFlash2 — черновая модель DFlash 2 на 1,6 млрд параметров для ускорения генерации текста базовой GLM-5.3-Flash. Это не самостоятельная языковая модель: она работает внутри сервера спекулятивного декодирования вместе с целевой моделью zai-org/GLM-5.3-Flash, которая проверяет предложенные токены. В метаданных указаны архитектура семейства Qwen3, класс DFlash2DraftModel и формат safetensors. Модель за один проход предсказывает блок токенов и сохраняет несколько кандидатов для каждой позиции; лёгкий селектор строит из них согласованную последовательность. По README, двухтактные динамические свёртки помогают сохранять качество предсказаний в конце блока. Декодирование заявлено как без потерь: жадный вывод совпадает с выводом целевой модели, а при сэмплировании сохраняется её распределение. Контекст базовой модели указан в метаданных как 1 048 576 токенов; это характеристика базовой модели, а не самостоятельный контекстный режим черновой модели. Модель предназначена для интеграции со SGLang и спекулятивного декодирования GLM-5.3-Flash. Контрольная точка опубликована 27 августа 2026 года; результаты бенчмарков, согласно README, ещё перепроверяются. Лицензия CC BY-NC-ND 4.0 ограничивает использование и распространение производной версии; перед внедрением следует проверить её условия и совместимость с лицензией базовой модели.

Ling3-DSpark — модель-черновик для спекулятивного декодирования целевой Ling-3.0-flash, опубликованная inclusionAI. Она предлагает токены-кандидаты, которые целевая модель проверяет при генерации текста, чтобы ускорить инференс без замены целевой модели. Модель обучена с помощью SpecForge и предназначена для запуска через SGLang или сборку llama.cpp с поддержкой DSpark. Архитектура — плотная модель семейства Qwen3 с классом LingDSparkModel; в метаданных указан размер 769,4 млн параметров, а в README отдельно указаны 1,36 млрд параметров черновой части. Модель содержит пять слоёв полного внимания, использует MHA с 32 головами запросов и 32 головами ключей и значений, вспомогательные признаки целевой модели и голову уверенности, которая динамически выбирает число черновых токенов. Размер блока — 8 токенов, максимальная длина позиций — 262 144. В тестах README средняя длина принятых токенов по девяти нагрузкам составила 5,29; для GSM8K, MATH-500 и AIME 2025 приведены отдельные значения. Это специализированный компонент ускорения текстовой генерации, которому нужна совместимая целевая модель Ling-3.0-flash и среда выполнения с поддержкой DSpark; он не предназначен для самостоятельного диалога или генерации без целевой модели. Репозиторий содержит веса Safetensors, а лицензия в метаданных обозначена как other без уточнения условий.

AICP-Labs публикует DFlash — черновую модель для ускорения спекулятивного декодирования вместе с целевой Qwen3-32B. Модель имеет плотную архитектуру DFlashDraftModel и содержит около 3 млрд параметров; для работы её используют с целевой моделью через SpecForge. Заявленный контекст — 40 960 токенов. Модель обучена на подмножестве EagleChat примерно из 400 тысяч примеров: около 200 тысяч на английском и 200 тысяч на китайском. Она предназначена для ускорения генерации целевой модели, а не для самостоятельного применения как универсальный чат-ассистент. В описанных тестах на H100 показано ускорение на наборах задач, однако результаты зависят от оборудования и параметров запуска. Репозиторий использует формат safetensors и лицензию Apache-2.0.

Это вспомогательная модель EAGLE3, разработанная Thoughtworks для ускорения генерации Qwen/Qwen3-8B. Она обучена методом EAGLE3 на Google Cloud TPU с использованием SpecJAX и предназначена для спекулятивного декодирования: модель предлагает несколько следующих токенов, а целевая Qwen3-8B проверяет их параллельно. В README заявлен типичный прирост пропускной способности в 2–3 раза без изменения качества итогового вывода; фактический результат зависит от оборудования, запросов и версии среды выполнения. Модель представляет собой однослойную трансформерную черновую голову, принимающую скрытые состояния целевой модели. В карточке указано 815,3 млн параметров; архитектура обозначена как LlamaForCausalLM, формат весов — safetensors. Поддерживается запуск с SGLang на GPU и TPU через sglang-jax; режимы thinking и no_think Qwen3 совместимы с этой головой. Лицензия — Apache-2.0. Это не самостоятельная модель для обычной генерации: для работы ей нужна целевая Qwen/Qwen3-8B и совместимая среда спекулятивного декодирования. Черновая голова обучена преимущественно на англоязычных инструкциях, поэтому на других языках и узкоспециализированных запросах её эффективность может снижаться. Приведённые показатели принятия токенов получены на обычных чат-запросах без thinking и могут отличаться на других запросах.

Aurora-Spec-Minimax-M2.1 — черновая модель EAGLE3 от Together Computer для ускорения генерации MiniMax M2.1 с помощью спекулятивного декодирования. Она создаёт кандидаты токенов, которые целевая модель проверяет параллельно; модель обучена с нуля в рамках онлайн-обучения Aurora на 44 000 запросах к инференсу. Несмотря на случайную инициализацию и обучение с нуля, метаданные каталога указывают MiniMax/M2.1 как базовую модель для тонкой настройки. Модель построена на однослойном декодере Transformer с архитектурой Llama EAGLE3 и содержит 715,3 млн параметров. Для MiniMax M2.1 рекомендован lookahead 4: в описанном тесте при размере батча 1 средняя длина принятого фрагмента составила 2,62 токена, а ускорение — 1,57×; результат зависит от размера батча и конфигурации. Модель предназначена именно для черновой генерации в совместимом конвейере EAGLE3, а не для самостоятельного диалога. Поддерживается английский язык. Лицензия — Apache-2.0.

GLM-5.3-Flash-DFlash2 — черновая модель DFlash 2 на 1,6 млрд параметров для ускорения генерации текста базовой GLM-5.3-Flash. Это не самостоятельная языковая модель: она работает внутри сервера спекулятивного декодирования вместе с целевой моделью zai-org/GLM-5.3-Flash, которая проверяет предложенные токены. В метаданных указаны архитектура семейства Qwen3, класс DFlash2DraftModel и формат safetensors. Модель за один проход предсказывает блок токенов и сохраняет несколько кандидатов для каждой позиции; лёгкий селектор строит из них согласованную последовательность. По README, двухтактные динамические свёртки помогают сохранять качество предсказаний в конце блока. Декодирование заявлено как без потерь: жадный вывод совпадает с выводом целевой модели, а при сэмплировании сохраняется её распределение. Контекст базовой модели указан в метаданных как 1 048 576 токенов; это характеристика базовой модели, а не самостоятельный контекстный режим черновой модели. Модель предназначена для интеграции со SGLang и спекулятивного декодирования GLM-5.3-Flash. Контрольная точка опубликована 27 августа 2026 года; результаты бенчмарков, согласно README, ещё перепроверяются. Лицензия CC BY-NC-ND 4.0 ограничивает использование и распространение производной версии; перед внедрением следует проверить её условия и совместимость с лицензией базовой модели.

SOC Analyst Tool-Use Model — языковая модель команды Aria AI Security Research Team, дообученная методом QLoRA на базе Qwen/Qwen2.5-1.5B-Instruct. Модель предназначена для поддержки работы аналитиков SOC: формирует структурированные вызовы инструментов для поиска журналов событий, получения контекста узла и пользователя, поиска техник MITRE, обогащения IP-адресов, построения временной шкалы и отправки отчётов об инцидентах. Модель имеет плотную архитектуру Qwen2 и 1,5 млрд параметров, принимает текст и выдаёт текстовые ответы и вызовы инструментов. Контекстное окно составляет 32 768 токенов. Она обучалась на 84 эпизодах обучающей части SOC-AgentBench; в карточке приведены результаты бенчмарка по распознаванию техник, точности доказательств и определению первопричины. Эти результаты указывают на ограничения точности, особенно при установлении первопричин. Указана лицензия Apache-2.0.

ArchiveStudio публикует Gemma 4 31B IT Assistant — инструкционно настроенную модель семейства Gemma 4 от Google DeepMind. Карточка указывает, что это MTP-драфтер: облегчённая вспомогательная модель, предназначенная для ускорения генерации в конвейере speculative decoding. Она предлагает несколько токенов-кандидатов, которые целевая модель проверяет параллельно; по заявлению карточки, это может ускорить декодирование до 3 раз без изменения качества относительно обычной генерации. Модель построена на плотной архитектуре Gemma4AssistantForCausalLM и распространяется в формате safetensors через Transformers. Семейство Gemma 4 поддерживает ввод текста и изображений, генерацию текста, рассуждения, программирование, анализ документов и работу с инструментами; в README заявлены контекст до 256 тысяч токенов и многоязычная поддержка. Упоминания аудио относятся только к меньшим вариантам E2B и E4B и не подтверждают аудиовозможности этой 31B модели. Основной сценарий — ускорение генерации с помощью совместимой целевой модели, а не самостоятельное решение произвольных задач. Для использования MTP-драфтера нужен соответствующий speculative decoding конвейер и целевая модель. Лицензия — Apache 2.0.

Ornith-1.0-9B-DSpark — производственный черновой спекулятор DSpark от Stanley Phoong для ускорения генерации моделью deepreinforce-ai/Ornith-1.0-9B. Это не самостоятельная языковая модель: артефакт содержит BF16-веса черновой модели на архитектуре Qwen35DSparkModel с пятью слоями, которая предлагает блоки токенов, а целевая модель-проверяющий принимает или отклоняет их. Для работы нужны точная совместимая версия Ornith-1.0-9B и специальная поддержка DSpark в serving-стеке на базе vLLM. Модель предназначена для спекулятивного декодирования текстовой генерации. На тестовой конфигурации Ornith, vLLM и NVIDIA B200 средняя длина принятого блока составила 4,5865 токена, а квалификационные проверки прошли 17 из 17. Эти результаты относятся к указанной конфигурации и не гарантируют аналогичного ускорения на другом оборудовании или при иных настройках. Маршрут DSpark проверен для запросов, где сумма длины промпта и запрошенного ответа не превышает 4096 токенов; более длинные запросы следует направлять напрямую в целевую модель, поддерживающую контекст до 262144 токенов. Черновик специфичен для Ornith-1.0-9B, не является чат-моделью или универсальным генератором, а мультимодальная работа не проверялась. Лицензия — MIT.

Это дообученный черновой спекулятор DSpark от catplusplus для ускорения генерации текста целевыми моделями Qwen3.8-27B при спекулятивном декодировании. Он предназначен для совместного использования с целевой моделью и средой инференса, поддерживающей DSpark; README приводит пример запуска через SGLang. Заявлены контекст до 262 144 токенов и архитектура DSparkDraftModel семейства Qwen3. В README указаны черновые параметры BF16 и средняя длина принятой последовательности около 3,4 токена на шаг проверки в описанной оценке. Модель специализируется на предложении черновых токенов, которые целевая модель проверяет, поэтому сама по себе не является обычной самостоятельной чат-моделью. Карточка сообщает, что абляция и квантизация исходной модели снизили точность MTP, а настройка была направлена на её восстановление. Для запуска требуются совместимые версии SGLang и целевая модель; лицензия обозначена как other, поэтому условия использования следует уточнять по карточке репозитория.

PixelML/Qwen3.8-Flash-Next-NVFP4-DFlash — вспомогательная DFlash-модель для спекулятивного декодирования с целевой моделью nvidia/Qwen3.8-Flash-Next-NVFP4. Она разработана как экспериментальный черновой блок: за один параллельный проход предлагает несколько токенов, которые целевая модель может принять. Веса эмбеддингов и выходной проекции не включены, поэтому чекпойнт сам по себе не запускается и должен связываться с целевой моделью при загрузке. Модель основана на Qwen3.8-Flash-Next-NVFP4, использует пять черновых слоёв и проекцию fusion; в метаданных указаны 1 млрд параметров и контекст 262 144 токена. Репозиторий содержит веса в safetensors. В описанном тесте на DGX Spark в eager-режиме она превысила настроенный базовый MTP-вариант на 3,87% по общей пропускной способности, однако авторы подчёркивают, что результаты ограничены небольшим числом запусков и фиксированным набором условий. Это исследовательский артефакт, а не поддерживаемый продукт. Ускорение не проверено для графового режима, параллельной нагрузки, длинного контекста, режима thinking и генерации с выборкой; точность без потерь подтверждена лишь для ограниченного сценария. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели.

Shankarblr/Qwen2.5-1.5B-TechWriter-Instruct — специализированная текстовая модель, созданная дообучением Qwen/Qwen2.5-1.5B-Instruct методом QLoRA с последующим объединением адаптера с базовыми весами. Модель предназначена для англоязычных технических материалов о полупроводниковых компонентах и межсоединениях для центров обработки данных: продуктовых описаний, списков характеристик, заметок по применению и разделов руководств CLI для адаптеров и коммутаторов. Модель содержит 1,5 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. Она также подходит для извлечения характеристик и кратких ответов на вопросы по предоставленному фрагменту, а также для подготовки внутренних черновиков в заданном стиле. По README, датасет включал извлечённые материалы производителей и синтетические документы; оценка проводилась по предсказанию следующего токена, а не по фактической точности сведений. Модель может придумывать артикулы, названия серий, характеристики и CLI-флаги, поэтому результаты требуют проверки по первоисточникам и не должны использоваться как авторитетные спецификации или публиковаться без редакторской проверки. Она рассчитана на английский язык и узкую техническую область, а не на общий диалог. Лицензия — Apache-2.0.

TechPrototyper/Qwen3.8-27B-DFlash2-fp8-vllm — это FP8-квантизированная draft-модель DFlash 2 для ускорения спекулятивного декодирования модели Qwen/Qwen3.8-27B в сервере vLLM. Архитектура и исходные веса разработаны Inco AI на основе подхода DFlash от z-lab, а FP8-реквантизация и упаковка для vLLM выполнены авторами данного репозитория. Модель не является самостоятельной языковой моделью: она генерирует блоки кандидатов, после чего каждый токен проверяется целевой моделью. DFlash 2 использует блочно-диффузионный подход: предсказывает блок токенов за один проход, сохраняет наиболее вероятные варианты для каждой позиции и с помощью селектора выбирает согласованную последовательность. Динамические свёртки с двумя tap-компонентами уменьшают деградацию качества к концу блока. Проекционные веса transformer-компонентов квантизированы в FP8 E4M3 с симметричными статическими поканальными масштабами, активации используют динамическое FP8-масштабирование по токенам; отдельные свёрточные компоненты, селектор, выходная голова, нормализации и embeddings сохранены в более высокой точности. Размер весов составляет около 2,1 ГБ, размер блока — 8 токенов, из которых 7 предлагаются для проверки за шаг. Модель предназначена для запуска внутри vLLM с поддержкой DFlash speculative decoding и требует целевой модели Qwen3.8-27B, метода dflash и загрузки через compressed-tensors. Её сильная сторона — потенциальное ускорение генерации при сохранении распределения и корректности вывода, поскольку все предложенные токены проверяет целевая модель; точность квантизации влияет главным образом на длину принятых последовательностей и скорость. Ограничения заключаются в невозможности самостоятельного использования и зависимости от специальной версии vLLM. Языки и размер контекстного окна в README не указаны. Лицензия — Apache-2.0.

Qwen3-8B-DFlash-b16 — это модель-черновик для метода спекулятивного декодирования DFlash, разработанного авторами проекта DFlash. Она использует компактную блочную диффузионную архитектуру для параллельной подготовки черновых токенов и должна работать совместно с целевой моделью Qwen/Qwen3-8B; самостоятельно как обычная разговорная модель не предназначена для использования. Модель поддерживает генерацию текста и рассчитана на ускорение вывода целевой Qwen3-8B без потери качества. В README сообщается об ускорении до 6,17 раза в оценке авторов. В метаданных указаны 1,6 млрд параметров, контекст до 40 960 токенов и формат safetensors. Для загрузки пользовательской архитектуры требуется включить trust_remote_code=True. Репозиторий распространяется по лицензии MIT. Практическое применение требует совместимой целевой модели Qwen/Qwen3-8B и интеграции с DFlash; заявленное ускорение зависит от сценария и условий оценки.

AEON-7/Gemma-4-E4B-it-Uncensored-NVFP4 — вспомогательная EAGLE-модель-драфтер для спекулятивного декодирования целевой модели TrevorJS/gemma-4-26B-A4B-it-uncensored. Она предназначена для ускорения генерации текста при развертывании Gemma 4 в vLLM, а не для самостоятельного использования в качестве полноценной языковой модели. Модель основана на архитектуре Gemma 4 E4B EAGLE Drafter и содержит 42 слоя: 35 со скользящим окном внимания и 7 с полным вниманием. Указаны размер скрытого состояния 2560, 8 attention heads, 2 KV heads, head_dim 256, глобальный размер головы 512, окно внимания 512 токенов и максимальный контекст 131 072 токена. Размер модели составляет около 9,6 ГБ, словарь насчитывает 262 144 токена. Модель квантизирована в формате NVFP4 AWQ с использованием NVIDIA ModelOpt 0.42.0. Основной сценарий применения — NVIDIA DGX Spark с GPU GB10 и архитектурой Blackwell, а также другие совместимые Blackwell GPU. Для работы требуются целевая NVFP4-квантизированная Gemma 4 26B MoE, специальные патчи для vLLM 0.19.1 и соответствующая конфигурация speculative decoding. README заявляет поддержку длинного контекста и ускорения генерации, однако конкретные показатели производительности не приведены. Ограничения включают зависимость от целевой модели, NVIDIA-оборудования, совместимой версии vLLM и обязательных патчей; модель не предназначена для автономного инференса. Указана лицензия gemma.

Qwen3.6-27B-DFlash — черновая модель для ускорения генерации текста методом speculative decoding DFlash. Её разработали как компонент drafter, который строит параллельные черновики блоками с помощью лёгкой модели диффузии. Для работы модель необходимо использовать вместе с целевой моделью Qwen/Qwen3.6-27B. В метаданных указаны архитектура DFlashDraftModel семейства Qwen3, 2,9 млрд параметров и контекстное окно до 262 144 токенов. Модель предназначена для ускорения инференса, а не для самостоятельного использования как обычная генеративная модель. README сообщает, что обучение ещё продолжается, поддержка движками инференса может быть неполной из-за архитектурных изменений, а результаты бенчмарков не приведены. Лицензия — MIT.

Qwen3.8-27B-Abliterated-Cyber-Preview — мультимодальная модель на 27 млрд параметров семейства Qwen3.5, созданная hotdogs как дообученная и объединённая с базовой моделью версия hotdogs/Qwen3.8-27B-abliterated. Она предназначена для авторизованных проверок безопасности: по описанию сценария выдаёт структурированные вызовы инструментов для тестирования на проникновение, а также отвечает на вопросы по кибербезопасности. Модель принимает текст и изображения и формирует текстовые ответы; поддерживает английский и китайский языки. Веса используют архитектуру Qwen3_5ForConditionalGeneration и формат safetensors. Сохранённая голова Multi-Token Prediction позволяет использовать self-speculative decoding в соответствующей сборке GGUF. В README приводятся результаты внутренней проверки: корректный формат вызова и выбор инструмента в шести тестовых сценариях, но выборка мала и не является независимой оценкой. Это предварительная версия, обученная на данных по агентному использованию инструментов; автор предупреждает, что модель не отказывает в ответах и может выдавать инструкции по эксплуатации систем. Применять её следует только для исследований безопасности и тестирования систем, на которые есть разрешение. Лицензия — Apache-2.0, унаследованная от базовой модели.

TeleLogs RCA Numeric + Text Fusion — классификатор первопричин для трасс тестирования 5G-сети TeleLogs, разработанный владельцем репозитория LoneWolfgang. Модель относит сырой текст вопроса о drive-test трассе к одному из восьми классов причин C1–C8 и может возвращать метки или вероятности классов. Архитектура объединяет числовую ветвь на основе MLP и текстовую ветвь MiniLM с классификационной головой confidence_concat. Модель включает обработку входа: извлекает признаки из исходной строки, преобразует их и выполняет предсказание. Предобработка и кодировщик меток сохранены вместе с весами; для неразбираемой трассы предусмотрен равномерный вероятностный ответ. В README приведена оценка на отложенной тестовой выборке, но численные метрики здесь не указаны. Модель специализирована на задачах RCA для сетевых трасс 5G и не предназначена для классификации произвольных текстов. Лицензия в предоставленных данных не указана.

tcclaviger/Qwen3.8-27B-DFlash2-FP8 — FP8-квантизированная версия черновой модели Qwen3.8-27B-DFlash2, разработанной Inco AI на основе проекта z-lab. Модель предназначена для speculative decoding и не является самостоятельной языковой моделью: она работает внутри сервера инференса вместе с целевой Qwen/Qwen3.8, генерируя черновые токены, которые затем проверяются целевой моделью. Поддерживаются интеграции с SGLang и vLLM. DFlash 2 использует block-diffusion подход: за один проход предсказывает блок токенов, сохраняет наиболее вероятных кандидатов для каждой позиции, а лёгкий селектор строит из них согласованный путь. В архитектуре применяются двухтактные динамические свёртки, уменьшающие деградацию качества к концу блока. Версия FP8 использует формат e4m3, блочные масштабы весов 128×128 и динамическое квантование активаций; attention- и MLP-проекции, а также вспомогательный слой fc представлены в FP8, тогда как нормализации, свёрточные ядра, селектор кандидатов и кодовые книги сохраняют формат BF16. Размер базовой модели — 27B параметров. Основное преимущество — ускорение генерации при сохранении поведения целевой модели: для жадной генерации заявлено точное совпадение с целевой моделью, а при sampling сохраняется её распределение. В тестах DFlash 2 показал более высокую длину принимаемой последовательности и throughput, чем сравниваемые методы на задачах GSM8K, MATH-500, HumanEval, MBPP и MT-Bench. Ограничение состоит в необходимости совместного запуска с целевой моделью и поддерживаемым speculative decoding сервером; самостоятельная генерация не предусмотрена. Модель распространяется по лицензии Apache-2.0.

Это BF16-файл GGUF с черновой MTP-моделью Gemma 4 12B IT Assistant, преобразованный srmiles из официальных весов Google для ускорения генерации в llama.cpp speculative decoding. Модель предлагает несколько следующих токенов, которые затем проверяет целевая Gemma 4 12B; при корректной настройке это повышает пропускную способность генерации без изменения качества итогового вывода. Самостоятельно как обычную чат-модель её не используют: требуется совместимая целевая модель Gemma 4 и llama.cpp версии b10215 или новее с поддержкой draft-mtp. В README приведён тест на Intel Arc Pro B60: для указанной конфигурации сообщаются скорость декодирования 70,4 токена/с и принятие 69,7% предложенных MTP-токенов. Эти результаты относятся к конкретному оборудованию и сценарию; README подтверждает работу на llama.cpp SYCL b10215+, а совместимость с другими бэкендами заявлена разработчиком. Файл имеет формат GGUF BF16 и распространяется по лицензии Apache-2.0.

Anbeeld/Qwen3.5-27B-DFlash-GGUF — это набор GGUF-квантизаций черновой модели DFlash для Qwen3.5-27B. Модель разработана совместно Z-Lab и Modal, а репозиторий подготовлен Anbeeld. Она предназначена для использования вместе с основной моделью Qwen/Qwen3.5-27B в системах speculative decoding и не является самостоятельной языковой моделью. DFlash использует облегчённую архитектуру block diffusion, которая предлагает несколько токенов параллельно, после чего целевая модель проверяет их. Черновая модель обучалась на последовательностях длиной 40 000 токенов и использует sliding-window attention для улучшения работы с длинным контекстом. Модель ориентирована на генерацию текста и сценарии серверного инференса; поддержка конкретных языков в README не указана. Основное преимущество — ускорение генерации при сохранении распределения выходов целевой модели: в приведённых тестах на одной NVIDIA B200 ускорение достигало 6,20 раза при concurrency 1 и 3,01 раза при concurrency 32. Реальная производительность зависит от целевой модели, настроек block size, оборудования и сервера инференса. Ограничение — необходимость совместного запуска с Qwen3.5-27B и использования ПО с поддержкой DFlash, например SGLang; GGUF-вариант предназначен для BeeLlama.cpp. В метаданных указана лицензия Apache-2.0.

Anbeeld/Qwen3.5-4B-DFlash-GGUF — набор GGUF-квантизаций черновой модели DFlash для Qwen3.5-4B. Модель разработана совместно Z-Lab и Modal и распространяется Anbeeld. Это не самостоятельная языковая модель, а вспомогательный компонент для speculative decoding, который используется вместе с целевой Qwen/Qwen3.5-4B. DFlash применяет облегчённую block diffusion-архитектуру для параллельного предложения нескольких токенов, после чего целевая модель проверяет их. Такой подход предназначен для ускорения инференса и повышения пропускной способности серверов генерации при сохранении распределения выходов целевой модели. Модель обучалась на последовательностях длиной 40 000 токенов и использует sliding-window attention, что ориентировано на работу с длинным контекстом. Размер целевой модели — 4B параметров; сведения о поддерживаемых языках и точных параметрах квантизаций в карточке не указаны. Для запуска требуются совместимые серверы инференса и реализация DFlash, в частности SGLang; поддержка vLLM на момент описания находилась в разработке. В README приведены результаты на одной NVIDIA B200: ускорение достигало 4,60 раза при одной параллельной запросной сессии и 2,61 раза при 32 сессиях, однако эти показатели зависят от оборудования, настроек и рабочих нагрузок. Основное ограничение — невозможность самостоятельного использования без целевой Qwen3.5-4B и специализированной поддержки speculative decoding. Лицензия указана как Apache-2.0.

Bielik-11B-v3.0-DFlash — вспомогательная черновая модель для ускорения генерации текста методом speculative decoding. Её разработали SpeakLeash и ACK Cyfronet AGH для совместной работы с Bielik-11B-v3.0-Instruct; самостоятельно как языковая модель она не предназначена для использования. Для запуска требуется сервер инференса с поддержкой DFlash speculative decoding. Модель основана на архитектуре Qwen3 и содержит 1,2 млрд параметров. Она обучалась на том же наборе данных, что и целевая модель, и поддерживает контекст до 32 768 токенов. Заявлена поддержка 32 европейских языков с оптимизацией для польского; веса доступны в формате Safetensors для Transformers. Лицензия — Apache License 2.0. Ключевое ограничение: модель полезна только в связке с Bielik-11B-v3.0-Instruct и совместимой реализацией speculative decoding; сама по себе она не заменяет целевую модель и не предназначена для обычного диалога или генерации.