II.7DevOps, облако и эксплуатация IT-систем

SCOPE — модель для предварительной оценки результатов работы больших языковых моделей, разработанная авторами одноимённого исследовательского проекта. Она анализирует целевой вопрос и примеры похожих вопросов с данными о результатах моделей, чтобы предсказать вероятность правильного ответа и длину ответа в токенах. Эти оценки можно использовать для выбора модели и распределения вычислительного бюджета с настраиваемым балансом стоимости и точности. Модель построена на архитектуре Qwen3 с плотной causal LM на 3,7 млрд параметров и дообучена на Qwen/Qwen3-4B-Instruct-2507 методами SFT и GRPO. Поддерживает текстовый ввод и вывод; заявленный контекст — до 262 144 токенов. Карточка рекомендует выбирать опорные примеры, близкие к целевому вопросу, а для повышения точности агрегировать несколько генераций. Лицензия — Apache-2.0.

APAR-7B — языковая модель на архитектуре Llama с 6,6 млрд параметров, разработанная авторами метода APAR. Это дообученная на общедоменных данных с иерархической структурой модель, способная планировать генерацию и выполнять авторегрессионное декодирование параллельно. Она предназначена для ускорения генерации текста при обслуживании LLM: APAR обеспечивает ускорение до 2 раз, а в сочетании со спекулятивным декодированием — до 4 раз; также заявлены снижение расхода KV-кэша и вычислений внимания, рост пропускной способности и уменьшение задержки в сценариях высокой нагрузки. Модель принимает текст и генерирует текст, её контекст составляет 2048 токенов. В README нет сведений о лицензии, поэтому условия использования определить нельзя.

GLM-5.3-NVFP4-DFlash — черновая модель DFlash, разработанная Modal Labs для ускорения генерации целевой модели modal-labs/GLM-5.3-NVFP4. Это не самостоятельная языковая модель: её используют вместе с целевой моделью в сервере спекулятивного декодирования. Лёгкая черновая модель на основе блочной диффузии параллельно предлагает несколько токенов, которые целевая модель проверяет; такой подход повышает пропускную способность обслуживания, сохраняя распределение выходов целевой модели. Модель содержит 2,8 млрд параметров, использует архитектуру Qwen3 с классом DFlash2DraftModel и распространяется в формате safetensors. Метаданные указывают контекстное окно 1 048 576 токенов для модели; фактическое применение этой черновой модели требует совместимого сервера и целевой GLM-5.3-NVFP4. В README рекомендован SGLang версии 0.5.19 или новее. Лицензия указана как other, поэтому конкретные условия следует проверять в карточке репозитория.

interneuronai/it_support_ticket_classification_pegasus — модель компании Interneuron AI для классификации текстовых описаний обращений в ИТ-поддержку по категориям и приоритетам. Она предназначена для автоматизации сортировки заявок и ускорения их обработки службой поддержки. Модель построена на архитектуре BigBird и содержит 224,8 млн параметров. Указанная длина контекста — 4096 токенов; репозиторий содержит веса в формате safetensors. В карточке не уточнены набор классов, языки обучения и использования, лицензия и результаты оценки качества.

llm-d-sc-complexity-v3 — классификатор для маршрутизатора llm-d semantic, разработанный авторами карточки модели. Он делит запросы на два класса: TRIVIAL и WORK; результат помогает решить, можно ли обслужить запрос небольшой моделью или кэшем либо направить его основной модели. Модель основана на sentence-transformers/all-MiniLM-L6-v2 с классификационной головой BertForSequenceClassification; содержит 25,9 млн параметров и принимает текст длиной до 512 токенов. Выход — метки классов и логиты, поэтому для использования нужен runtime, который умеет читать логиты. Указанная лицензия — Apache-2.0. На тестах на реальном трафике WildChat модель показала точность около 96% на согласованных метках. На спорных примерах качество ниже базового уровня, а уверенность модели не позволяет надёжно выявлять такие случаи для перенаправления. Авторы рекомендуют применять её при полной нагрузке либо отправлять запросы класса TRIVIAL на дешёвый путь, учитывая ошибки классификации. Оценивание основано на метках, выставленных LLM-судьями; независимого воспроизведения результатов не было.

llm-d-sc-cost — англоязычная модель эмбеддингов предложений, разработанная для проекта llm-d-sc. Это дообученный энкодер BERT на базе sentence-transformers/all-MiniLM-L6-v2 с 25,9 млн параметров и контекстом до 512 токенов. Он формирует 384-мерный вектор запроса, который сравнивают с размеченными опорными примерами, чтобы ранжировать запросы по ожидаемому объёму работы: от минимального до высокого. Модель предназначена для маршрутизации запросов и выбора бюджета генерации, размера контекста или более дорогой конечной точки; сама она не выдаёт класс, а возвращает эмбеддинги для последующего сравнения. В README сообщается об оценке на 60 отложенных запросах: точность составила 0,8333, а ошибки были только между соседними уровнями. Задержка на CPU указана как 8,5 мс на уровне p50 и 10,1 мс на уровне p99 для встраивания и ранжирования. Модель обучена на синтетических англоязычных данных; независимое воспроизведение результатов и проверка на наборе с человеческой разметкой не проводились. Качество ранжирования зависит от опорных примеров, а оценка объёма работы не предсказывает стоимость в конкретной инфраструктуре. Лицензия — Apache-2.0.

Qwen3.8-27B-DFlash2-memra — блоковая diffusion-модель чернового предсказания для ускорения генерации с помощью speculative decoding в serving engine tiyuvta. Она создаёт блоки предполагаемых токенов для целевой модели Qwen3.8-27B, которая проверяет каждый токен; сама по себе модель не предназначена для диалога или самостоятельной генерации. В README указано, что веса побайтно совпадают с z-lab/Qwen3.8-27B-DFlash2 и распространяются по лицензии Apache-2.0; репозиторий добавляет конфигурацию обслуживания. Метаданные указывают архитектуру DFlash2DraftModel семейства Qwen3, 2,9 млрд параметров, формат safetensors и контекст 262 144 токена. Модель предназначена для ускорения обслуживания текстовой генерации, в том числе чатов и агентных сценариев, при проверке предсказанных блоков целевой моделью. README приводит измерения для RTX PRO 6000 Blackwell и настройки tiyuvta, включая выигрыш пропускной способности в отдельных режимах и повторное использование кэша между ходами диалога. Точность спекулятивного маршрута описана как побайтно совпадающая с обычной жадной генерацией; в то же время скорость и принятие черновых токенов зависят от нагрузки и конфигурации. Для работы необходимы целевая модель и совместимый serving engine; это не автономная модель-ассистент.

AEON-7 разработала AEON DFlash — черновую модель для ускорения генерации методом спекулятивного декодирования DFlash с целевой моделью Qwen3.6-35B-A3B и её производными, включая Ornith-1.0-35B-AEON-Ultimate. Это компактная модель примерно на 886 млн параметров, построенная на архитектуре Qwen3 и содержащая восемь слоёв полного внимания без скользящего окна. Она использует скрытые состояния целевой модели на слоях 1, 10, 19, 28 и 37. Модель предназначена для ускорения авторегрессионной генерации в совместимых развёртываниях vLLM, в частности на DGX Spark с GB10. В описанном тесте на Ornith NVFP4 указана скорость около 1,9 раза выше обычного декодирования; целевая модель проверяет каждый предложенный токен, поэтому результат декодирования остаётся точным. README сообщает о совместимости со штатным образом AEON vLLM без патча для размера KV-страниц. Лицензия — MIT. Это специализированный компонент для спекулятивного декодирования, а не самостоятельная модель для диалога или генерации ответов. Для DFlash на DGX Spark README рекомендует ограничить max-num-seqs значением 16 из-за ограничений унифицированной памяти; заявленные показатели производительности относятся к конкретной конфигурации тестирования.

GLM-4.7-Flash-DFlash — обученная модель-предсказатель DFlash от автора репозитория Dariusfar, предназначенная для ускорения генерации GLM-4.7-Flash методом спекулятивного декодирования. Она предлагает блоки будущих токенов, а целевая GLM-4.7-Flash проверяет их; при принятии блоков генерация ускоряется без изменения распределения выходов целевой модели. Для работы нужны обе модели и совместимая среда выполнения DFlash. Модель использует архитектуру DFlashDraftModel в стиле Qwen3. README указывает около 1,1 млрд параметров, а метаданные Hugging Face — 694,7 млн; расхождение в размере не позволяет привести одну оценку как бесспорную. Размер блока чернового предсказания — 16 токенов, контекстное окно по метаданным — 202 752 токена. В карточке приведены результаты ускорения GLM-4.7-Flash примерно на 30% относительно обычной генерации на тестовом наборе; фактический выигрыш зависит от нагрузки и настроек. Модель рассчитана на подключение как черновой предсказатель в serving-систему для GLM-4.7-Flash, а не на самостоятельное использование как универсальный чат-бот. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели и связанных материалах.

Inferact/MiniMax-M3-EAGLE3-GQA — черновая модель EAGLE3, разработанная Inferact для ускорения инференса MiniMax-M3 с помощью спекулятивного декодирования. Это плотная однослойная архитектура Llama с групповым запросно-ключевым вниманием (GQA), 1,6 млрд параметров и контекстом до 1 048 576 токенов. При обслуживании через vLLM модель использует общие с целевой моделью эмбеддинги и выходную голову; обучение выполнено с TorchSpec на тех же данных, что и вариант с MHA, включая kimi-mtp, OpenCodeInstruct, SWE-bench и SWE-bench-Pro. Замена MHA на GQA сокращает KV-кэш черновой модели в 16 раз и обеспечивает совместимость с целевой MiniMax-M3. В измерениях из карточки на MT-Bench средняя длина принятого фрагмента составила 2,668 токена, а доля принятых черновых токенов — 55,62%; результаты зависят от набора данных и конфигурации запуска. Модель предназначена для использования вместе с MiniMax-M3 в vLLM, а не как самостоятельный универсальный генератор. Лицензия — MIT.

amd/PARD2-Qwen3-8B — черновая модель семейства Qwen3, разработанная AMD для ускорения генерации текста методом спекулятивного декодирования. Она формирует несколько токенов-кандидатов для проверки целевой авторегрессионной моделью и поддерживает два режима: независимый от целевой модели и учитывающий её. Обучение ориентировано на увеличение длины последовательности токенов, принимаемых целевой моделью, а Confidence-Adaptive Token (CAT) оптимизация перераспределяет вес токенов с учётом их вклада в проверку. Модель предназначена для интеграции в конвейеры спекулятивного декодирования, в том числе с vLLM. В README заявлено ускорение без потери точности до 6,94 раза на разных моделях и задачах; этот результат зависит от целевой модели, нагрузки и настроек инференса. По метаданным модель содержит 507,9 млн параметров, использует архитектуру Qwen3ForCausalLM, поддерживает контекст до 40 960 токенов и распространяется в формате safetensors. Лицензия — MIT.

Qwen2.5-32B-Instruct_EAGLE3_UltraChat — drafter-модель, обученная ruipeterpan на основе Qwen2.5-32B-Instruct с использованием SpecForge. Она предназначена для алгоритма спекулятивного декодирования EAGLE-3: вспомогательная модель предлагает токены, чтобы ускорить генерацию целевой языковой моделью на этапе декодирования. Для запуска в карточке приведён пример с vLLM и Qwen2.5-32B-Instruct; также сообщается об оценках ускорения при использовании с моделями Qwen2.5 на 7B, 14B и 32B параметров. Модель принимает текстовый контекст и выдаёт черновые токены для проверки целевой моделью. Указанное в метаданных окно контекста — 32 768 токенов. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Это специализированная вспомогательная модель: для применения требуется совместимая целевая модель и реализация EAGLE-3, например vLLM.

MiniCPM4-8B-Eagle-vLLM — вспомогательная модель OpenBMB для ускорения генерации MiniCPM4-8B с помощью спекулятивного декодирования Eagle в vLLM. Репозиторий предоставляет Eagle head в формате для vLLM; для работы ему нужна базовая MiniCPM4-8B и актуальная версия vLLM. Семейство MiniCPM4 разработано для эффективного запуска на устройствах с ограниченными ресурсами и поддерживает китайский и английский языки. Базовая MiniCPM4-8B использует плотную архитектуру MiniCPM и контекст до 32 768 токенов; в серии также описана разреженная обработка длинных текстов. Указанный в метаданных размер 537,8 млн параметров относится к этому репозиторию, а не к базовой модели на 8 млрд параметров. Модель предназначена для ускорения вывода, а не для самостоятельного использования как универсальная языковая модель. Лицензия Apache-2.0.

OTel-2.0-LLM-31B-IT — специализированная для телекоммуникаций инструкционная модель, разработанная в рамках Open Telco AI и дообученная на базе Gemma 4 31B-IT. Это плотная модель семейства Gemma 4 с 31 млрд параметров; веса представлены в формате safetensors, bfloat16. В карточке описано обучение примерно на 440 млрд телекоммуникационных токенов и настройка методом OSFT. Модель предназначена для ответов на вопросы по телекоммуникациям, работы с RAG по стандартам и технической документации, интерпретации и краткого изложения материалов 3GPP, ETSI, GSMA, CAMARA, ITU, O-RAN и TM Forum, а также для помощи в разработке продуктов, настройке сетей и инженерных задачах. Она рассчитана на англоязычное применение. Архитектура принимает изображения, однако обучение и заявленные оценки качества относятся только к тексту; аудио и видео не поддерживаются. Модель следует применять в телекоммуникационной области, проверяя ответы по актуальным версиям стандартов. Качество RAG зависит от подготовки документов и поиска, а прямые ответы на вопросы нужно оценивать отдельно. Для важных эксплуатационных решений карточка рекомендует использовать поиск с указанием источников, проверки и человеческий контроль. Лицензия — Apache-2.0. Версия весов может обновляться, поэтому для воспроизводимых результатов следует закреплять ревизию или хеш чекпойнта.

Red Hat выпустила эту модель-спекулятор для ускорения генерации текста моделью Qwen3-32B с помощью алгоритма спекулятивного декодирования EAGLE-3. Она предлагает черновые токены, которые проверяет основная модель, поэтому предназначена для совместного запуска с Qwen/Qwen3-32B, а не как самостоятельная языковая модель. Модель оптимизирована для задач рассуждения с включённым режимом thinking. Для использования автор рекомендует vLLM, шаблон чата Qwen3-32B и endpoint /chat/completions; в примере конфигурации задано пять спекулятивных токенов. Обучение проводилось на Magpie-Pro-300K-Filtered и UltraChat 200K с ответами Qwen3-32B. Файлы модели представлены в формате safetensors. Лицензия — Apache-2.0. README приводит оценки производительности, но таблицы с результатами опущены, поэтому по карточке нельзя оценить величину ускорения; работа модели зависит от совместимой версии vLLM и исходной Qwen3-32B.

Qwen3-4B-DFlash-b16 — модель-черновик DFlash для ускорения генерации текста методом speculative decoding. Она использует лёгкую диффузионную модель с блочной генерацией, чтобы параллельно предлагать токены целевой модели; для работы требуется совместимая целевая модель Qwen, в карточке указана Qwen/Qwen3-4B. По метаданным это плотная архитектура Qwen3 с классом DFlashDraftModel, 844,4 млн параметров и контекстом 40 960 токенов. Модель рассчитана на инференс, а не на самостоятельную генерацию: итоговые предложения проверяет целевая модель. В README сообщается об ускорении до 6,17 раза для Qwen3-8B; этот результат относится к указанной конфигурации оценки и не гарантирует такое же ускорение в других условиях. Для загрузки требуется trust_remote_code=True. Лицензия — MIT.

Qwen3.5-4B-DFlash — черновая модель спекулятивного декодирования, совместно переобученная Z-Lab и Modal на базе Qwen/Qwen3.5-4B. Это не самостоятельная языковая модель: её подключают к целевой модели в совместимом сервере инференса, чтобы предлагать несколько токенов параллельно, а целевая модель проверяет предложения и сохраняет своё распределение выходов. Модель использует лёгкий блочный диффузионный подход и скользящее окно внимания; в README указано обучение на последовательностях длиной 40 тысяч токенов. Метаданные указывают 1,2 млрд параметров и нативный контекст 262 144 токена. Она предназначена для ускорения обслуживания запросов к Qwen3.5-4B при спекулятивном декодировании; в тестах авторов на одной NVIDIA B200 с SGLang показано ускорение до 4,60 раза при параллелизме 1 и до 2,61 раза при параллелизме 32. Для работы требуется целевая модель Qwen/Qwen3.5-4B и сервер с поддержкой DFlash; README описывает использование SGLang, а поддержку vLLM связывает с незавершённым pull request. Результаты производительности относятся к указанной конфигурации и наборам тестов и не гарантируют такого же ускорения на другом оборудовании или нагрузке. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-DFlash-ja — экспериментальная черновая модель DFlash, созданная автором zan на основе z-lab/Qwen3.6-35B-A3B-DFlash. Она предназначена для спекулятивного декодирования с целевой моделью семейства Qwen3.6-35B-A3B и может использоваться через vLLM с методом dflash. Дополнительное обучение на английских и японских данных улучшило длину принимаемого блока для японских задач; в приведённых автором тестах на английском результаты были сопоставимы с исходной черновой моделью. Модель относится к архитектуре Qwen3 и классу DFlashDraftModel; метаданные указывают 886 млн параметров, контекст 262144 токена и формат safetensors. Это компонент ускорения инференса, а не самостоятельная целевая языковая модель: для работы ей нужна совместимая модель Qwen3.6. Автор приводит результаты тестов с квантованной NVFP4 целевой моделью, но отмечает расхождение точности между bf16 при извлечении скрытых состояний для обучения и NVFP4 при инференсе, которое может влиять на качество принятия токенов. Лицензия — Apache 2.0.

GLM-5.3-Flash DFlash2 Drafter F — вспомогательная модель-черновик от canada-quant для ускорения генерации GLM-5.3-Flash методом speculative decoding DFlash2. Она использует Qwen3-подобный плотный трансформер с 8 декодерными слоями и полным вниманием; размер модели по метаданным — 2,2 млрд параметров. Модель принимает текстовые запросы и предлагает блоки токенов, которые целевая модель проверяет и принимает или отклоняет. Карточка описывает обучение на самостоятельно сгенерированных целевой моделью примерах и приводит сравнительные замеры на B300; заявлены результаты на уровне референсного черновика при K=7, но с оговоркой о снижении результата при K=4. Модель предназначена для совместного запуска с GLM-5.3-Flash, включая вариант canada-quant/GLM-5.3-Flash-W4A16-MTP, через vLLM с методом speculative decoding dflash. Указанный в метаданных контекст — 1 048 576 токенов; полное внимание в слоях черновика означает, что KV-кэш растёт с длиной контекста. Для работы нужны совместимая сборка vLLM и патчи/поддержка DFlash2 для GLM, корректный файл mask_embedding.pt рядом с весами и конфигурация с 7 спекулятивными токенами. Лицензия — Apache-2.0.

kimi-k2.6-eagle3-mla — черновая модель Eagle3 MTP от LightSeek для ускорения инференса базовой модели Moonshot AI Kimi-K2.6 методом speculative decoding. Она используется вместе с основной моделью в совместимых движках инференса, включая vLLM и SGLang, и сама по себе не предназначена для обычного диалога или самостоятельной генерации ответов. Модель обучена с TorchSpec; в README указано продолжение обучения с чекпойнта kimi-k2.5-eagle3-mla. В метаданных указаны 1,8 млрд параметров, архитектура Eagle3DeepseekV2ForCausalLM и контекст 262 144 токена. Вариант с Multi-Latent Attention рассчитан на согласованную работу с MLA-архитектурой Kimi-K2.6 и уменьшение нагрузки на KV-кэш. Бенчмарки README измеряют длину принятого фрагмента при спекулятивном декодировании, а не качество ответов как самостоятельной модели. Для запуска README приводит требования NVIDIA GPU с CUDA 12.0+ и vLLM 0.20.0 или новее. Репозиторий содержит веса safetensors; лицензия в метаданных обозначена как other, поэтому условия использования следует сверить с лицензией базовой модели и файлами репозитория.

Qwen3.6-35B-A3B-DFlash — черновая модель для спекулятивного декодирования, совместно переобученная Z-Lab и Modal для целевой модели Qwen/Qwen3.6-35B-A3B. Она не предназначена для самостоятельной генерации текста: модель подключают к целевой модели через сервер инференса с поддержкой DFlash, например SGLang. Модель использует облегчённый блоковый диффузионный подход, чтобы параллельно предлагать несколько токенов; целевая модель проверяет предложения, сохраняя своё распределение выходов и потенциально повышая пропускную способность. В README описаны обучение с последовательностями до 40 тыс. токенов и скользящим окном внимания; метаданные указывают размер 798 млн параметров и контекст 262 144 токена. Бенчмарки на одной NVIDIA B200 показывают ускорение до 3,61 раза при низкой конкурентности и до 2,89 раза при высокой, но результаты относятся к указанной конфигурации и наборам задач. Репозиторий содержит веса Safetensors и использует библиотеку Transformers; для работы требуется совместимый сервер спекулятивного декодирования и базовая модель Qwen/Qwen3.6-35B-A3B. Лицензия — Apache-2.0. Модель сама по себе не является чат-моделью и не выдает готовые ответы без целевой модели.

Supra-Router-51M — компактная языковая модель SupraLabs для маршрутизации запросов в системах с локальными и облачными моделями. Это дообученная на наборе SupraLabs/Prompt-Routing-Dataset модель архитектуры Llama с 51,8 млн параметров, предназначенная для запуска через Transformers. Контекст модели составляет 5120 токенов; README описывает обучение на 992 примерах и генерацию структурированного решения о маршруте. На вход подают текст запроса с префиксом `Task: [Prompt]\nAnalysis: `. Модель генерирует поля предметной области, сложности, признаков математики и кода, рекомендуемый маршрут к малой или большой модели и обоснование. Её сценарий применения — предварительная маршрутизация запросов на периферийном устройстве, чтобы простые задачи передавать локальной модели, а сложные — облачной. README заявляет детерминированную маршрутизацию и устойчивость к некоторым ключевым словам-ловушкам; независимые подтверждения этих заявлений не приведены. Карточка указывает формат Safetensors, хотя README также упоминает GGUF. Лицензия в предоставленных данных не указана. Выход зависит от заданной текстовой схемы и небольшого обучающего набора, поэтому перед использованием в рабочем оркестраторе следует проверить качество маршрутизации на собственных запросах.

NetrAI-L3 — доменно адаптированная языковая модель для задач кибербезопасности, созданная дообучением meta-llama/Llama-3.2-3B-Instruct с помощью LoRA. Итоговая объединённая модель представлена в формате SafeTensors; архитектура — плотная LlamaForCausalLM с 3,2 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для объяснения оповещений Suricata, интерпретации событий SIEM, контекстуализации телеметрии безопасности и поддержки рабочих процессов SOC. Она генерирует текстовые ответы в диалоговом формате и может помогать аналитикам разбирать события и формулировать рекомендации. Модель не заменяет SIEM, XDR или платформы реагирования на инциденты. Результаты зависят от контекста запроса и требуют проверки квалифицированными специалистами по безопасности. Лицензия — Llama 3.

Qwen3.8-27B-DFlash2 — черновая модель DFlash 2 для ускорения генерации базовой Qwen/Qwen3.8-27B с помощью спекулятивного декодирования. Это не самостоятельная языковая модель: она работает внутри сервера спекулятивного декодирования и предлагает блоки токенов, которые затем проверяет целевая модель. Чекпойнт содержит 2,9 млрд параметров, использует архитектуру DFlash2DraftModel и формат Safetensors; базовая модель имеет контекст до 262 144 токенов. Модель предсказывает блок токенов за один проход, сохраняет несколько кандидатов для каждой позиции и выбирает согласованную последовательность. По README, жадное декодирование сохраняет точное совпадение с выводом целевой модели, а при семплировании — её распределение. В тестах на SGLang с NVIDIA H200 авторы показывают ускорение генерации на GSM8K, MATH-500 и HumanEval; фактический выигрыш зависит от нагрузки и конфигурации сервера. Модель предназначена для серверного ускорения генерации Qwen3.8-27B, а не для самостоятельного диалога или инференса. Для работы требуется совместимая целевая модель и инфраструктура спекулятивного декодирования, например SGLang. Лицензия — Apache-2.0.

gemma-4-31B-it-DFlash — вспомогательная модель-черновик DFlash для ускорения генерации текста базовой моделью google/gemma-4-31B-it. Она использует блочную диффузию, чтобы предлагать несколько токенов параллельно в рамках спекулятивного декодирования; для работы её необходимо подключить к указанной базовой модели. В метаданных указаны плотная архитектура семейства Qwen3, класс DFlashDraftModel, размер 2,6 млрд параметров и контекст 262 144 токена. Модель рассчитана на интеграцию с Transformers и серверными движками vLLM или SGLang; README приводит результаты бенчмарков с ускорением до 5,8 раза при concurrency 1 на одном GPU NVIDIA B300, что зависит от сценария и конфигурации. Это не самостоятельная чат-модель: её назначение — ускорять вывод Gemma 4 31B Instruct посредством спекулятивного декодирования. README указывает лицензию Apache-2.0. Для vLLM на момент карточки требовалась сборка из pull request с поддержкой Gemma 4 DFlash; приведённые измерения производительности не гарантируют такого же ускорения на другом оборудовании или нагрузке.

GLM-5.3-DSpark — черновая модель ускорения генерации для GLM-5.3, опубликованная AlayaNeW. Это не самостоятельная языковая модель: её нужно запускать вместе с целевой GLM-5.3 или GLM-5.3-FP8 в SGLang либо vLLM с поддержкой DSpark. Модель использует алгоритм DSpark с параллельным черновым блоком, Markov head и confidence head; архитектура — Qwen3DSparkModel, плотная сеть на 2,6 млрд параметров с пятью слоями черновой модели. Модель предназначена для спекулятивного декодирования, которое может повысить скорость генерации текста, в том числе кода и ответов на запросы. В README приведены результаты на тестах с разными длинами контекста и категориями задач; они получены на конфигурации из восьми NVIDIA H200 и не гарантируют аналогичную производительность в других условиях. Метаданные указывают контекст до 1 048 576 токенов и языки zh и en. Для работы требуются актуальная версия SGLang или vLLM с нативной поддержкой DSpark; черновая модель рассчитана только на GLM-5.3. Лицензия — MIT.

Muse-Glimmer-30B-DFlash2 — дообученная модель-черновик DFlash 2 для ускорения генерации моделью meta-models/Muse-Glimmer-30B. Это не самостоятельная языковая модель: она работает в сервере спекулятивного декодирования, например SGLang, предлагает блоки токенов, а целевая модель проверяет их. Модель использует блочную диффузию: за один проход предсказывает блок токенов, сохраняет несколько кандидатов на каждой позиции и выбирает согласованный путь. По README, декодирование сохраняет результат целевой модели: при жадном поиске вывод совпадает с её выводом, а при сэмплировании сохраняется её распределение. В метаданных указаны архитектура Qwen3, 3,9 млрд параметров, контекст 131 072 токена и формат Safetensors. README приводит результаты ускорения на GSM8K, MATH-500 и HumanEval, измеренные на NVIDIA H200 с SGLang. Модель предназначена для ускорения вывода целевой Muse-Glimmer-30B в совместимой серверной конфигурации, а не для непосредственного ответа на запросы. Для работы требуется целевая модель и поддерживающий DFlash 2 сервер; заявленные показатели производительности привязаны к указанному оборудованию и настройкам оценки. Лицензия — Apache-2.0.

Карточка модели amd/PARD-Qwen2.5-0.5B на Hugging Face совпадает с карточкой amd/PARD-Llama-3.2-1B, поэтому описание составлено по ней. PARD-Llama-3.2-1B — модель семейства Llama, разработанная авторами метода PARD для ускорения генерации текста с помощью спекулятивного декодирования. Это параллельная черновая модель на 1,2 млрд параметров, адаптированная из авторегрессионной черновой модели; один черновой чекпойнт PARD может использоваться для ускорения целого семейства целевых моделей. Репозиторий содержит веса в формате safetensors и поддерживает контекст до 131 072 токенов. Модель предназначена для интеграции в системы инференса, где она предлагает черновые продолжения для целевой языковой модели. README сообщает об ускорении в среднем в 1,78 раза относительно авторегрессионных черновых моделей и до 4,08 раза в Transformers+ и до 3,06 раза в vLLM; эти результаты относятся к описанным авторами настройкам и не гарантируют такого ускорения во всех сценариях. Метаданные указывают поддержку чата и интерфейса вызова инструментов. Модель распространяется по лицензии MIT. Она ориентирована на ускорение инференса, поэтому качество и применимость готовых ответов зависят от целевой модели и конфигурации спекулятивного декодирования.

Карточка модели Secondchancee/Qwen3.8-27B-DFlash2 на Hugging Face совпадает с карточкой incoai/Qwen3.8-27B-DFlash2, поэтому описание составлено по ней. Qwen3.8-27B-DFlash2 — черновая модель DFlash 2 для ускорения генерации базовой Qwen/Qwen3.8-27B с помощью спекулятивного декодирования. Это не самостоятельная языковая модель: она работает внутри сервера спекулятивного декодирования и предлагает блоки токенов, которые затем проверяет целевая модель. Чекпойнт содержит 2,9 млрд параметров, использует архитектуру DFlash2DraftModel и формат Safetensors; базовая модель имеет контекст до 262 144 токенов. Модель предсказывает блок токенов за один проход, сохраняет несколько кандидатов для каждой позиции и выбирает согласованную последовательность. По README, жадное декодирование сохраняет точное совпадение с выводом целевой модели, а при семплировании — её распределение. В тестах на SGLang с NVIDIA H200 авторы показывают ускорение генерации на GSM8K, MATH-500 и HumanEval; фактический выигрыш зависит от нагрузки и конфигурации сервера. Модель предназначена для серверного ускорения генерации Qwen3.8-27B, а не для самостоятельного диалога или инференса. Для работы требуется совместимая целевая модель и инфраструктура спекулятивного декодирования, например SGLang. Лицензия — Apache-2.0.

WhiteRabbitNeo-13B-v1 — предварительная публичная версия модели серии WhiteRabbitNeo, разработанной для задач наступательной и защитной кибербезопасности. Это плотная авторегрессионная модель семейства Llama с 12,9 млрд параметров, работающая с текстом и имеющая контекст до 16 384 токенов; репозиторий содержит веса PyTorch. Модель предназначена для генерации текстовых ответов по сценариям кибербезопасности. В карточке приведён пример ответа о тестировании безопасности Wi‑Fi, включая сканирование сети и анализ захвата пакетов. Ответы могут содержать опасные инструкции, поэтому модель следует применять только в законных и разрешённых средах. Для версии заявлена лицензия Llama 2; README также содержит условия использования с отказом от гарантий и возложением ответственности за применение на пользователя.