II.7DevOps, облако и эксплуатация IT-систем

Qwen3.8-27B-DSpark — черновая модель RadixArk для спекулятивного декодирования целевых моделей Qwen3.8-27B. Чекпойнт обучен с помощью SpecForge и предназначен для обслуживания через SGLang; он предсказывает кандидаты продолжения, которые целевая модель проверяет, ускоряя генерацию без замены самой целевой модели. В метаданных указано 2,9 млрд параметров, а README сообщает о 1,86 млрд черновых параметров; архитектура включает пять слоёв с полным вниманием, GQA, Markov head ранга 256 и контекст до 262 144 токенов. Модель рассчитана на ускорение генерации текста, в том числе кода и решений математических задач, при совместном запуске с целевой Qwen3.8-27B. README приводит результаты проверок на двух целевых моделях и тесты пропускной способности в SGLang; скорость зависит от целевой модели, аппаратуры, нагрузки и настроек обслуживания. Это не самостоятельная модель для генерации ответов: требуется совместимая целевая модель и среда обслуживания. Лицензия в метаданных обозначена как other, конкретные условия использования следует проверять в карточке модели.

Bielik-Minitron-7B-v3.0-DFlash — модель черновых предсказаний для ускорения генерации текста методом speculative decoding. Её разработали SpeakLeash и ACK Cyfronet AGH; обучение проводилось на том же наборе данных, что и для Bielik-Minitron-7B-v3.0-Instruct, с использованием реализации на базе фреймворка ALLaMo. Модель предназначена для совместной работы с Bielik-Minitron-7B-v3.0-Instruct через сервер инференса с поддержкой DFlash speculative decoding и не является самостоятельной языковой моделью. Она построена на архитектуре Qwen3, имеет около 1 млрд параметров и контекст длиной до 32 768 токенов. Заявлена поддержка 32 европейских языков с оптимизацией для польского; в метаданных перечислены коды языков, включая польский, английский и русский. Модель помогает ускорять генерацию, предлагая черновые продолжения для проверки целевой моделью. Для работы требуется совместимая целевая модель и сервер с поддержкой DFlash. Распространяется по лицензии Apache 2.0.

yujiepan/glm-4-moe-lite-tiny-random — экспериментальная крошечная языковая модель, созданная на основе конфигурации zai-org/GLM-4.7-Flash с использованием Transformers. Модель имеет 1,2 млн параметров, архитектуру GLM-4 MoE Lite с двумя основными слоями декодера и поддержкой multi-token prediction; исходные веса заменены случайно инициализированными параметрами. Модель предназначена главным образом для отладки, тестирования совместимости и разработки серверной инфраструктуры вокруг GLM-4.7-Flash, включая Transformers, vLLM и SGLang. Она поддерживает задачу text-generation и контекст до 202752 токенов, однако случайная инициализация делает её непригодной для качественной генерации текста, диалогов, рассуждений или прикладного использования. README не содержит сведений о лицензии модели, поэтому условия коммерческого и иного использования по имеющимся данным определить нельзя. Модель следует рассматривать как технический тестовый артефакт, а не как обученную продуктивную LLM.

GLM-5.3-Flash DFlash2 Drafter G — компактная модель-черновик от canada-quant для ускорения генерации текста с помощью спекулятивного декодирования в vLLM. Это DFlash2 block-diffusion drafter с архитектурой DFlash2DraftModel и Qwen3-подобным плотным декодером: 8 слоёв, скрытый размер 4096, 32 головы внимания и 8 KV-голов. Размер модели — 2,2 млрд параметров; формат весов — Safetensors. Модель обучена для работы с GLM-5.3-Flash, в том числе с квантованной версией W4A16-MTP, и поддерживает контекст целевой модели до 1 048 576 токенов. Модель предсказывает блоки черновых токенов, которые проверяет целевая GLM-5.3-Flash: это может повысить скорость генерации при сохранении ответов целевой модели. По оценке авторов на 500 отложенных запросах при генерации до 1024 токенов средняя длина принятого блока составила 3,676 при K=7; на длинных трассах до 4096 токенов преимущество над эталонным drafter практически исчезло. Для использования требуется совместимая целевая модель и конфигурация спекулятивного декодирования в vLLM; README также указывает на необходимость актуальной сборки и специальных патчей для GLM-5.3-Flash. Лицензия — Apache-2.0.

RedHatAI/gpt-oss-20b-speculator.eagle3 — вспомогательная модель Red Hat для ускорения генерации текста методом speculative decoding EAGLE-3. Она предназначена для совместного использования с openai/gpt-oss-20b: основная модель проверяет предложенные токены, а speculator формирует кандидаты. Для запуска README рекомендует шаблон чата gpt-oss-20b и сервер vLLM с методом eagle3; модель не предназначена для самостоятельного диалога. Модель построена на архитектуре Eagle3Speculator и реализована классом Eagle3DraftModel. Она обучена на скрытых состояниях, полученных дистилляцией от openai/gpt-oss-120b, с использованием набора inference-optimization/gpt-oss-120b. В README приведены измерения длины принятых последовательностей для задач программирования, математических рассуждений и вопросов-ответов; это результаты конкретных кратких экспериментов на одной A100, а не гарантия ускорения во всех сценариях. Репозиторий содержит веса Safetensors, библиотека — Transformers. Лицензия Apache-2.0. Для работы требуется совместимая основная модель и поддержка EAGLE-3 в среде инференса.

yujiepan/hy-v3-tiny-random — экспериментальная миниатюрная причинная языковая модель, созданная разработчиком yujiepan на основе конфигурации Tencent Hy3. Модель имеет архитектуру HYV3ForCausalLM с декодерными слоями, механизмом MoE и поддержкой multi-token prediction; предназначена для запуска через Transformers, vLLM и SGLang. Модель содержит около 970,5 тыс. параметров, использует библиотеку Transformers и рассчитана на контекст до 262144 токенов. Она предназначена главным образом для отладки конфигурации, совместимости загрузчиков и серверов инференса, а не для решения прикладных задач генерации текста. Весовые параметры инициализированы случайно, поэтому модель не обладает полезными выученными языковыми знаниями и не должна использоваться для качественной генерации, рассуждений, диалогов или вызова инструментов. Лицензия в предоставленных данных не указана.

thoughtworks выпустила лёгкую draft-модель EAGLE3 для ускорения генерации MiniMax-M2.5 с помощью speculative decoding. Это однослойная архитектура LlamaForCausalLMEagle3 с 715,3 млн параметров; она использует скрытые состояния нескольких слоёв целевой модели, чтобы предлагать следующие токены. Для запуска draft-модели вместе с MiniMax-M2.5 предусмотрена интеграция с SGLang. Контекст составляет 196 608 токенов. Модель предназначена для ускорения генерации текста целевой моделью, а не для самостоятельного использования как универсальная языковая модель. В карточке описаны конфигурации для запросов с малым и большим batch; приведённые бенчмарки ориентированы на задачи программирования. Модель распространяется по лицензии Apache-2.0. Для работы требуется форк SGLang с поддержкой MiniMax-M2.5 Eagle3 и исправлениями для FP8. Указано ограничение на TP=4: TP=8 не работает из-за ограничений размера блоков FP8. Эффективность зависит от температуры генерации: лучшие результаты заявлены при temp=0, а при temp=0.7 ускорение снижается и на некоторых пакетных тестах уступает базовой генерации. Совместимость с overlap scheduler SPEC_V2 не поддерживается.

Qwen2.5-7B-Instruct_EAGLE3_UltraChat — вспомогательная модель для ускорения генерации текста с помощью алгоритма спекулятивного декодирования EAGLE-3. Она создана на базе Qwen2.5-7B-Instruct с использованием SpecForge и обучена на наборе UltraChat 200k; метаданные указывают архитектуру LlamaForCausalLMEagle3 и формат safetensors. Модель выступает в роли draft-модели вместе с целевой языковой моделью и предлагает токены-кандидаты, чтобы сократить задержку декодирования. В README приведены оценки ускорения для Qwen2.5-32B-, 14B- и 7B-Instruct при тестировании на задачах математики, вопросов и ответов и программирования; результат зависит от целевой модели и настроек спекуляции. Это не самостоятельный ассистент для пользовательских запросов: её назначение — работа в связке с поддерживаемой целевой моделью через EAGLE-3, например в vLLM. Метаданные указывают 778 млн параметров, контекст 32 768 токенов и лицензию Apache-2.0. README приводит пример запуска с ограничением длины контекста целевой модели до 2 048 токенов; эти параметры запуска не следует считать гарантированной конфигурацией модели для всех сценариев.

Anbeeld/Qwen3.5-122B-A10B-DFlash-GGUF — это набор GGUF-квантизаций черновой DFlash-модели для Qwen3.5-122B-A10B. Модель разработана совместно Z-Lab и Modal. Она не является самостоятельной языковой моделью и предназначена для работы в паре с целевой Qwen3.5-122B-A10B в сервере спекулятивного декодирования. DFlash использует облегчённую модель блочной диффузии, которая параллельно предлагает несколько токенов, после чего целевая модель их проверяет. Такой подход должен повышать пропускную способность при сохранении распределения выходов целевой модели. Модель обучалась на последовательностях длиной 40 000 токенов и использует sliding-window attention для улучшенной работы с длинным контекстом. Репозиторий предназначен для BeeLlama.cpp, а также поддерживает сценарии запуска через SGLang с DFlash; поддержка vLLM на момент публикации описана как находящаяся в разработке. Основное назначение — высокопроизводительный inference Qwen3.5-122B-A10B, включая задачи рассуждений, математики, генерации кода и диалогов. В тестах на 4 GPU NVIDIA B200 DFlash показала ускорение до 4,21 раза при одной параллельной задаче и до 3,07 раза при 32 задачах, однако фактический результат зависит от оборудования, настроек и нагрузки. Ограничения включают необходимость совместимой инфраструктуры спекулятивного декодирования, целевой модели и значительных вычислительных ресурсов; сведения о языках и точном размере самой черновой модели в README не указаны. В метаданных указана лицензия Apache-2.0.

Это копия модели-черновика Qwen3.8-27B-DSpark, подготовленная для загрузки через vLLM. Её разработал RadixArk; автор карточки изменил только название архитектуры в конфигурации, чтобы vLLM выбрал реализацию Qwen3 DSpark. Веса не менялись. Модель предназначена для ускорения генерации целевыми моделями Qwen3.8-27B с помощью спекулятивного декодирования DSpark, а не для самостоятельной генерации ответов. В чекпойнте около 1,86 млрд параметров в формате BF16; он включает пять слоёв с полным вниманием, GQA и Markov head. Максимальная длина позиций — 262 144 токена. В README приведены результаты оценки скорости и принятия черновых токенов на задачах математики и программирования при использовании SGLang; результаты зависят от целевой модели, оборудования и настроек обслуживания. Для работы требуется совместимая целевая модель Qwen3.8-27B и среда, поддерживающая DSpark. Применяются исходные условия лицензии «other» базового репозитория RadixArk/Qwen3.8-27B-DSpark; конкретные условия в этой карточке не раскрыты.

Anbeeld/Qwen3-8B-DFlash-b16-GGUF — GGUF-квантизации модели-черновика Qwen3-8B-DFlash-b16, разработанной z-lab и подготовленной в формате GGUF для проекта Anbeeld. Модель реализует метод DFlash — speculative decoding с лёгкой block diffusion-моделью, которая параллельно предлагает черновые токены для последующей проверки целевой моделью Qwen/Qwen3-8B. Это не самостоятельная целевая языковая модель: для работы её необходимо использовать совместно с Qwen/Qwen3-8B. Модель предназначена для ускорения инференса и генерации текста, включая серверные сценарии на SGLang и vLLM, а также локальный запуск через BeeLlama.cpp — форк llama.cpp с поддержкой расширенных возможностей квантизации. Для загрузки через Transformers требуется custom code и параметр trust_remote_code=True. В README заявлено ускорение без потери качества до 6,17 раза для Qwen3-8B и почти в 2,5 раза по сравнению с EAGLE-3, однако фактическая производительность зависит от оборудования, настроек и сценария генерации. Ключевые характеристики самой модели, включая точный размер GGUF-квантизаций, поддерживаемые языки, модальности и максимальную длину контекста, в README не указаны. Также отмечено, что текущая реализация рекомендуется для запуска на одном GPU. README содержит обозначение лицензии MIT.

System One Mini — независимый исследовательский прототип David Hatley для классификации сводок о диагностике программного обеспечения по фиксированной схеме. Это дообученный энкодер DistilBERT на 69,3 млн параметров с общим энкодером и пятью отдельными классификационными головами; модель принимает текстовые входы длиной до 256 токенов и выдаёт оценки для пяти заранее заданных решений. Базовая модель — distilbert/distilbert-base-uncased, библиотека — Transformers, веса сохранены в safetensors. Модель обучена на синтетических примерах и предназначена для изучения многозадачной классификации сводок, созданных по описанной политике контролируемых вмешательств. Она подходит для классификации завершённости задачи, необходимости повтора и источника сбоя, а также двух других фиксированных решений схемы. Это не чат-модель: она не генерирует текст и не отвечает на произвольные вопросы. Оценка проводилась на синтетических данных; результаты не подтверждают качество на реальных инцидентах. Модель чувствительна к формулировкам и формату представления, а при сдвиге распределения может выдавать чрезмерно уверенные оценки. Входы длиннее 256 токенов обрезаются. Лицензия — Apache-2.0; для загрузки с trust_remote_code=True выполняется пользовательский код репозитория, поэтому в производственной среде следует фиксировать ревизию.

Crusadersk/tiny-gpt2 — специально обученный исследовательский чекпойнт GPT-2, созданный в рамках программы Banterhearts для проверки корректности бенчмарков локального инференса. Это плотная авторегрессионная модель с архитектурой GPT2LMHeadModel и многоголовым вниманием (MHA): 4,6 млн параметров, 2 слоя, размер скрытого представления 2 и 2 головы внимания. Контекст составляет 1024 токена; модель распространяется в формате PyTorch и предназначена для работы с Transformers. Чекпойнт используют для проверки окружения, паритета весов и изучения влияния глубины и ширины модели на задержку инференса GPU. Он не рассчитан на универсальную генерацию текста или практические языковые задачи; малый размер и конфигурация выбраны для экспериментальных измерений. README также указывает, что модель не совместима с Ollama, поскольку не представлена в формате GGUF. Лицензия — MIT.

UI-Mate-27B — мультимодальный агент для управления графическим интерфейсом, разработанный Tencent HY Frontier. Модель на 27 млрд параметров дообучена на базе Qwen/Qwen3.6-27B и принимает инструкции на естественном языке, скриншоты и историю взаимодействия. Она анализирует текущее состояние экрана, планирует многошаговые действия в разных приложениях и выдаёт описание действий вместе со структурированными командами мыши и клавиатуры. Модель предназначена для компьютерного управления в средах Windows и Ubuntu, включая выполнение задач через несколько приложений. Обучение включало supervised fine-tuning и онлайн-обучение с подкреплением в исполняемых GUI-средах. Для запуска действий требуется внешний runtime; разработчики рекомендуют использовать официальный prompt, парсер ответов и harness проекта. Лицензия — Apache-2.0. В README приведены результаты на OSWorld-Verified, WindowsAgentArena и OSWorkerBench. Надёжность зависит от версий приложений, расположения элементов интерфейса, масштаба экрана, задержек и текущего состояния UI; результаты бенчмарков не гарантируют успешную работу в произвольной среде. Модель предназначена для исследований и разработки GUI-агентов в контролируемых средах.

vulrank-span-model — разработанная для инструмента VulRank модель токенной классификации на базе microsoft/deberta-v3-base. Она анализирует англоязычные тексты рекомендаций по уязвимостям и предлагает фрагменты четырёх типов: сведения об эксплуатации, исправлении, PoC и затронутых функциях или API. Модель содержит 211,6 млн параметров, использует архитектуру DeBERTa v3 и принимает контекст длиной до 512 токенов. Модель предназначена для локального извлечения кандидатов в конвейере первичной сортировки уязвимостей VulRank. На отложенной выборке авторы сообщают Macro F1 0,723 и полноту извлечения фрагментов 75,2%. Текст предложенных фрагментов проверяется как дословная подстрока обучающих рекомендаций, однако тип фрагмента может быть ошибочным; вне VulRank результат следует считать высокополнотными кандидатами, а не подтверждёнными фактами. Для `poc` качество особенно нестабильно из-за малого числа примеров. Это дообученная модель с весами в формате safetensors, распространяемая по лицензии MIT. README указывает, что она рассчитана на загрузку через LocalSpanClient в составе VulRank и не предназначена для самостоятельного использования.

CmdCaliper-base — модель эмбеддингов командной строки, разработанная CyCraft AI Lab. Она предназначена для представления Windows-команд в виде векторов, отражающих их смысл, и для поиска семантически похожих команд в задачах исследования безопасности. Модель входит в семейство CmdCaliper из трёх вариантов размера; авторы сообщают, что семейство показывает сильные результаты на специализированных задачах сопоставления команд. Модель принимает текст команд и выдаёт эмбеддинги для сравнения их семантической близости. Она доступна через Sentence Transformers и Transformers. Длинный текст обрезается до 512 токенов. Модель ориентирована исключительно на командные строки Windows; сведения о лицензии в предоставленных материалах отсутствуют.

CyberSecQwen-4B — языковая модель для защитных задач кибербезопасности, разработанная как проект для AMD Developer Hackathon и дообученная на основе Qwen/Qwen3-4B-Instruct-2507. Она предназначена прежде всего для классификации описаний уязвимостей по категориям CWE и ответов на вопросы по киберразведке (CTI); также может помогать аналитикам при первичной сортировке CVE и подготовке материалов о киберугрозах. Модель построена на архитектуре Qwen3, содержит около 3,7 млрд параметров и принимает текст, формируя текстовые ответы. В карточке указано контекстное окно до 262 144 токенов; при этом описанный тренировочный контекст составлял 4096 токенов. Модель рассчитана на английский язык. По заявленным оценкам, она конкурентоспособна на тестах CTI-RCM и CTI-MCQ, однако результаты не гарантируют точность на данных конкретной организации. Модель специализирована на кибербезопасности и может хуже справляться с общими задачами и классификацией новых типов уязвимостей, недостаточно представленных в обучающих данных. Обучение и оценка проводились на англоязычных данных; формального выравнивания безопасности с помощью RLHF не проводилось, поэтому результаты требуют проверки специалистом. Лицензия — Apache-2.0.

Карточка модели lablab-ai-amd-developer-hackathon/CyberSecQwen-4B на Hugging Face совпадает с карточкой athena129/CyberSecQwen-4B, поэтому описание составлено по ней. CyberSecQwen-4B — языковая модель для защитных задач кибербезопасности, разработанная как проект для AMD Developer Hackathon и дообученная на основе Qwen/Qwen3-4B-Instruct-2507. Она предназначена прежде всего для классификации описаний уязвимостей по категориям CWE и ответов на вопросы по киберразведке (CTI); также может помогать аналитикам при первичной сортировке CVE и подготовке материалов о киберугрозах. Модель построена на архитектуре Qwen3, содержит около 3,7 млрд параметров и принимает текст, формируя текстовые ответы. В карточке указано контекстное окно до 262 144 токенов; при этом описанный тренировочный контекст составлял 4096 токенов. Модель рассчитана на английский язык. По заявленным оценкам, она конкурентоспособна на тестах CTI-RCM и CTI-MCQ, однако результаты не гарантируют точность на данных конкретной организации. Модель специализирована на кибербезопасности и может хуже справляться с общими задачами и классификацией новых типов уязвимостей, недостаточно представленных в обучающих данных. Обучение и оценка проводились на англоязычных данных; формального выравнивания безопасности с помощью RLHF не проводилось, поэтому результаты требуют проверки специалистом. Лицензия — Apache-2.0.

yujiepan/glm-4-moe-tiny-random — экспериментальная миниатюрная языковая модель, созданная для отладки реализации GLM-4.5 MoE. Конфигурация адаптирована из модели zai-org/GLM-4.5, а веса инициализированы случайным образом; разработчик — yujiepan. Модель предназначена для генерации текста через библиотеку Transformers и совместима с vLLM и SGLang. Модель использует архитектуру mixture-of-experts GLM-4 MoE, содержит около 2,4 млн параметров и рассчитана на контекст до 131 072 токенов. В конфигурации предусмотрены два основных слоя, маршрутизация к экспертам и дополнительный слой multi-token prediction. Основной pipeline — text-generation. Случайная инициализация делает модель пригодной для проверки загрузки, совместимости и поведения inference-стека, но не для получения содержательных ответов или решения прикладных задач. Реализация Transformers не поддерживает multi-token prediction, поэтому при загрузке возможны предупреждения о незагруженных весах; это ожидаемое ограничение. Лицензия в предоставленных данных не указана.

MiniMax-M2.5-DFlash — компактная модель-черновик для метода спекулятивного декодирования DFlash, представленного авторами проекта MiniMax. Она использует блочную диффузию, чтобы параллельно предлагать несколько токенов для проверки основной моделью MiniMaxAI/MiniMax-M2.5; сама по себе для обычной генерации текста не предназначена. В метаданных указаны плотная архитектура Qwen3, класс DFlashDraftModel, около 1 млрд параметров и контекст до 196 608 токенов. Модель рассчитана на ускорение генерации в связке с целевой моделью через совместимые серверы vLLM или SGLang. В README приведены результаты пропускной способности и длины принятых блоков на задачах Math500, GSM8K и HumanEval; показатели получены на четырёх NVIDIA B200 и зависят от конфигурации и нагрузки. Репозиторий содержит веса Safetensors. Лицензия обозначена как other, поэтому перед использованием следует проверить её условия. Для работы необходима совместимая основная модель MiniMax-M2.5 и поддержка DFlash в выбранном движке инференса.

yujiepan/minimax-m2.7-tiny-random — отладочная миниатюрная языковая модель, созданная на основе конфигурации MiniMaxAI/MiniMax-M2.7. Модель предназначена для проверки загрузки, совместимости и интеграции архитектуры, а не для получения качественных текстовых ответов: её параметры инициализированы случайными значениями. Модель поддерживает генерацию текста и использует архитектуру MiniMax M2 с двумя декодерными слоями, механизмом разреженной Mixture-of-Experts, 8-мерным скрытым представлением и 1,6 млн параметров. Заявлена длина контекста 196608 токенов, библиотека Transformers; в README также приведены варианты запуска через vLLM, SGLang и Transformers, включая поддержку reasoning parser и tool calling. Главное преимущество модели — крайне малый размер и пригодность для отладки программного стека, конфигурации и маршрутизации компонентов. Из-за случайной инициализации она не предназначена для практической генерации текста, рассуждений, вызова инструментов или оценки качества базовой модели. Лицензия в предоставленных данных не указана.

ovokat/Qwen3-4B-2507-LinuxNerd-V1 — экспериментальная дообученная версия Qwen3-4B-Instruct-2507, созданная автором ovokat. Модель обучена на подборке вопросов и ответов о Linux из общедоступных наборов данных; в README автор описывает её как раннюю пробу и отмечает, что она пока не является Linux-экспертом. Модель предназначена для диалоговых ответов на вопросы о Linux, в частности для помощи начинающим пользователям. Это плотная авторегрессионная языковая модель семейства Qwen3 с 3,7 млрд параметров, рассчитанная на контекст до 262 144 токенов. Репозиторий содержит веса Safetensors; метаданные указывают интерфейс чата и вызова инструментов. Для текстовых запросов модель генерирует текстовые ответы. Автор сообщает, что обучающие ответы в основном взяты из генераций Qwen3-235B-A22B и GPT-5, с небольшой долей GPT-4. Качество ограничено экспериментальным характером обучения и случайно собранными исходными данными; автор прямо просит не ожидать высоких результатов. Лицензия репозитория — Apache-2.0.

yujiepan/seed-oss-tiny-random — экспериментальная языковая модель, созданная для отладки на основе архитектурной конфигурации ByteDance-Seed/Seed-OSS-36B-Instruct. Модель реализует авторегрессионную генерацию текста и предназначена для работы с Transformers; в README также приведён сценарий запуска через vLLM. Модель имеет 1,2 млн параметров, два декодерных слоя, скрытый размер 8 и контекст до 524 288 токенов. Она случайно инициализирована, поэтому не представляет собой обученную инструкционную модель и не предназначена для получения содержательных ответов. Основной сценарий использования — проверка загрузки, совместимости, шаблонов чата, генерации и интеграции инфраструктуры с архитектурой Seed-OSS. Модель может быть полезна разработчикам для быстрых и малоресурсных тестов, но её случайные веса делают результаты генерации бессодержательными и непредсказуемыми. Лицензия в предоставленных данных не указана.

TOAM-100M v0.1 — компактная языковая модель на 102,4 млн параметров, разработанная автором репозитория для выбора инструментов и управления действиями агента. Она обучена с нуля на архитектуре Llama и принимает запрос вместе со схемами инструментов, чтобы выдать следующее действие в формате JSON. Для работы требуется использовать собственный формат промпта модели; шаблон чата не предусмотрен. Модель предназначена для маршрутизации запросов и заполнения аргументов вызова инструмента в небольших локальных, встроенных или работающих на CPU агентских системах, а также для исследований компактных моделей управления агентами. Поддерживает английский язык, контекст до 2048 токенов и поставляется в safetensors FP16 и GGUF F16/Q8_0. По карточке, на BFCL v4 Live AST она набрала 22,9 %, а медианная задержка составила 202 мс; новая версия v0.2 превосходит её по указанным бенчмаркам. Модель слабо подходит для свободного диалога и ответов на вопросы без инструментов, а качество понимания ограничено. Возможны ошибки в сопоставлении значений аргументам и обработке нескольких параллельных запросов; автор рекомендует проверять вызовы и подтверждать необратимые действия человеком. Лицензия — Apache-2.0.

Inkling-NVFP4-DFlash — черновая модель DFlash от Modal Labs для ускорения генерации с целевой моделью thinkingmachines/Inkling-NVFP4. Это не самостоятельная языковая модель: её подключают к целевой модели в сервере спекулятивного декодирования. Модель семейства Qwen3, архитектура DFlashDraftModel, размер — 4,5 млрд параметров; веса опубликованы в формате safetensors. Метаданные указывают контекст до 1 048 576 токенов. DFlash использует облегчённую блочную диффузионную модель, чтобы параллельно предлагать несколько токенов. Целевая модель проверяет предложения, сохраняя своё распределение выходов и потенциально повышая пропускную способность генерации. Пример из карточки использует SGLang, целевую модель Inkling-NVFP4 и блок из 16 токенов; предварительные измерения средней длины принятых предложений приведены для GSM8K, MATH500 и HumanEval при конкурентности 1. Это ранняя предварительная версия, обучение модели ещё продолжается. Карточка сообщает о предварительной оценке длины принятого блока, но не приводит полного набора тестов пропускной способности и замеров при высокой конкурентности. Лицензия — Apache-2.0; для работы требуется совместимая целевая модель и сервер спекулятивного декодирования.

BillyWang1/qwen2.5-7b-base-retool-slime-sft-v2 — промежуточный чекпойнт Supervised Fine-Tuning модели Qwen/Qwen2.5-7B, подготовленный для проекта ReTool. Он обучен на базе Megatron и учит базовую, не Instruct-версию Qwen2.5 работать с чередующимся форматом кода и вызовов инструментов в рамках этапа cold-start перед дальнейшим обучением с подкреплением. Модель предназначена для генерации текста в формате ReTool и подготовки к последующим этапам RL, включая GRPO и GFlow-RL. Это плотная причинная языковая модель Qwen2 с 7,1 млрд параметров, контекстом до 131 072 токенов и весами Safetensors; для загрузки README показывает Transformers. Метаданные отмечают интерфейс вызова инструментов, однако чекпойнт описан как промежуточная отправная точка конвейера обучения, а не готовая универсальная чат-модель. Модель дообучена от Qwen/Qwen2.5-7B и распространяется по лицензии Apache-2.0. README не сообщает о языковом составе обучающих данных или качествах на конкретных задачах, поэтому применимость за пределами формата ReTool не следует предполагать.

Это черновая модель DSpark для спекулятивного декодирования, разработанная на базе Qwen/Qwen3-4B и предназначенная для совместной работы с ней как моделью-проверяющим. Она предлагает до восьми токенов за итерацию генерации, чтобы ускорить вывод в vLLM с библиотекой speculators; самостоятельно генерировать текст как полноценная языковая модель не предназначена. Модель использует пять черновых трансформерных слоёв, Markov head ранга 256 и голову оценки уверенности; при обучении применялся метод взвешивания позиций D-PARD. В README приведены результаты валидации и бенчмарков для задач программирования, математических рассуждений и вопросов и ответов. Для работы требуются совместимые версии vLLM и speculators, а также модель-проверяющий и токенизатор Qwen/Qwen3-4B. Эффективность зависит от запросов, оборудования, размера пакета, версии ПО и настроек обслуживания; длина принятых последовательностей сама по себе не гарантирует ускорения общей пропускной способности. Модель распространяется по лицензии Apache-2.0, а ограничения и условия лицензии проверяющей модели также применимы.

Inferencer Labs публикует Qwen3.8-27B MTP — извлечённые слои Multi-Token Prediction (MTP) модели Qwen/Qwen3.8-27B для ускорения генерации методом speculative decoding. Чекпойнт предназначен для совместного использования с Qwen3.8-27B-MLX и служит черновой моделью, предлагающей токены для основной модели. Репозиторий использует библиотеку MLX и содержит веса в формате safetensors. В README сообщается, что квантование Q4.5-bit обычно повышает пропускную способность и снижает потребление памяти без потери качества относительно исходных MTP-слоёв. Модель испытывали на M3 Ultra в приложении Inferencer. Это вспомогательный компонент для ускорения вывода, а не самостоятельная разговорная модель; заявленная совместимость привязана к Qwen3.8-27B-MLX. Лицензия в предоставленных данных не указана.

peerrh/treeflash-qwen3-8b — модель-драфтер TreeFlash, разработанная Peer Rheinboldt, Frédéric Berdoz и Roger Wattenhofer для ускорения спекулятивного декодирования. Это плотная архитектура TreeFlashDraftModel семейства Qwen3, представленная в формате safetensors и используемая вместе с целевой моделью Qwen/Qwen3-8B. Модель предназначена для генерации текста в качестве части конвейера speculative decoding: драфтер параллельно предлагает приближения продолжения, которые целевая модель проверяет. README требует включить trust_remote_code=True для архитектуры драфтера и метода spec_generate. В метаданных указаны 1,6 млрд параметров и контекст 40 960 токенов; библиотека — Transformers. Авторы сообщают о препринте, поданном в июне 2026 года. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

Vicuna-68M — компактная языковая модель семейства LLaMA, разработанная как черновая модель для метода ускоренной генерации Small Speculative Model в статье MCSD. По README, модель дообучена на данных ShareGPT по схеме Vicuna и лучше согласуется с моделями Vicuna, чем исходная LLaMA-68M, при небольшом снижении согласованности с моделями LLaMA. Метаданные указывают архитектуру LlamaForCausalLM, 43,5 млн параметров и контекст до 2048 токенов. Модель предназначена для генерации текста и использования в качестве черновой модели при спекулятивном декодировании совместно с более крупной целевой моделью. В README приведены сравнения совместимости с LLaMA-13/33B и Vicuna-13/33B. Модель принимает текст и генерирует текст; карточка ориентирована на английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0. Компактный размер ограничивает её самостоятельные возможности по сравнению с крупными моделями; качество и совместимость зависят от выбранной целевой модели и сценария спекулятивного декодирования.