II.10Разработка и эксплуатация AI/ML-систем

RLHFlow разработала эту модель как outcome-supervised reward model (ORM) для оценки результатов генерации. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, построенная на meta-llama/Llama-3.1-8B-Instruct и дообученная в течение одной эпохи на RLHFlow/Mistral-ORM-Data — данных, сгенерированных Mistral. Модель использует архитектуру LlamaForCausalLM; в метаданных указан контекст до 131 072 токенов. Модель предназначена для ранжирования или отбора ответов, в частности для Best-of-N (BoN) выборки: README приводит результаты применения ORM при отборе математических решений от генераторов Mistral-7B и Deepseek-7B на GSM8K и MATH. Для использования нужны текстовые входы; репозиторий содержит веса Safetensors и поддерживает библиотеку Transformers. Лицензия в предоставленных данных не указана.

nayohan разработал эту диалоговую модель на основе Meta-Llama-3-8B-Instruct, дообучив её на корейском переводе набора Feedback-Collection. Модель предназначена для оценки ответов: по заданной инструкции, ответу и, при необходимости, эталонному ответу она формирует оценку и поясняющую обратную связь по критериям, заданным в рубрике. Модель принимает текст и генерирует текст; её архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, контекст — 8192 токена. Основной сценарий — оценивание на корейском языке; метаданные также указывают английский. В README описана проверка на выборках из обучающих данных, поэтому приведённые результаты не подтверждают качество на независимом тестовом наборе. Обратная связь при обучении обрезалась, и ответы модели могут быть усечены. Лицензия — Llama 3.

LLaMA-3-8B-SFR-RM-R — модель вознаграждения, выпущенная Salesforce как часть линейки SFR-Iterative-DPO-LLaMA-3-8B-R. Это плотная модель классификации последовательностей на архитектуре Llama с 7,5 млрд параметров и контекстом до 8192 токенов; веса опубликованы в формате safetensors. Модель использует вариант reward modeling на основе Vanilla Bradley–Terry (BT) и предназначена для оценки ответов или предпочтений в сценариях обучения с подкреплением по обратной связи от людей (RLHF). Модель можно применять для ранжирования вариантов ответа по оценке вознаграждения и как компонент конвейера RLHF. Salesforce указывает, что выпуск предназначен для исследований в поддержку академической статьи, а пригодность для конкретных применений, точность, безопасность и справедливость необходимо оценивать отдельно. Лицензия в метаданных обозначена как llama3.

Llama 3 Tulu V2 8B RM — англоязычная reward-модель, разработанная AllenAI на базе allenai/llama-3-tulu-2-8b. Она оценивает ответы помощника и предназначена для использования в обучении с обратной связью от человека, в частности в PPO и RLHF. Модель имеет плотную архитектуру Llama для классификации последовательностей и содержит 7,5 млрд параметров; максимальная длина контекста — 2048 токенов. Модель дообучена на данных UltraFeedback, включая раздел ultrafeedback_mean_aspects; в карточке также описан предварительный этап обучения на отфильтрованной смеси инструкций Tulu V2. В оценке RewardBench она получила 73,6 балла. Для подачи входа рекомендуется формат с сообщением и завершающим переводом строки, реализованный в шаблоне чата токенизатора. Модель подходит для исследований и построения конвейеров обучения языковых помощников. Карточка указывает Apache 2.0, а также отмечает, что базовая Llama 3 распространяется по лицензии Meta Llama 3 Community License; перед использованием следует учитывать условия обеих лицензий.

Llama-PRM800K — дообученная командой Lee Lab Университета Висконсина—Мэдисона модель на основе meta-llama/Llama-3.1-8B-Instruct. Она настроена на наборе PRM800K и предназначена для оценки промежуточных шагов решения задач и получения оценок вознаграждения. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и принимает текст; указанная длина контекста — 131 072 токена. Модель подходит для оценки пошаговых рассуждений и применения в системах, где требуется ранжировать или отбирать варианты решений по оценке модели. В метаданных также заявлены возможности диалога и интерфейс вызова инструментов. Для использования указана лицензия llama3.1; следует соблюдать её условия и ограничения исходной модели.

LLaVA-Critic-7B — мультимодальная модель-оценщик от LMMS-Lab, дообученная на наборе LLaVA-Critic-113k на базе lmms-lab/llava-onevision-qwen2-7b-ov. Она оценивает ответы моделей на задания, связанные с изображениями: выставляет балл одному ответу или сравнивает два ответа, объясняя оценку с опорой на изображение. Модель содержит 7,1 млрд параметров, использует плотную архитектуру LLaVA с языковой частью Qwen2 и поддерживает контекст до 32 768 токенов. Основные сценарии применения — оценка качества ответов мультимодальных моделей и получение сигналов предпочтений для обучения. Модель принимает текст и изображения, выдаёт текстовые оценки и обоснования. В карточке не заявлена поддержка конкретных естественных языков. Модель распространяется по лицензии Apache-2.0.

llm-d-sc-sensitivity — англоязычная модель эмбеддингов предложений, разработанная для проекта llm-d-sc. Она дообучена на базе sentence-transformers/all-MiniLM-L6-v2 и выдаёт 384-мерный вектор, который сравнивают с размеченными опорными примерами, чтобы ранжировать уровни чувствительности текста: PUBLIC, INTERNAL и CONFIDENTIAL. Модель предназначена для маршрутизации запросов и оценки того, можно ли передать их внешнему модельному сервису; решение о применении политики остаётся за вызывающей системой. Модель использует архитектуру BERT, содержит 25,9 млн параметров и принимает текст с контекстом до 512 токенов. В проверке автора на 75 синтетических запросах она достигла точности 0,8933 и macro F1 0,8928; независимого воспроизведения результатов не было. Лицензия — Apache-2.0. Результат зависит от качества и состава anchors.json, а граница между уровнями INTERNAL и CONFIDENTIAL особенно неоднозначна. Обучающие данные синтетические и содержат трассы рассуждений генератора вместо ожидаемых примеров пользовательских запросов; человеческой разметки для проверки нет. Модель выдаёт оценку сходства, а не гарантированное решение по безопасности, поэтому её нельзя использовать как единственную защиту от утечки данных.

m2v-bge-m3-ptbr-en — компактная модель статических текстовых эмбеддингов на базе Model2Vec, созданная Гильерме Мирандой дистилляцией BAAI/bge-m3. Она предназначена для быстрого локального семантического поиска по тексту и коду, в том числе поиска по многословным идентификаторам и кросс-языковых запросов на португальском и английском языках. Модель использует словарь из 185 417 подслов латинского письма, включает португальские диакритические знаки и формируется с помощью PCA и взвешивания SIF. При инференсе она усредняет статические векторы токенов без прямого прохода трансформера, что делает её быстрой на CPU. По данным README, в слепых тестах поиска она сопоставима с potion-multilingual-128M для португальского и английского при меньшем размере. Модель распространяется по лицензии MIT. Удаление токенов нелатинских письменностей ограничивает её применение: кириллица, арабское письмо и CJK не поддерживаются как целевые языки; модель рассчитана прежде всего на португальский (pt-BR) и английский.

Master-RM — генеративная модель оценки ответов, разработанная авторами исследования «One Token to Fool LLM-as-a-Judge». Она получает вопрос, эталонный ответ и проверяемый ответ, после чего судит о его корректности; модель предназначена для применения в роли LLM-судьи и выдачи сигнала вознаграждения в сценариях обучения с проверяемыми наградами. Модель построена на Qwen2.5-7B-Instruct и дообучена методом supervised fine-tuning. Это плотная архитектура Qwen2 с 7,1 млрд параметров и контекстом до 32 768 токенов. Карточка заявляет поддержку нескольких языков, включая английский, русский, китайский, японский и другие. Модель ориентирована на общую оценку ответов и усиление устойчивости судейства к поверхностным манипуляциям вроде добавления символов или вводных фраз о ходе рассуждений. Master-RM рассчитана на использование в оценке ответов, отборе примеров и обучающих контурах RLVR; README сообщает об улучшенной устойчивости относительно ряда коммерческих моделей и специализированных верификаторов. Это заявление относится к результатам авторов исследования и не гарантирует качество на любых данных. Модель распространяется по лицензии Apache-2.0.

Trelis/Meta-Llama-3-8B-Instruct-function-calling — дообученная модель семейства Llama 3, созданного Meta. Репозиторий содержит плотную авторегрессионную трансформерную модель примерно на 7,5 млрд параметров в формате safetensors; она принимает текст и генерирует текст, а контекст составляет до 8192 токенов. Модель дообучена для диалогов и вызова функций на наборе Trelis/function_calling_v3, поэтому подходит для ассистентов, которым нужно отвечать пользователю и формировать вызовы инструментов. Основной язык карточки — английский. Базовая Llama 3 рассчитана на диалоговые и генеративные задачи; качество работы именно с вызовом функций зависит от формата промпта и сценария интеграции. Указанная в README лицензия Meta Llama 3 допускает коммерческое и исследовательское применение при соблюдении её условий и Acceptable Use Policy; метаданные репозитория обозначают лицензию как Apache-2.0, поэтому условия использования следует сверять с лицензией, фактически приложенной к этой производной модели.

unsloth/Mistral-Nemo-Base-2407 — базовая плотная авторегрессионная языковая модель семейства Mistral с 12,1 млрд параметров, опубликованная Unsloth. Она предназначена для генерации текста и может служить отправной точкой для дообучения под конкретные задачи; карточка Unsloth описывает ноутбуки для настройки Mistral Nemo и работы с шаблонами диалогов ShareGPT ChatML и Vicuna, а также с обычным продолжением текста. Модель использует архитектуру MistralForCausalLM, доступна в формате safetensors и имеет контекстное окно до 131 072 токенов. В метаданных указан английский язык. Лицензия — Apache-2.0. README посвящён главным образом инструментам и ноутбукам Unsloth для дообучения, поэтому конкретные показатели качества этой модели в нём не приведены.

unsloth/Mistral-Nemo-Instruct-2407 — плотная авторегрессионная языковая модель семейства Mistral с 12,1 млрд параметров. Репозиторий размещён Unsloth и содержит веса в формате safetensors; модель предназначена для генерации текста в диалогах и поддерживает интерфейс вызова инструментов. Модель принимает текстовые запросы и выдаёт текст. Она поддерживает английский язык и контекст длиной до 131 072 токенов. Карточка репозитория посвящена инструкциям Unsloth по дообучению Mistral Nemo, включая разговорный формат ShareGPT ChatML/Vicuna и экспорт дообученной модели. Модель распространяется по лицензии Apache-2.0. Сведения о специализированных предметных областях и конкретных ограничениях качества в карточке не приводятся.

MMS-300M — многоязычная модель Meta AI, разработанная Vineel Pratap и соавторами на архитектуре Wav2Vec2. Это предварительно обученный речевой энкодер примерно на 300 млн параметров, использующий самоконтролируемое обучение на около 500 тысячах часов речи более чем на 1 400 языках. Входная речь должна иметь частоту дискретизации 16 кГц. Модель служит основой для дообучения под распознавание речи, перевод или классификацию аудио. Сам чекпойнт не является готовой специализированной системой распознавания: для прикладной задачи требуется дообучение на соответствующей разметке. Доступна лицензия CC-BY-NC 4.0, которая ограничивает коммерческое использование.

Это сверточная модель MobileNetV4 с антиалиасингом BlurPool для классификации изображений и извлечения признаков. Её обучил Ross Wightman на ImageNet-1k с помощью скриптов timm и гиперпараметров, основанных на статье MobileNetV4 и дополненных настройками timm. В карточке указано, что это одни из известных весов MobileNetV4; официальные веса моделей TensorFlow на момент публикации не были доступны. Модель содержит около 9,7 млн параметров и рассчитана на входные изображения размером 224 × 224 при обучении и 256 × 256 при тестировании. Помимо предсказания классов, её можно использовать как основу для извлечения карт признаков и эмбеддингов изображений. Она обучена на ImageNet-1k; лицензия репозитория — Apache-2.0.

MobileNetV4 Conv Large — модель классификации изображений семейства MobileNetV4, подготовленная Россом Уайтманом с помощью инструментов timm и обученная на ImageNet-1k. Это сверточная модель, которую также можно использовать как основу для извлечения карт признаков и визуальных эмбеддингов. Модель содержит 32,6 млн параметров и требует 6,4 GMACs; размер изображения при обучении — 384 × 384, при тестировании в карточке указан размер 448 × 448. В README приведены примеры применения для классификации, извлечения признаков и эмбеддингов, а также сравнительные результаты ImageNet-1k. Лицензия — Apache-2.0. Автор README отмечает, что официальные веса TensorFlow-моделей на момент публикации не были выпущены.

ModernBERT-base — двунаправленная encoder-only модель семейства Transformer в стиле BERT, разработанная в сотрудничестве Answer.AI, LightOn и их коллег. Она предварительно обучена на 2 триллионах токенов английских текстов и кода и предназначена для заполнения пропусков в тексте, а также как основа для прикладных задач понимания языка и поиска. Модель содержит 22 слоя и 149 млн параметров, поддерживает контекст до 8192 токенов. В архитектуре используются RoPE, чередование локального и глобального внимания, unpadding и Flash Attention для эффективной обработки длинных последовательностей. Она подходит для анализа длинных документов, классификации, семантического и кодового поиска после настройки под соответствующую задачу. Обучающие данные преимущественно англоязычные и включают код, поэтому качество для других языков может быть ниже. Обработка полного окна контекста может быть медленнее, чем коротких последовательностей; возможны смещения из обучающих данных. Лицензия — Apache-2.0.

nadirclaw/nadirclaw-distilbert — трёхклассовый классификатор сложности запросов для маршрутизатора LLM NadirClaw. Он дообучен на DistilBERT с головой классификации последовательностей и относит запросы к уровням simple, medium или complex, чтобы направлять их моделям с подходящими стоимостью и возможностями. К простым относятся короткие вопросы, поиск сведений и форматирование; к средним — небольшие правки и отладка одного файла; к сложным — проектирование архитектуры, изменения нескольких файлов и задачи с интенсивными рассуждениями. Модель принимает текст и выдаёт метку класса. В карточке указаны около 700 обучающих примеров, работа на CPU и контекст до 512 токенов по метаданным; для инференса README указывает max_length 256 и оценку около 30 мс на запрос. При уверенности ниже 0,70 в классе simple маршрутизатор повышает уровень обслуживания, поэтому классификатор склонен выбирать более мощную модель, чтобы снизить риск недообслуживания сложного запроса. Лицензия — Apache-2.0.

Nexus-Syntegra разработала Nexus-TinyFunction-1.2B-v2.0 — компактную модель для выбора и вызова инструментов, дообученную на LiquidAI/LFM2.5-1.2B-Instruct. Она использует гибридную рекуррентно-внимательную архитектуру LFM2 и содержит около 1,5 млрд параметров. Модель принимает текстовые запросы и описания функций в формате ChatML с XML-разметкой, а затем выдаёт вызовы инструментов или текстовый ответ, если подходящей функции нет. Модель предназначена для интеграции функций и инструментов в локальных чат-ассистентов, мобильные приложения, устройства Raspberry Pi и периферийные серверы. В карточке заявлены точность 94,25% для простого вызова функций, 80,42% для распознавания неподходящих запросов и 99,3% корректного JSON. Контекстное окно составляет 128 000 токенов, однако README отмечает возможное снижение качества при длинных списках инструментов ближе к 32K токенов. Слабые стороны — ошибки при извлечении аргументов для сложных вложенных объектов и необязательных параметров, а также пропуск или объединение параллельных вызовов. Модель обучена только на английском языке и не предназначена для критически важных медицинских, юридических или финансовых задач. Веса дообучения лицензированы Apache 2.0; базовые веса подчиняются LFM Open License v1.0, включая порог коммерческого использования при годовой выручке 10 млн долларов.

nomos-v1-nano-g1 — дообученный англоязычный энкодер для ранжирования инструментов в агентных системах. Он принимает текстовое описание цели, состояния агента и кандидатов из допустимого реестра, преобразует тексты в нормализованные эмбеддинги размерности 384 и позволяет внешнему маршрутизатору сортировать кандидатов по косинусному сходству. Модель построена на BERT, использует библиотеку SentenceTransformers, содержит около 40 млн параметров и поддерживает контекст до 512 токенов. Модель предназначена для сокращения большого списка доступных инструментов до короткого списка подходящих кандидатов, в том числе при работе с незнакомыми названиями инструментов и реестрами разных агентов. В README приведены результаты Recall@1 и Recall@3 на нескольких замороженных наборах, однако авторы отмечают, что они не гарантируют точность на всех реальных сценариях. Модель не генерирует ответы, не выбирает аргументы и не выполняет инструменты; проверка допустимости, побочных эффектов и корректности остаётся за агентной средой. Чекпойнт дообучен на BAAI/bge-small-en-v1.5 и использует набор данных yafitzdev/nomos-v1. Указана лицензия other; конкретные условия следует проверять в карточке репозитория. Англоязычная синтетическая обучающая выборка не подтверждает качество на других языках; точность ранжирования зависит от полноты и качества метаданных кандидатов, а независимая оценка ограничена по размеру.

Opus Moderation 2 — разработанная opus-research многометочная модель классификации текста для модерации контента. Это дообученная на answerdotai/ModernBERT-base encoder-only модель ModernBERT объёмом 149 млн параметров с контекстом до 8192 токенов. Она оценивает семь категорий токсичности и оскорбительного содержания, а также выявляет попытки jailbreak в одном чекпойнте. Модель обучена на данных Civil Comments, Toxic-Chat, jailbreak-classification и вручную составленных безопасных примерах с потенциально вредной лексикой; для многометочного вывода следует применять sigmoid, а не softmax. Лицензия — Apache-2.0. Модель предназначена для классификации текстов модерации и может использоваться как дополнительный выходной фильтр для чат-моделей или для выявления токсичности и jailbreak-попыток. В сравнительном тесте авторов она показала 99% полноты обнаружения jailbreak, но этот показатель получен на наборе без отрицательных примеров. На длинных безвредных запросах классификатор часто срабатывает ошибочно: при пороге 0,5 ложноположительная доля составила 49,5%, а при 0,7 — 42,8%.

Opus Moderation 4 Fast (om4-fast) — компактная модель модерации текста от разработчика opus-research, дообученная на базе answerdotai/ModernBERT-base. Она классифицирует текст по семи меткам токсичности и отдельно выявляет jailbreak-запросы; предназначена для объединённой проверки контента в сценариях с ограниченными вычислительными ресурсами, включая запуск на CPU. Модель содержит 149 млн параметров, использует архитектуру ModernBERT для классификации последовательностей и поддерживает контекст до 8192 токенов; обучение проводилось на последовательностях длиной 384 токена. Модель англоязычная. По заявленным оценкам, F1 для обнаружения jailbreak составляет 0,828, а macro F1 по общей модерации — 0,473. Выходы представляют калиброванные доли оценок разметчиков: для многометочной классификации следует применять sigmoid, а пороги заданы отдельно для каждой метки. Лицензия — Apache-2.0. В обучающих данных использован набор lmsys/toxic-chat с лицензией CC-BY-NC, что может иметь значение при оценке условий использования данных.

Opus Moderation 4 Large (om4-large) — модель классификации текста от команды opus-research для модерации контента. Это полноценно дообученный ModernBERT-large с 394,7 млн параметров и контекстом до 8192 токенов; модель выдаёт оценки по семи меткам токсичности и отдельную оценку обнаружения jailbreak-атак. Оценки откалиброваны как доли аннотаторов, которые пометили бы текст; для многометочной классификации следует применять sigmoid, а не softmax. В репозитории также есть пороги для каждой метки. Модель предназначена для автоматической проверки пользовательских комментариев и сообщений, выявления оскорблений, токсичности, непристойного содержания, угроз и попыток обхода ограничений языковых моделей. В описанном авторами тесте на 20 тысячах примеров она показала macro F1 0,543 по семи меткам и F1 0,903 для jailbreak-детекции. Основные заявленные ограничения — ненадёжная метка severe_toxicity, более слабое распознавание угроз и специализация на английских текстах в жанрах новостных комментариев и диалогов с LLM; обучение проводилось на длине 384 токена. Лицензия модели — Apache-2.0, однако среди обучающих данных есть toxic-chat с лицензией CC-BY-NC, что может влиять на допустимость отдельных сценариев использования.

Это преобразованная в формат OpenVINO модель papluca/xlm-roberta-base-language-detection для ускоренного инференса. Она использует архитектуру XLM-RoBERTa и классифицирует текст по языку; подходит для определения языка входных фрагментов в приложениях обработки текста. В модели 305,2 млн параметров, максимальная длина контекста — 514 токенов. Модель предназначена для классификации текста и не генерирует ответы. Карточка указывает на конверсию исходных весов для OpenVINO; сведений о лицензии и перечне распознаваемых языков в предоставленных данных нет.

Plano-Orchestrator — дообученная модель команды Katanemo для маршрутизации запросов между агентами и языковыми моделями в многоагентных системах. Она анализирует намерение пользователя и историю диалога, чтобы определить, каким агентам передать запрос и в какой последовательности; распознаёт несколько намерений в одном сообщении, учитывает уточнения и продолжения беседы и может определить, что специализированная маршрутизация не нужна. Модель основана на Qwen3-30B-A3B-Instruct-2507 с архитектурой Qwen3 MoE и доступна в формате safetensors. Метаданные указывают 2,6 млрд параметров и контекст до 262 144 токенов; заявленные сценарии охватывают обычные диалоги, программирование и длинные многоходовые беседы. Карточка описывает её как рассчитанную на низкую задержку и производственное применение. Лицензия указана как other, поэтому условия использования следует проверять в репозитории модели.

Prism Performance RM Downscaled Diversity — модель классификации текста, дообученная Henry202 на базе meta-llama/Llama-3.2-1B-Instruct с помощью TRL. Она предназначена для оценки текста скалярной оценкой вознаграждения: в карточке показан пример получения score для фразы. Модель содержит 1,2 млрд параметров, использует архитектуру LlamaForSequenceClassification и формат safetensors; заявленная длина контекста — 131072 токена. Базовая модель поддерживает несколько языков, однако языки и качество оценки именно этой модели отдельно не описаны. Лицензия в предоставленных данных не указана.

Qwen1.5-4B — базовая предобученная языковая модель от команды Qwen, бета-версия семейства Qwen2. Это декодерная Transformer-модель с примерно 3,6 млрд параметров, предназначенная для генерации текста и дальнейшей адаптации под прикладные задачи. Для пользовательского диалога предпочтительна отдельная чат-версия семейства: разработчики не рекомендуют использовать базовую модель для генерации без дополнительного обучения. Модель поддерживает контекст до 32 768 токенов и многоязычный токенизатор, адаптированный также к программному коду. В архитектуре семейства используются активация SwiGLU и смещение в проекциях внимания QKV; описание бета-версии уточняет, что в ней временно отсутствуют GQA (кроме модели 32B) и сочетание скользящего окна с полным вниманием. Модель принимает текст и генерирует текст. Рекомендуемые сценарии — продолжение текста, эксперименты и дообучение с помощью SFT, RLHF или продолжения предобучения. Репозиторий содержит веса в формате safetensors. Указана лицензия other, поэтому точные условия использования следует проверять в файлах лицензии репозитория.

AICP-Labs публикует DFlash — черновую модель для ускорения спекулятивного декодирования вместе с целевой Qwen3-32B. Модель имеет плотную архитектуру DFlashDraftModel и содержит около 3 млрд параметров; для работы её используют с целевой моделью через SpecForge. Заявленный контекст — 40 960 токенов. Модель обучена на подмножестве EagleChat примерно из 400 тысяч примеров: около 200 тысяч на английском и 200 тысяч на китайском. Она предназначена для ускорения генерации целевой модели, а не для самостоятельного применения как универсальный чат-ассистент. В описанных тестах на H100 показано ускорение на наборах задач, однако результаты зависят от оборудования и параметров запуска. Репозиторий использует формат safetensors и лицензию Apache-2.0.

Red Hat выпустила эту модель-спекулятор для ускорения генерации текста моделью Qwen3-32B с помощью алгоритма спекулятивного декодирования EAGLE-3. Она предлагает черновые токены, которые проверяет основная модель, поэтому предназначена для совместного запуска с Qwen/Qwen3-32B, а не как самостоятельная языковая модель. Модель оптимизирована для задач рассуждения с включённым режимом thinking. Для использования автор рекомендует vLLM, шаблон чата Qwen3-32B и endpoint /chat/completions; в примере конфигурации задано пять спекулятивных токенов. Обучение проводилось на Magpie-Pro-300K-Filtered и UltraChat 200K с ответами Qwen3-32B. Файлы модели представлены в формате safetensors. Лицензия — Apache-2.0. README приводит оценки производительности, но таблицы с результатами опущены, поэтому по карточке нельзя оценить величину ускорения; работа модели зависит от совместимой версии vLLM и исходной Qwen3-32B.

Qwen3.8-27B-DFlash2 — черновая модель для спекулятивного декодирования, разработанная z-lab / Inco AI и опубликованная в этом репозитории как зеркало. Это не самостоятельная языковая модель: она работает вместе с целевой Qwen/Qwen3.8-27B в сервере инференса и предлагает блоки токенов, которые целевая модель проверяет. Архитектура указана как DFlash2DraftModel на базе Qwen3; веса представлены в формате safetensors, число параметров — 2,9 млрд, контекст — 262 144 токена. Модель предназначена для ускорения генерации при сохранении результата целевой модели: при жадном декодировании вывод совпадает с целевой моделью, а при сэмплировании сохраняется её распределение. В описанных испытаниях с SGLang на NVIDIA H200 она повысила пропускную способность на задачах GSM8K, MATH-500 и HumanEval по сравнению с обычным авторегрессионным декодированием; фактическое ускорение зависит от нагрузки и сервера. Для работы необходимы целевая модель Qwen/Qwen3.8-27B и сервер с поддержкой спекулятивного декодирования, например SGLang. Лицензия — Apache-2.0.

Qwen3.8-27B-DFlash2 — черновая модель DFlash 2 от z-lab для ускорения генерации с помощью спекулятивного декодирования с целевой моделью Qwen/Qwen3.8-27B. Это не самостоятельная языковая модель: она запускается внутри совместимого сервера, например SGLang, предлагает блоки токенов, а целевая модель проверяет их. Архитектура использует блочную диффузию и лёгкий селектор для выбора согласованного пути токенов; в метаданных указан размер 2,9 млрд параметров и контекст до 262 144 токенов. Модель предназначена для ускорения вывода целевой модели при генерации текста, в том числе в задачах решения математических задач и генерации кода. По README, декодирование сохраняет результат жадной генерации и распределение при сэмплировании целевой модели; в приведённых тестах на одной NVIDIA H200 DFlash 2 повысила пропускную способность относительно обычной генерации. Эти результаты зависят от оборудования, настроек и нагрузки. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.