II.10Разработка и эксплуатация AI/ML-систем

Frame-VAD Multilingual MarbleNet v2.0 — компактная сверточная модель NVIDIA на архитектуре MarbleNet для обнаружения речи в аудиопотоке. Она предназначена для использования как первый этап распознавания речи, диаризации говорящих и других задач обработки аудио. Модель содержит 91,5 тыс. параметров и выдаёт вероятность наличия речи для каждого 20-миллисекундного кадра. Модель принимает одноканальное аудио WAV с частотой 16 кГц и поддерживает английский, испанский, французский, немецкий, русский и китайский языки. Для снижения ложных срабатываний при обучении использовались шумовые помехи, разные уровни громкости и примеры неречевых звуков. Для более устойчивых границ речи вероятности можно сглаживать и порогово классифицировать. Модель рассчитана на работу в реальном времени; NVIDIA указывает оптимизацию для GPU-систем, а также готовность к коммерческому применению. Использование регулируется NVIDIA Open Model License Agreement.

GA-Guard-AIO-GGUF — набор открытых моделей модерации в формате GGUF, опубликованный prithivMLmods на основе моделей GeneralAnalysis: GA_Guard_Core, GA_Guard_Thinking и GA_Guard_Lite. Модели предназначены для разработчиков и организаций, которым требуется выявлять нарушения политик безопасности и соответствия в текстовых запросах и сообщениях. Модели классифицируют семь категорий риска: незаконная деятельность, язык вражды и оскорбления, персональные данные и интеллектуальная собственность, безопасность промптов, сексуальный контент, дезинформация, а также насилие и самоповреждение. Они генерируют структурированные специальные токены по каждой категории, например <policy_violation> и <policy_not_violation>. Для корректной работы требуется использовать chat template модели и декодировать результат с skip_special_tokens=False; стандартный pipeline("text-generation") может удалять необходимые токены. GA_Guard_Core и GA_Guard_Thinking имеют около 4 млрд параметров, 36 слоёв, GQA-внимание и контекст до 262 144 токенов. В набор также входит GA_Guard_Lite заявленного размера 0,6 млрд параметров, однако README содержит противоречивое утверждение о размере всех вариантов. Модели ориентированы на модерацию длинного контекста и устойчивость к jailbreak-атакам и prompt injection; приведены высокие результаты на нескольких бенчмарках, включая GA Jailbreak Benchmark и GA Long-Context Bench, но независимая проверка этих заявлений необходима. Указана лицензия Apache-2.0. В README заявлен только английский язык, поэтому возможности для других языков не подтверждены.

Ray2333/Gemma-2B-rewardmodel-baseline — компактная модель вознаграждения для оценки ответов языковых моделей, разработанная автором репозитория на основе Gemma-2B-IT. Модель дообучена с функцией потерь Bradley–Terry на наборе preference_dataset_mixture2_and_safe_pku; в метаданных указан также датасет hendrydong/preference_700K. Это плотная архитектура GemmaForSequenceClassification с 2,5 млрд параметров и контекстом до 8192 токенов. Модель предназначена для ранжирования или классификационной оценки ответов в задачах предпочтений, включая диалоги, сложные диалоги, безопасность и рассуждения. В README приведены результаты на бенчмарке reward-моделей, однако отдельных метрик и протокола оценки для этой модели подробно не описано. Модель опубликована в формате safetensors под лицензией MIT.

GLM-4.7-Flash-DFlash — обученная модель-предсказатель DFlash от автора репозитория Dariusfar, предназначенная для ускорения генерации GLM-4.7-Flash методом спекулятивного декодирования. Она предлагает блоки будущих токенов, а целевая GLM-4.7-Flash проверяет их; при принятии блоков генерация ускоряется без изменения распределения выходов целевой модели. Для работы нужны обе модели и совместимая среда выполнения DFlash. Модель использует архитектуру DFlashDraftModel в стиле Qwen3. README указывает около 1,1 млрд параметров, а метаданные Hugging Face — 694,7 млн; расхождение в размере не позволяет привести одну оценку как бесспорную. Размер блока чернового предсказания — 16 токенов, контекстное окно по метаданным — 202 752 токена. В карточке приведены результаты ускорения GLM-4.7-Flash примерно на 30% относительно обычной генерации на тестовом наборе; фактический выигрыш зависит от нагрузки и настроек. Модель рассчитана на подключение как черновой предсказатель в serving-систему для GLM-4.7-Flash, а не на самостоятельное использование как универсальный чат-бот. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели и связанных материалах.

GPT-JT-Moderation-6B v1 — модель Together Computer, дообученная на наборе OIG-moderation от Ontocord.ai. Это причинная языковая модель семейства GPT-JT с 6 млрд параметров, предназначенная для модерации диалогов с чат-ботами. Она проверяет сообщения пользователя и ответы бота, выявляя неподходящий контент и помогая решить, нужно ли заблокировать ответ или заменить его уведомлением об отказе. Модель принимает текстовые запросы и генерирует текстовый результат. Она обучалась на данных allenai/prosocial-dialog и небольшой части OIG, дополненной повседневными запросами; карточка также указывает prosocial-dialog среди данных обучения. Контекст составляет 2048 токенов, основной язык — английский. Модель может использоваться как отдельный модератор в связке с основной диалоговой моделью. Лицензия — Apache-2.0. Точность зависит от качества и репрезентативности обучающих данных: возможны как ложные срабатывания, так и пропуски вредного или неподходящего контента. Карточка не приводит количественных оценок качества.

Hirundo Granite 4.2 8B Hardened — дообученная версия языковой модели IBM Granite 4.2 8B, созданная Hirundo с помощью поведенческого unlearning. Она предназначена для генерации текста и диалогов с пониженной восприимчивостью к prompt injection, включая прямые, закодированные и скрытые в содержимом инструкции, а также для оценки защищённости моделей и разработки приложений, где важна устойчивость к таким атакам. По README, на текстовом бенчмарке PurpleLlama доля успешных атак снизилась с 46,55% у исходной модели до 21,78%; в тестах garak также снизились показатели атак и утечки защищённого контекста. В шести основных тестах общих возможностей среднее изменение относительно базовой модели составило −0,28 процентного пункта. Это результаты конкретных оценок, а не гарантия защиты: модель следует проверять с реальными промптами, инструментами и источниками данных приложения. Модель рассчитана на текстовый ввод и текстовую генерацию; сведения об архитектуре, контексте и языках предлагается смотреть в карточке базовой модели. Распространяется по лицензии Apache-2.0.

GuardReasoner-3B — языковая модель на базе Llama 3.2 3B, дообученная авторами проекта методами R-SFT и HS-DPO для защитных механизмов LLM, основанных на рассуждениях. Она предназначена для классификации и анализа текстовых запросов в сценариях оценки безопасности; метаданные также указывают на поддержку генерации текста и диалогового режима. Модель содержит 3,2 млрд параметров, использует архитектуру LlamaForCausalLM и контекст до 131 072 токенов. Карточка ссылается на статью GuardReasoner: Towards Reasoning-based LLM Safeguards и набор обучающих данных GuardReasonerTrain. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории.

HalluciGuard Detector — классификатор текста на базе DistilBERT, дообученный для выявления галлюцинаций. Модель относит входной текст к одному из двух классов: NO_HALLUCINATION или HALLUCINATION; обучение проводилось на датасете HaluEval. Модель предназначена для автоматической проверки текстовых ответов и выделения потенциально вымышленных утверждений. Она принимает текст и выдаёт метку класса. Максимальная длина контекста составляет 512 токенов; веса опубликованы в формате safetensors. Модель доступна на условиях лицензии Apache-2.0. Классификатор может помогать в проверке ответов, однако его метка сама по себе не подтверждает фактическую истинность текста. Карточка не сообщает об оценках качества или поддержке языков, поэтому результаты для конкретных языков и сценариев требуют отдельной проверки.

hotchpotch/japanese-reranker-tiny-v2 — небольшая японская модель для повторного ранжирования текстов, разработанная hotchpotch. Она оценивает релевантность пар запроса и документа, чтобы упорядочивать результаты поиска или кандидаты, полученные на первом этапе поиска. Модель предназначена для японских сценариев, включая улучшение поиска и RAG-систем, где важны низкая задержка и работа на ограниченных вычислительных ресурсах. Модель дообучена на основе cl-nagoya/ruri-v3-pt-30m и использует плотную архитектуру ModernBERT с 3 слоями и размером скрытого состояния 256; содержит 29,4 млн параметров и принимает последовательности длиной до 8192 токенов. В README приведены оценки на японских наборах JQaRA, JaCWIR, MIRACL и JSQuAD, а также замеры скорости для GPU, Apple Silicon и CPU; производительность зависит от оборудования и конфигурации. Доступны форматы Safetensors и ONNX, для использования описаны Transformers и Sentence Transformers. Лицензия — MIT.

KARAKURI LM 7B APM v0.2 — языковая модель KARAKURI Inc. на архитектуре Mistral, дообученная на базе mistral-community/Mistral-7B-v0.2. Это decoder-only трансформер с 7,1 млрд параметров и контекстом до 32 768 токенов; модель предназначена для оценки ответов по различным аспектам, влияющим на их желательность. Для обучения использовались OASST2 и HelpSteer. Модель работает с текстом, поддерживает английский и японский языки, при этом в README основным назван английский. Распространяется по лицензии Apache 2.0.

mDenseOn-unsupervised — многоязычная плотная модель для поиска по LightOn, полученная на первом этапе обучения семейства mDenseOn. Это энкодер Sentence Transformers на базе ModernBERT с 306,9 млн параметров: он кодирует запросы и документы в векторы размерности 768, используя CLS-пулинг и косинусное сходство. Для запросов и документов предусмотрены префиксы `query:` и `document:`, максимальная длина последовательности — 8192 токена. Модель предварительно обучена контрастивным методом на корпусе примерно из 2,8 млрд пар «запрос—документ» на английском, французском, немецком, итальянском, испанском, португальском, шведском, норвежском и арабском языках; около четверти пар являются межъязыковыми. Чекпойнт подходит для экспериментов с многоязычным поиском, дообучения на собственных данных и дистилляции. Для большинства производственных сценариев авторы рекомендуют полностью обученную mDenseOn, поскольку этот чекпойнт ещё не прошёл этап настройки на отобранных сложных негативных примерах. Лицензия — Apache 2.0.

MD-Judge — модель языковой оценки безопасности от OpenSafetyLab, дообученная на базе Mistral-7B. Она классифицирует пары вопрос–ответ, оценивая их безопасность, и предназначена для анализа поведения больших языковых моделей и оценки на наборах тестов безопасности, в том числе в контексте SALAD-Bench. Модель имеет плотную авторегрессионную архитектуру Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Карточка указывает английский язык и датасеты ToxicChat, BeaverTails и LMSYS-Chat-1M. Модель выдаёт текстовую оценку в формате генерации; для практического использования её следует применять как классификатор пар вопрос–ответ. Репозиторий содержит веса safetensors. Лицензия — Apache-2.0. README отмечает, что разработка модели продолжается.

castorini/mdpr-tied-pft-msmarco-ft-all — модель семейства BERT, разработанная Castorini и дополнительно дообученная на всех обучающих данных Mr. TyDi. Она основана на castorini/mdpr-tied-pft-msmarco и предназначена для получения векторных представлений текстов, в частности для многоязычного поиска и извлечения документов по запросу. Модель содержит 205,1 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт признаки, пригодные для последующего поиска или ранжирования. В README указано дообучение на Mr. TyDi; метаданные не перечисляют языки, а конкретные поддерживаемые языки и показатели качества не приводятся. Репозиторий содержит веса PyTorch и safetensors. Лицензия в предоставленных данных не указана.

MiniCPM4-8B-Eagle-vLLM — вспомогательная модель OpenBMB для ускорения генерации MiniCPM4-8B с помощью спекулятивного декодирования Eagle в vLLM. Репозиторий предоставляет Eagle head в формате для vLLM; для работы ему нужна базовая MiniCPM4-8B и актуальная версия vLLM. Семейство MiniCPM4 разработано для эффективного запуска на устройствах с ограниченными ресурсами и поддерживает китайский и английский языки. Базовая MiniCPM4-8B использует плотную архитектуру MiniCPM и контекст до 32 768 токенов; в серии также описана разреженная обработка длинных текстов. Указанный в метаданных размер 537,8 млн параметров относится к этому репозиторию, а не к базовой модели на 8 млрд параметров. Модель предназначена для ускорения вывода, а не для самостоятельного использования как универсальная языковая модель. Лицензия Apache-2.0.

EuroEval/mmBERT-small-multi-wiki-qa-synthetic-hallucinations-with-ragtruth-ro — модель на базе архитектуры ModernBERT для token classification, опубликованная в библиотеке Transformers. Название указывает на настройку для выявления синтетических галлюцинаций в сценариях вопросов и ответов по документам, связанных с RAGTruth и многовикипедийными данными. Модель содержит около 140,5 млн параметров и поддерживает контекст до 8192 токенов. Её можно применять для классификации отдельных токенов или фрагментов текста при анализе достоверности ответов и обнаружении потенциально галлюцинирующих участков. Сведения о разработчике, лицензии, языках, результатах оценки и точной схеме меток в предоставленной карточке отсутствуют.

facebook/mms-lid-512 — модель распознавания языка речи из проекта Massively Multilingual Speech, разработанного Vineel Pratap и коллегами в Facebook. Это дообученная на 512 языках версия facebook/mms-1b на архитектуре Wav2Vec2: она принимает аудио и распределяет вероятности по 512 классам языков, помогая определить, на каком языке говорят. Для работы ожидается аудио с частотой дискретизации 16 кГц. Модель подходит для автоматической идентификации языка в аудиозаписях и как начальный этап многоязычных речевых конвейеров. В карточке указана лицензия CC-BY-NC 4.0, которая ограничивает коммерческое использование. Модель предназначена для классификации языка речи, а не для транскрибирования или перевода аудио.

flowxai/moderation — многометочная модель классификации текста для библиотеки flowx-border, разработанная Flowx AI. Она проверяет текст на входе и выходе LLM и возвращает решение с записью доказательств для аудита. Модель основана на FacebookAI/xlm-roberta-base, имеет архитектуру XLM-RoBERTa с классификационной головой и 305,2 млн параметров; экспортирована в ONNX. Обучающее окно составляет 96 токенов, хотя нативный контекст базовой модели — 514 токенов. Детектор распознаёт 12 категорий: кибервторжения, клевету, вмешательство в выборы, экстремизм, мошенничество, разжигание ненависти, запрещённые наркотики, имущественные преступления, самоповреждение, сексуальную эксплуатацию, содействие насилию и оружие массового поражения. Категория безопасности детей отсутствует и должна считаться недоступной, а не безопасной. Модель предназначена для политики библиотеки и не является универсальным модератором. README рекомендует использовать библиотеку, которая применяет порог и обработку длинных текстов; при прямом запуске ONNX эти настройки нужно реализовать самостоятельно. В карточке приведены результаты по языкам и категориям; обучение основано на синтетических данных, поэтому реальные тексты могут отличаться от обучающего распределения. Для входов длиннее 96 токенов требуется разбиение на части и объединение результатов. Модель распространяется по лицензии Apache-2.0.

Nomic Embed Vision v1.5 — модель семейства Nomic BERT от Nomic AI для получения признаковых представлений изображений. Она предназначена для извлечения эмбеддингов и мультимодального поиска, включая поиск изображений по текстовому запросу в системах retrieval и RAG. В README также описан совместный анализ пространств эмбеддингов изображений и текста. Модель принимает изображения и выдаёт векторные представления; для текстовых запросов в мультимодальном поиске README рекомендует префикс «search_query: ». В метаданных указаны архитектура NomicVisionModel, библиотека Transformers и форматы Safetensors и ONNX. Язык карточки — английский; размер модели и длина контекста не указаны. Лицензия — Apache-2.0.

Ogma Mini — компактная англоязычная модель эмбеддингов текста семейства Ogma, предназначенная для локального поиска и работы на устройствах с ограниченными ресурсами. В README указаны 3,5 млн параметров, размер около 14 МБ и контекст до 1024 токенов; модель использует архитектуру энкодера и выдаёт векторные представления текста, а не генерирует текст. Модель подходит для семантического и векторного поиска, извлечения документов для RAG, памяти агентных систем, кластеризации и классификации. Поддерживаются маршруты кодирования с токенами задач и Matryoshka-размерности 256, 128, 64 и 32, позволяющие уменьшать размер векторов. В README приведена оценка 53,06 на англоязычном бенчмарке MTEB; результаты зависят от задачи и способа применения. Ограничения: модель рассчитана на английский язык, не выполняет генерацию текста и уступает MiniLM-L6-v2 в задачах реранжирования. На CPU трансформерный энкодер может работать заметно медленнее статических моделей. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование без отдельного разрешения.

Карточка модели amd/PARD-Qwen2.5-0.5B на Hugging Face совпадает с карточкой amd/PARD-Llama-3.2-1B, поэтому описание составлено по ней. PARD-Llama-3.2-1B — модель семейства Llama, разработанная авторами метода PARD для ускорения генерации текста с помощью спекулятивного декодирования. Это параллельная черновая модель на 1,2 млрд параметров, адаптированная из авторегрессионной черновой модели; один черновой чекпойнт PARD может использоваться для ускорения целого семейства целевых моделей. Репозиторий содержит веса в формате safetensors и поддерживает контекст до 131 072 токенов. Модель предназначена для интеграции в системы инференса, где она предлагает черновые продолжения для целевой языковой модели. README сообщает об ускорении в среднем в 1,78 раза относительно авторегрессионных черновых моделей и до 4,08 раза в Transformers+ и до 3,06 раза в vLLM; эти результаты относятся к описанным авторами настройкам и не гарантируют такого ускорения во всех сценариях. Метаданные указывают поддержку чата и интерфейса вызова инструментов. Модель распространяется по лицензии MIT. Она ориентирована на ускорение инференса, поэтому качество и применимость готовых ответов зависят от целевой модели и конфигурации спекулятивного декодирования.

POLAR-1.8B — модель вознаграждения, разработанная командой InternLM. Она оценивает траектории ответов языковой модели относительно предоставленного эталонного ответа: на вход подаются запрос, эталонная траектория и кандидат, а результатом служит оценка согласованности кандидата с эталоном. Модель предназначена для оценки и ранжирования ответов, а также для подачи сигналов вознаграждения при дообучении с подкреплением (RFT). Модель основана на InternLM2.5-1.8B и дообучена на общих данных предпочтений; число параметров — 1,7 млрд, контекст — до 32 768 токенов. Архитектура — плотная InternLM2 с классом InternLM2ForRewardModel. В карточке указаны английский и китайский языки. Для работы с оцениванием требуются запрос, эталон и кандидат, поэтому простого текста кандидата без эталонной траектории недостаточно для описанного сценария. POLAR использует сравнение относительно эталона, а не только абсолютные предпочтения; разработчики заявляют о переносе оценок на новые сценарии и снижении reward hacking. Для инференса и дообучения предлагаются Transformers и инструменты lmdeploy, sglang, vLLM и xtuner. Лицензия — Apache-2.0.

POLAR-7B — модель вознаграждений, разработанная командой InternLM и основанная на InternLM2.5-7B. Она присваивает оценку ответу языковой модели, сопоставляя его с запросом и эталонной траекторией; для оценки требуется передать prompt, reference и candidate output. Модель обучена по парадигме Policy Discriminative Learning: она различает сходные и отличающиеся политики и подходит для настройки с подкреплением (RFT), ранжирования траекторий и отбора ответов по предпочтениям. В отличие от POLAR-7B-Base, этот чекпойнт дополнительно дообучен на общих данных предпочтений и предназначен для непосредственного применения. Модель использует плотную архитектуру InternLM2, содержит 7,4 млрд параметров и поддерживает контекст до 262 144 токенов. В карточке указаны английский и китайский языки. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Для инференса README упоминает Transformers, LMDeploy, SGLang и vLLM; оценка зависит от наличия подходящей эталонной траектории, а модель предназначена для выдачи оценок и не генерирует пользовательский ответ.

Модель Guardrails AI и Joseph Catrambone предназначена для обнаружения атак насыщением (saturation jailbreak) в текстовых запросах. Это небольшая модель классификации последовательностей на архитектуре BERT, созданная на основе bert-tiny и объединённая с google-bert/bert-base-uncased. Она рассчитана на английский язык и может служить предварительным фильтром в составе многоуровневой защиты ML-систем. Модель не предназначена для самостоятельного обнаружения других типов jailbreak-атак. В метаданных указаны 4,4 млн параметров и контекст до 512 токенов. Лицензия обозначена как ограничительная; условия следует проверить в карточке модели перед использованием.

nluai/question-generation-vietnamese-v2 — модель генерации поисковых запросов для расширения документов, основанная на mT5 и дообученная на вьетнамских данных набора mMARCO. Модель принимает текстовые фрагменты и генерирует вероятные запросы, связанные с их содержанием; это помогает добавить в поисковый индекс синонимы и повысить вес значимых слов для лексического поиска BM25 в Elasticsearch, OpenSearch или Lucene. Модель также подходит для создания пар «запрос — текст» на неразмеченных коллекциях, которые можно использовать при обучении плотных моделей эмбеддингов. В обучении использовались пары «запрос — passage» из mMARCO; вход ограничивался 320 токенами WordPiece, выход — 64. Генерация с выборкой top-k/top-n недетерминирована. Модель содержит 291,2 млн параметров, использует архитектуру mT5 и распространяется под лицензией Apache-2.0.

Это черновая голова EAGLE3 для Qwen/Qwen2.5-7B-Instruct, разработанная Thoughtworks и обученная методом EAGLE3 с использованием SpecJAX на Google Cloud TPU. Она предназначена для ускорения авторегрессионной генерации: предлагает несколько следующих токенов, которые целевая модель проверяет параллельно. В README сообщается о типичном приросте пропускной способности в 2–3 раза без изменения качества выходных данных; фактический результат зависит от оборудования, запросов и версии среды выполнения. Модель содержит 731,3 млн параметров по метаданным и реализована как однослойный трансформер LlamaForCausalLM, использующий скрытые состояния целевой Qwen2.5-7B на слоях 1, 13 и 24. Для запуска требуется совместимая целевая модель; README описывает использование через SGLang на GPU или sglang-jax на TPU, причём для Qwen2.5 нужны дополнительные исправления, а TPU-конвейер ещё не оптимизирован по производительности. Репозиторий распространяется под лицензией Apache-2.0.

Qwen3.5-27B-DFlash — черновая модель DFlash, совместно переобученная Z-Lab и Modal для ускорения вывода базовой Qwen/Qwen3.5-27B. Это не самостоятельная языковая модель: её подключают к целевой модели в сервере инференса со свободным декодированием DFlash, например SGLang. Черновая модель на основе блочной диффузии параллельно предлагает несколько токенов, которые затем проверяет целевая модель, сохраняя её распределение выходов. По данным карточки, обучение проводилось с последовательностями длиной 40 тысяч токенов и скользящим окном внимания. Метаданные указывают архитектуру DFlashDraftModel, формат safetensors, 3,3 млрд параметров и нативный контекст 262 144 токена. В описанных тестах на одной NVIDIA B200 ускорение достигало 6,20 раза при одном запросе и 3,01 раза при конкурентной обработке 32 запросов; результаты зависят от нагрузки и конфигурации. Модель предназначена для увеличения пропускной способности при обслуживании запросов через парную Qwen/Qwen3.5-27B, а не для прямого общения с пользователем. Карточка не перечисляет поддерживаемые естественные языки. Лицензия — Apache-2.0.

txn545/Qwen3.5-35B-A3B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.5-35B-A3B, разработанной Alibaba. Квантизация выполнена с помощью NVIDIA Model Optimizer до формата NVFP4; модель предназначена для текстового ввода и генерации текста. Модель рассчитана на разработчиков, которым нужны готовые к развертыванию решения для AI Agent-систем, чат-ботов, RAG-систем и других приложений на базе ИИ. Она использует трансформерную архитектуру Qwen3.5-35B-A3B с 35 млрд параметров, из которых активируется 3 млрд, и поддерживает контекст до 262K токенов. Указанные сценарии инференса ориентированы на NVIDIA GPU, в частности архитектуру Blackwell, Linux и движок SGLang. Ключевое преимущество модели — предварительная NVFP4-квантизация весов и активаций линейных операторов в MoE-блоках, что предназначено для эффективного инференса на совместимом оборудовании. Ограничения включают зависимость от NVIDIA GPU и совместимой версии SGLang, а также возможные неточности, токсичные ответы и усиление предубеждений, унаследованных от обучающих данных базовой модели. Модель распространяется по лицензии Apache 2.0 и допускает коммерческое и некоммерческое использование с учетом требований базовой модели.

Red Hat разработала RedHatAI/Qwen3-8B-Thinking-speculator.eagle3 — модель-предсказатель для ускорения генерации текста с помощью спекулятивного декодирования EAGLE-3. Она предназначена для совместной работы с Qwen3-8B: предсказывает черновые токены, которые проверяет основная модель, чтобы повысить пропускную способность генерации. Модель обучена с включённым режимом рассуждений на данных Magpie-Align/Magpie-Pro-300K-Filtered и HuggingFaceH4/ultrachat_200k. Архитектура — Eagle3Speculator, класс модели в Transformers — Eagle3DraftModel; веса доступны в формате safetensors. Используйте её с шаблоном чата Qwen3-8B через vLLM и endpoint /chat/completions. Для этого в конфигурации спекулятивного декодирования указываются метод eagle3 и число черновых токенов. Лицензия — Apache-2.0. Карточка описывает сценарий ускорения текстовой генерации, но не приводит измерений прироста производительности для разных нагрузок.

ReasonFlux-PRM-7B — модель оценки процесса рассуждения, разработанная Gen-Verse. Она оценивает траектории рассуждения вместе с ответами и использует как пошаговую, так и траекторную супервизию, чтобы присваивать детальные оценки качества структурированным цепочкам рассуждений. Модель подходит для отбора качественных обучающих данных для дистилляции, плотной оценки процесса при оптимизации политики с подкреплением и масштабирования вывода с помощью оценок вознаграждения; поддерживает офлайн- и онлайн-сценарии супервизии. Это плотная авторегрессионная модель семейства Qwen2 на 7,1 млрд параметров с контекстом 4096 токенов, рассчитанная на текстовый диалог и генерацию. Основная задача в метаданных — text-generation; практическое назначение — оценка рассуждений и вознаграждение за их ход. Доступна в формате safetensors и распространяется по лицензии MIT. README также описывает производную ReasonFlux-PRM-Qwen-2.5-7B, обученную с использованием этой модели, но не сообщает о базовой модели для самого ReasonFlux-PRM-7B.

Reasoning Router 0.6B — дообученная Амиром Мохсени модель классификации на базе Qwen/Qwen3-0.6B. Она относит текстовые запросы к классу `no_think`, если явный режим рассуждений не нужен, или `think`, если запросу может быть полезен такой режим, например для математики и многошагового анализа. Модель предназначена для маршрутизации запросов в гибридных системах: простые задачи можно направлять на быстрые и недорогие модели, а более сложные — на модели с поддержкой рассуждений. Модель содержит 507,6 млн параметров, использует архитектуру Qwen3ForSequenceClassification и принимает текст для классификации. Контекстное окно — до 40 960 токенов. Обучение проводилось на наборе AmirMohseni/reasoning-router-data-v2, включающем математические задачи и общие запросы; основным языком обучения был английский. Модель распространяется по лицензии Apache-2.0. Классификация может помогать снижать задержки и вычислительные затраты в конвейерах из нескольких моделей. Точность для других языков может быть ниже; примеры с меткой `think` преимущественно связаны с математическими рассуждениями, а кодовые задачи в обучающих данных не представлены.