II.10Разработка и эксплуатация AI/ML-систем

FunAudioLLM/fsmn-vad-GGUF — это GGUF-версия модели FSMN-VAD из экосистемы FunASR, подготовленная для запуска через FunASR llama.cpp runtime. Модель предназначена для детектирования участков речи в аудиозаписях и сегментации длинного аудио перед распознаванием речи. Модель использует FSMN-энкодер и CMVN, занимает около 1,7 МБ и рассчитана на работу на CPU и периферийных устройствах без Python, в виде нативного C++-компонента на базе ggml/GGUF. Она поддерживает китайский и английский языки, а границы сегментов, согласно README, совпадают с PyTorch-фронтендом fsmn-vad примерно в пределах 10 мс. Модель удобна для потоковой или локальной подготовки аудио к ASR, включая использование с инструментами FunASR, SenseVoice и Paraformer через параметр --vad. Она не выполняет распознавание речи самостоятельно и требует совместимого FunASR llama.cpp runtime. Распространяется по лицензии Apache-2.0.

Garak Refusal Detector — англоязычный классификатор последовательностей, разработанный для выявления отказов в ответах больших языковых моделей. Он предназначен для интеграции с Garak и другими инструментами оценки безопасности и модерации, где нужно отличать отказ от выполнения запроса по смыслу, а не по наличию ключевых слов. Модель представляет собой дообученную answerdotai/ModernBERT-base архитектуры encoder-only с 22 слоями и 149 млн параметров. Она принимает текст длиной до 8192 токенов и выдаёт метку «отказ» или «не отказ» с оценкой уверенности. Обучение проводилось на 19 879 синтетических примерах, охватывающих разные степени выполнения запроса и стили отказа. Заявлены коммерческое применение и поддержка интеграции через PyTorch, ONNX Runtime, Triton Inference Server и TensorRT. Классификатор может ошибаться и давать ложноположительные или ложноотрицательные результаты; качество на стилях отказа, не представленных в синтетических данных, может быть ниже. Перед внедрением его следует проверять на данных конкретного сценария. Использование регулируется NVIDIA Open Model License.

GEMMA Document Rewriter for RAG Pipeline — текстовая модель ZySec-AI для очистки и переписывания документов перед поиском и генерацией с дополненной выборкой (RAG). Она дообучена методом LoRA на базе Google Gemma 3 4B IT и принимает текстовые документы или их фрагменты. Модель сокращает избыточный текст и лишние пробелы, сохраняя значимую для последующих задач информацию, а затем формирует структурированный результат в Markdown с заголовками и подзаголовками. Её используют для подготовки документов к индексации и улучшения поиска по ним; также она подходит для суммаризации и стандартизации текстов. В карточке указана лицензия Apache-2.0. Модель может удалять детали, которые сочтёт избыточными, поэтому результат сокращения следует проверять, если важна полнота исходного документа. В README заявлены скорость и пригодность для производственных конвейеров, но сравнительные оценки качества не приведены.

Granite Guardian 4.1 8B GGUF — специализированная модель безопасности, разработанная IBM Research. Она преобразована в формат GGUF на основе IBM Granite 4.1 8B и предназначена для оценки того, соответствуют ли входные запросы и ответы систем на базе больших языковых моделей заданным критериям безопасности и качества. Модель ориентирована на обнаружение попыток jailbreak, ненормативной лексики и галлюцинаций, связанных с вызовами инструментов, retrieval-augmented generation и агентными системами. Пользователь также может задавать собственные критерии проверки для конкретных сценариев. Модель поддерживает режимы с рассуждением и без него: в режиме рассуждения формирует подробные рассуждения в тегах <think> и оценку в тегах <score>, а в нережиме возвращает только оценку. Указан английский язык, размер базовой модели — 8B параметров; точная квантализация данного варианта и размер контекстного окна не приведены. Модель обучалась на данных с человеческими разметками и синтетических данных, подготовленных с учётом внутреннего red teaming, и заявлена как превосходящая другие открытые модели своего класса на стандартных бенчмарках. К ограничениям относятся специализация на оценивании безопасности, отсутствие сведений о конкретной квантализации, контекстном окне и полном наборе поддерживаемых языков, а также возможная зависимость качества от корректной формулировки критериев. Лицензия — Apache 2.0.

Модель IBM Research — компактный бинарный классификатор токсичности на базе RoBERTa с 12 слоями и примерно 151,8 млн параметров. Она анализирует текст на английском языке и выдаёт оценку наличия токсичного содержания, включая язык ненависти, оскорбления и ненормативную лексику. Модель предназначена для использования в качестве защитного фильтра при работе с большими языковыми моделями и для проверки текстовых фрагментов. Контекст составляет до 514 токенов. Модель распространяется по лицензии Apache 2.0. В README заявлено превосходство по средней производительности над другими моделями на восьми распространённых бенчмарках токсичности. Возможны ложноположительные и ложноотрицательные срабатывания, особенно на текстах, отличающихся от обучающих данных; классификатор может упускать нюансы смысла и наследовать смещения, характерные для обнаружения токсичности и языка ненависти.

Карточка модели RedHatAI/granite-guardian-hap-125m на Hugging Face совпадает с карточкой ibm-granite/granite-guardian-hap-125m, поэтому описание составлено по ней. Модель IBM Research — компактный бинарный классификатор токсичности на базе RoBERTa с 12 слоями и примерно 151,8 млн параметров. Она анализирует текст на английском языке и выдаёт оценку наличия токсичного содержания, включая язык ненависти, оскорбления и ненормативную лексику. Модель предназначена для использования в качестве защитного фильтра при работе с большими языковыми моделями и для проверки текстовых фрагментов. Контекст составляет до 514 токенов. Модель распространяется по лицензии Apache 2.0. В README заявлено превосходство по средней производительности над другими моделями на восьми распространённых бенчмарках токсичности. Возможны ложноположительные и ложноотрицательные срабатывания, особенно на текстах, отличающихся от обучающих данных; классификатор может упускать нюансы смысла и наследовать смещения, характерные для обнаружения токсичности и языка ненависти.

GRM_Llama3.1_8B_rewardmodel-ft — модель вознаграждения семейства Llama 3.1, разработанная командой GRM и дообученная на модели GRM-Llama3.1-8B-sftreg с использованием очищенного набора предпочтений Skywork v0.2. Она оценивает ответы и диалоги по предпочтительности, что позволяет ранжировать варианты и применять модель как компонент обучения или оценки языковых моделей. Модель имеет плотную архитектуру LlamaForSequenceClassification и около 7,5 млрд параметров. Она ориентирована на текст и поддерживает контекст до 131 072 токенов. В README указан результат 92,6 на RewardBench; авторы рекомендуют при оценке этим бенчмарком использовать параметр --not_quantized, чтобы избежать снижения качества. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

GRM-Llama3.2-3B-rewardmodel-ft — наградная модель на базе Llama 3.2, разработанная авторами серии GRM. Она дообучена на модели Ray2333/GRM-llama3.2-3B-sftreg с использованием очищенного набора предпочтений Skywork v0.2 и предназначена для оценки и ранжирования ответов языковых моделей по качеству, безопасности и соответствию предпочтениям. В каталоге Hugging Face указана архитектура LlamaForSequenceClassification, 3,2 млрд параметров и контекст до 131 072 токенов. В RewardBench модель получила средний результат 90,9; авторы сообщают о сильных результатах в категориях диалога, безопасности и рассуждений. Для оценки в RewardBench README рекомендует использовать вариант без квантизации, поскольку квантизация может снизить результат. Модель опубликована под лицензией Apache-2.0. Это оценщик ответов, а не универсальная модель для генерации текста.

Ray2333/GRM-llama3-8B-distill — модель вознаграждения для оценки ответов языковых моделей, разработанная авторами Generalizable Reward Model (GRM). Она основана на Llama 3 с архитектурой LlamaForSequenceClassification и предназначена для сравнения качества ответов и присвоения им оценок в сценариях обучения и оценки LLM. Веса основной модели зафиксированы; на датасете hendrydong/preference_700K дообучена только случайно инициализированная линейная голова вознаграждения. Модель содержит 7,5 млрд параметров, поддерживает контекст до 8192 токенов и распространяется в формате safetensors. В README сообщается о среднем результате 86,1 на бенчмарке reward-моделей. Лицензия — MIT. При загрузке Llama 3 в 8-битном режиме возможно снижение качества.

Hammer-7b — языковая модель MadeAgents, дообученная на Qwen2-7B-Instruct с применением техники function masking для повышения точности вызова функций ИИ-агентами. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2 и принимает текстовые запросы, выдавая текст с вызовами функций в подходящем сценарии интеграции. Контекст — до 32 768 токенов. Модель предназначена для агентных приложений, которым нужно выбирать и вызывать инструменты или API, в том числе локально и на устройствах с ограниченными ресурсами. В README описано обучение на данных APIGen Function Calling и наборах Salesforce/xlam-function-calling-60k и MadeAgents/xlam-irrelevance-7.5k, а также оценки на бенчмарках вызова функций. Распространяется по лицензии CC BY 4.0. Заявленные результаты бенчмарков не гарантируют качество в конкретном приложении; модель требует интеграции с обработчиком функций и проверки генерируемых вызовов.

Карточка модели Nozim6690/hugging-face_shieldgemma-2-4b-it на Hugging Face совпадает с карточкой google/shieldgemma-2-4b-it, поэтому описание составлено по ней. ShieldGemma 2 4B — модель Google на базе Gemma 3 4B IT для проверки безопасности изображений. Она принимает изображение и текстовую инструкцию с политикой безопасности и оценивает, нарушает ли изображение эту политику, выдавая оценки для ответов «Yes» и «No». Модель предназначена для модерации пользовательских изображений и результатов генерации, а также для фильтрации входов и выходов систем с поддержкой зрения. Она выявляет сексуально откровенный контент, опасные материалы и сцены насилия или жестокости. Модель содержит 4 миллиарда параметров и обучена на примерах с естественными и синтетическими изображениями; для синтетических данных указаны англоязычные сценарии. Результат зависит от формулировки заданной политики. Google предупреждает, что доступные наборы оценки могут не отражать реальные сценарии, а неоднозначные формулировки и языковые нюансы могут приводить к непредсказуемым оценкам. Условия использования определяются лицензией Gemma и правилами Google о запрещённом использовании.

Husky Paw Tool Action Classifier — мультиязычный классификатор Patronus на базе ModernBERT (mmBERT), дообученный определять тип операции в текстовом запросе к инструменту. Он относит запрос к одному классу, например read, write, list или exec, и предназначен для маршрутизации оценки риска, контроля выполнения, рабочих процессов согласования и мониторинга действий AI-агентов. Модель содержит 140,5 млн параметров, принимает текст с контекстом до 8192 токенов; доступны веса Safetensors и экспорт ONNX. Основные проверенные языки — немецкий и английский, а мультиязычная базовая модель позволяет обрабатывать и другие языки, хотя они не проходили активную проверку. На тестовой выборке из 2914 примеров заявлены accuracy 0,946 и macro F1 0,937. Предсказание указывает на предполагаемое действие в тексте, но не подтверждает его фактическое выполнение; модель также не отслеживает передачу данных между шагами агента. Возможны ложноположительные и ложноотрицательные результаты, поэтому для решений с серьёзными последствиями рекомендуется сочетать её с детерминированными правилами и калиброванными порогами. Лицензия — Apache-2.0.

KARAKURI LM 7B APM v0.1 — текстовая авторегрессионная модель на архитектуре decoder-only Transformer, разработанная KARAKURI Inc. и дообученная на основе google/gemma-7b. Модель оценивает ответы языковых моделей по различным аспектам, связанным с желательностью ответа, и предназначена для сценариев оценки и ранжирования ответов в диалогах. Модель содержит 8,2 млрд параметров, принимает текст и выдаёт текстовую оценку. Поддерживает английский и японский языки; в карточке основным указан английский. Контекст составляет до 8192 токенов. Обучение проводилось на OASST2 и HelpSteer. Лицензия — Gemma Terms of Use.

NVIDIA Kimi-K2.6 DFlash — вспомогательная модель DFlash для ускорения генерации токенов базовой модели Moonshot AI Kimi-K2.6 с помощью спекулятивного декодирования. Это плотная модель класса DFlashDraftModel на архитектурной основе Qwen3; в метаданных указано 4,2 млрд параметров. Она предназначена для разработчиков чат-ботов, агентных систем, RAG-приложений и других сценариев генерации, где важно снизить задержку вывода. Контекст составляет 262 144 токена. README описывает текст, изображения и видео как входные данные, а текст — как выход; режим работы с изображениями и видео зависит от базовой модели и serving-конфигурации. Модель обучена NVIDIA Model Optimizer на синтетических данных, созданных с использованием Kimi-K2.6, и предназначена для использования вместе с базовой моделью в режиме DFlash speculative decoding. В README указана интеграция с vLLM и TensorRT-LLM, а также оптимизация для систем NVIDIA GPU, включая Blackwell. Заявлена пригодность для коммерческого и некоммерческого применения; использование регулируется лицензией NVIDIA Open Model License, описанной как модифицированная MIT-лицензия. Указанный в README размер базовой Kimi-K2.6 отличается от размера этой DFlash-модели в метаданных.

kimi-k3-eagle3-mla — вспомогательная черновая модель Eagle3 с архитектурой MLA, разработанная для ускорения инференса Kimi-K3 методом спекулятивного декодирования. Она обучена с помощью TorchSpec и используется вместе с основной моделью Kimi-K3, которая проверяет предложенные токены. Веса модели занимают около 1,8 млрд параметров; репозиторий содержит веса в формате safetensors, а базовая модель — moonshotai/Kimi-K3. Вариант MLA согласован с архитектурой Kimi-K3 и использует меньше памяти KV-кэша по сравнению с черновой моделью на MHA. Модель предназначена для серверного инференса и ускорения генерации текста, а не для самостоятельного диалога. В README приведены измерения средней длины принятых токенов на бенчмарках диалогов, китайского и многоязычного качества; результат зависит от конфигурации спекулятивного декодирования и целевой модели. Для запуска требуются NVIDIA GPU с CUDA 12.0+ и TokenSpeed либо vLLM 0.20.0 или новее. Лицензия указана как other, конкретные условия использования в предоставленных данных не раскрыты.

Модель ivanlau/language-detection-fine-tuned-on-xlm-roberta-base — классификатор текста на основе XLM-RoBERTa, дообученный на наборе данных common_language для определения языка. Она принимает текст и выдаёт метку класса, соответствующую распознанному языку. В README указана точность 0,9738 на оценочном наборе данных; число параметров составляет 305,2 млн, контекст — до 514 токенов. Модель подходит для автоматической разметки языка коротких текстов и маршрутизации запросов в многоязычных системах. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Точность на оценочном наборе не гарантирует такого же результата на текстах других типов и длины.

LettuceDetect от KRLabsOrg — модель на базе EuroBERT-210M для выявления галлюцинаций в ответах на испанском языке в системах RAG. Она получает контекст и ответ и выполняет токенную классификацию: отмечает фрагменты ответа, которые не подтверждаются контекстом, чтобы затем собрать их в объяснимые spans. Модель содержит 211,7 млн параметров, поддерживает контекст до 8192 токенов и дообучена на испанской версии датасета RAGTruth. На переведённом наборе RAGTruth-ES авторы сообщают F1 71,38%; модель показывает более высокий recall, чем сравниваемый prompt-based подход GPT-4.1-mini, и работает примерно втрое быстрее варианта EuroBERT-610M. Это оценка на конкретном тестовом наборе и не гарантирует такую же точность на других данных. Лицензия — MIT. README также предупреждает о несовместимости загружаемого удалённого кода EuroBERT с Transformers 5.x.

LettuceDetect — модель KRLabsOrg для поиска галлюцинаций в ответах, сопоставляя их с предоставленным контекстом в RAG-сценариях. Она возвращает токенные метки для неподтверждённых фрагментов, которые можно объединить в более крупные spans и показать пользователю, какие части ответа не подкреплены источником. Модель построена на mmBERT-base с архитектурой ModernBERT и дообучена для token classification на датасете RagTruth-HU, переведённом на венгерский язык. Контекстное окно составляет до 8192 токенов, размер — около 306,9 млн параметров. Лицензия — MIT.

Llama-3.1-Nemotron-70B-Reward-HF — разработанная NVIDIA модель вознаграждения на основе Llama 3.1, дообученной на диалогах с помощью сочетания Bradley–Terry и регрессионного моделирования вознаграждений SteerLM. Она оценивает качество последнего ответа ассистента в многоходовом англоязычном диалоге и возвращает одно числовое значение; модель предназначена для сравнения ответов на один и тот же запрос и для настройки языковых моделей с помощью RLHF, в частности REINFORCE. Модель имеет плотную трансформерную архитектуру LlamaForCausalLM и 69,5 млрд параметров. Контекст модели по метаданным — до 131 072 токенов, однако README указывает ограничение в 4 096 токенов для входного диалога. Веса представлены в формате safetensors для Hugging Face Transformers; для запуска README рекомендует как минимум две 80-ГБ GPU и 150 ГБ свободного места. Модель рассчитана на английский язык. Среди сильных сторон авторы отмечают высокие результаты на RewardBench, в том числе в категориях чата, безопасности и рассуждений. Оценки имеют смысл при сравнении ответов на один и тот же запрос: напрямую сопоставлять баллы для разных запросов нельзя. README также отмечает, что оценки могут немного отличаться от версии, использованной в NeMo-Aligner. Лицензия — Llama 3.1; применяются условия лицензии Meta Llama 3.1.

Merge-Mistral-Prometheus-7B — объединённая модель Vicgalle на основе prometheus-eval/prometheus-7b-v2.0 и 4bit/Mistral-7B-Instruct-v0.1. Модель построена на плотной архитектуре Mistral, содержит 7,1 млрд параметров и предназначена для диалоговой генерации текста; доступный контекст составляет до 32 768 токенов. Модель-судья Prometheus в составе объединения рассчитана на оценку ответов LLM по заданным критериям и попарное ранжирование. Лицензия — Apache 2.0. В README указан линейный метод слияния и формат bfloat16; в метаданных репозитория указаны файлы safetensors.

MiniGuard-v0.1 — компактная модель для классификации безопасности контента, разработанная командой prem-research и дообученная на базе Qwen3-0.6B. Она оценивает сообщения пользователя и ответы языковой модели как безопасные или небезопасные и при необходимости указывает нарушенные категории политики безопасности. Модель предназначена для модерации запросов и ответов в чат-ботах и может использовать шаблон запросов NVIDIA Llama-3.1-Nemotron-Safety-Guard-8B-v3. Модель имеет плотную архитектуру Qwen3ForCausalLM примерно на 508 млн параметров, принимает текст и выдаёт текстовую оценку в формате JSON. В карточке заявлены результаты, близкие к Nemotron-Guard-8B-v3 на англоязычном тестовом наборе, при существенно меньшем размере; эти показатели относятся к указанным в README оценкам. Поддержка шаблона охватывает сообщения на целевом языке, однако метаданные указывают английский язык. Контекст модели — до 40 960 токенов. Лицензия — MIT.

Mistral-Small-24B-Base-2501 — базовая плотная языковая модель с 23,4 млрд параметров, разработанная командой Mistral AI. Она предназначена для дообучения и создания специализированных моделей, а также для генерации текста и диалоговых сценариев. Модель использует архитектуру MistralForCausalLM и поддерживает контекст длиной до 32 768 токенов. Модель рассчитана на многоязычное применение: в метаданных и карточке указаны английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. В карточке также отмечена поддержка ряда других языков. Лицензия Apache 2.0 разрешает коммерческое и некоммерческое использование, изменение и распространение. Это базовая версия; для готового диалога разработчик предлагает отдельную версию Instruct. Заявления о качестве сопровождаются результатами бенчмарков в карточке, но они не гарантируют качество в конкретном сценарии.

EuroEval/mmBERT-small-multi-wiki-qa-synthetic-hallucinations-with-ragtruth-lt — модель на базе Transformers для задачи token classification. По идентификатору модель предназначена для разметки токенов в контексте вопросов и ответов, связанных с синтетическими галлюцинациями и сценариями retrieval-augmented generation (RAG), включая данные RAGTruth LT. В метаданных указаны 140,5 млн параметров и нативное контекстное окно до 8192 токенов; модель использует формат safetensors и относится к семейству ModernBERT/mmBERT.

ModernBERT-TR Guardrail — турецкий классификатор безопасности пользовательских запросов, разработанный ytu-ce-cosmos и дообученный на базе ytu-ce-cosmos/modernbert-tr-base. Модель с архитектурой ModernBERT содержит около 148,7 млн параметров и принимает текстовые запросы длиной до 8192 токенов. Одна многометочная голова выдаёт 11 вероятностных оценок: общую оценку небезопасности и оценки по категориям угроз. Её можно использовать для проверки турецких запросов перед передачей генеративной модели, а также для маршрутизации и журналирования результатов. Категории основаны на таксономии MLCommons, адаптированной авторами; обучение включало безопасные запросы и сложные отрицательные примеры. Модель предназначена для турецких пользовательских запросов, а не для проверки ответов ассистента; качество на других языках не заявлено. Пороговые значения не заданы, поэтому вероятности требуют собственной калибровки и политики принятия решений. Возможны ошибки на неоднозначных и состязательных запросах, а категории, требующие актуальных знаний, распознаются хуже. Лицензия — Apache-2.0.

Карточка модели Unbabel/M-Prometheus-7B на Hugging Face совпадает с карточкой Unbabel/M-Prometheus-14B, поэтому описание составлено по ней. M-Prometheus-14B — языковая модель-судья из семейства M-Prometheus, разработанная Unbabel для оценки ответов и текстов на разных языках. Она обучена на 480 тысячах примеров прямой оценки качества и парного сравнения с развёрнутой обратной связью и предназначена для использования в сценариях оценки LLM-выводов. Модель представляет собой плотную causal language model архитектуры Qwen2 с 14 млрд параметров, дообученную на базе Qwen/Qwen2.5-14B-Instruct. Она принимает текстовые запросы и генерирует текстовые оценки и пояснения; максимальный контекст составляет 32 768 токенов. По README, её можно вызывать в том же стиле, что и Prometheus-2. Модель ориентирована на мультиязычную оценку, однако конкретный перечень поддерживаемых языков и результаты сравнительных тестов в предоставленных материалах не приведены. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели.

Nano-Jev v1.0 — компактная модель принятия решений для конвейеров RAG, разработанная Shubham Divakar. Она принимает вопрос и один или несколько фрагментов контекста и оценивает релевантность отрывка, достаточность набора отрывков для ответа или обоснованность утверждения контекстом. Модель возвращает вероятности по заданным вариантам и не генерирует текст. Архитектура — кросс-энкодер на базе MiniLM с 12 слоями и скрытым размером 384, дополненный классификационной головой; в метаданных указано 40 млн параметров, а README приводит 33,4 млн. Модель дообучена на microsoft/MiniLM-L12-H384-uncased, принимает текст и поддерживает английский язык; максимальный контекст — 512 токенов. Распространяется по лицензии MIT. Модель быстрая и на тестах, близких к обучающим данным, показывает хорошие результаты классификации и калибровки. На новых наборах данных точность снижается примерно на 15–20 процентных пунктов, а калибровка переносится плохо; перед применением на собственных данных следует перепроверить пороги и вероятности. Она рассчитана на английский текст в стиле Википедии, а пользовательские наборы меток работают слабее.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель NVIDIA для генерации текста, диалогов и рассуждений. Это эталонный выпуск весов BF16, предназначенный прежде всего для дообучения, адаптации к предметной области, исследований и создания производных квантованных вариантов. Архитектура сочетает слои Mamba-2, Mixture-of-Experts и Attention; в модели 30 млрд параметров, из которых активно задействуются 3 млрд, а также используются слои Multi-Token Prediction. Репозиторий содержит веса safetensors, модель работает через Transformers. Модель рассчитана на текстовые запросы и сценарии чата, включая инструкции, кодирование, агентные задачи и работу с длинным контекстом. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский, а в постобучающих данных представлены китайский и многоязычные задачи перевода и рассуждений. В README заявлена длина контекста до 1 млн токенов, тогда как метаданные каталога указывают нативный контекст 262 144 токена. Заявленная лицензия — other; карточка характеризует модель как пригодную для коммерческого использования. Полноточный вариант предназначен главным образом для настройки и оценки; для оптимизированного вывода NVIDIA рекомендует вариант NVFP4.

DataOrchestra/Orchestrator — дообученная модель DataOrchestra на базе Qwen/Qwen3-1.7B-Base, предназначенная для планирования очистки данных предобучения. Она принимает фрагмент данных длиной до 1024 токенов Qwen3 в обёртке [DOC] и [/DOC] и выдаёт план в формате JSON: оставить или отбросить фрагмент либо запустить этапы очистки, включая удаление шумовых строк и исправление поверхностных артефактов. Модель построена на плотной архитектуре Qwen3ForCausalLM, содержит 1,7 млрд параметров и поддерживает контекст до 32 768 токенов. Для запуска предусмотрена библиотека Transformers; карточка также показывает возможность чат-взаимодействия. Модель подходит для автоматизированной курировки корпусов предобучения и высокопроизводительной обработки фрагментов через совместимый с OpenAI endpoint vLLM. В метаданных указан английский язык. Репозиторий распространяется по лицензии Apache-2.0. В описании не приведены результаты оценки качества; формат входа и ожидаемую схему JSON следует соблюдать при интеграции.

amd/PARD2-Qwen3-8B — черновая модель семейства Qwen3, разработанная AMD для ускорения генерации текста методом спекулятивного декодирования. Она формирует несколько токенов-кандидатов для проверки целевой авторегрессионной моделью и поддерживает два режима: независимый от целевой модели и учитывающий её. Обучение ориентировано на увеличение длины последовательности токенов, принимаемых целевой моделью, а Confidence-Adaptive Token (CAT) оптимизация перераспределяет вес токенов с учётом их вклада в проверку. Модель предназначена для интеграции в конвейеры спекулятивного декодирования, в том числе с vLLM. В README заявлено ускорение без потери точности до 6,94 раза на разных моделях и задачах; этот результат зависит от целевой модели, нагрузки и настроек инференса. По метаданным модель содержит 507,9 млн параметров, использует архитектуру Qwen3ForCausalLM, поддерживает контекст до 40 960 токенов и распространяется в формате safetensors. Лицензия — MIT.

ToxicityPrompts/PolyGuard-Qwen-Smol — компактная многоязычная модель для модерации безопасности ответов LLM, разработанная авторами PolyGuard. Это плотная авторегрессионная модель семейства Qwen2 с 494 млн параметров и контекстом до 32 768 токенов; репозиторий содержит веса в формате safetensors. В карточке заявлена поддержка 17 языков: арабского, чешского, китайского, нидерландского, английского, французского, немецкого, хинди, тайского, итальянского, японского, корейского, польского, португальского, русского, испанского и шведского. Модель предназначена для оценки безопасности пользовательских запросов и ответов LLM, включая выявление вредоносного или токсичного содержания и отказов в ответе. PolyGuard обучена на PolyGuardMix из 1,91 млн примеров и представлена вместе с набором PolyGuardPrompts для оценки защитных механизмов. По описанию авторов, в проведённых оценках она превзошла другие открытые и коммерческие классификаторы безопасности в среднем на 5,5%. Метаданные указывают задачу text-generation и возможности чата; поэтому её можно применять в текстовых сценариях модерации и защитных цепочках LLM. Лицензия — CC BY 4.0. Карточка не уточняет ограничения по применению и ошибки классификации; результаты модерации следует проверять с учётом языка и контекста, особенно в критичных сценариях.