II.10Разработка и эксплуатация AI/ML-систем

DynaGuard-8B — специализированная модель-охранник, разработанная исследователями Университета Мэриленда и Capital One для проверки текста и диалогов по заданным пользователем правилам на естественном языке. Она предназначена для гибкой модерации ответов чат-ботов, когда нужно проверять прикладные требования, выходящие за рамки фиксированных категорий вредного контента, например запрет на несанкционированное обещание возврата средств или медицинскую рекомендацию. Модель построена на архитектуре decoder-only Transformer семейства Qwen3 и содержит 7,6 млрд параметров; базовая модель — Qwen3-8B. Её дообучили на DynaBench и наборах данных для оценки безопасности, применив SFT и затем GRPO. Контекст составляет до 40 960 токенов. Модель принимает текст с политикой и диалогом и выдаёт текстовую оценку: быстрый вердикт PASS/FAIL либо вердикт с объяснением и трассой рассуждения. Карточка указывает английский язык. Модель доступна в формате safetensors и распространяется по лицензии Apache-2.0. DynaGuard подходит для настройки модерации под правила конкретного продукта и для анализа причин нарушения политики с участием человека. В README заявлены сильные результаты на DynaBench и традиционных тестах безопасности, однако количественная таблица в карточке неполна, поэтому эти заявления нельзя полностью проверить по представленным данным.

F2LLM-v2-1.7B-Preview — многоязычная модель эмбеддингов от CodeFuse AI, дообученная на базе Qwen3-1.7B. Она обучена на корпусе из 27 миллионов примеров на более чем 100 естественных и программных языках и предназначена как основа для задач векторного представления текста и дальнейшего дообучения. Это preview-версия без инструкционного обучения; в карточке указана архитектура Qwen3 с плотными весами, размер 1,7 млрд параметров и контекст до 40 960 токенов. Для работы доступны форматы Transformers и Sentence Transformers; репозиторий содержит веса safetensors. Модель подходит для построения текстовых эмбеддингов в многоязычных системах поиска и других downstream-сценариях, где требуется векторное представление текста. Метаданные перечисляют поддержку 20 языков, включая русский, английский и китайский; README заявляет более 100 естественных и программных языков. Лицензия — Apache-2.0. Качество для конкретных задач следует проверять отдельно: это предварительная версия, обученная без инструкций, и карточка не приводит результатов оценки.

deepset/gbert-base-germandpr-question_encoder — плотный энкодер вопросов для поиска релевантных фрагментов в системе Dense Passage Retrieval (DPR), разработанный deepset. Модель обучена на немецком наборе GermanDPR: в его основе размеченные пары вопросов и ответов GermanQuAD, а сложные отрицательные примеры получены из немецкой Википедии. Для вопросов и документов предусмотрены отдельные энкодеры; этот репозиторий содержит энкодер вопросов. Модель предназначена для извлечения векторных представлений немецких вопросов, которые можно сопоставлять с векторами фрагментов документов, закодированными энкодером пассажей. Такой поиск подходит для систем вопросно-ответного поиска по немецким документам, в том числе на основе Haystack. Модель основана на gbert-base, содержит 137,1 млн параметров и поддерживает контекст до 512 токенов. Указана лицензия MIT. В карточке сообщается, что на тестовом наборе GermanDPR при поиске по немецкой Википедии модель заметно превзошла BM25 по recall@k. Она специализирована на немецком поиске вопросов и не является генератором ответов: для полноценного DPR-поиска нужны также энкодер пассажей и индекс документов.

NVIDIA gpt-oss-120b-Eagle3-long-context — вспомогательная модель Eagle3 для авторегрессионной языковой модели OpenAI gpt-oss-120b. Она обучена предсказывать несколько следующих токенов, чтобы ускорять спекулятивное декодирование исходной модели при сохранении проверки её основными весами. Модель предназначена для разработчиков чат-ботов, AI-агентов, RAG-систем и приложений с инструкциями и генерацией текста. В репозитории указаны архитектура Llama и класс LlamaForCausalLMEagle3; веса представлены в safetensors. Метаданные сообщают о 747,1 млн параметров и контексте до 131 072 токенов. Для запуска карточка рекомендует TensorRT-LLM на Linux с GPU NVIDIA; упомянута совместимость с Blackwell. В README приведён пример конфигурации сервинга с длиной последовательности 8 192 токена, поэтому конкретный предел зависит от конфигурации развертывания. Модель оптимизирована NVIDIA Model Optimizer и предназначена для спекулятивного декодирования вместе с базовой gpt-oss-120b; сама по себе она не заменяет базовую модель. README заявляет готовность к коммерческому и некоммерческому использованию, но метаданные обозначают лицензию как other, поэтому перед применением следует свериться с условиями лицензии репозитория. Карточка также рекомендует проверять модель на данных и требованиях конкретного сценария.

Red Hat выпустила спекулятивную модель-драфтер EAGLE-3 для ускорения генерации ответов базовой моделью openai/gpt-oss-120b. Она предлагает кандидаты токенов, которые основная модель проверяет при спекулятивном декодировании; сама по себе модель не предназначена для самостоятельного общения. Архитектура — Eagle3Speculator, файлы представлены в формате Safetensors. Модель рассчитана на обслуживание запросов к gpt-oss-120b через vLLM и интерфейс чата /chat/completions с шаблоном чата gpt-oss-120b. README указывает требование vLLM версии 0.19.0 или новее и рекомендует настройки EAGLE-3 с пятью спекулятивными токенами. Для обучения использовались Magpie-Align/Magpie-Llama-3.1-Pro-300K-Filtered и раздел train_sft датасета HuggingFaceH4/ultrachat_200k с ответами gpt-oss-120b. Модель предназначена для повышения пропускной способности генерации в совместимой связке с указанной базовой моделью. README приводит оценку через бенчмарк RedHatAI/speculator_benchmarks, но численные результаты таблиц в доступном тексте отсутствуют. Лицензия — Apache-2.0.

GuardReasoner-1B — дообученная модель семейства Llama 3.2, созданная авторами проекта GuardReasoner на базе meta-llama/Llama-3.2-1B с применением R-SFT и HS-DPO. Она предназначена для задач защитной классификации и генерации текста с рассуждениями при оценке безопасности запросов и ответов. Модель имеет плотную архитектуру LlamaForCausalLM, около 1,2 млрд параметров и контекст до 131 072 токенов; карточка указывает поддержку английского языка и интерфейс чата. Модель может применяться как компонент защитных механизмов языковых систем для анализа и классификации потенциально небезопасного содержимого. Доступны веса в формате safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия распространения и применения в репозитории.

InternLM-XComposer2.5-Reward — мультимодальная модель оценки предпочтений, разработанная командой InternLM на базе internlm/internlm-xcomposer2d5-7b. Она обучена на примерах предпочтений для текста, изображений и видео и присваивает ответам оценки, отражающие человеческие предпочтения. Модель предназначена для оценки диалогов, сравнения ответов и ранжирования нескольких вариантов, в том числе при проверке качества общения, безопасности и рассуждений. Модель построена на архитектуре InternLM2, содержит 7,4 млрд параметров и использует формат PyTorch. Указана длина контекста 24 576 токенов; карточка называет английский и китайский языки. В README приведены результаты на VLRewardBench, RewardBench и RM-Bench, включая оценивание безопасности, рассуждений, математики и кода. Лицензия обозначена как other, поэтому условия использования следует сверять с файлами лицензии репозитория.

JAILJUDGE Guard — модель для оценки того, удалось ли вредоносному запросу обойти защиту языковой модели. Авторы дообучили её для выдачи объяснения оценки и числового балла уязвимости от 1 до 10; модель построена на архитектуре Llama и содержит 6,6 млрд параметров. Модель предназначена для проверки ответов LLM в сценариях jailbreak, включая сложные, состязательные и многоязычные запросы. Её можно применять для аудита защитных механизмов и модерации, а также как компонент методов JailBoost и GuardShield. Метаданные указывают поддержку диалогового режима и контекст длиной 2048 токенов; формат весов — safetensors. В README упоминаются тестовые наборы с примерами на десяти языках, но конкретные языковые коды не приведены. Модель распространяется по лицензии Llama 2. Описанные авторами результаты относятся к оценке на их бенчмарках и не гарантируют ту же точность на иных данных или сценариях.

Kanana Safeguard — разработанная Kakao модель для выявления вредоносного контента в сообщениях пользователя и ответах ИИ-ассистента. Она основана на собственной языковой модели Kanana 8B и предназначена для проверки отдельных высказываний в диалоговых системах по семи категориям риска, сформированным на основе классификации MLCommons с дополнительными категориями для корейского контекста. Результат — короткая метка <SAFE> либо <UNSAFE-S4>, где S4 обозначает код категории риска. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, примерно 7,5 млрд параметров и контекстом 8192 токена. Она принимает текст и оптимизирована для корейского языка; карточка указывает библиотеку Transformers и формат safetensors. Обучающие данные включают вручную размеченные и синтетически расширенные корейские примеры, в том числе безопасные ответы на вредоносные запросы для снижения ложных срабатываний. Модель подходит для классификации пользовательских сообщений и ответов ассистента в системах модерации и контроля безопасности. Kakao сообщает о сравнении с другими моделями на собственной корейской оценочной выборке, однако результаты этой таблицы в доступной карточке опущены. Возможны ложные срабатывания и пропуски; модель анализирует отдельный текст без учёта истории диалога и охватывает только заданные категории риска. Лицензия — Apache-2.0.

LettuceDetect v2 mmBERT-base — разработанная KRLabsOrg модель-энкодер для поиска галлюцинаций в ответах, созданных с опорой на контекст, включая RAG, код и вывод инструментов. Это дообученный на базе jhu-clsp/mmBERT-base классификатор токенов: он получает контекст, вопрос и ответ и помечает токены ответа как подтверждённые или неподтверждённые, формируя бинарные фрагменты без категорий и подтипов. Модель содержит 306,9 млн параметров, поддерживает контекст до 8192 токенов и распространяется в формате safetensors. Модель рассчитана на многоязычное выявление неподтверждённых утверждений в прозе и коде, включая ответы кодовых агентов и результаты RAG. Однопроходный энкодер работает без генерации текста и ориентирован на высокую пропускную способность и низкую стоимость. README приводит результаты на тестах по прозе, коду и многоязычным данным; качество зависит от типа данных, а для типизированных фрагментов предлагается отдельная модель или каскад с таксономической головой. Лицензия — Apache-2.0. Указанные языки: английский, немецкий, французский, испанский, итальянский, польский и китайский; README также сообщает о многоязычной проверке на 14 языках, но не перечисляет остальные языки.

Llama-3.1-Tulu-3-70B-SFT-RM-RB2 — англоязычная модель вознаграждения Allen Institute for AI, выпущенная в наборе чекпойнтов для разработки бенчмарка Reward Bench 2. Это классификатор на архитектуре Llama 3.1 с 69,5 млрд параметров, дообученный на бинарных данных о предпочтениях на основе allenai/Llama-3.1-Tulu-3-70B-SFT. В основной ревизии использованы объединённые данные; дополнительные ревизии содержат другие сочетания обучающих данных и гиперпараметров. Модель оценивает предпочтительность ответа и подходит для сравнения вариантов ответа, ранжирования результатов и использования в экспериментах с обучением по сигналу вознаграждения, включая PPO и Best-of-N. README сообщает результат 72,2 на RewardBench 2 для основной ревизии. Модель обрабатывает текст и выдаёт классификационные оценки. Лицензия — Llama 3.1 Community License Agreement. Контекст модели — до 131 072 токенов.

Llama-3.1-Tulu-3-8B-SFT-RM-RB2 — англоязычная модель оценки предпочтений, разработанная Allen Institute for AI и выпущенная в составе набора из семи reward-моделей для бенчмарка RewardBench 2. Это плотная модель-классификатор на архитектуре Llama с 7,5 млрд параметров, дообученная на бинарных данных о предпочтениях на базе allenai/Llama-3.1-Tulu-3-8B-SFT. Она принимает текст и оценивает его для задач сравнения или ранжирования ответов.

RedHatAI/Llama-3.3-70B-Instruct-speculator.eagle3 — вспомогательная модель спекулятивного декодирования, разработанная Red Hat для совместной работы с meta-llama/Llama-3.3-70B-Instruct. Она использует алгоритм EAGLE-3 и архитектуру Eagle3Speculator, чтобы ускорять генерацию ответов основной моделью, предлагая токены-кандидаты для проверки. Модель предназначена для применения при обслуживании чат-запросов через шаблон диалога Llama 3.3; в README приведена настройка для vLLM. Для обучения использованы наборы Aeala/ShareGPT_Vicuna_unfiltered и раздел train_sft набора HuggingFaceH4/ultrachat_200k. Метаданные указывают формат safetensors и лицензию llama3.3. Карточка не приводит точный размер самой вспомогательной модели, длину контекста или численные результаты ускорения; бенчмаркинг описан для конфигурации с четырьмя A100.

QuantFactory/Llama-Guard-3-1B-GGUF — это квантованная версия модели Llama Guard 3 объёмом 1 млрд параметров, опубликованная QuantFactory на основе модели Meta. Она предназначена для классификации и фильтрации текстового контента по категориям безопасности, например для проверки пользовательских запросов и ответов AI-систем. Модель относится к семейству Llama и рассчитана на генерацию текста; доступные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. В README не указаны точная архитектура, размер контекста, перечень форматов квантования, результаты оценки качества или поддержка других модальностей, поэтому эти характеристики нельзя определить достоверно. Модель распространяется по Llama 3.2 Community License от Meta: использование, модификация и распространение разрешены на условиях лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение уведомления об авторских правах и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 млн ежемесячных активных пользователей требуется отдельное разрешение Meta.

VincentGOURBIN/Llama-Guard-3-8B — конверсия модели Meta Llama-Guard-3-8B в формат MLX, подготовленная с помощью mlx-lm версии 0.19.1. Модель основана на плотной архитектуре Llama с причинно-следственной языковой моделью и содержит 7,5 млрд параметров; заявленная длина контекста — 131 072 токена. В метаданных указана поддержка английского языка. Модель предназначена для классификации безопасности запросов и ответов LLM с отнесением нарушений к категориям. Формат MLX позволяет запускать её с библиотекой mlx-lm на совместимых устройствах Apple. Репозиторий содержит веса safetensors и предназначен для генерации текста в разговорном формате. Лицензия — Llama 3.1 Community License.

SafetyGuard Content Binary Guard — текстовый классификатор K-intelligence на базе дообученной Llama 3.1 8B. Он проверяет ответы языковых моделей и присваивает им одну из двух меток: SAFE или UNSAFE; модель рассчитана на потоковую проверку растущих фрагментов ответа с возможностью остановить выдачу при обнаружении небезопасного содержания, а также на классификацию полного текста. Модель имеет архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекстное окно 8192 токена. Обучающие данные преимущественно корейские, поэтому качество на других языках не гарантируется. В README описаны категории риска, включая насилие, сексуальный контент и самоповреждение; модель не учитывает историю диалога и может ошибаться, особенно в специализированных областях. Лицензия — llama3.1.

llm-d-sc-complexity-v3 — классификатор для маршрутизатора llm-d semantic, разработанный авторами карточки модели. Он делит запросы на два класса: TRIVIAL и WORK; результат помогает решить, можно ли обслужить запрос небольшой моделью или кэшем либо направить его основной модели. Модель основана на sentence-transformers/all-MiniLM-L6-v2 с классификационной головой BertForSequenceClassification; содержит 25,9 млн параметров и принимает текст длиной до 512 токенов. Выход — метки классов и логиты, поэтому для использования нужен runtime, который умеет читать логиты. Указанная лицензия — Apache-2.0. На тестах на реальном трафике WildChat модель показала точность около 96% на согласованных метках. На спорных примерах качество ниже базового уровня, а уверенность модели не позволяет надёжно выявлять такие случаи для перенаправления. Авторы рекомендуют применять её при полной нагрузке либо отправлять запросы класса TRIVIAL на дешёвый путь, учитывая ошибки классификации. Оценивание основано на метках, выставленных LLM-судьями; независимого воспроизведения результатов не было.

Frame-VAD Multilingual MarbleNet v2.0 — модель NVIDIA NeMo для покадрового обнаружения голосовой активности, экспортированная в формат GGUF для loom.cpp. Веса не изменены; базовая модель содержит 91,5 тыс. параметров. Модель принимает монофонический звук с частотой 16 кГц и выдаёт вероятность наличия речи для каждого 20-миллисекундного кадра. Поддерживаются английский, испанский, французский, немецкий, русский и китайский языки. Экспорт можно запускать через библиотеку loom-py-rt. Модель подходит для выделения речевых фрагментов перед распознаванием речи, записи или диаризацией. Она возвращает вероятности, а не готовые решения: пороговую обработку и сглаживание нужно настроить под сценарий использования. Распространяется по NVIDIA Open Model License Agreement; перед включением в продукт следует ознакомиться с условиями лицензии.

Merlin — компактная локальная модель-классификатор на базе DeBERTa-v3-xsmall, дообученная для оценки вызовов инструментов ИИ-агентов. Она анализирует запрос пользователя, нормализованную историю взаимодействия, имя инструмента с аргументами и описание его схемы, а затем классифицирует предполагаемое действие как безопасное или небезопасное. Входные поля обрабатываются с отдельными бюджетами токенов в последовательности длиной до 512 токенов; размер модели в метаданных — 77,5 млн параметров. Модель предназначена для локальной низколатентной проверки вызова инструмента перед его выполнением, в том числе для выявления небезопасного использования инструментов и prompt injection в контексте действий агента. В описанной оценке на TS-Bench F1 составил 90,51% в целом, но результаты существенно различались между наборами: 99,72% на ASB-Traj и 51,00% на AgentDojo-Traj. Поэтому общая метрика не отражает равномерного качества в разных средах. Merlin не является полноценным механизмом авторизации, универсальным модератором контента или единственным контролем для действий с высокими последствиями. Качество зависит от указанного формата представления входных данных и предварительной обработки; для других условий требуется отдельная оценка. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

EuroEval/mmBERT-small-multi-wiki-qa-synthetic-hallucinations-with-ragtruth-pl — модель на базе архитектуры ModernBERT для token classification, предназначенная для разметки отдельных токенов в текстах. По идентификатору модели она ориентирована на выявление синтетических галлюцинаций в ответах на вопросы с использованием сценариев retrieval-augmented generation и данных RAGTruth для польского языка. Модель содержит 140,5 млн параметров и поддерживает контекст до 8192 токенов. Её можно применять для анализа ответов QA-систем, поиска фрагментов с потенциально недостоверным содержанием и построения компонентов контроля качества RAG. Это не генеративная модель и не предназначена для самостоятельного создания ответов. README не содержит сведений о разработчике, лицензии, точных языках обучения, метриках или результатах оценки.

facebook/mms-lid-1024 — модель Meta, разработанная Vineel Pratap и соавторами в рамках проекта Massively Multilingual Speech (MMS). Это аудиоклассификатор на архитектуре Wav2Vec2 с примерно 1,3 млрд параметров, предназначенный для определения языка по речи: модель относит входной аудиосигнал к одному из 1024 поддерживаемых языков. Принимает аудио с частотой дискретизации 16 кГц и возвращает метку языка; среди поддерживаемых языков есть русский, английский, арабский и многие другие. Модель подходит для предварительной маршрутизации аудиозаписей по языкам, сортировки многоязычных речевых коллекций и выбора языка для последующей транскрибации. Это не модель распознавания речи и сама по себе она не создаёт текстовую расшифровку. Для использования необходимы совместимое аудиопредставление и обработка результата как классификационной метки. Лицензия CC-BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

cross-encoder/ms-marco-MiniLM-L6-v2 — англоязычный ранжировщик на основе архитектуры BERT, предназначенный для переранжирования результатов поиска. Модель обучена на задаче MS MARCO Passage Ranking и оценивает релевантность пары «запрос — фрагмент текста», после чего найденные документы можно сортировать по оценке. Модель содержит 25,9 млн параметров, принимает пары текстов и поддерживает контекст до 512 токенов. Она рассчитана на этап reranking в системах информационного поиска, например после получения кандидатов из ElasticSearch. Доступны форматы PyTorch, SafeTensors, ONNX, OpenVINO и Flax. Модель распространяется по лицензии Apache 2.0. Описанные данные указывают на англоязычное обучение и назначение; качество для других языков не подтверждено. README приводит оценки на наборах TREC Deep Learning 2019 и MS MARCO, но не содержит чисел для этой версии MiniLM-L6-v2.

Muszka Guard 0.1B v1.0 — разработанный в рамках инициативы muszkaowocowa.pl польскоязычный классификатор безопасности для проверки текстовых запросов и ответов перед передачей генеративной модели или показом пользователю. Модель дообучена на базе speakleash/Bielik-Guard-0.1B-v1.1; в README указана архитектура RoBERTa Base, а метаданные каталога сообщают 151,6 млн параметров и контекст до 514 токенов. README приводит оценку около 124 млн параметров, поэтому размер в источниках расходится. Классификатор выдаёт независимые оценки по шести категориям: преступная деятельность, jailbreak и prompt injection, вульгарность, язык ненависти, самоповреждение и сексуальный контент. Он предназначен для польских LLM-приложений и может работать как входной или выходной фильтр. Для CPU-развёртывания доступны веса SafeTensors и оптимизированный ONNX; автор README сообщает о задержке порядка 18–22 мс и потреблении около 420 МБ памяти на указанном оборудовании. README описывает аудит коротких токенов и примеры обнаружения угроз, однако приведённые результаты не заменяют независимой оценки качества на целевых данных. Модель ориентирована на польский язык, а заявленные категории и показатели не гарантируют выявление всех вредоносных запросов. Лицензия Apache-2.0 разрешает коммерческое и исследовательское использование.

Nandi-Mini-600M-GuardRails — компактная модель FrontiersMind для классификации безопасности текста. Она анализирует пользовательские запросы и ответы ИИ, выявляя небезопасное или нарушающее правила содержимое по нескольким категориям вреда. Модель основана на плотной архитектуре Nandi и содержит 667,2 млн параметров; поддерживает английский и хинди, работает с контекстом до 2048 токенов и предназначена для генерации текста согласно метаданным Hugging Face. Карточка описывает её как модель классификации безопасности, поэтому классификационные сценарии следует считать заявленным назначением, хотя отдельные подробности о категориях и формате разметки не приведены. Модель дообучена на раннем чекпойнте FrontiersMind/Nandi-Mini-600M-Early-Checkpoint, распространяется в формате safetensors через Transformers по лицензии Apache-2.0.

NVIDIA-Nemotron-3-Ultra-550B-A55B-GenRM — генеративная модель оценки ответов, разработанная NVIDIA Corporation и дообученная на основе NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16. Она принимает историю диалога, запрос пользователя и два варианта ответа ассистента, а затем выдаёт отдельную оценку полезности каждого ответа и сравнительный рейтинг. При необходимости оценивание можно направить заданными пользователем принципами. Модель построена на гибридной архитектуре LatentMoE, сочетающей Mamba-2, Mixture of Experts, механизм внимания и Multi-Token Prediction. В ней 550 млрд параметров, из которых активны 55 млрд; контекст по README составляет до 1 млн токенов. Модель принимает и выдаёт текст. Она предназначена для оценки качества ответов, в том числе в сценариях обучения с подкреплением на основе обратной связи от людей. Заявлена поддержка английского, французского, испанского, итальянского, немецкого, японского, корейского, хинди, бразильского португальского и китайского языков. Для запуска рекомендованы системы с GPU NVIDIA; в README перечислены NeMo и PyTorch, а также совместимое оборудование NVIDIA. Карточка сообщает о готовности модели к коммерческому и некоммерческому использованию, но метаданные указывают лицензию «other» без её условий. Показатели полезности и сравнительного рейтинга предназначены для оценки ответов в рамках заданной схемы и сами по себе не гарантируют качество или безопасность модели в конкретном применении.

Ogma Small — компактная англоязычная модель эмбеддингов текста от Axiotic. Это encoder-only модель семейства Ogma с 8,6 млн параметров и контекстом до 1024 токенов; она преобразует текст в векторы для семантического поиска, извлечения документов и RAG. Поддерживаются Matryoshka-размерности векторов 256, 128, 64 и 32, а маршрутизация включает режимы для симметричного сравнения и поиска. В README заявлены результат 56,32 на английском бенчмарке MTEB и более высокая скорость CPU-инференса по сравнению с MiniLM-L6-v2. Модель предназначена для локального и серверного поиска по документам, памяти агентных систем, кластеризации и классификации текста. Она не генерирует текст и рассчитана на английский язык; в задачах reranking уступает MiniLM-L6-v2, а её скорость ниже, чем у статических моделей эмбеддингов. Репозиторий содержит форматы ONNX и Safetensors. Лицензия — CC-BY-NC-4.0, коммерческое использование ограничено.

OpenSearch Contributors разработали opensearch-neural-sparse-encoding-v1 — модель на базе BERT для извлечения обучаемых разреженных представлений запросов и документов. Она кодирует текст в разреженные векторы размерности 30 522: индексы соответствуют токенам словаря, а значения отражают их важность. Модель содержит 136,7 млн параметров, принимает текст длиной до 512 токенов и распространяется в форматах PyTorch и Safetensors; для работы используется библиотека Sentence Transformers. Модель предназначена для поиска по документам и запросам, включая семантический поиск и расширение запросов или документов. Она обучена на MS MARCO и может применяться в OpenSearch с инвертированным индексом Lucene. В сравнении на подмножестве BEIR для версии v1 указано среднее значение NDCG@10 0,524; релевантность и эффективность зависят от набора данных. Лицензия — Apache-2.0.

RLHFlow/pair-preference-model-LLaMA3-8B — модель предпочтений, разработанная авторами работы «RLHF Workflow: From Reward Modeling to Online RLHF» (TMLR, 2024). Она обучена на основе LLaMA 3 8B Instruct и предназначена для сравнения ответов языковой модели: принимает пару запросов и ответов и помогает определить, какой ответ предпочтительнее. Для ранжирования более двух ответов авторы рекомендуют турнирный подход. Модель имеет плотную архитектуру LLaMA с 7,5 млрд параметров, работает с текстом и поддерживает контекст до 8192 токенов. В README приведены результаты RewardBench: Chat 98,6, Char-hard 65,8, Safety 89,6 и reasoning 94,9; это показатели на соответствующих наборах оценки, а не гарантия качества в каждом применении. Файлы модели представлены в формате Safetensors. Лицензия — Llama 3.

Карточка модели amd/PARD2-Llama-3.1-8B на Hugging Face совпадает с карточкой amd/PARD2-Qwen3-8B, поэтому описание составлено по ней. amd/PARD2-Qwen3-8B — черновая модель семейства Qwen3, разработанная AMD для ускорения генерации текста методом спекулятивного декодирования. Она формирует несколько токенов-кандидатов для проверки целевой авторегрессионной моделью и поддерживает два режима: независимый от целевой модели и учитывающий её. Обучение ориентировано на увеличение длины последовательности токенов, принимаемых целевой моделью, а Confidence-Adaptive Token (CAT) оптимизация перераспределяет вес токенов с учётом их вклада в проверку. Модель предназначена для интеграции в конвейеры спекулятивного декодирования, в том числе с vLLM. В README заявлено ускорение без потери точности до 6,94 раза на разных моделях и задачах; этот результат зависит от целевой модели, нагрузки и настроек инференса. По метаданным модель содержит 507,9 млн параметров, использует архитектуру Qwen3ForCausalLM, поддерживает контекст до 40 960 токенов и распространяется в формате safetensors. Лицензия — MIT.

Карточка модели amd/PARD-Qwen3-0.6B на Hugging Face совпадает с карточкой amd/PARD-Llama-3.2-1B, поэтому описание составлено по ней. PARD-Llama-3.2-1B — модель семейства Llama, разработанная авторами метода PARD для ускорения генерации текста с помощью спекулятивного декодирования. Это параллельная черновая модель на 1,2 млрд параметров, адаптированная из авторегрессионной черновой модели; один черновой чекпойнт PARD может использоваться для ускорения целого семейства целевых моделей. Репозиторий содержит веса в формате safetensors и поддерживает контекст до 131 072 токенов. Модель предназначена для интеграции в системы инференса, где она предлагает черновые продолжения для целевой языковой модели. README сообщает об ускорении в среднем в 1,78 раза относительно авторегрессионных черновых моделей и до 4,08 раза в Transformers+ и до 3,06 раза в vLLM; эти результаты относятся к описанным авторами настройкам и не гарантируют такого ускорения во всех сценариях. Метаданные указывают поддержку чата и интерфейса вызова инструментов. Модель распространяется по лицензии MIT. Она ориентирована на ускорение инференса, поэтому качество и применимость готовых ответов зависят от целевой модели и конфигурации спекулятивного декодирования.