II.10Разработка и эксплуатация AI/ML-систем

Tessary groundedness classifier v1 — англоязычная модель Tessary для проверки ответов агента по переданным ему извлечённым документам. Она размечает слова ответа тремя метками: O для подтверждённых фрагментов, BASELESS для неподтверждённых и CONFLICT для противоречащих документам. Модель основана на ModernBERT большой версии и дообучена на базе KRLabsOrg/lettucedect-large-modernbert-en-v1 для задачи token classification; доступны веса Safetensors и экспорт ONNX. Она принимает документы и ответ совместно, обрабатывает до 8 192 токенов и предназначена для контроля groundedness в RAG-системах и агентских сценариях. Для каждого слова модель оценивает вероятность неподтверждённости как сумму вероятностей BASELESS и CONFLICT; оценка всего ответа равна наибольшей такой вероятности среди слов. В README приведены результаты на RAGTruth и собственных продуктовых и поддерживающих примерах Tessary. Указана лицензия MIT. Модель работает только с английским текстом; она не сверяет утверждения с внешними знаниями, чувствительна к сильному перефразированию, может пропускать противоречия и молча отбрасывает текст сверх лимита контекста. Пороговые значения требуют проверки на данных конкретного применения.

HaloGuard 1.0-4B — классификатор безопасности входных пользовательских запросов, разработанный Astroware и дообученный на базе Qwen3.5-4B. Это генеративный классификатор без отдельной классификационной головы: он выдаёт вердикт safe/unsafe, категорию политики и оценки уверенности. В README описано обучение на конституции из 46 политик и 2 940 подкатегорий, а также результаты тестирования на семи бенчмарках безопасности запросов. Модель предназначена для фильтрации запросов перед передачей их LLM, агенту или приложению. Её можно использовать для inline-проверки одного окна или как асинхронный монитор с разбиением длинного ввода на окна; вариант 4B рассчитан на серверные сценарии и повторную проверку неоднозначных, состязательно сформулированных и многоязычных запросов. Приложение само выбирает действие по результатам классификации: разрешить запрос, заблокировать, перенаправить или отправить на проверку. Архитектура — плотная Qwen3.5, 4 млрд параметров; модель принимает текст и выдаёт текстовую классификационную оценку. Карточка заявляет поддержку множества языков, включая русский, английский, китайский, японский, корейский, хинди, арабский, испанский, французский, немецкий и другие. Лицензия — Apache-2.0. Модель проверяет только входные запросы: она не модерирует ответы, не анализирует вызовы инструментов и не обеспечивает безопасность выполнения действий агента. В README отмечены повышенные показатели ложных срабатываний для некоторых индийских и юго-восточноазиатских языков, а также неполное покрытие смешанных языков и код-свитчинга; её следует дополнять модерацией выходов и runtime-контролями.

HaluGate Sentinel — классификатор запросов пользователя, разработанный проектом llm-semantic-router для маршрутизации в системах LLM. Он определяет, требует ли запрос проверки фактов и внешних источников знаний: например, отправляет factual-вопросы в RAG или инструменты, а творческие, кодовые и математические запросы позволяет направлять прямо к генеративной модели. Самостоятельно ответы и факты он не проверяет. Модель основана на encoder-архитектуре ModernBERT-base размером 149 млн параметров с классификационной головой и LoRA-дообучением; принимает текст и выдаёт одну из двух меток: FACT_CHECK_NEEDED или NO_FACT_CHECK_NEEDED. Контекст — до 8192 токенов. Обучение и заявленные сценарии ориентированы на английский язык. В README указаны точность 96,4% и F1 0,965 на валидации, однако пороговые и смешанные запросы могут быть неоднозначны, поэтому оценку уверенности следует считать сигналом для маршрутизации, а не гарантией. Лицензия — Apache-2.0.

HikmaAI разработала мультиязычный классификатор prompt injection на базе microsoft/mdeberta-v3-base, дообучив его для бинарного определения обычного текста и попыток внедрения инструкций. Модель предназначена для проверки пользовательских запросов и текстов перед передачей их языковой модели или другому компоненту приложения. Это encoder-модель DeBERTa v3 с 306 млн параметров и контекстом до 512 токенов. Она поддерживает 11 языков: английский, вьетнамский, хинди, тайский, китайский, японский, русский, арабский, шведский, испанский и итальянский. Доступны форматы ONNX FP32, FP16 и INT8; метаданные указывают библиотеку Optimum и pipeline text-classification. В карточке сообщается о точности 0,995 на валидации и полноте 0,9709 при выбранном пороге, но эти показатели зависят от набора данных и не гарантируют аналогичное качество в эксплуатации. Модель выдаёт метку «обычный текст» или «prompt injection» и подходит для многоязычного предварительного фильтра запросов. Она не заменяет проверку безопасности всей системы и может ошибаться на новых формулировках, доменах или языковых вариантах. Лицензия — Apache-2.0.

HiveTraceGuard-Pro — компактная модель классификации запросов и ответов для защитных контуров LLM и агентных систем, разработанная HiveTrace на базе Qwen3-0.6B. Она проверяет сообщения на вредоносное содержание, jailbreak, prompt injection, обфускацию, извлечение секретов и попытки перехвата инструментов. Модель возвращает один из двух вердиктов: safe или unsafe; вероятность unsafe можно получить из логитов этих меток. Модель имеет плотную архитектуру Qwen3ForCausalLM, около 507,9 млн параметров и контекст до 40 960 токенов. Заявлены русский и английский языки, режимы проверки пользовательского ввода и ответа ассистента с учётом запроса. Для обслуживания указаны Transformers, vLLM и SGLang; фиксированная политика позволяет использовать кеширование общего префикса. Модель подходит для фильтрации сообщений и контроля безопасности перед передачей запроса LLM или после генерации ответа. Она выдаёт только бинарную метку, поэтому не объясняет причину решения и не формирует развёрнутые отчёты. Распространяется по лицензии Apache-2.0.

kompress-v2-base — модель-экстрактор для сжатия запросов и результатов инструментов перед передачей большой языковой модели. Её разработал chopratejas на основе ModernBERT-base: к энкодеру добавлены LoRA-адаптер и две классификационные головы, которые оценивают важность каждого токена. Модель оставляет выбранные токены в исходном порядке, поэтому результат представляет собой подпоследовательность входного текста, а не его перефразирование или генерацию. Модель обучена на 126 617 размеченных примерах из разных источников, включая диалоги, код, трассы агентов, научные, медицинские, финансовые и государственные тексты. Контекст — до 8 192 токенов. Основной артефакт для интеграции — ONNX-модель с квантизацией int8 для запуска на CPU; также доступна версия fp32. В тестах при стандартном пороге 0,5 удалялось около 13% субсловных токенов, F1 составлял 0,920, а полнота сохранения важных фрагментов — 0,989. Модель предназначена для сокращения длинного контекста в LLM-прокси, в частности при обработке длинных ответов инструментов. Она не генерирует текст и не восстанавливает удалённое содержимое; более высокий порог усиливает сжатие, но может повысить риск потери нужных деталей. Распространяется по лицензии Apache 2.0, разрешающей коммерческое использование.

LettuceDetect large modernbert en v1 — англоязычная модель KRLabsOrg для выявления галлюцинаций в ответах на основе заданного контекста, в частности в системах Retrieval-Augmented Generation (RAG). Это дообученная для классификации токенов модель ModernBERT-large; в метаданных базовой моделью указана answerdotai/ModernBERT-base. Репозиторий содержит веса Safetensors, модель насчитывает 394,7 млн параметров и поддерживает контекст до 8192 токенов. Модель анализирует контекст вместе с ответом и размечает токены ответа, которые не подтверждаются контекстом; оценки по токенам можно объединить в фрагменты, чтобы показать подозрительные места. Она предназначена для проверки ответов RAG и локализации неподтверждённых утверждений. В README приведён результат F1 79,22% на тестовой выборке RAGTruth для оценки на уровне примеров. Указана лицензия MIT. Заявленные характеристики и результаты относятся к описанной конфигурации и набору данных; качество на других данных может отличаться.

Lion Warden — модель Patronus AI для многоцелевой классификации текстов в системах защиты ИИ-агентов. Это дообученный мультиязычный энкодер ModernBERT/mmBERT с архитектурой UnifiedMultiTaskModel и семью независимыми классификационными головами. За один проход модель оценивает признаки prompt injection, чувствительных документов, типа и действий инструмента, тегов безопасности, маршрутизации запроса и категории угрозы. Входом служит текст: например, запрос, вызов инструмента, документ или шаг агента; на выходе — отдельные оценки и классы по головам. Модель предназначена для проверок в межсетевом экране ИИ, применения политик к агентам, оценки риска инструментов, сигналов предотвращения утечек, маршрутизации запросов и мониторинга во время выполнения. В карточке приведены результаты по отдельным головам на тестовом наборе и средний macro-F1 0,937. Основными языками оценки были немецкий и английский; мультиязычная основа допускает работу с другими языками, но они не проверялись активно. Модель не отслеживает поток информации между несколькими шагами агента, а положительный прогноз сам по себе не доказывает выполнение действия или доступ к данным; возможны ложные срабатывания и пропуски. Лицензия — Apache-2.0.

Llama-3.3-Nemotron-70B-Reward — языковая модель NVIDIA на архитектуре Llama 3.3, дообученная на основе Meta-Llama-3.3-70B-Instruct. Она предназначена для оценки качества ответов, сгенерированных другими языковыми моделями: на вход подаётся многоходовый диалог на английском языке длиной до 4096 токенов, а на выходе получается одно числовое значение вознаграждения. Более высокий балл означает более предпочтительный ответ в рамках одного и того же запроса; сравнивать баллы для разных запросов напрямую нельзя. Модель содержит 69,5 млрд параметров и принимает текст. Хотя заявленное контекстное окно составляет 131 072 токена, обучение проводилось на диалогах длиной до 4096 токенов. NVIDIA сообщает о результатах 73,7% на JudgeBench и 79,9% на RM-Bench. Модель подходит для ранжирования ответов, отбора кандидатов и построения оценочных конвейеров; она рассчитана на английский язык и требует значительных вычислительных ресурсов — для запуска через Transformers README рекомендует не менее двух GPU с 80 ГБ памяти. README указывает, что модель готова к коммерческому и некоммерческому использованию, однако метаданные обозначают лицензию как «other»; перед применением следует проверить условия NVIDIA для репозитория. Модель выдаёт оценку качества, а не текстовый ответ для конечного пользователя, и её баллы не следует трактовать как абсолютную шкалу качества между разными запросами.

Llama-3.3-Nemotron-70B-Reward-Principle — языковая модель NVIDIA на архитектуре Llama 3.3, дообученная на основе meta-llama/Llama-3.3-70B-Instruct. Она оценивает, насколько итоговый ответ ассистента в многоходовом диалоге соответствует заданному пользователем принципу, и выдаёт одно числовое значение: более высокий балл означает большее соответствие. Модель рассчитана на оценивание ответов LLM и применение в контурах ранжирования и контроля качества. Модель содержит 69,5 млрд параметров, работает с текстом и имеет заявленный контекст до 131 072 токенов. Однако обучение проводилось на диалогах длиной до 4 096 токенов, поэтому качество на более длинных входах может быть ограничено. Карточка сообщает высокие результаты на RM-Bench и JudgeBench; для запуска через Transformers указаны две или более GPU с 80 ГБ памяти каждая и не менее 150 ГБ свободного места. Модель обучалась на данных HelpSteer3 и оптимизирована для систем с GPU NVIDIA. Лицензия обозначена как other; перед использованием следует ознакомиться с условиями NVIDIA на странице модели.

Llama-3.3-Nemotron-Super-49B-GenRM — генеративная модель вознаграждения NVIDIA на основе Llama-3.3-Nemotron-Super-49B-v1, дообученная с помощью обучения с подкреплением для оценки ответов, сгенерированных языковыми моделями. Она принимает историю англоязычного диалога и один или два ответа, строит рассуждение и выдаёт оценку качества; при сравнении двух ответов также формирует оценку их относительного ранжирования. Модель пригодна для автоматического контроля качества диалоговых систем и оценки ответов в задачах общих знаний, логики, математики и программирования. Архитектура — трансформер Nemotron-NAS с классом DeciLMForCausalLM; формат весов — Safetensors. README указывает 49 млрд параметров, тогда как метаданные каталога — 87 млрд. Контекст составляет до 131 072 токенов по метаданным. Модель принимает и выдаёт текст; заявлена поддержка английского языка. В README приведены результаты на RM-Bench и JudgeBench, но оценки зависят от набора данных и режима использования. Для запуска рекомендован vLLM 0.8.3 на Linux с двумя или более GPU NVIDIA с 80 ГБ памяти. В README указана готовность к коммерческому и некоммерческому использованию; метаданные обозначают лицензию как other, поэтому условия следует сверить с лицензией репозитория. Модель специализирована на оценке качества ответов и не предназначена для обычной генерации ответов пользователю. Её заявленная языковая область — английские диалоги.

Llama Guard 3-1B — модель Meta, дообученная на предварительно обученной Llama 3.2-1B для классификации безопасности контента. Она анализирует запросы пользователей и ответы языковых моделей, выдавая текстовые метки safe или unsafe и, если контент небезопасен, указывая нарушенные категории. Модель ориентирована на модерацию диалогов и оценку контента по таксономии из 13 категорий опасностей MLCommons; поддерживает настройку категорий под правила приложения. Это компактная текстовая модель семейства Llama, работающая через генерацию текста. Карточка также описывает отдельный прореженный и квантованный вариант для мобильных устройств; эти характеристики не следует автоматически переносить на данный репозиторий. Модель поддерживает английский, французский, немецкий, хинди, итальянский, португальский, испанский и тайский языки. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Llama 3.2. Модель может ошибаться в суждениях, требующих здравого смысла, актуальных фактов или широкого языкового охвата; особенно осторожно следует оценивать категории, связанные с клеветой, интеллектуальной собственностью и выборами. Возможны обходы с помощью состязательных входов и prompt injection, поэтому перед применением в чувствительных сценариях необходима оценка качества.

Карточка модели MksShir/Llama-Guard-3-8B-KSTU-Censor на Hugging Face совпадает с карточкой meta-llama/Llama-Guard-3-8B, поэтому описание составлено по ней. Llama Guard 3 8B — модель Meta на базе Llama 3.1 8B, дообученная для классификации безопасности контента. Она анализирует пользовательские запросы и ответы языковых моделей, выдаёт текстовую метку «safe» или «unsafe», а для небезопасного контента указывает нарушенные категории. Модель предназначена для модерации диалогов и проверки вызовов инструментов, включая поиск и интерпретатор кода; классификация охватывает 14 категорий рисков по таксономии MLCommons и дополнительную категорию злоупотребления интерпретатором кода. Модель работает с текстом и заявлена для английского, французского, немецкого, хинди, итальянского, португальского, испанского и тайского языков. В репозитории размещена версия с половинной точностью в формате safetensors; для бинарной оценки можно использовать вероятность первого токена как оценку класса «unsafe» и задать порог. Для применения нужны Transformers и совместимый код инференса. Лицензия — Llama 3.1 Community License.

Llama Guard 4 — мультимодальный классификатор безопасности от Meta с 12 млрд параметров. Это плотная модель на базе Llama 4 Scout: архитектуру Scout преобразовали из MoE в dense pruning, затем дообучили для классификации контента по категориям опасностей MLCommons. Модель принимает текстовые запросы и ответы, а также смешанные входы с несколькими изображениями, и возвращает текстовую метку безопасности с указанием нарушенных категорий. Модель предназначена для фильтрации пользовательских запросов до передачи генеративной модели и для проверки её ответов перед показом пользователю. Она поддерживает английский и мультиязычный текст, а также понимание изображений в сочетании с текстом; карточка указывает английский язык. Модель доступна в формате Safetensors и используется через Transformers. Лицензия обозначена как other; конкретные условия следует сверять с карточкой модели Meta. Ограничения связаны с данными обучения и охватом политик: качество может снижаться для оценок, требующих актуальных знаний, включая диффамацию, интеллектуальную собственность и выборы. Проверки в основном проводились на входах с несколькими изображениями, обычно около трёх; при большем их числе качество может меняться. Модель также уязвима к состязательным воздействиям и prompt injection.

Карточка модели RedHatAI/Llama-Guard-4-12B на Hugging Face совпадает с карточкой meta-llama/Llama-Guard-4-12B, поэтому описание составлено по ней. Llama Guard 4 — мультимодальный классификатор безопасности от Meta с 12 млрд параметров. Это плотная модель на базе Llama 4 Scout: архитектуру Scout преобразовали из MoE в dense pruning, затем дообучили для классификации контента по категориям опасностей MLCommons. Модель принимает текстовые запросы и ответы, а также смешанные входы с несколькими изображениями, и возвращает текстовую метку безопасности с указанием нарушенных категорий. Модель предназначена для фильтрации пользовательских запросов до передачи генеративной модели и для проверки её ответов перед показом пользователю. Она поддерживает английский и мультиязычный текст, а также понимание изображений в сочетании с текстом; карточка указывает английский язык. Модель доступна в формате Safetensors и используется через Transformers. Лицензия обозначена как other; конкретные условия следует сверять с карточкой модели Meta. Ограничения связаны с данными обучения и охватом политик: качество может снижаться для оценок, требующих актуальных знаний, включая диффамацию, интеллектуальную собственность и выборы. Проверки в основном проводились на входах с несколькими изображениями, обычно около трёх; при большем их числе качество может меняться. Модель также уязвима к состязательным воздействиям и prompt injection.

Карточка модели project-free-llama/Llama-Prompt-Guard-2-22M на Hugging Face совпадает с карточкой meta-llama/Llama-Prompt-Guard-2-86M, поэтому описание составлено по ней. Llama Prompt Guard 2 86M — классификатор Meta для обнаружения атак на LLM: prompt injection и jailbreak. Модель помечает запрос как вредоносный, если он явно пытается переопределить предыдущие инструкции; результат не оценивает, насколько атака опасна или успешна. Классификатор основан на mDeBERTa-base, содержит 86 млн параметров и предназначен для интеграции в приложения на базе Transformers. Модель принимает текст и выдаёт метку «benign» или «malicious». Контекст ограничен 512 токенами; длинные входы рекомендуется разбивать на сегменты и проверять параллельно. Модель обучена выявлять атаки на английском и других языках, а оценивалась на английском, французском, немецком, хинди, итальянском, португальском, испанском и тайском. Токенизация адаптирована для устойчивости к манипуляциям пробелами и фрагментацией токенов. Prompt Guard 2 улучшает точность обнаружения по сравнению с предыдущей версией, однако может пропускать адаптивные атаки, а качество зависит от распределения запросов в конкретном приложении. Для прикладных сценариев Meta рекомендует дообучение на соответствующих данных. В метаданных лицензия указана как other; README описывает модель как инструмент с открытым исходным кодом, но не уточняет конкретные условия лицензии.

gravitee-io/Llama-Prompt-Guard-2-86M-onnx — преобразованная в ONNX и квантизированная версия классификатора Meta Llama-Prompt-Guard-2-86M. Модель на архитектуре DeBERTa-v2 предназначена для классификации текста и выявления попыток prompt injection и jailbreak в запросах к большим языковым моделям. Принимает текст длиной до 512 токенов и возвращает метку классификации. Репозиторий содержит форматы ONNX и safetensors; для запуска описана связка Transformers и ONNX Runtime. В README приведены результаты оценки на наборе jailbreak-classification: для исходной версии 86M указаны accuracy 0,9801, precision 0,9984 и recall 0,9625; эти показатели не следует считать гарантией на других данных. Языковые теги карточки включают английский, французский, немецкий, хинди, итальянский, португальский, испанский и тайский. Лицензия — Llama 4.

BAAI/llm-embedder — англоязычная модель эмбеддингов, выпущенная BAAI в рамках проекта FlagEmbedding. Она преобразует текст в плотные векторы для поиска и других задач, где нужно сопоставлять тексты по смыслу. Модель предназначена, в частности, для разных сценариев retrieval augmentation в системах на базе больших языковых моделей и может использоваться с векторными базами данных. Это плотная модель архитектуры BERT с 136,7 млн параметров и контекстом до 512 токенов. Векторы подходят для семантического поиска, извлечения документов, классификации и кластеризации. Для коротких поисковых запросов, используемых для нахождения длинных документов, авторы рекомендуют добавлять к запросу инструкцию; необходимость этого зависит от конкретной задачи. Модель не является переранжировщиком: она строит векторные представления, а не оценивает напрямую пару «запрос — документ». Значения сходства могут быть высокими даже для несвязанных текстов, поэтому порог нужно подбирать на данных конкретного применения, а для ранжирования кандидатов можно использовать отдельный reranker. Лицензия — MIT.

Merino-Small — модель BAA AI (Black Sheep AI) для двух этапов поиска в RAG: построения эмбеддингов и ранжирования пар запроса и документа. В ней биэнкодер и 12-слойный кросс-энкодер используют общую таблицу эмбеддингов слов на базе MiniLM-L6-H384-uncased; общий размер составляет около 55 млн параметров, а эмбеддинги имеют размерность 384 и нормализуются по L2. Для векторного поиска README рекомендует добавлять к запросу префикс «Represent this sentence for searching relevant passages: ». Модель работает на английском языке. Её можно применять для семантического поиска и переоценки найденных кандидатов в RAG-системах. По данным README, модель компактна для развёртывания, а 4-битная квантизация сохраняет качество в описанном тесте с тематическими отвлекающими документами. Низкий показатель Position Balance (0,17) указывает на ограниченную способность находить второй независимый факт в одном фрагменте: рекомендуется разбивать документы на атомарные фрагменты по одному утверждению и возвращать родительский раздел для контекста. Лицензия в метаданных указана как other; конкретные условия README не приводит.

Mezzo Prompt Guard v2 Base — модель классификации текстов от RyanStudio для выявления попыток prompt injection и различения безопасных и небезопасных сообщений. Она дообучена на FacebookAI/xlm-roberta-base и использует архитектуру XLM-RoBERTa с классификационной головой; размер составляет 305,2 млн параметров, максимальная длина контекста по метаданным — 514 токенов. Модель рассчитана на проверку пользовательских запросов и текстов в многоязычных приложениях, где нужно снизить риск выполнения вредоносных инструкций. В README описаны обучение на примерах инструкций, диалогов и многоязычных наборов данных, а также результаты на нескольких тестах prompt injection. Порог классификации можно настраивать: более высокий порог снижает число ложных срабатываний, а более низкий помогает чаще обнаруживать атаки. Модель может ошибочно помечать безопасный текст как небезопасный, а сложные атаки, не представленные в обучении, могут обходить её. README рекомендует разбивать длинные запросы на фрагменты до 256 токенов. Лицензия — MIT.

mist-reranker-22.7M — компактная англоязычная модель-переранжировщик, разработанная OlaVerse. Это cross-encoder на базе cross-encoder/ms-marco-MiniLM-L6-v2 с архитектурой BERT и примерно 25,9 млн параметров по метаданным. Модель оценивает пару «поисковый запрос — фрагмент текста» единым баллом релевантности, чтобы переставлять кандидатов, найденных первым этапом поиска, например в конвейере RAG. Контекст составляет до 512 токенов; модель использует Sentence Transformers и формат safetensors. Модель дообучена на 844 тысячах англоязычных пар из olaverse/reranker-general-en-llm-judged с комбинированной целью: меткой релевантности от LLM-судьи и дополнительным обучением на оценках учителя BAAI/bge-reranker-v2-m3. В карточке сообщается о результатах на NanoBEIR: NDCG@10 равен 0,8543; модель предназначена для быстрого переранжирования при умеренных вычислительных ресурсах. Лицензия — Apache-2.0.

Карточка модели avsolatorio/MixEmbed-base-20240110225225-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели igzi/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.

mxbai-rerank-base-v1 — базовая модель семейства реранкеров от Mixedbread, предназначенная для повышения качества поиска. Она оценивает релевантность пары «запрос — документ» и упорядочивает результаты, например, после поиска по ключевым словам. Модель построена на архитектуре DeBERTa-v2 и содержит 211,6 млн параметров; для работы с ней README рекомендует актуальную версию sentence-transformers. Модель рассчитана на английский язык и принимает текст, выдавая оценки релевантности, которые можно использовать для ранжирования документов. В README приведены результаты оценки на 11 наборах BEIR и указано, что реранкер хорошо дополняет поиск по ключевым словам. Длина контекста составляет 512 токенов. Модель распространяется по лицензии Apache-2.0.

Nemotron 3.5 Content Safety — модель NVIDIA для модерации безопасности контента на входе и выходе языковых и визуально-языковых моделей. Она принимает текстовый запрос, необязательное изображение, необязательный ответ модели и пользовательскую политику безопасности, а затем выдаёт текстовые метки безопасности для запроса и ответа; в стандартном режиме может также указывать нарушенные категории, а в режиме пользовательской политики — краткое обоснование классификации. Это дообученная NVIDIA версия Gemma-3-4B-it: плотный декодерный трансформер примерно на 4 млрд параметров с визуальным энкодером SigLIP. Модель принимает изображения, масштабируемые до 896 × 896 пикселей, поддерживает контекст до 128 тыс. токенов и предназначена для английского, арабского, немецкого, испанского, французского, хинди, японского, тайского, нидерландского, итальянского, корейского и китайского языков. Веса обучались с LoRA и были объединены с базовой моделью; доступны в формате safetensors. Модель подходит для стандартной классификации безопасности и применения собственных или специализированных политик модерации. README указывает готовность к коммерческому использованию, однако для надёжного внедрения рекомендует проверку на данных конкретного сценария. Модель оптимизирована для GPU NVIDIA; лицензия указана как other, поэтому перед использованием следует проверить условия лицензии репозитория.

nomic-embed-text-v1-GGUF — это набор файлов модели для построения векторных представлений текста в формате GGUF, совместимом с llama.cpp. Модель разработана Nomic и основана на nomic-embed-text-v1 с архитектурой BERT. Она предназначена для извлечения признаков, сравнения семантической близости предложений, поиска и построения RAG-приложений. Поддерживается английский язык, а перед каждым текстом требуется указывать соответствующий префикс задачи, например search_query:. Модель рассчитана на работу с текстом и поставляется в вариантах квантования Q2_K–Q8_0, F16 и F32, размер которых составляет примерно от 48 до 262 МиБ. llama.cpp использует контекст длиной 2048 токенов по умолчанию; для поддержки полного контекста в 8192 токена необходимо выбрать совместимый метод расширения контекста и параметры RoPE scaling. Разные варианты квантования позволяют выбирать компромисс между размером файлов и точностью эмбеддингов; README приводит среднеквадратичную ошибку относительно реализации Sentence Transformers. Сильными сторонами являются компактные GGUF-файлы, совместимость с llama.cpp и наличие нескольких уровней квантования для запуска на устройствах с разными ресурсами. Ограничения включают необходимость использовать task-префиксы, зависимость расширенного контекста от дополнительных настроек и отсутствие заявленной мультимодальности. Модель распространяется по лицензии Apache-2.0.

Карточка модели lactroiii/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 на Hugging Face совпадает с карточкой LimitlessMindd/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, поэтому описание составлено по ней. NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель NVIDIA для чата, рассуждений и генерации текста. Это эталонные веса BF16 модели с гибридной архитектурой Mixture-of-Experts: слои Mamba-2 чередуются со слоями MoE и отдельными слоями Attention. Всего модель содержит 30 млрд параметров, из которых активно задействуются 3 млрд; также используются слои Multi-Token Prediction. Модель предназначена прежде всего для дообучения, адаптации к предметным областям и задачам, оценки и создания производных квантованных вариантов. Её можно применять как основу для чат-ботов, систем RAG и агентных приложений; карточка рекомендует для прямого развёртывания оптимизированный релиз NVFP4. В карточке заявлен контекст до 1 млн токенов, при этом на одной H100 80 ГБ BF16 проверен до 256 тыс. токенов из-за ограничений памяти. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский, японский и китайский. В метаданных указано 1,9 млрд параметров, что расходится с README, где заявлены 30 млрд всего и 3 млрд активных. Метаданные указывают лицензию other, а README сообщает о готовности к коммерческому использованию; конкретные условия лицензии следует сверять с файлами репозитория.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель NVIDIA для чата, рассуждений и генерации текста. Это эталонные веса BF16 модели с гибридной архитектурой Mixture-of-Experts: слои Mamba-2 чередуются со слоями MoE и отдельными слоями Attention. Всего модель содержит 30 млрд параметров, из которых активно задействуются 3 млрд; также используются слои Multi-Token Prediction. Модель предназначена прежде всего для дообучения, адаптации к предметным областям и задачам, оценки и создания производных квантованных вариантов. Её можно применять как основу для чат-ботов, систем RAG и агентных приложений; карточка рекомендует для прямого развёртывания оптимизированный релиз NVFP4. В карточке заявлен контекст до 1 млн токенов, при этом на одной H100 80 ГБ BF16 проверен до 256 тыс. токенов из-за ограничений памяти. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский, японский и китайский. В метаданных указано 1,9 млрд параметров, что расходится с README, где заявлены 30 млрд всего и 3 млрд активных. Метаданные указывают лицензию other, а README сообщает о готовности к коммерческому использованию; конкретные условия лицензии следует сверять с файлами репозитория.

Opir-edge — компактная модель семейства Opir от Knowledgator для классификации текста по безопасности. Она построена на GLiClass с двунаправленным энкодером Ettin-encoder-32m и предназначена прежде всего для быстрого бинарного маршрута «безопасно/небезопасно» на английском языке. Модель совместно кодирует входной текст и заданные при запуске метки-кандидаты, а затем оценивает их совместимость; она поддерживает оценивание произвольных меток, но для этой версии рекомендована бинарная классификация. Модель можно использовать для предварительной проверки запросов к LLM и её ответов, маршрутизации рискованных случаев к более строгим проверкам или специалистам, а также офлайн-анализа результатов red team и журналов модерации. В README сообщается задержка 9,25 мс на уровне p50 и 9,52 мс на p95 при длине 1024 токена в указанной конфигурации бенчмарка. Обучение связано с таксономией безопасности из 996 меток и включает примеры безвредного контента для снижения ложных срабатываний. Классификатор может пропускать новые или замаскированные jailbreak-запросы и риски, не представленные в метках; пороги из бенчмарков могут не подходить для реального трафика. Его оценки не являются формальным решением по политике безопасности и не гарантируют полной защиты, поэтому для ответственных сценариев нужны дополнительные правила, мониторинг и эскалация. Модель распространяется по лицензии Apache-2.0.

PreferED — модель оценки предпочтений на архитектуре DeBERTa, разработанная Samagra и предназначенная для оценки ответов приложений на базе LLM. Она принимает текст с контекстом и критериями оценки, а также проверяемую генерацию, и возвращает логит-оценку, по которой можно сравнивать ответы по качеству, релевантности, уместности или наличию галлюцинаций. Модель содержит 533,8 млн параметров, использует архитектуру DeBERTa-v2 для классификации последовательностей и рассчитана на контекст до 512 токенов. Основной язык — английский. Модель обучена на Anthropic HH/RLHF с использованием DeBERTa-v3-large в качестве базовой модели; на тестовой выборке HH/RLHF указана точность 69,7%. Обучение использовало бинарную кросс-энтропию. Подходит для ранжирования и проверки текстовых ответов в оценочных конвейерах, в том числе при наличии эталонного или извлечённого контекста. Лицензия — MIT. Качество оценки может зависеть от соответствия критериев и данных конкретной задачи обучающим данным; опубликованный показатель относится к тестовой выборке HH/RLHF.