II.10Разработка и эксплуатация AI/ML-систем

Карточка модели aajonaa/bge-small-en-v1.5 на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.

Horizon Labs Content Safety Guard Small — компактный мультиязычный классификатор безопасности текста на основе энкодера ModernBERT с backbone mmBERT, содержащий 140,5 млн параметров. Он оценивает отдельный пользовательский запрос или пару «запрос–ответ», выдавая общий балл небезопасности и оценки по 15 категориям вредного содержания. Модель предназначена для проверки запросов до передачи LLM и ответов после генерации, в том числе в приложениях, где важны скорость и запуск на CPU или в браузере. Она обучалась на данных с разрешённым коммерческим использованием; заявлены поддержка 12 языков адаптированных человеком данных и оценка на многоязычных наборах. Контекст модели — до 8192 токенов. Доступны веса Safetensors и ONNX, включая квантованный вариант int8. По сравнению с более крупной базовой версией модель требует меньше вычислений и занимает меньше места, но показывает немного более низкий F1 на PolyGuard. Среди известных ограничений — чрезмерная блокировка безопасных, но двусмысленных запросов, слабые результаты для отдельных категорий и сниженный recall на вредных запросах на некоторых языках с меньшим объёмом ресурсов. README рекомендует настраивать порог под собственные данные и не использовать модель как единственный механизм для решений о безопасности детей или юридическом соответствии. Лицензия Apache-2.0.

GLIDER — дообученная Patronus AI модель на базе microsoft/Phi-3.5-mini-instruct для оценки текстов, диалогов и RAG-систем по заданным пользователем критериям и шкалам. Она предназначена для автоматического судейства и измерения качества ответов в различных сценариях. Модель использует плотную архитектуру Phi-3, содержит 3,7 млрд параметров и работает с текстом. В README заявлена максимальная длина последовательности 8192 токена и проверка на текстах до 12 000 токенов; метаданные указывают native context в 4096 токенов. Обучение использовало синтетические и адаптированные по областям данные, охватывающие более 183 метрик и 685 областей, включая финансы и медицину. Основной язык — английский; также заявлена поддержка корейского, казахского, хинди, бенгальского, испанского, индонезийского, немецкого, французского, арабского, русского и других языков. GLIDER подходит для проверки ответов чат-ботов, сравнения вариантов генерации, оценки качества поиска с генерацией и проверки соответствия пользовательским рубрикам. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Granite Guardian 3.2 5B — модель IBM Research для выявления рисков в запросах, ответах и диалогах с ИИ. Это разреженная версия Granite Guardian 3.1 8B: при итеративном удалении и восстановлении параметров было удалено около 30% исходных параметров. Модель содержит 5,8 млрд параметров, использует архитектуру GraniteForCausalLM и принимает текст, формируя текстовый ответ. Метаданные указывают контекст до 131 072 токенов. Модель предназначена для проверки вредоносного контента, предвзятости, попыток обхода ограничений, насилия, ненормативной лексики, сексуального контента и иных рисков. В RAG-сценариях она оценивает релевантность найденного контекста, соответствие ответа контексту и релевантность ответа запросу. В агентных системах может выявлять синтаксические и смысловые ошибки вызовов функций и связанные с ними галлюцинации. Для риск-оценки модель следует применять в предусмотренном шаблоном режиме, получая ответы «да» или «нет». README сообщает о конкурентных результатах на стандартных бенчмарках, но не приводит их полную таблицу для этой версии. Модель может давать неожиданные или небезопасные результаты при использовании вне предписанного режима и быть уязвима к состязательным атакам. Лицензия — Apache 2.0.

HHEM-2.1-Open — модель Vectara для выявления фактической несогласованности текста с предоставленным контекстом, в частности для контроля ответов LLM в RAG-системах и агентных приложениях. Она принимает пару текстов: свидетельство или предпосылку и проверяемую гипотезу. Модель оценивает, насколько гипотеза подтверждается свидетельством: оценка от 0 до 1, где 0 означает отсутствие подтверждения, а 1 — полную поддержку. Проверка асимметрична: перестановка текстов может изменить результат. Модель построена на базе google/flan-t5-base и дообучена для классификации последовательностей; в Transformers доступны оценка пары или метки «hallucinated» и «consistent». Карточка заявляет неограниченную длину контекста относительно лимита HHEM-1.0 в 512 токенов, но предупреждает о наследуемом ограничении длины входа T5-base. Модель рассчитана на английский язык; сведения о поддержке других языков для этой открытой версии не приводятся. Лицензия — Apache-2.0.

jina-reranker-v3 — многоязычная модель-реранкер компании Jina AI для переупорядочивания документов по релевантности запросу. Она предназначена для улучшения результатов поиска и retrieval-систем, в том числе RAG, когда исходный поиск возвращает набор кандидатов, который нужно отсортировать точнее. Модель дообучена на Qwen3-0.6B и содержит около 507,9 млн параметров. Это плотная архитектура на базе Qwen3 с 28 слоями трансформера и небольшим MLP-проектором; механизм listwise-ранжирования позволяет сравнивать запрос и несколько документов в общем контексте. За один проход обрабатывается до 64 документов, а длина контекста составляет 131 072 токена. В README заявлены результаты на BEIR, MIRACL, MKQA и CoIR. Модель принимает текст запроса и документы и выдаёт ранжирование, а не обычный ответ пользователю. Поддерживает многоязычный поиск; карточка не уточняет список языков. Для новых проектов разработчик рекомендует jina-reranker-v3.5 как более быстрый и сильный преемник. Лицензия CC BY-NC 4.0 ограничивает использование некоммерческими условиями.

Llama-3.1-Nemotron-Safety-Guard-8B-v3 — многоязычная модель NVIDIA для проверки безопасности пользовательских запросов и ответов языковых моделей. Она классифицирует текст как безопасный или небезопасный и для небезопасного содержания возвращает категории нарушенных правил в JSON-формате. Модель предназначена для разработчиков и исследователей, создающих системы на базе LLM, и заявлена как готовая к коммерческому применению. Это дообученная версия Meta Llama-3.1-8B-Instruct с архитектурой Transformer и адаптацией LoRA; в метаданных указано 7,5 млрд параметров, формат весов — safetensors. Карточка описывает поддержку девяти языков: английского, испанского, китайского, немецкого, французского, хинди, японского, арабского и тайского; также заявлена нулевая генерализация более чем на 20 языков, включая русский. Метаданные указывают контекст до 131 072 токенов, тогда как README приводит ограничение до 8 тыс. токенов. Модель настроена на таксономию рисков NVIDIA и обучена на Nemotron-Safety-Guard-Dataset-v3 с использованием синтетических, переведённых и размеченных примеров. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует проверять в лицензии репозитория. NVIDIA рекомендует проверять интеграцию на данных конкретного сценария перед развёртыванием.

Llama-3.3-Nemotron-70B-Reward-Multilingual — мультиязычная модель оценки ответов, разработанная NVIDIA на основе Meta-Llama-3.3-70B-Instruct. Модель дообучена методом scaled Bradley–Terry и присваивает оценку качества последнему ответу ассистента в многоходовом диалоге. Более высокая оценка означает предпочтительный ответ при сравнении ответов на один и тот же запрос; сравнивать оценки для разных запросов напрямую нельзя. Модель построена на архитектуре Llama 3.3, содержит 69,5 млрд параметров и принимает текст. Метаданные указывают контекст до 131 072 токенов, однако обучение проводилось на диалогах длиной до 4 096 токенов. На выходе — одно числовое значение оценки. Поддерживаются английский, китайский, корейский, французский, испанский, русский, японский, немецкий, итальянский, португальский, польский, индонезийский, нидерландский и вьетнамский языки. Модель предназначена для ранжирования ответов LLM, оценки их качества и использования в системах LLM-as-a-judge. В README сообщается о результатах 82,4% на RM-Bench и 69,4% на JudgeBench. Для запуска через Transformers указаны две или более GPU с 80 ГБ памяти и не менее 150 ГБ свободного места. README заявляет возможность коммерческого и некоммерческого использования; метаданные Hugging Face обозначают лицензию как other, поэтому перед внедрением следует проверить условия NVIDIA.

Patronus-Lynx-8B-Instruct-v1.1 — разработанная Patronus AI модель для оценки галлюцинаций в ответах систем с поиском по документам (RAG). Это дообученная версия meta-llama/Meta-Llama-3.1-8B-Instruct с архитектурой Llama и примерно 7,5 млрд параметров. Модель принимает документ, вопрос и ответ, затем оценивает, подтверждается ли ответ содержимым документа. Модель рассчитана прежде всего на английский язык, поддерживает контекст до 131 072 токенов и работает через text-generation. При обучении использовались, среди прочего, CovidQA, PubmedQA, DROP и RAGTruth; оценка проводилась на HaluBench. Репозиторий содержит веса Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Llama Guard 3-1B — модель Meta, дообученная на базе Llama 3.2-1B для классификации безопасности текста. Она проверяет запросы пользователей и ответы языковых моделей, генерируя метку safe или unsafe и, для небезопасного содержания, обозначения нарушенных категорий по таксономии из 13 типов опасностей MLCommons. Архитектура — плотная авторегрессионная Llama, около 1,2 млрд параметров; контекст — до 131 072 токенов. Модель рассчитана на работу через Transformers и ориентирована на более экономичную по сравнению с крупными версиями модерацию.

Llama-Guard-7b — модель Meta на 7 млрд параметров, построенная на базе Llama 2 и предназначенная для проверки безопасности текстовых запросов к языковым моделям и их ответов. Она генерирует текстовую классификацию «safe» или «unsafe», а для небезопасного содержания указывает нарушенные подкатегории по таксономии рисков. Модель предназначена для включения в системы модерации и защиты LLM: она проверяет пользовательские запросы и ответы модели, охватывая насилие и ненависть, сексуальный контент, оружие, контролируемые вещества, самоповреждение и преступные инструкции. Для получения оценки класса можно использовать вероятность первого токена и выбрать порог под конкретный сценарий. Модель работает с текстом и ориентирована на английский язык. В карточке указаны веса в форматах Llama и Transformers; метаданные также подтверждают формат safetensors. Для использования через Hugging Face требуется авторизованный доступ к репозиторию. Лицензия — Llama 2 Community License. Оценки качества из карточки получены на конкретных наборах и напрямую несопоставимы с результатами других систем из-за различий в таксономиях; классификационные решения зависят от выбранного порога.

Llama Prompt Guard 2 86M — классификатор Meta для обнаружения атак на LLM: prompt injection и jailbreak. Модель помечает запрос как вредоносный, если он явно пытается переопределить предыдущие инструкции; результат не оценивает, насколько атака опасна или успешна. Классификатор основан на mDeBERTa-base, содержит 86 млн параметров и предназначен для интеграции в приложения на базе Transformers. Модель принимает текст и выдаёт метку «benign» или «malicious». Контекст ограничен 512 токенами; длинные входы рекомендуется разбивать на сегменты и проверять параллельно. Модель обучена выявлять атаки на английском и других языках, а оценивалась на английском, французском, немецком, хинди, итальянском, португальском, испанском и тайском. Токенизация адаптирована для устойчивости к манипуляциям пробелами и фрагментацией токенов. Prompt Guard 2 улучшает точность обнаружения по сравнению с предыдущей версией, однако может пропускать адаптивные атаки, а качество зависит от распределения запросов в конкретном приложении. Для прикладных сценариев Meta рекомендует дообучение на соответствующих данных. В метаданных лицензия указана как other; README описывает модель как инструмент с открытым исходным кодом, но не уточняет конкретные условия лицензии.

Llama Prompt Guard 2 86M — классификатор Meta для защиты приложений на базе LLM от атак на промпты. Он выявляет попытки внедрения инструкций и джейлбрейка, помечая входной текст как доброкачественный или вредоносный. Модель построена на архитектуре mDeBERTa-base и содержит 306 млн параметров. Она принимает текстовые последовательности длиной до 512 токенов и предназначена для многоязычной проверки; оценка проводилась для английского, французского, немецкого, хинди, итальянского, португальского, испанского и тайского языков. Классификатор можно использовать как фильтр перед передачей пользовательских запросов и недоверенных фрагментов контекста в LLM, в том числе в агентных системах. Он распознаёт явные известные шаблоны атак, а не оценивает общую вредоносность текста или вероятность успеха атаки. README сообщает об улучшении точности на данных вне обучающего распределения и устойчивой токенизации. Лицензия указана как other; конкретные условия использования в предоставленных данных не раскрыты.

Lunaris Guard v3 — многоязычная модель-классификатор Auren Research для обнаружения prompt injection и разметки категорий безопасности в рабочих процессах ИИ-агентов. Это дообученная на базе энкодера jhu-clsp/mmbert-base плотная модель для классификации последовательностей примерно с 307 млн параметров; она загружается через Transformers с включённым trust_remote_code. Стандартный pipeline text-classification использует голову обнаружения инъекций, а модель также выдаёт классификацию по 14 категориям безопасности. Модель предназначена для проверки документов и фрагментов RAG, результатов поиска и браузера, вывода инструментов и метаданных MCP, а также сообщений, логов, кода и содержимого HTML, Markdown, CSV и API. Поддерживаются английский, португальский, испанский, французский, китайский, хинди, арабский, русский и японский языки. Контекст ограничен 2048 токенами; длинные материалы рекомендуется разбивать на фрагменты и агрегировать оценки риска. Лицензия — MIT. Карточка приводит результаты целевого теста на 100 синтетических примерах, но это не широкий публичный бенчмарк. Англоязычная работа сильнее, чем многоязычная; возможны ложные срабатывания на цитируемых примерах атак и защитных инструкциях, а длинный текст без разбиения может быть усечён. Модель не следует использовать как единственную защиту в системах, где пропуск атаки может привести к серьёзному ущербу.

Meta Llama Guard 2 — модель-классификатор безопасности на 8 млрд параметров, разработанная Meta на основе Llama 3 и дообученная для выявления небезопасного содержимого. Она анализирует как запросы к языковым моделям, так и их ответы, генерируя текстовую метку «safe» или «unsafe» и, если содержимое небезопасно, указывая нарушенные категории. Вероятность первого токена можно использовать как оценку класса «unsafe» и применять порог для бинарной классификации. Модель предназначена для модерации входов и выходов LLM по 11 категориям рисков, включая насилие, преступления, сексуальный контент, вред детям, специализированные медицинские, финансовые и юридические советы, утечки приватных данных, нарушения интеллектуальной собственности, ненависть и самоповреждение. Поддерживает английский язык согласно карточке модели. Распространяется в формате Safetensors по лицензии Llama 3. Классификация может быть ограничена знаниями модели, охватом политик и мультиязычными возможностями; модель может поддаваться состязательным атакам и prompt injection. Она не охватывает категории выборов и клеветы и не предназначена для обычного диалогового использования.

Карточка модели arnaultsta/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.

mxbai-embed-large-v1 — модель Mixedbread AI для построения векторных представлений предложений и текстов. Это плотная BERT-модель на 433,9 млн параметров с контекстом до 512 токенов; она принимает текст и выдаёт эмбеддинги для поиска и сопоставления текстов. Карточка указывает английский язык и библиотеку sentence-transformers. Модель предназначена для семантического поиска, извлечения релевантных фрагментов и оценки сходства предложений. Для поисковых запросов README рекомендует добавлять префикс «Represent this sentence for searching relevant passages:». Поддерживаются Matryoshka Representation Learning и бинарная квантизация, позволяющие уменьшать размер эмбеддингов и затраты на их хранение. В заявленной авторами оценке на MTEB модель показывает сильные результаты среди моделей размера BERT-large. Модель распространяется по лицензии Apache-2.0. Ограничения включают окно контекста в 512 токенов и необходимость использовать рекомендованный префикс для запросов в сценариях поиска; авторы также отмечают наличие ограничений, которые планировали исправить в версии v2, не уточняя их в этой карточке.

nomic-embed-text-v1.5 — текстовая модель эмбеддингов компании Nomic AI на архитектуре NomicBert, содержащая 136,7 млн параметров. Она преобразует тексты в векторы для семантического поиска, индексации документов для RAG, кластеризации, поиска дубликатов и подготовки признаков для классификации. Для выбора режима перед текстом требуется указать инструкционный префикс, например search_document или search_query. Модель использует Matryoshka Representation Learning: размерность вектора можно уменьшать, снижая потери качества; в карточке приведены результаты для размерностей 768 и 512. README сообщает о последовательностях до 8192 токенов, тогда как метаданные указывают базовый размер контекста 2048 токенов. Доступны форматы safetensors и ONNX, лицензия Apache-2.0. Для совместных мультимодальных эмбеддингов README указывает на отдельную модель nomic-embed-vision-v1.5; сама эта модель кодирует текст.

OpenGuardrails-Text-2510 — модель для обнаружения небезопасного содержимого и защиты от атак на промпты, разработанная проектом OpenGuardrails. Она классифицирует пользовательские запросы и ответы модели по категориям риска, включая prompt injection, jailbreak и злоупотребление кодом, и выдаёт метку безопасности либо метку обнаруженного риска. Модель предназначена для встраивания в защитные контуры LLM-приложений, в том числе для настройки порогов срабатывания под политики организации. Это дообученная модель семейства Qwen3 с базой Qwen/Qwen3-14B; в README указана GPTQ-квантизация и эффективный размер 3,3 млрд параметров, а метаданные репозитория отмечают формат safetensors. Заявлена поддержка 119 языков и диалектов, при этом метаданные карточки указывают английский и китайский. Лицензия Apache 2.0. Разработчики сообщают о низкой задержке и результатах на наборах оценки безопасности, однако приведённые показатели и заявления о превосходстве являются заявлениями авторов, а не независимой гарантией качества.

Opir-edge-multilang-v1.0 — мультиязычная модель Knowledgator для быстрой классификации безопасности текста. Она построена на архитектуре GLiClass с двунаправленным энкодером: модель совместно кодирует входной текст и набор кандидатных меток и оценивает их соответствие, не генерируя ответ токен за токеном. Основной сценарий — бинарная маршрутизация safe/unsafe; при работе GLiClass также принимает метки, заданные во время выполнения. Модель предназначена для предварительной модерации входов и ответов LLM, маршрутизации рискованных случаев к дополнительным проверкам и офлайн-анализа журналов модерации. Заявленная область обучения охватывает 23 языка; метки для межъязыковой классификации могут оставаться на английском. В тестовой конфигурации карточки указана задержка 15,60 мс на 50-м перцентиле и 15,69 мс на 95-м при длине 1024 токена. Модель использует таксономию безопасности Opir из 996 меток и включает безопасные примеры, призванные снизить ложные срабатывания на допустимом тексте о безопасности. Она выдаёт оценки риска, а не окончательные решения: возможны пропуски новых jailbreak-атак, замаскированных запросов и межъязыковых или специфичных для политики случаев; качество порогов зависит от данных и формата входа. Для применения указана лицензия Apache-2.0.

pplx-embed-context-v1-0.6b — мультиязычная модель контекстных текстовых эмбеддингов, разработанная Perplexity AI. Она предназначена для векторизации фрагментов документов в RAG-системах, где для представления фрагмента учитывается окружающий контекст, а также для поиска по крупным коллекциям текстов. Модель построена на diffusion continued pre-training Qwen3 и имеет плотную архитектуру с 507,9 млн параметров. Она выдаёт эмбеддинги размерностью 1024, поддерживает контекст до 32 768 токенов и не требует добавлять инструкцию к тексту перед векторизацией. Представления формируются с mean pooling; заявлена поддержка MRL и вариантов INT8/BINARY. Выходные эмбеддинги по умолчанию не нормализованы, поэтому для сравнения README рекомендует косинусное сходство. Репозиторий содержит форматы Safetensors и ONNX; лицензия — MIT.

pplx-embed-context-v1-4b — модель текстовых эмбеддингов Perplexity AI на основе плотной двунаправленной архитектуры PPLXQwen3. Она предназначена для контекстных эмбеддингов фрагментов документов в системах поиска и RAG, где при представлении фрагмента учитывается окружающий текст. Модель содержит 3,7 млрд параметров и поддерживает контекст до 32 768 токенов. Модель формирует векторы размерности 2560 с поддержкой сокращения размерности MRL. Эмбеддинги нативно выдаются без нормализации и квантизованы в INT8; README рекомендует сравнивать их по косинусному сходству. Для построения эмбеддингов не требуется добавлять инструкцию к тексту. Репозиторий содержит веса в форматах Safetensors и ONNX; лицензия — MIT.

pplx-embed-v1-0.6B — мультиязычная плотная модель текстовых эмбеддингов от Perplexity AI, построенная на Qwen3, прошедшей дополнительное предобучение с использованием diffusion. Она предназначена для поиска по смыслу и извлечения релевантных текстов в масштабных корпусах: модель независимо кодирует запросы и документы, поэтому подходит для семантического поиска и retrieval-компонентов RAG. Модель содержит 507,9 млн параметров, принимает текст с контекстом до 32 768 токенов и выдаёт векторы размерности 1024. Используется mean pooling; модель не требует инструкционного префикса. Веса доступны в форматах Safetensors и ONNX. В README указано, что эмбеддинги по умолчанию имеют INT8-квантизацию и не нормализованы: для сравнения следует использовать косинусное сходство. Лицензия — MIT.

pplx-embed-v1-4b — мультиязычная модель текстовых эмбеддингов, разработанная Perplexity AI на основе Qwen3, продолженно предобученной с помощью diffusion. Модель содержит 3,7 млрд параметров и предназначена для веб-масштабного поиска по смыслу и извлечения релевантных текстов; она формирует независимые векторы для запросов и документов, а для фрагментов документов с учётом окружающего контекста README рекомендует отдельную модель pplx-embed-context-v1. Модель принимает текст и выдаёт эмбеддинги размерностью 2560. Она поддерживает контекст до 32 768 токенов, mean pooling и сокращение размерности MRL; префикс-инструкция для кодирования текста не требуется. Векторы изначально имеют квантизованный int8-формат и не нормализованы, поэтому для сравнения README рекомендует косинусное сходство. Доступны веса safetensors и формат ONNX. Лицензия — MIT.

pplx-embed-v2-context-9b-preview — контекстная модель эмбеддингов от Perplexity AI для представления фрагментов документов в системах RAG. Она кодирует список фрагментов совместно и возвращает отдельный вектор для каждого, учитывая контекст соседних частей; для запросов предусмотрен отдельный метод кодирования, поскольку для запросов и документов используются разные префиксы. Модель имеет архитектуру PplxContextualModel семейства pplx_contextual_qwen3_5, размерность эмбеддингов 2048 и среднее объединение токенов. Поддерживаются обученные размерности Matryoshka 1024 и 2048; выходные эмбеддинги квантованы в INT8 и по умолчанию не нормализованы. Для оценки сходства рекомендуется косинусная близость либо нормализация векторов с последующим скалярным произведением. Модель доступна в формате safetensors и лицензирована по MIT. Это предварительная версия: веса, векторы и интерфейс могут измениться, поэтому эмбеддинги этой версии не следует смешивать с результатами будущих выпусков. Для корректного поиска запросы нужно кодировать методом encode_queries, а фрагменты документов — методом encode; использование метода encode для запросов ухудшает качество поиска. README требует transformers не ниже 5.4.0 и загрузки пользовательского кода модели.

Prompt Guard — классификатор Meta для защиты приложений на основе LLM от атак на промпты. Он анализирует текст и относит его к одной из трёх категорий: benign, injection или jailbreak. Модель предназначена для проверки пользовательских запросов и сторонних данных, которые передаются LLM, и может служить одним из уровней защиты приложения. Модель поддерживает контекст до 512 токенов. Более длинные входы рекомендуется делить на сегменты и проверять параллельно. Разделение меток injection и jailbreak позволяет применять разные правила фильтрации к стороннему содержимому и диалогам пользователей. Лицензия — Llama 3.1. Классификатор не защищён от адаптивных атак, а граница между безопасным и вредоносным содержимым зависит от конкретного приложения. Для более точной работы разработчикам рекомендуется дообучить модель на собственных данных и сочетать её с дополнительными мерами защиты.

Nicolassuez/Qwen3-Embedding-0.6B-W8A16-g128-resident — производная модель эмбеддингов на основе Qwen3-Embedding-0.6B от Qwen. Это плотная архитектура Qwen3 с 507,6 млн параметров, контекстом до 32 768 токенов и поддержкой многоязычных текстов. Модель предназначена для создания текстовых эмбеддингов и семантического поиска; для получения векторов README рекомендует pooling по последнему токену и L2-нормализацию. Веса линейных слоёв квантизованы методом int8 weight-only с группами размера 128, а таблица эмбеддингов также хранится в int8 с отдельным bf16-масштабом для каждой строки. Реализация с custom code удерживает квантизованные веса в VRAM и деквантизует слои во время прямого прохода. По замерам README, это снижает объём резидентных весов и VRAM-потребление по сравнению с bf16, но увеличивает задержку; в приведённом тесте качество поиска оставалось близким к bf16. Для загрузки через Transformers требуется trust_remote_code=True; модель также запускается через Infinity и SentenceTransformers. Для совместимости эмбеддингов при индексации и поиске следует использовать одну и ту же версию Transformers: README сообщает о численном дрейфе между версиями 4.57 и 5.14. Лицензия — Apache-2.0.

Qwen-3-Nemotron-32B-Reward — модель оценки вознаграждения от NVIDIA на базе Qwen3-32B. Она анализирует диалог пользователя и ассистента и выдаёт одно числовое значение: более высокий балл означает более качественный ответ в рамках данного диалога. Баллы нельзя напрямую сравнивать для несвязанных запросов. Модель предназначена для ранжирования ответов LLM, оценки их качества и использования в пайплайнах обучения или проверки моделей. По результатам RM-Bench и JudgeBench, приведённым в карточке, она показывает сопоставимые с некоторыми моделями на 70 млрд параметров результаты при меньшем размере. Архитектура — плотный трансформер Qwen3 для классификации последовательностей, около 29,7 млрд параметров; метаданные указывают контекст до 40 960 токенов. В README заявлены входной предел 128 тыс. токенов, но обучение проводилось на диалогах длиной до 8 тыс. токенов. Модель принимает текст и выдаёт числовую оценку; обучение проводилось на предпочтениях людей из набора HelpSteer3. Карточка заявляет готовность к коммерческому и некоммерческому использованию, но метаданные указывают лицензию «other», поэтому перед использованием следует проверить условия NVIDIA. Для запуска требуются значительные ресурсы: README рекомендует GPU-систему и около 120 ГБ дискового пространства.

RAG Audit Judge — небольшая модель для локальной проверки ответов в системах генерации с дополнением поиском (RAG). Она принимает вопрос пользователя, найденные фрагменты контекста и ответ-кандидат, а затем возвращает JSON-аудит с оценкой обоснованности ответа, риском галлюцинаций, качеством цитирования, списком проблем и рекомендуемым исправлением. Модель предназначена для проверок качества RAG при разработке и в локальной автоматизации; оценка должна опираться только на переданный контекст, а не на внешние знания. В репозитории представлены PEFT LoRA-адаптеры для unsloth/Llama-3.2-1B-Instruct-bnb-4bit и unsloth/Llama-3.2-3B-Instruct-bnb-4bit, а также обучающие данные из 108 примеров и материалы для экспорта. Метаданные указывают форматы GGUF и safetensors и библиотеку PEFT. Готовые GGUF-файлы в репозитории отсутствуют: для использования через Ollama их нужно получить из адаптеров. Лицензия указана как other, поэтому конкретные условия следует проверять в карточке модели и у базовых моделей.

Skywork-Reward-V2-Llama-3.2-1B — модель оценки предпочтительности ответов, разработанная командой Skywork. Это дообученная на основе meta-llama/Llama-3.2-1B-Instruct модель семейства Llama с архитектурой для классификации последовательностей и примерно 1,2 млрд параметров. Она использует подход Bradley–Terry и предназначена для присвоения оценок диалогам и ответам, чтобы сравнивать их качество или отбирать предпочтительные варианты. Модель входит в серию Skywork-Reward-V2, обученную на смеси из 26 млн пар предпочтений. В README заявлены высокие результаты серии на нескольких бенчмарках reward-моделей; конкретные оценки именно этой версии в предоставленном фрагменте не приведены. Контекстное окно составляет 131 072 токена. Для запуска указана библиотека Transformers; веса доступны в формате safetensors. Модель подходит для ранжирования ответов и оценки результатов генерации в конвейерах обучения и инференса. Она принимает текст и выдаёт оценку, поэтому не предназначена для самостоятельной генерации ответов. Лицензия — Llama 3.2 Community License; перед использованием следует соблюдать её условия.