II.10Разработка и эксплуатация AI/ML-систем

Flow-Judge-v0.1 — компактная модель Flow AI для оценки ответов языковых моделей по заданным пользователем критериям и рубрикам. Она дообучена методом SFT с RSLoRa на базе microsoft/Phi-3.5-mini-instruct; архитектура Phi-3, около 3,7 млрд параметров, веса в формате Safetensors. Модель принимает запрос, контекст, рубрику и оцениваемый ответ, затем выдаёт оценку и поясняющую обратную связь в структурированном формате. Доступны шкалы pass/fail, 3- и 5-балльная шкала Лайкерта. Карточка указывает контекст до 8192 токенов, тогда как метаданные каталога задают нативный контекст 4096 токенов. Модель предназначена для настройки автоматической оценки качества ответов LLM в генеративных продуктах: проверки по собственным критериям, выявления ошибок и сравнения качества ответов. Она обучалась на синтетических данных на английском языке и может быть полезна для быстрой и экономичной проверки типовых ответов. Выпускается по лицензии Apache 2.0. Оценка на других языках систематически не проверялась. Модель не обучалась специально для математики, кода, длинного контекста, структурированных данных вроде JSON или сложных многошаговых оценок; для специализированных сценариев авторы рекомендуют предварительно проверить её качество.

Mungert/granite-guardian-3.2-5b-GGUF — GGUF-квантизированная версия Granite Guardian 3.2 5B, разработанной IBM Research. Это компактная модель для обнаружения рисков в пользовательских запросах, ответах языковых моделей и диалогах, а также для работы в качестве защитного слоя в корпоративных приложениях. Модель предназначена для выявления вредоносного содержания, социального предубеждения, попыток jailbreak, насилия, ненормативной лексики, сексуального содержания, неэтичного поведения, уклончивости и других рисков. Она также оценивает релевантность контекста, обоснованность и релевантность ответов в RAG-сценариях, а в агентных системах — риски галлюцинаций и синтаксические или семантические ошибки в function calling. Исходная модель создана методом итеративного pruning и healing: около 30% параметров Granite Guardian 3.1 8B удалено для ускорения инференса и снижения требований к ресурсам при сохранении конкурентных результатов на стандартных бенчмарках. Представленная версия преобразована в формат GGUF с использованием llama.cpp. Автор репозитория указывает на применение избирательного повышения точности отдельных слоёв при квантовании, что может улучшать точность при заданном размере файла, но увеличивает его объём. В README не указаны точное количество параметров после преобразования, архитектура, размер контекста, поддерживаемые языки и конкретные схемы квантования. Модель работает с текстом и распространяется по лицензии Apache 2.0.

GRM-gemma2-2B-rewardmodel-ft — модель оценки предпочтений (reward model) на базе Gemma 2, разработанная авторами GRM. Она дообучена на Ray2333/GRM-Gemma2-2B-sftreg с использованием очищенного от пересечений набора предпочтений Skywork/Skywork-Reward-Preference-80K-v0.2. Модель содержит 2,7 млрд параметров, использует архитектуру Gemma2ForSequenceClassification и принимает текст для классификации и оценки ответов.

GuardShield-Qwen2.5-3B-16bit — дообученная чат-модель на архитектуре Qwen 2.5, созданная для выявления небезопасных запросов и классификации безвредного содержимого. Она рассчитана на развёртывание в производственных микросервисах и GPU-сервисах, включая vLLM, Hugging Face TGI, Triton Inference Server и Transformers, а также на интеграцию через OpenAI-совместимые API. Модель содержит 3,1 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и распространяется в виде объединённых весов Safetensors в FP16. Максимальная длина контекста — 32 768 токенов. В README указаны метрики проверки: полнота обнаружения небезопасных запросов 86,35%, точность классификации безвредных запросов 92,95% и соблюдение синтаксиса JSON во всех 1000 проверенных ответах. Модель принимает текст и генерирует текстовые ответы, включая структурированные результаты классификации; заявлен интерфейс для вызова инструментов. Она основана на Qwen/Qwen2.5-3B-Instruct и выпущена под лицензией Apache-2.0. Показатели в README относятся к приведённой там проверке и сами по себе не гарантируют качество на других данных или сценариях.

HaloGuard 1.0-0.8B — компактный классификатор входных запросов на безопасность, разработанный Astroware и дообученный на Qwen3.5-0.8B. Это генеративный классификатор без отдельной классификационной головы: он выдаёт вердикт safe/unsafe и категорию политики, а также оценки уверенности и вероятности по категориям. Модель предназначена для быстрой встроенной проверки каждого запроса перед передачей его языковой модели, агенту или приложению. В README описаны 46 политик и 2 940 подкатегорий, а также обучение на парных примерах, где меняется намерение при сохранении темы и лексики. Заявлена поддержка 46 языков; метаданные перечисляют языки, включающие русский. Модель распространяется в формате safetensors по лицензии Apache-2.0. Классификатор подходит для выявления опасных запросов, проверки пограничных формулировок, преобразованных или многоязычных промптов и маршрутизации запросов на блокировку, дополнительную проверку или ручную эскалацию. Он проверяет только входные промпты: не анализирует ответы модели, потоковую генерацию, вызовы инструментов или исполнение действий агента. README также сообщает о повышенной доле ложных срабатываний для некоторых индийских и юго-восточных языковых групп; порог unsafe следует калибровать под конкретное применение.

HerBERT-PL-Guard — польскоязычный классификатор безопасности текста от NASK-PIB, дообученный на основе allegro/herbert-base-cased с архитектурой BERT. Он относит текст к одной из 15 категорий: безопасный или одной из 14 категорий небезопасного контента по таксономии, вдохновлённой Llama Guard. Модель предназначена для модерации польскоязычного контента и оценки безопасности входов и ответов больших языковых моделей. Её можно подключить как классификатор текста в Transformers; при построении использованы наборы PL-Guard, польские переводы PolyGuard и WildGuard. Репозиторий содержит веса safetensors, лицензия — CC-BY-NC-SA-4.0.

INF-ORM-Llama3.1-70B — модель оценки ответов (outcome reward model) от команды INFly, построенная на архитектуре Llama 3.1 70B Instruct. Это плотная модель с 69,5 млрд параметров, дообученная на INF-ORM-Preference-Magnitude-80K и объединённая из двух обученных вариантов с весом 0,5. Она получает текстовый запрос и ответ и выдаёт оценку качества ответа; подходит для сравнения вариантов, ранжирования ответов ассистента и оценки диалоговых, сложных, безопасностных и рассуждающих ответов. В карточке указано контекстное окно 131 072 токена; модель использует Transformers и формат safetensors. В README сообщается о первом месте на RewardBench по состоянию на декабрь 2024 года, но результаты зависят от протокола оценки и не гарантируют качество в других условиях. Модель не предназначена для генерации ответов. Лицензия в предоставленных данных не указана.

InternLM2-7B-Reward —奖励模型，由 InternLM 团队基于 InternLM2-Chat-7B-SFT 训练。它使用超过 240 万条人工标注和 AI 合成的偏好样本，面向对话、写作、诗歌、摘要、代码和数学等内容，可为对话回答打分、比较候选回答并对多个回答排序，也可用于 best-of-N 采样和 RLHF 训练流程。 模型采用 InternLM2 稠密架构，参数量为 7.4B，原生上下文长度为 32,768 个 token。训练数据覆盖英语和中文；Hugging Face 将其标记为文本分类模型。README 抱告其在 RewardBench 上的总分为 86,6, с высокими результатами в категориях диалога, безопасности и рассуждений. Модель предназначена для оценки предпочтительности текстовых ответов, а не для самостоятельной генерации текста. Лицензия указана как other: веса открыты для академических исследований, а бесплатное коммерческое использование требует отдельного разрешения; код распространяется по Apache-2.0.

LettuceDetect Spanish v1 — модель KRLabsOrg для выявления галлюцинаций в ответах RAG. Это дообученная EuroBERT-610M с архитектурой EuroBertForTokenClassification и 607,8 млн параметров; она принимает контекст и ответ на испанском языке и размечает неподтверждённые контекстом токены, чтобы затем объединить их в фрагменты. Модель рассчитана на документы и контексты длиной до 8192 токенов. Модель обучена на испанской версии датасета RagTruth, переведённой с оригинального RAGTruth. В описанной оценке на RAGTruth-ES она достигла F1 73,25% при точности 76,32%. Эти показатели относятся к переведённому тестовому набору и не гарантируют такой же результат на других данных. Для работы используется библиотека Transformers; README предупреждает о несовместимости загружаемого удалённого кода с Transformers 5.x. Лицензия — MIT.

Llama-3.3-Nemotron-Super-49B-GenRM-Multilingual — генеративная модель оценки ответов, разработанная NVIDIA на основе Llama-3.3-Nemotron-Super-49B-v1 и дообученная с помощью обучения с подкреплением. Она анализирует историю многоязычного диалога и оценивает один ответ или сравнивает два ответа: сначала формирует рассуждение, затем выдаёт целочисленную оценку качества и, при сравнении, рейтинг предпочтения. Модель построена на трансформерной архитектуре Nemotron-NAS с классом DeciLMForCausalLM; карточка указывает 49 млрд параметров, а метаданные — 87 млрд. Поддерживаются текстовый ввод и текстовый вывод, контекст до 131 072 токенов. Заявлены английский, китайский, корейский, французский, испанский, русский, японский, немецкий, итальянский, португальский, польский, индонезийский, нидерландский и вьетнамский языки. Для запуска рекомендованы vLLM 0.8.3 и как минимум две GPU NVIDIA с 80 ГБ памяти. Модель предназначена для оценки полезности ответов и ранжирования вариантов в многоязычных чат-сценариях; в README также приведены результаты на RM-Bench и JudgeBench. Разработчик заявляет возможность коммерческого и некоммерческого использования; метаданные обозначают лицензию как other, поэтому конкретные лицензионные условия следует сверять с карточкой модели. Практическое ограничение — высокая потребность в GPU-памяти; оценки качества могут не совпадать с предпочтениями конкретного пользователя или критериями предметной области.

Patronus-Lynx-8B-Instruct — языковая модель Patronus AI для выявления галлюцинаций в системах генерации с дополнением по поиску (RAG). Она принимает документ, вопрос и ответ и оценивает, подтверждается ли ответ содержимым документа. Модель основана на Llama 3 8B Instruct и дообучена на данных CovidQA, PubmedQA, DROP и RAGTruth, включая разметку, созданную людьми и синтетически. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 8192 токенов по метаданным. Она рассчитана прежде всего на английский язык и использует генерацию текста для выдачи оценки. Patronus AI сообщает об оценивании на HaluBench и перечисленных в карточке наборах данных. Лицензия CC-BY-NC-4.0 разрешает использование на условиях Creative Commons Attribution-NonCommercial 4.0, включая ограничения на коммерческое применение.

Weni/Llama-Guard-3-8B-AWQ — это 4-битная AWQ-квантизированная версия Llama Guard 3, опубликованная Weni на Hugging Face. Базовую модель разработала Meta: это Llama 3.1 с 8 млрд параметров, дообученная для классификации безопасности контента. Модель принимает текстовые запросы и ответы LLM и генерирует оценку safe или unsafe, а для небезопасного содержимого указывает нарушенные категории риска. Модель предназначена для модерации пользовательских запросов и ответов, включая сценарии с поисковыми инструментами и code interpreter. Она поддерживает английский, французский, немецкий, хинди, итальянский, португальский, испанский и тайский языки, а также 14 категорий опасного контента, включая преступления, сексуальное насилие, эксплуатацию детей, приватность, интеллектуальную собственность, ненависть, самоповреждение, выборы и злоупотребление интерпретатором кода. AWQ-квантизация уменьшает требования к памяти и обычно облегчает локальное развертывание; в документации Meta для квантизированной версии приводятся близкие к неквантизированной показатели качества. Ограничения модели связаны с зависимостью от обучающих данных, неполным пониманием контекста и возможными ложными срабатываниями. Для категорий, требующих актуальных фактов, например диффамации, интеллектуальной собственности и выборов, Meta рекомендует более сложные системы. Модель также может быть уязвима к adversarial- и prompt injection-атакам, поэтому не должна быть единственным механизмом защиты. Для базовой Llama 3.1 указана Llama 3.1 Community License; при использовании необходимо соблюдать её условия и Acceptable Use Policy Meta.

Карточка модели avsolatorio/MixEmbed-base-20240110225225-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240122145230-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240122154850-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240122212744-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240123004625-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240123115509-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240123173844-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240123184551-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240123213810-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240124231910-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240125001833-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240125001833-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

M-Prometheus-14B — языковая модель-судья из семейства M-Prometheus, разработанная Unbabel для оценки ответов и текстов на разных языках. Она обучена на 480 тысячах примеров прямой оценки качества и парного сравнения с развёрнутой обратной связью и предназначена для использования в сценариях оценки LLM-выводов. Модель представляет собой плотную causal language model архитектуры Qwen2 с 14 млрд параметров, дообученную на базе Qwen/Qwen2.5-14B-Instruct. Она принимает текстовые запросы и генерирует текстовые оценки и пояснения; максимальный контекст составляет 32 768 токенов. По README, её можно вызывать в том же стиле, что и Prometheus-2. Модель ориентирована на мультиязычную оценку, однако конкретный перечень поддерживаемых языков и результаты сравнительных тестов в предоставленных материалах не приведены. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели.

mxbai-colbert-large-v1 — англоязычная модель ранжирования документов от Mixedbread AI, построенная на модели эмбеддингов mixedbread-ai/mxbai-embed-large-v1. Это ColBERT-ретривер с несколькими векторами и поздним взаимодействием между представлениями запроса и документа; он предназначен прежде всего для повторного ранжирования результатов, найденных на первом этапе, например BM25, и может использоваться в конвейерах поиска и RAG. Модель основана на архитектуре BERT, содержит 433,9 млн параметров и принимает текст с контекстом до 512 токенов. Она формирует эмбеддинги для поиска и оценки сходства предложений. По результатам README, модель показала конкурентные показатели NDCG@10 на наборах BEIR для повторного ранжирования и поиска; для обычного retrieval разработчик рекомендует использовать mixedbread-ai/mxbai-embed-large-v1. Модель распространяется по лицензии Apache-2.0.

Nemotron 3 Content Safety — мультимодальная модель-классификатор безопасности контента, разработанная NVIDIA на базе Google Gemma 3 4B IT и дообученная на многоязычных и мультимодальных наборах данных по безопасности. Она проверяет текстовый запрос, при необходимости изображение и ответ модели, возвращая текстовые метки безопасности для запроса и ответа, а по запросу — категории нарушений. Модель рассчитана на модерацию входов и ответов языковых и визуально-языковых моделей, работающих с текстом и одним изображением. Модель использует архитектуру Gemma 3 с 4 млрд параметров и визуальный энкодер SigLIP; контекст — до 128 тысяч токенов. Поддерживаются английский, арабский, немецкий, испанский, французский, хинди, японский, тайский, нидерландский, итальянский, корейский и китайский языки. Выход — текстовые метки «safe» или «unsafe» и, при запросе, категории вроде насилия, самоповреждения, угроз, мошенничества и раскрытия персональных данных. Модель дообучена методом LoRA с последующим объединением весов с базовой моделью. NVIDIA указывает, что она готова к коммерческому применению; лицензия в метаданных обозначена как other, поэтому перед использованием следует проверить условия распространения репозитория. Для конкретного применения NVIDIA рекомендует тестирование и валидацию на профильных данных; заявлена оптимизация для систем с GPU NVIDIA.

Nemotron-3-Embed-1B-AWQ-W4A16 — квантизированный энкодер текстовых представлений, созданный Facu Vlad J (groxaxo) на основе модели NVIDIA Nemotron-3-Embed-1B-BF16. Модель предназначена для извлечения эмбеддингов, семантического поиска, retrieval-сценариев и оценки качества локального или размещённого инференса. Заявлены английский и испанский языки, а также поддержка задач feature extraction. Модель использует архитектуру типа ministral3 и имеет размер порядка 1B параметров. Веса линейных слоёв квантизированы в INT4 по схеме AWQ W4A16 с асимметричными нулевыми точками и размером группы 32, тогда как активации, таблица токенов и нормализующие слои сохраняются в BF16. Размер эмбеддинга составляет 2048 измерений; также заявлена работа с представлениями размерностью 1024 и 512. Контекст ограничен 4096 токенами в рекомендуемой конфигурации vLLM. Контрольная точка сериализована в формате compressed-tensors и оптимизирована для инференса через vLLM с ядром Marlin, занимая около 1,0 ГБ на диске. Сильными сторонами являются существенно меньший размер по сравнению с BF16-версией, ускоренный GPU-инференс и заявленное отсутствие потери Recall@10 на тестах для английского и испанского языков. При этом результаты основаны на ограниченных наборах данных и требуют проверки на собственных сценариях. Квантизация может изменять точность, потребление памяти и пропускную способность, а для работы необходим runtime с поддержкой соответствующей архитектуры и формата. Модель распространяется по лицензии OpenMDW-1.1; перед использованием и распространением следует изучить условия лицензии исходной модели NVIDIA.

Nemotron-Content-Safety-Reasoning-4B — языковая модель-классификатор NVIDIA для модерации диалогов и контроля безопасности контента. Она предназначена для использования в системах защитных ограничений LLM и может проверять как пользовательские запросы, так и ответы модели, в том числе на соответствие заданным разработчиком политикам и тематическим ограничениям. Модель основана на Gemma 3 4B IT и дообучена на наборе Nemotron-Content-Safety-Reasoning-Dataset. В README описаны два режима: быстрый режим без рассуждений и режим с рассуждениями для сложных или новых политик. Модель рассчитана на эффективный вывод с низкой задержкой и небольшим потреблением памяти; язык карточки — английский. NVIDIA позиционирует модель для коммерческого применения. Указана лицензия other, поэтому перед использованием следует проверить применимые условия NVIDIA. Качество классификации зависит от заданной политики и сценария; README рекомендует оценивать соответствие модели требованиям конкретной отрасли и учитывать возможные риски и неправильное использование.

Etherll разработала бинарный классификатор аудио на базе Whisper, дообученный от unsloth/whisper-small. Модель с 153,1 млн параметров определяет, содержит ли запись речи значимый фоновый шум окружающей среды: LABEL_0 означает clean, LABEL_1 — noisy. Для обучения использован специально собранный набор примерно из 55 тысяч аудиофрагментов. Модель предназначена для предварительной фильтрации аудиодатасетов, автоматической маркировки записей при контроле качества и отбора аудио перед передачей в систему распознавания речи. Она принимает аудио и возвращает метку класса. Лицензия — Apache-2.0. Классификатор считает чистыми не только качественные записи, но и записи с артефактами источника, такими как шипение, клиппинг или плохое качество микрофона. Он выявляет именно фоновый шум окружающей среды, например автомобили, музыку или другие голоса. Модель не подавляет шум и не очищает аудио.