II.10Разработка и эксплуатация AI/ML-систем

GA Guard Lite — дообученная GeneralAnalysis компактная причинная языковая модель для модерации текстов и проверки запросов к языковым моделям. Она классифицирует содержимое по семи категориям риска: незаконная деятельность, ненависть и оскорбления, персональные данные и интеллектуальная собственность, атаки на промпты, сексуальный контент, дезинформация, насилие и самоповреждение. Результаты выдаются в виде специальных структурированных токенов для каждой категории. Модель принимает текст и предназначена для включения в конвейеры модерации, проверки пользовательских запросов и выявления jailbreak- и prompt-injection-атак, в том числе в длинных контекстах. По README это полное дообучение причинной языковой модели; в карточке указаны 0,6 млрд параметров и контекст до 262 144 токенов. Для сохранения результатов требуется декодировать вывод без пропуска специальных токенов. README приводит результаты на публичных наборах для модерации, длинного контекста и устойчивости к jailbreak-атакам; это оценки разработчика, и они не гарантируют качество на других данных. Модель дообучена на Qwen/Qwen3-4B-Instruct-2507; метаданные указывают формат safetensors и поддержку английского. Лицензия GA Guard Lite — CC BY-NC 4.0: некоммерческое использование разрешено, для коммерческого или производственного развертывания требуется отдельная лицензия.

fastino/GLiNER2-Guardrails-PII-Multi — дообученная Fastino модель семейства GLiNER2, объединяющая извлечение персональных данных и модерацию безопасности текста. Это плотный двунаправленный экстрактор с классификацией и выделением фрагментов по заданной схеме; модель работает локально, ориентирована на CPU и позволяет выполнять обе задачи одним проходом. Модель извлекает и размечает фрагменты по 42 типам PII, а также классифицирует безопасность и токсичность запросов и ответов, выявляет jailbreak-атаки и отказы. Поддерживаются английский, французский, испанский, немецкий, итальянский, португальский и нидерландский языки. Схему меток и набор проверок можно задавать при инференсе. Лицензия — Apache-2.0. По данным карточки, модель сопоставима с отдельными GLiGuard и GLiNER2-PII на соответствующих тестах. Она предназначена для фильтрации ввода и вывода LLM, обнаружения PII и подготовки текста к редактированию или маскированию. Это классификатор и экстрактор, а не полноценная система политик безопасности; качество на неевропейских языках и письменностях не измерялось.

GLiNER Guard Omni — дообученная модель hivetrace на базе fastino/gliner2-multi-v1 для классификации и извлечения данных, связанных с защитой LLM-приложений. Это 307-миллионная encoder-модель семейства GLiNER2 с архитектурой multilingual DeBERTa v3; она выполняет zero-shot классификацию и извлечение сущностей одним проходом, без отдельной LLM. Модель предназначена для проверки сообщений на безопасность и вредоносное содержимое, выявления персональных данных, обнаружения prompt injection и jailbreak-атак, а также анализа намерения и тона. Можно задавать собственные политики и метки естественным языком; README отмечает, что результаты для меток вне обучающей таксономии не бенчмаркались. Заявлена поддержка английского и русского языков. Модель распространяется в формате safetensors по лицензии Apache-2.0. README описывает шесть групп задач безопасности, включая span extraction для PII и многометочную классификацию атак и вредного содержимого; pipeline Hugging Face указан как zero-shot-classification.

Cerebras GLM-4.6-REAP-218B-A32B — сжатая разреженная языковая модель семейства GLM-4.6, полученная методом REAP из zai-org/GLM-4.6-FP8. Она предназначена для генерации текста и диалогов, включая написание кода, работу с агентными сценариями и вызов функций. Модель совместима с Transformers и, согласно карточке, разворачивается в vLLM. Архитектура — причинная языковая модель Mixture-of-Experts: в README указаны 218 млрд параметров и 32 млрд активируемых на токен; метаданные каталога указывают 23,4 млрд параметров. Контекст составляет 202 752 токена. Карточка сообщает об удалении 40% экспертов и почти сохранённой производительности относительно полной модели, но для этой BF16-версии результаты оценки не приведены. Метаданные указывают английский язык. Лицензия — MIT.

GLM-4.6-REAP-268B-A32B — сжатая версия GLM-4.6 от Cerebras, созданная методом REAP (Router-weighted Expert Activation Pruning). Это причинная языковая модель со разреженной архитектурой Mixture-of-Experts: после удаления 25% экспертов в ней осталось 120 экспертов из 160; всего заявлено 268 млрд параметров и 32 млрд активируемых на токен. Модель принимает текст и предназначена для генерации текста и кода, рассуждений, работы с инструментами и агентных сценариев. Контекст составляет до 202 752 токенов; в метаданных указан английский язык. По данным карточки, сжатие сокращает объём модели примерно на 25% относительно исходной GLM-4.6 и сохраняет близкое качество генерации кода, вызова функций и агентных задач. Для запуска указана совместимость с vLLM. README не приводит результаты оценки для этой BF16-версии, поэтому заявления о качестве здесь основаны на описании автора. Лицензия — MIT.

GLM-4.7-Flash-GGUF — это GGUF-версия модели GLM-4.7-Flash, подготовленная Unsloth на основе модели Z.ai. Это языковая модель для генерации текста с архитектурой MoE: 30 млрд параметров, из которых при обработке активируется около 3 млрд. Модель поддерживает английский и китайский языки; размер контекста в README не указан. Модель предназначена для общего диалога, рассуждений, программирования, агентских сценариев, вызова инструментов и локального развертывания. Заявлены сильные результаты на задачах математического и научного рассуждения, программирования, веб-поиска и взаимодействия с инструментами. Для локального запуска указана поддержка llama.cpp, vLLM, SGLang и Transformers; также допускается дообучение через Unsloth. Ключевое преимущество модели — сочетание высокой заявленной производительности с относительно компактным числом активных параметров, что делает её подходящей для более эффективного развертывания по сравнению с плотными моделями сопоставимого общего размера. Ограничения включают необходимость использовать актуальные версии некоторых фреймворков, а для GGUF-файлов — корректные параметры генерации; в README отдельно рекомендуется отключить repeat penalty и учитывать настройки temperature, top-p и min-p. Модель распространяется по лицензии MIT.

unsloth/GLM-4.7-Flash-REAP-23B-A3B-GGUF — GGUF-версия сжатой модели GLM-4.7-Flash-REAP-23B-A3B, созданной на базе GLM-4.7-Flash. Модель разработана с применением метода REAP (Router-weighted Expert Activation Pruning), а данная публикация включает исправления chat template от Unsloth. Это разреженная Mixture-of-Experts (SMoE) причинная языковая модель для генерации текста, программного кода, агентских сценариев, работы с репозиториями и function calling. Модель содержит 23 млрд параметров, из которых около 3 млрд активируются для каждого токена. Архитектура включает 47 слоёв, 20 attention heads для QKV, 48 экспертов вместо исходных 64 и 4 активируемых эксперта на токен. Контекстное окно составляет 202 752 токена. В README указан английский язык; другие языки не заявлены. REAP равномерно удаляет 25% экспертов, выбирая их по частоте и силе активации роутером, а также по нормам выходов экспертов. По данным README, модель сохраняет почти идентичную производительность исходной версии при снижении требований к памяти примерно на 25%; в HumanEval она получила 95,1 против 94,5 у GLM-4.7-Flash, а в HumanEval+ — 89,0. Это делает её подходящей для локального развёртывания, сред с ограниченными ресурсами и исследований. Ограничения включают более низкое покрытие экспертов после pruning и потенциально высокие требования к памяти при большом числе параллельных последовательностей. Для запуска заявлена совместимость с актуальным vLLM, а для llama.cpp требуется параметр --jinja. Лицензия MIT.

GLM-4.7-REAP-218B-A32B — сжатая разреженная языковая модель семейства GLM-4.7 от Cerebras. Она получена методом REAP, который удаляет из смеси экспертов менее значимые компоненты; после прунинга дообучение не проводилось. Модель содержит 218 млрд параметров, из которых 32 млрд активируются на токен, и поддерживает контекст до 202 752 токенов. Модель предназначена для генерации кода и текста, агентных рабочих процессов, понимания репозиториев и вызова функций. В карточке заявлено, что она сохраняет близкое к исходной GLM-4.7 качество при уменьшении объёма памяти примерно на 40%; для версии BF16 приведены характеристики, но результаты оценки не указаны. Модель можно развернуть с актуальным vLLM. Лицензия — MIT. README рекомендует вариант BF16 для последующей низкобитной квантизации.

Карточка модели unsloth/GLM-4.7-REAP-218B-A32B на Hugging Face совпадает с карточкой cerebras/GLM-4.7-REAP-218B-A32B, поэтому описание составлено по ней. GLM-4.7-REAP-218B-A32B — сжатая разреженная языковая модель семейства GLM-4.7 от Cerebras. Она получена методом REAP, который удаляет из смеси экспертов менее значимые компоненты; после прунинга дообучение не проводилось. Модель содержит 218 млрд параметров, из которых 32 млрд активируются на токен, и поддерживает контекст до 202 752 токенов. Модель предназначена для генерации кода и текста, агентных рабочих процессов, понимания репозиториев и вызова функций. В карточке заявлено, что она сохраняет близкое к исходной GLM-4.7 качество при уменьшении объёма памяти примерно на 40%; для версии BF16 приведены характеристики, но результаты оценки не указаны. Модель можно развернуть с актуальным vLLM. Лицензия — MIT. README рекомендует вариант BF16 для последующей низкобитной квантизации.

unsloth/gpt-oss-120b — открытая модель с весами, основанная на openai/gpt-oss-120b и разработанная OpenAI; карточка опубликована в формате, совместимом с Transformers. Модель предназначена для универсальной генерации текста, сложных рассуждений, агентских сценариев и задач разработчиков, включая вызов функций, веб-навигацию, выполнение Python-кода и Structured Outputs. Модель содержит около 117 млрд параметров, из которых при обработке активны примерно 5,1 млрд, и использует архитектуру Mixture of Experts с нативной MXFP4-квантизацией для MoE-слоёв. Она рассчитана на запуск в пределах одной GPU H100. Доступны настраиваемые уровни рассуждений — low, medium и high, что позволяет выбирать компромисс между качеством и задержкой. Модель обучена с использованием формата ответов harmony и должна применяться именно в этом формате. В README не указаны поддерживаемые языки и размер контекстного окна. Сильными сторонами являются открытые веса, высокая эффективность активных параметров, возможность тонкой настройки и поддержка инструментального и агентского использования. Полная цепочка рассуждений доступна для отладки и анализа, но не предназначена для показа конечным пользователям. Ограничения включают требование формата harmony и существенные аппаратные ресурсы для запуска полной модели; конкретные показатели качества и дополнительные ограничения в карточке не приведены. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование, модификацию и распространение.

unsloth/gpt-oss-20b-unsloth-bnb-4bit — 4-битная квантованная версия open-weight языковой модели gpt-oss-20b, разработанной OpenAI и подготовленной Unsloth. Модель предназначена для генерации текста, задач рассуждения, локального и специализированного использования, а также агентских сценариев разработчиков, включая вызов функций, веб-браузинг, выполнение Python-кода и Structured Outputs. Модель построена на архитектуре Mixture-of-Experts (MoE) и содержит 21 млрд параметров, из которых активно используется 3,6 млрд. Вариант распространяется в формате 4-bit BnB; исходная модель использует нативную MXFP4-квантизацию для MoE-слоёв и рассчитана на работу примерно в пределах 16 ГБ памяти. Поддерживается настраиваемая интенсивность рассуждений — низкая, средняя и высокая. Модель обучена для работы с форматом ответов harmony, который необходимо применять корректно. Данные о языках и размере контекста в карточке не указаны. К сильным сторонам относятся сниженные требования к памяти, меньшая задержка по сравнению с gpt-oss-120b, возможность тонкой настройки и широкий набор агентских возможностей. Ограничения включают необходимость использования harmony-формата и то, что цепочка рассуждений, доступная модели, не предназначена для показа конечным пользователям. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование и модификацию.

HyperNova-60B-2602-GGUF — GGUF-версия модели HyperNova 60B 2602 от Multiverse Computing. Модель создана на основе openai/gpt-oss-120b и сжата технологией CompactifAI: в ней 60 млрд параметров вместо 117 млрд у базовой модели, что снижает требования к памяти. Это instruction-tuned языковая модель с архитектурой MoE, предназначенная для генерации текста, рассуждений и задач разработчика. Модель поддерживает диалог, вызов инструментов по схемам в стиле OpenAI и структурированный вывод. Её можно применять для генерации и анализа кода, чат-ботов, RAG-систем и агентных сценариев, где модель вызывает внешние инструменты. В README рекомендуют формат сообщений Harmony, используемый базовой моделью. Основной язык — английский; другие языки формально не оценивались, и качество на них может различаться. Сжатие может влиять на отдельные способности, а вызов инструментов зависит от корректных схем и настройки инструментов; поведение не гарантирует полного совпадения с базовой моделью. Лицензия — Apache-2.0.

INF-Retriever-v1-1.5B — компактная плотная модель для поиска по текстам, разработанная INF TECH на основе Alibaba-NLP/gte-Qwen2-1.5B-instruct и дообученная для задач извлечения информации. Она кодирует запросы и документы в эмбеддинги размерностью 1536, чтобы находить семантически близкие материалы в системах поиска и retrieval-augmented generation (RAG). Модель содержит 1,5 млрд параметров; архитектура основана на Qwen2. README указывает максимальный входной размер 32 768 токенов, тогда как метаданные каталога приводят нативный контекст 131 072 токена. Модель прежде всего настроена на поиск на английском и китайском языках и предназначена для разнородных коллекций и тематических областей. В README сообщается о результатах на AIR-Bench, включая высокий рейтинг среди моделей менее 7 млрд параметров; заявленные результаты отражают конкретный бенчмарк и не гарантируют качество на любой коллекции. Также указана работоспособность на других языках, но дообучение проводилось на английских и китайских данных, поэтому качество для остальных языков может отличаться. Лицензия — Apache-2.0.

Jailbreak-Detector-Large — модель классификации текста, разработанная Madhur Jindal и дообученная на базе microsoft/mdeberta-v3-base с помощью AutoTrain. Она относит пользовательские запросы к двум классам: попытка jailbreak или безопасный ввод; предназначена для дополнительной проверки запросов перед передачей языковой модели, чат-боту или API, а также для фильтрации prompt injection и манипулятивных инструкций. Модель построена на архитектуре mDeBERTa-v3 и содержит 306 млн параметров. Она принимает текст, поддерживает английский язык и рассчитана на контекст до 512 токенов. README приводит метрики валидации: accuracy 97,99%, F1 0,968 и AUC-ROC 0,997; эти показатели относятся к указанной в карточке оценке и не гарантируют аналогичное качество на новых данных. Модель выдаёт метку класса, а при соответствующей настройке — оценки уверенности. Она может пропускать новые или замаскированные атаки и ошибочно помечать безопасные запросы, поэтому классификацию следует использовать как один из сигналов защиты. Лицензия — MIT.

NVIDIA Kimi-K2.7-Code NVFP4 — квантизированная версия языковой модели Kimi-K2.7-Code, разработанной Moonshot AI. NVIDIA подготовила и оптимизировала эту сборку с помощью Model Optimizer для запуска на NVIDIA GPU; сама NVIDIA не является разработчиком исходной модели. Модель предназначена для генерации текста и кода, научного программирования, агентного использования инструментов, работы с терминалом и решения задач программной инженерии. В зависимости от конфигурации сервинга она может возвращать естественно-языковые ответы, код, структурированный JSON, запросы вызова инструментов, инструкции для координации агентов и другие артефакты. Модель использует архитектуру Transformers с сетевой архитектурой DeepSeek V3 и механизмом Mixture-of-Experts: всего заявлен 1 трлн параметров, из которых 32 млрд активируются при обработке запроса. Поддерживаются текст, изображения и видео на входе, а также контекст длиной до 256 тысяч токенов; выход представлен текстом. Веса и активации линейных операторов внутри MoE-блоков преобразованы из INT4 через BF16 в формат NVFP4. Предусмотрен запуск через vLLM на NVIDIA Blackwell под Linux; тестирование выполнялось на NVIDIA B200. Сильные стороны модели — большой контекст, поддержка мультимодальных входных данных, задачи кодирования и агентного взаимодействия, а также готовая к инференсу NVFP4-квантизация для совместимого оборудования. При этом сведения об обучающих и тестовых данных, их размере и составе в основном не раскрыты, а NVIDIA не проводила обучение или тестирование для данного релиза Model Optimizer. Практическая производительность и безопасность требуют дополнительной проверки на данных конкретного сценария. Использование регулируется NVIDIA Open Model License; также указана Modified MIT License для исходной модели Kimi-K2.7-Code.

Dongjin-kr/ko-reranker — модель переранжирования текста, разработанная на основе BAAI/bge-reranker-large и дообученная на корейских данных. Она принимает запрос и фрагменты текста и оценивает релевантность каждого фрагмента напрямую, чтобы упорядочить результаты поиска перед передачей контекста языковой модели в RAG-системе. Модель построена на архитектуре XLM-RoBERTa и содержит около 658,7 млн параметров. Она обучалась на триплетах вопросов, положительных и отрицательных фрагментов из MS MARCO Passages; англоязычный набор данных переводили на корейский с помощью Amazon Translate. В README приведено сравнение, где вариант с дообучением на корейских данных показал лучшие значения MRR и доли контекстов с правильным ответом среди рассмотренных вариантов. Модель рассчитана прежде всего на ранжирование корейских текстов по запросу; метаданные также отмечают английский язык. Контекст составляет 514 токенов. Лицензия — MIT. Баллы релевантности не ограничены фиксированным диапазоном, поэтому их следует использовать для сравнения результатов внутри задачи ранжирования, а не трактовать как вероятности.

ko-reranker — модель переранжирования текстов, созданная дообучением BAAI/bge-reranker-large на корейских данных. Она оценивает релевантность пары «запрос — документ» и выдаёт оценку: чем она выше, тем релевантнее документ запросу. Модель можно использовать через FlagEmbedding, Sentence-Transformers или Transformers. Модель построена на архитектуре XLM-RoBERTa и содержит 658,7 млн параметров. Она принимает текстовые пары и рассчитана прежде всего на корейский язык; в метаданных также указаны английский и китайский. Контекст ограничен 514 токенами. Распространяется под лицензией MIT.

ko-reranker-8k — модель для переранжирования текстов, разработанная Upskyy на основе BAAI/bge-reranker-v2-m3 и дообученная на корейских данных. Она оценивает релевантность пары «запрос — документ»: чем выше оценка, тем релевантнее документ запросу. Модель построена на архитектуре XLM-RoBERTa, содержит 658,7 млн параметров, принимает текст и поддерживает контекст длиной до 8194 токенов. Модель предназначена для улучшения результатов поиска и retrieval-систем, в том числе для отбора наиболее подходящих документов после первичного поиска. Карточка указывает корейскую настройку и многоязычные теги; лицензия — Apache-2.0. В README приведены способы использования через FlagEmbedding и Transformers.

Laguna S 2.1-FP8 — языковая модель компании Poolside, предназначенная прежде всего для агентного программирования, работы с инструментами и выполнения длительных многоэтапных задач на локальной машине. Это обновлённый FP8-чекпойнт базовой модели poolside/Laguna-S-2.1; он поддерживает текстовый ввод и вывод, а также встроенный режим рассуждений с чередованием размышлений и вызовов инструментов. Модель построена по архитектуре Mixture-of-Experts и содержит 117,6 млрд параметров, из которых 8,5 млрд активируются на каждом токене. В ней 48 слоёв, 256 экспертов и один общий эксперт; 36 слоёв используют Sliding Window Attention с окном 512 токенов, а 12 — глобальное внимание. Применяются покомпонентное управление вниманием, пер-head gating, FP8-квантование KV-кэша и контекст до 1 048 576 токенов. Эти решения снижают требования к памяти и ускоряют инференс, однако при очень длинном контексте возможно ухудшение качества. FP8-веса занимают примерно 121 ГБ, поэтому для локального запуска требуется мощное оборудование; доступны варианты использования через vLLM, SGLang, Transformers, TRT-LLM, Ollama и llama.cpp с указанными ограничениями по форматам. Сильными сторонами модели являются специализация на программировании и инструментальных сценариях, поддержка длительного контекста, эффективное число активных параметров и возможность локального развёртывания. README не содержит сведений о поддерживаемых естественных языках. Модель распространяется по лицензии OpenMDW-1.1, разрешающей свободное использование и модификацию модели и связанных материалов в коммерческих и некоммерческих целях.

NeuML/language-id — модель NeuML для определения языка по тексту. Это экспорт модели FastText Language Identification в формат staticvectors; инференс выполняется в Python с NumPy, а распознавание опирается на символьные n-граммы, что обеспечивает эффективную работу. Модель предназначена для автоматической классификации коротких или длинных текстовых фрагментов по языку. Её можно использовать для предварительной маршрутизации текста в многоязычных конвейерах обработки данных. Карточка указывает многоязычную поддержку, но не перечисляет отдельные языки. Модель распространяется по лицензии CC BY-SA 3.0.

Llama-3.1-Nemotron-Ultra-253B-v1-FP8 — большая языковая модель NVIDIA, производная от Meta Llama-3.1-405B-Instruct. Это плотный decoder-only Transformer с архитектурой, оптимизированной методом Neural Architecture Search: блоки могут содержать пропущенное внимание, переменное соотношение FFN и объединённые FFN. В README указано 253 млрд параметров; метаданные Hugging Face указывают 697,9 млрд параметров. Модель распространяется в формате FP8 и работает через Transformers. Модель предназначена для рассуждений, диалогов, следования инструкциям, генерации кода, retrieval-augmented generation, вызова инструментов и построения AI-агентов и чат-ботов. Она поддерживает текстовый ввод и вывод с контекстом до 131 072 токенов, а основным языком является английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. NAS-оптимизация направлена на уменьшение потребления памяти и задержки при сохранении качества и позволяет запускать модель на одном узле с 8 H100 для инференса. Модель ориентирована на коммерческое использование, однако требует значительных вычислительных ресурсов и специализированной инфраструктуры. Данные предварительного обучения имеют срез 2023 года, поэтому модель может не знать более свежие факты. Архитектура нестандартна относительно исходной Llama и может требовать совместимого программного стека. Использование регулируется NVIDIA Open Model License и дополнительными условиями Llama 3.1 Community License Agreement.

Модель proventra/mdeberta-v3-base-prompt-injection разработана Proventra и представляет собой дообученную для классификации текста модель microsoft/mdeberta-v3-base на архитектуре DeBERTa V3. Она предназначена для обнаружения промпт-инъекций и попыток обхода инструкций, в том числе атак, встроенных в обычный текст веб-сайтов и статей. Модель содержит около 306 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт метки классификации. В обучении использовались наборы jailbreak-classification и prompt-injections, а также собственные примеры известных атак и инъекций в легитимном содержимом. Модель распространяется по лицензии MIT. Ограничение длины контекста составляет 512 токенов; качество зависит от того, насколько входные атаки похожи на обучающие примеры.

castorini/mdpr-tied-pft-nq — мультиязычная модель плотного поиска passage retrieval, разработанная исследовательской организацией Castorini. Она предназначена для преобразования вопросов и текстовых passage в векторные представления, пригодные для семантического поиска и открытого вопросно-ответного поиска по большим коллекциям документов. Модель реализует bi-encoder-подход mDPR на основе multilingual BERT; вариант pft-nq предварительно дообучен на Natural Questions. В метаданных Hugging Face указаны архитектурные признаки BERT, библиотека Transformers/PyTorch, объём около 205,1 млн параметров и максимальная длина контекста 512 токенов. Модель используется для мультиязычного retrieval, включая построение dense-индексов и поиск passage по запросам. Модель поддерживает английский, арабский, бенгальский, финский, индонезийский, японский, корейский, русский, суахили, телугу и тайский языки. Она возвращает признаки или эмбеддинги и не является генеративной моделью ответов. В исследованиях mDPR эффективность может уступать BM25, поэтому для практического поиска может потребоваться гибридное sparse-dense ранжирование.

MiniCPM-Embedding-Light — двуязычная модель текстовых эмбеддингов для поиска, разработанная ModelBest совместно с лабораторией обработки естественного языка Университета Цинхуа (THUNLP) и группой информационного поиска Северо-Восточного университета (NEUIR). Она предназначена для семантического поиска на китайском и английском языках, а также для поиска между ними, включая сценарии RAG и длинные документы. Модель построена на архитектуре MiniCPM с двунаправленным вниманием и взвешенным усреднением токенов. В README указаны размер 440 млн параметров, размерность эмбеддинга 1024, поддержка плотных и разреженных токеновых векторов и изменяемой размерности представления Matryoshka. README заявляет поддержку до 8192 токенов, тогда как метаданные каталога указывают контекст 4096 токенов. Она обучалась в несколько этапов примерно на 260 млн примеров, включая открытые, синтетические и закрытые данные; запросы можно подавать с инструкцией или без неё. Модель подходит для поиска релевантных документов и межъязычного поиска на китайском и английском языках. Метаданные также указывают возможности чата, но README описывает её как модель эмбеддингов, а не генеративную модель, поэтому основное назначение — извлечение признаков и векторов для поиска. Лицензия в предоставленных данных не указана.

bge-micro — компактная модель эмбеддингов предложений на архитектуре BERT, опубликованная avsolatorio в январе 2024 года. Она преобразует предложения и абзацы в плотные векторы размерности 384 и предназначена для семантического поиска, кластеризации и сравнения текстов. Модель содержит 18,8 млн параметров и поддерживает контекст до 512 токенов. Модель дистиллирована из bge-small-en-v1.5; в ней в четыре раза меньше параметров, не относящихся к эмбеддингам. По README, она содержит вдвое меньше параметров, чем all-MiniLM-L6-v2, при сопоставимом качестве. Доступны веса в формате safetensors; для использования описаны Sentence-Transformers и Transformers с подходящей операцией pooling. Модель рассчитана на англоязычные тексты. Она подходит для построения векторного поиска и кластеризации, но сама не генерирует ответы; контекст ограничен 512 токенами. Лицензия в предоставленных данных не указана.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240122103941-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240123004641-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

mmBERT-32K Jailbreak Detector (Merged) — модель классификации текста для обнаружения jailbreak-запросов и попыток prompt injection. Она разработана на базе vllm-sr/mmbert-32k-yarn: к базовой модели применили LoRA с рангом 48 и alpha 96, после чего веса адаптера объединили с моделью. Архитектура — ModernBERT для классификации последовательностей; размер составляет 306,9 млн параметров, максимальная длина контекста — 32 768 токенов. Модель относит входной текст к одному из двух классов: benign или jailbreak. Она предназначена для фильтрации запросов и проверки длинных контекстов на признаки обхода инструкций. В карточке заявлены accuracy 98,16%, F1 98,15%, precision 98,36% и recall 97,95%; эти показатели относятся к валидации и могут не отражать качество на других данных. Указаны наборы данных LMSYS ToxicChat и OpenSafetyLab Salad-Data. Модель принимает текст и выдаёт метку классификации. Карточка и метаданные указывают английский язык. Доступны веса в форматах Safetensors и ONNX. Лицензия — Apache-2.0.

Карточка модели falloutxvats/ms-marco-minilm-l6-v2 на Hugging Face совпадает с карточкой cross-encoder/ms-marco-MiniLM-L6-v2, поэтому описание составлено по ней. cross-encoder/ms-marco-MiniLM-L6-v2 — англоязычный ранжировщик на основе архитектуры BERT, предназначенный для переранжирования результатов поиска. Модель обучена на задаче MS MARCO Passage Ranking и оценивает релевантность пары «запрос — фрагмент текста», после чего найденные документы можно сортировать по оценке. Модель содержит 25,9 млн параметров, принимает пары текстов и поддерживает контекст до 512 токенов. Она рассчитана на этап reranking в системах информационного поиска, например после получения кандидатов из ElasticSearch. Доступны форматы PyTorch, SafeTensors, ONNX, OpenVINO и Flax. Модель распространяется по лицензии Apache 2.0. Описанные данные указывают на англоязычное обучение и назначение; качество для других языков не подтверждено. README приводит оценки на наборах TREC Deep Learning 2019 и MS MARCO, но не содержит чисел для этой версии MiniLM-L6-v2.

cross-encoder/ms-marco-TinyBERT-L2 — компактная модель ранжирования от Sentence Transformers, обученная на задаче MS MARCO Passage Ranking. Это дообученная BERT-модель с архитектурой BertForSequenceClassification и 4,4 млн параметров; она принимает пару «запрос — текстовый фрагмент» и оценивает релевантность фрагмента запросу. Контекст модели — до 512 токенов. Модель предназначена для информационного поиска по схеме retrieve-and-rerank: после первичного поиска, например в ElasticSearch, она пересчитывает релевантность найденных фрагментов и сортирует их по убыванию оценки. Подходит для ранжирования passages в поисковой выдаче и для оценки релевантности пар текстов. Поддерживает английский язык. Доступны варианты весов PyTorch, safetensors, ONNX, OpenVINO и Flax. Компактный размер делает модель пригодной для повторного ранжирования множества кандидатов, но её применение ограничено текстовыми парами и контекстом до 512 токенов. Она рассчитана на переоценку уже найденных документов, а не на генерацию текста или самостоятельный поиск по коллекции. Лицензия — Apache-2.0.