II.10Разработка и эксплуатация AI/ML-систем

Sheltron Prompt Guard 68M — компактный классификатор последовательностей от Sheltron для обнаружения prompt injection и jailbreak. Модель построена на архитектуре ModernBERT, содержит около 68,1 млн параметров и дообучена на jhu-clsp/ettin-encoder-68m. Она принимает текст и выдаёт оценки наличия атаки, её канала (прямая, косвенная или смешанная), цели и техники атаки. Модель предназначена для локального, периферийного и агентного развертывания с низкой задержкой, где её оценки могут использоваться системами политик и подтверждения действий. В карточке приведены результаты внутренней и внешней оценки, но они не гарантируют качество на новых данных. Сигнал модели следует учитывать вместе с контролем разрешений на границе выполнения действий. Доступны веса Safetensors и варианты ONNX в FP32 и FP16; метаданные указывают контекст до 7 999 токенов. Основные языковые метки — английский и multilingual, однако конкретный перечень поддерживаемых языков в карточке не приведён. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

Esper 4 — дообученная Valiant Labs модель на базе Qwen3.6-27B, предназначенная для агентного программирования, проектирования архитектуры, DevOps и MLOps. Она подходит для работы в агентных фреймворках и как самостоятельный чат- и кодовый ассистент. Модель имеет плотную архитектуру семейства Qwen3.5, около 22,3 млрд параметров и контекстное окно 262 144 токена. Метаданные указывают поддержку задач генерации текста и обработки изображений с выдачей текста; в README основной акцент сделан на кодировании и инженерных задачах. Для дообучения использованы наборы сложных примеров по программированию, DevOps и архитектуре, созданные с помощью DeepSeek-V4-Pro. Карточка отмечает английский язык. Esper 4 ориентирована на сложные агентные запросы, разработку и эксплуатацию AI-систем; автор также заявляет возможность локального запуска и быструю серверную генерацию. Лицензия — Apache-2.0. README не приводит независимых оценок качества, поэтому заявленные улучшения не следует считать подтверждёнными сравнительным тестированием.

RedHatAI/Qwen3.6-27B-FP8 — открытая FP8-квантизованная версия Qwen3.6-27B, разработанной Alibaba Cloud и опубликованной в формате Hugging Face Transformers. Модель предназначена для генерации текста, рассуждений, агентного программирования, работы с репозиториями и вызова инструментов. Она совместима с Transformers, vLLM, SGLang и KTransformers. Модель представляет собой каузальную языковую модель с vision encoder, содержит 27 млрд параметров и 64 слоя. Архитектура сочетает Gated DeltaNet и Gated Attention, поддерживает мультимодальный сценарий с изображениями и имеет нативный контекст 262 144 токена, расширяемый до 1 010 000 токенов. В README не указаны поддерживаемые языки. Для вызова инструментов предусмотрена поддержка tool calling с парсером qwen3_coder; включение режима reasoning выполняется через параметры совместимого сервера. К сильным сторонам относятся оптимизация для реальных задач программирования, фронтенд-разработки, репозиторного анализа и агентных рабочих процессов, а также близкая к исходной модели производительность после мелкозернистой FP8-квантизации с размером блока 128. Ограничения включают зависимость качества и функциональности от совместимого inference-стека и настроек reasoning и tool calling; конкретные требования к оборудованию и полный набор языков в README не приведены. Модель распространяется по лицензии Apache 2.0.

RedHatAI/Qwen3.6-35B-A3B-FP8 — открытая FP8-квантованная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen компании Alibaba Cloud и подготовленной Red Hat AI. Это авторегрессионная языковая модель с vision encoder, предназначенная для генерации текста, рассуждений, программирования, агентных сценариев и вызова инструментов. Модель использует архитектуру Mixture of Experts: 35 млрд параметров всего, около 3 млрд активируются при обработке запроса. Она содержит 40 слоёв, 256 экспертов, из которых выбираются 8 маршрутизируемых и 1 общий, а также сочетает Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Поддерживаются текстовые и визуальные входы, однако конкретный набор языков в README не указан. Сильными сторонами модели заявлены агентное программирование, работа с frontend-задачами, рассуждение на уровне репозитория, сохранение контекста рассуждений и вызов инструментов. Квантование выполнено в формате fine-grained FP8 с размером блока 128; заявлена производительность, близкая к исходной модели. Вариант может быть предпочтителен на оборудовании, где вычислительные ресурсы превышают пропускную способность памяти. Для работы с vLLM требуются параметры reasoning-parser qwen3 и включение prefix caching; совместимость также заявлена с Transformers, SGLang и KTransformers. README не приводит подробных ограничений, полного набора языков или характеристик работы с изображениями. Модель распространяется по лицензии Apache-2.0. Артефакты проверены с RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0.

Qwen3.6-35B-A3B-MTP-GGUF — GGUF-версия модели Qwen3.6-35B-A3B, разработанной командой Alibaba Qwen. Это разреженная мультимодальная модель Mixture-of-Experts с 35 млрд общих параметров и примерно 3 млрд активных параметров на токен. Модель принимает текст, изображения и видео, поддерживает английский язык и имеет контекст до 262 тысяч токенов; заявлено расширение до 1 млн токенов с помощью YaRN. Модель предназначена прежде всего для агентного программирования, работы с кодом, фронтенд-задач, анализа репозиториев, мультимодальных сценариев и интеграции с инструментами. Она поддерживает вызов функций, структурированный вывод и режимы рассуждения. Архитектура сочетает линейное внимание Gated DeltaNet со стандартными слоями gated attention. Формат MTP добавляет несколько выходных голов для предсказания будущих токенов и ускорения спекулятивного декодирования без отдельной draft-модели. К сильным сторонам относятся большой контекст, мультимодальность, низкое число активных параметров относительно общего размера и возможность локального запуска в различных вариантах квантования; заявленное потребление для некоторых конфигураций составляет около 21–24 ГБ VRAM. Ограничения включают значительные требования к памяти для BF16/F16 и снижение качества при более агрессивном квантовании. Доступны файлы GGUF размером примерно от 13,2 до 71,1 ГБ и отдельные мультимодальные проекторы. Модель распространяется по лицензии Apache 2.0.

Qwen3-Coder-30B-A3B-Instruct-GPTQ-Int8 — это квантизированная в формате GPTQ Int8 версия текстовой причинно-следующей языковой модели Qwen3-Coder-30B-A3B-Instruct. Базовую модель разработала команда Qwen, а данную квантизированную сборку опубликовала QuantTrio. Модель предназначена прежде всего для генерации и анализа программного кода, агентного программирования, вызова инструментов и сценариев агентного взаимодействия с браузером, а также для понимания репозиториев и работы с большими объёмами контекста. Архитектура модели — Mixture-of-Experts: 30,5 млрд параметров всего, из которых 3,3 млрд активируются при обработке запроса. Модель содержит 48 слоёв, 128 экспертов и активирует 8 экспертов; используется Grouped Query Attention с 32 головами запросов и 4 головами ключей и значений. Заявлена нативная длина контекста 262 144 токена с возможностью расширения до 1 млн токенов с помощью YaRN, однако для этой сборки в примере запуска vLLM указана длина 32 768 токенов. К сильным сторонам относятся высокая эффективность разреженной MoE-архитектуры, поддержка длинного контекста, задачи программирования и tool calling. Модель работает только в режиме без рассуждений и не формирует блоки <think></think>. Для запуска рекомендуется vLLM версии 0.10.0; пример конфигурации рассчитан на один узел с четырьмя GPU и требует включения expert parallelism. Размер файлов модели составляет около 30 ГБ, поэтому необходимы значительные аппаратные ресурсы. Распространение заявлено по лицензии Apache 2.0.

Qwen3-Coder-Next-AWQ — квантизированная версия модели Qwen3-Coder-Next, разработанная Qwen и подготовленная пользователем qtum. Модель предназначена прежде всего для генерации и обработки программного кода, а также для текстовой генерации на английском и китайском языках. Она подходит для локального и серверного развертывания с использованием vLLM или SGLang. В основе лежит разреженная MoE-архитектура qwen3_next: 80 млрд параметров всего, около 3 млрд активных параметров, 48 слоёв, 512 экспертов и маршрутизация top-10. Контекстное окно составляет 256K токенов. Используется AWQ-квантизация W4A16 с размером группы 128 в формате compressed-tensors и safetensors. Основная часть весов хранится в 4-битном формате, а маршрутизаторы MoE и lm_head сохранены в bf16 для снижения потери качества. Размер модели составляет около 40 GiB, что позволяет размещать её на одной видеокарте объёмом 48 ГБ; для 24 ГБ может потребоваться распределение, выгрузка или параллелизм. Главное преимущество модели — существенное уменьшение требований к дисковому пространству и памяти по сравнению с bf16- и FP8-версиями при сохранении исходной архитектуры и маршрутизации. Ограничение — заметное ухудшение показателя perplexity относительно bf16: 12,53 против 7,74 на указанном тесте wikitext-2-raw. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели; поведение и лицензионные обязательства определяются базовой моделью Qwen3-Coder-Next.

ucbye/Qwen3-Coder-Next-NVFP4-GB10 — публичное зеркало квантизированной модели saricles/Qwen3-Coder-Next-NVFP4-GB10, основанной на Qwen3-Coder-Next от Alibaba и команды Qwen. Модель предназначена прежде всего для генерации и анализа программного кода, а также для сценариев развертывания LLM на системах DGX Spark с GPU GB10. В README указано, что веса байт-в-байт идентичны исходной квантизации, а зеркало предоставляет стабильную и неконтролируемую версию для проекта развертывания qwen3-coder-next. Архитектура qwen3_next сочетает линейное внимание DeltaNet, полноразмерное внимание и латентный MoE. Модель содержит 48 слоев, включая 36 слоев с линейным вниманием и 12 слоев с полным вниманием, 79,7 млрд параметров при примерно 3 млрд активных параметров на токен, 512 экспертов, из которых активируются 10 совместно с одним общим экспертом. Используется 4-битная NVFP4-квантизация через compressed-tensors; отдельные компоненты сохранены в BF16. Максимальная длина контекста составляет 262 144 токена, заявленный язык — английский. Размер модели на диске — около 45,9 ГБ. Сильные стороны модели — большой контекст, низкое число активных параметров на токен, сниженные требования к памяти и отсутствие KV-кэша у слоев DeltaNet. На DGX Spark заявлена скорость около 61 токена в секунду для одного запроса и поддержка примерно пяти одновременных сессий при контексте 262K с FP8 KV-кэшем. Ограничения включают зависимость производительности от совместимого оборудования и настроек vLLM, а также потери точности, возможные из-за агрессивной 4-битной квантизации. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели; перераспределение разрешено.

Это квантованная до INT8 и преобразованная в ONNX версия Qwen3-Embedding-0.6B, подготовленная janni-t для запуска через Text Embeddings Inference (TEI) с ускорением на CPU. Модель имеет около 507,6 млн параметров, использует архитектуру Qwen3 и контекст до 32 768 токенов; README указывает на mean pooling для получения текстовых эмбеддингов. Модель предназначена для построения эмбеддингов и оценки сходства текстов в многоязычных приложениях, включая поиск, семантическое сопоставление и сценарии с высокой нагрузкой на CPU или периферийных устройствах. В README заявлены размер около 0,56 ГБ и ускорение CPU-инференса в 2–4 раза относительно float32 при потере точности 1–3%; это оценочные характеристики автора карточки. Поддерживаются языки, перечисленные в метаданных, включая русский, английский и китайский. Лицензия — Apache-2.0. Для работы требуется совместимый runtime ONNX и TEI; квантование может немного снизить точность относительно исходной модели.

furiosa-ai/Qwen3-Reranker-8B — версия модели Qwen/Qwen3-Reranker-8B, подготовленная для запуска через Furiosa-LLM на ускорителе FuriosaAI RNGD. Это плотная трансформерная модель семейства Qwen3 с 7,6 млрд параметров. Она принимает текстовый запрос и набор кандидатных документов и возвращает оценки релевантности, по которым результаты можно переупорядочить; типичный сценарий — второй этап поиска в RAG-системах. Контекст составляет до 40 960 токенов. Модель работает в исходной точности BF16 без квантизации; для RNGD используется параллелизм по тензорам на 8 вычислительных элементах одной карты. Репозиторий также содержит Furiosa Executable Bundle, а README указывает совместимость с Sentence Transformers, vLLM и Transformers. Модель распространяется по лицензии Apache 2.0. Описание не приводит результатов сравнительной оценки качества; запуск с Furiosa-LLM на RNGD требует соответствующего оборудования и программной среды.

Step-3.5-Flash-FP8 — открытая foundation-модель, разработанная StepFun и представленная в формате FP8 на базе stepfun-ai/step-3.5-flash. Она предназначена для сложного рассуждения, программирования, агентских сценариев, многошагового выполнения задач, поиска и обработки больших объёмов информации. Модель ориентирована на интерактивное применение и локальное развёртывание, включая высокопроизводительное потребительское оборудование. Архитектура модели основана на разреженной Mixture of Experts (MoE): всего модель содержит 196 млрд параметров, из которых для каждого токена активируется около 11 млрд. Технология Multi-Token Prediction (MTP-3) обеспечивает заявленную скорость генерации около 100–300 токенов в секунду, с пиковыми значениями до 350 токенов в секунду для однопоточных задач программирования. Поддерживается контекстное окно объёмом 256K токенов; для его эффективной обработки используется гибридная схема Sliding Window Attention с соотношением 3:1. К сильным сторонам относятся высокая скорость вывода, эффективность MoE-архитектуры, способность работать с длинным контекстом и результаты на задачах рассуждения, программирования и автономных агентов, включая 74,4% на SWE-bench Verified и 51,0% на Terminal-Bench 2.0. Ограничения, включая языковую специализацию, мультимодальность и требования к аппаратным ресурсам, в README явно не описаны. Модель распространяется по лицензии Apache 2.0.

Vela Reranker — многоязычный энкодер на базе ModernBERT, разработанный llm-semantic-router. Модель оценивает релевантность фрагментов для поиска, RAG и выбора контекста в системах маршрутизации. В метаданных указано 306,9 млн параметров и контекст до 32 768 токенов; доступны веса Safetensors и формат ONNX. В приведённых оценках Vela превосходит исходный mmBERT Reranker на указанных наборах MIRACL, Natural Questions и SciFact, а также на двух из трёх перечисленных инструкционных задач MTEB. Результаты относятся только к выбранным наборам и подмножествам и не являются полной оценкой MTEB. Модель предназначена для ранжирования текстовых фрагментов и не генерирует ответы. Лицензия — Apache-2.0.

Zen Embedding 0.6B — текстовая модель для создания плотных эмбеддингов, разработанная в рамках линейки Zen и переупакованная из Qwen/Qwen3-Embedding-0.6B. Это дообученная модель семейства Qwen3 с 507,6 млн параметров, рассчитанная на получение векторных представлений текста для RAG, семантического поиска и плотного поиска по коллекциям документов. Модель работает с текстом, поддерживает английский и китайский языки и имеет контекст длиной до 32 768 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Sentence Transformers. Модель подходит для поиска релевантных фрагментов и сравнения текстов по смыслу. Выпущена по лицензии Apache-2.0. README описывает её как переупаковку исходной модели, а не обучение с нуля.

Карточка модели avsolatorio/01-100-10-1-2-2-0-0-cls-normed-384-512_GIST_BAAI_bge-small-en-v1.5-20240204044729-best на Hugging Face совпадает с карточкой avsolatorio/01-100-31-1-2-2-0-0-cls-normed-384-512_GIST_BAAI_bge-small-en-v1.5-20240207031328-best, поэтому описание составлено по ней. Это англоязычная модель для получения плотных векторных представлений текста на основе BAAI/bge-small-en-v1.5. Репозиторий размещён в пространстве имён avsolatorio; по идентификатору модели и карточке это производная версия BGE, однако карточка не описывает конкретные изменения или способ обучения этой версии. Модель предназначена для поиска семантически близких текстов и формирования эмбеддингов для систем поиска и retrieval-augmented generation (RAG). Архитектура — BERT, около 40 млн параметров; максимальная длина контекста — 512 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Модель ориентирована на английский язык. Эмбеддинги подходят для поиска кандидатов, но README рекомендует при необходимости повышать точность выдачи с помощью отдельного reranker. Карточка также отмечает, что оценка сходства сама по себе не является калиброванной вероятностью семантической близости.

Карточка модели avsolatorio/01-600-11-1-2-2-0-0-cls-normed-384-512_GIST_BAAI_bge-small-en-v1.5-20240221220048-latest на Hugging Face совпадает с карточкой avsolatorio/01-100-31-1-2-2-0-0-cls-normed-384-512_GIST_BAAI_bge-small-en-v1.5-20240207031328-best, поэтому описание составлено по ней. Это англоязычная модель для получения плотных векторных представлений текста на основе BAAI/bge-small-en-v1.5. Репозиторий размещён в пространстве имён avsolatorio; по идентификатору модели и карточке это производная версия BGE, однако карточка не описывает конкретные изменения или способ обучения этой версии. Модель предназначена для поиска семантически близких текстов и формирования эмбеддингов для систем поиска и retrieval-augmented generation (RAG). Архитектура — BERT, около 40 млн параметров; максимальная длина контекста — 512 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Модель ориентирована на английский язык. Эмбеддинги подходят для поиска кандидатов, но README рекомендует при необходимости повышать точность выдачи с помощью отдельного reranker. Карточка также отмечает, что оценка сходства сама по себе не является калиброванной вероятностью семантической близости.

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_240 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_560 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

Карточка модели kshitijpandey3h/bge-large-agri-fused-5 на Hugging Face совпадает с карточкой BAAI/bge-large-en-v1.5, поэтому описание составлено по ней. BAAI/bge-large-en-v1.5 — англоязычная модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI) для поиска и сравнения текстов. Она преобразует текст в векторы, пригодные для семантического поиска, извлечения документов и построения систем с дополненной генерацией (RAG). Версия v1.5 улучшает retrieval и делает модель менее зависимой от инструкций для запросов по сравнению с предыдущей версией. Модель основана на архитектуре BERT и содержит 433,9 млн параметров. Она принимает текстовые входы на английском языке, имеет контекстное окно до 512 токенов и доступна в форматах PyTorch, Safetensors и ONNX. Для поиска можно сначала получить кандидатов с помощью эмбеддингов, а затем повысить точность ранжирования отдельной моделью BGE Reranker. Модель подходит для семантического поиска и сходства предложений. README предупреждает, что абсолютные значения сходства не следует трактовать как универсальную шкалу: из-за особенностей обучения оценки могут быть выше 0,5 даже для несхожих предложений. Лицензия — MIT.

BAAI/bge-large-zh-noinstruct — плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в векторы для семантического поиска, извлечения релевантных документов, кластеризации и классификации; эмбеддинги также можно использовать в векторных базах данных для систем с генерацией с дополнением по поиску. Архитектура модели основана на BERT, содержит 424,3 млн параметров и обрабатывает последовательности длиной до 512 токенов. Карточка указывает китайский язык и формат PyTorch. Модель предназначена для получения векторов текста и сравнения их относительной близости. README предупреждает, что у этой версии распределение оценок сходства менее удобно: высокий абсолютный балл сам по себе не означает, что тексты похожи. Для новых проектов авторы рекомендуют BAAI/bge-large-zh-v1.5, который улучшает распределение сходства и поиск без инструкций. Модель распространяется по лицензии MIT. Для пороговой фильтрации сходства порог следует подбирать на собственных данных; для поиска по коротким запросам и длинным документам инструкция для запроса может улучшить результат.

Карточка модели jiaqi-22/bge-m3 на Hugging Face совпадает с карточкой BAAI/bge-m3, поэтому описание составлено по ней. BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.

mlx-community/bge-small-en-v1.5-8bit — компактная 8-битная версия модели bge-small-en-v1.5 в формате MLX для построения текстовых эмбеддингов. Модель относится к семейству sentence-transformers, основана на архитектуре BERT и содержит около 40 млн параметров; она предназначена для работы с английским языком и поддерживает контекст до 512 токенов. Модель преобразует тексты и предложения в векторные представления, пригодные для семантического поиска, сравнения похожести, классификации, кластеризации и reranking. Она может использоваться как компонент retrieval-систем и RAG-приложений, а формат MLX ориентирован на запуск в экосистеме Apple. Модель не является генеративной и не предназначена для создания ответов или продолжения текста. Распространяется по лицензии MIT. К ограничениям относятся поддержка английского языка, максимальная длина контекста 512 токенов и возможная потеря точности из-за 8-битного квантования; качество зависит от предметной области и способа использования эмбеддингов.

Qdrant/bm25 — модель на основе алгоритма BM25 (Best Matching 25), предназначенная для поиска и ранжирования текстовых документов по их релевантности поисковому запросу. Она распространяется через FastEmbed и рассчитана на использование с векторной базой Qdrant. Модель преобразует тексты в разреженные представления с индексами и весами токенов, которые можно использовать для лексического поиска. Для корректной работы в Qdrant необходимо настроить векторы с модификатором Modifier.IDF. Такой подход подходит для полнотекстового поиска, сопоставления запросов с документами и гибридных поисковых систем, где важна точная лексическая связь между запросом и содержимым. В карточке указана поддержка английского, арабского, нидерландского, датского, финского, французского, немецкого, греческого, венгерского, итальянского, норвежского, португальского, румынского, русского, испанского, шведского, тамильского и турецкого языков. Архитектура, число параметров, размер контекста и дополнительные модальности не указаны; модель предназначена для работы с текстом. Лицензия — Apache-2.0. Ограничение подхода состоит в том, что BM25 опирается преимущественно на совпадение лексики и статистику терминов, поэтому он может хуже учитывать смысловые перефразирования по сравнению с плотными семантическими моделями.

facebook/contriever-msmarco — дообученная модель семейства Contriever на основе BERT, разработанная Facebook. Она предназначена для плотного семантического поиска и извлечения признаков текста: преобразует входной текст в векторное представление, которое можно использовать для поиска релевантных документов. Для получения эмбеддинга предложения при работе через Hugging Face Transformers требуется усредняющий mean pooling. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Она дообучена по подходу контрастивного обучения для плотного поиска информации. Лицензия в предоставленных данных не указана.

CRP Safety Classifier — компактный классификатор текста на базе DeBERTa-v3-xsmall от AutoCyberAI, дообученный для выявления небезопасных запросов. Модель относит входной текст к классам safe или unsafe и используется как основной ML-компонент InjectionDetector в Context Relay Protocol; в общей схеме предусмотрены также быстрый фильтр на регулярных выражениях и резервный переход на него при недоступности модели. Модель предназначена для обнаружения prompt injection, jailbreak-запросов, токсичности, синтетических персональных данных и атакующих шаблонов. В README заявлены точность 0,9478 на отложенной выборке из 2416 примеров, полнота класса unsafe 0,836 и время инференса 40 мс на CPU. Контекст составляет 512 токенов; размер — 77,5 млн параметров. Лицензия указана как other.

ProtectAI (Laiyer.ai) разработала эту англоязычную модель на базе DeBERTa-v3-base Microsoft, дообучив её распознавать prompt injection. Модель классифицирует текст по двум категориям: обычный запрос и обнаруженная попытка внедрения инструкций. Её можно использовать как фильтр перед передачей пользовательского или внешнего текста языковой модели, в том числе в системах на базе LangChain и LLM Guard. Модель содержит 211,6 млн параметров, использует архитектуру DeBERTa-v2 для классификации последовательностей и принимает текст длиной до 512 токенов. В карточке указаны очень высокие метрики на оценочном наборе, однако результаты зависят от сходства входных данных с обучающими: на незнакомых стилях и темах качество может снижаться. Проект архивирован, а в карточке отмечена более новая версия — deberta-v3-base-prompt-injection-v2. Лицензия — Apache 2.0; доступны веса SafeTensors и ONNX.

Модель Octavio-Santana — дообученная DeBERTa-v3-base для бинарной классификации текста: она определяет, содержит ли входная строка попытку prompt injection. Метки результата: безопасный текст и prompt injection. Модель подходит для проверки входов перед передачей их языковой модели, фильтрации запросов в системах защиты и анализа атакующих примеров. Для обучения использовался набор Octavio-Santana/prompt-injection-attack-detection-multilingual; адаптер LoRA обучили, а затем объединили с базовой моделью для самостоятельного развёртывания. Архитектура — DeBERTa-v2, размер — 211,6 млн параметров, максимальный контекст — 512 токенов. Заявлена поддержка английского, португальского, немецкого, французского, испанского, тайского и японского языков. Лицензия — MIT. В README указаны accuracy 91,74% и macro F1 91,73% на валидации. Модель может не распознавать новые типы атак, а её качество зависит от сходства входных данных с обучающими; автор рекомендует сочетать её с правилами фильтрации и не рассматривать как полное решение безопасности.

fmops/distilbert-prompt-injection — модель классификации текста от Foundation Model Operations Company (FMOPS), предназначенная для обнаружения prompt injection. Она относит текст к классам с помощью DistilBERT, дообученного для sequence classification; в карточке указано 67 млн параметров и контекст до 512 токенов. Модель рассчитана на английский, немецкий и испанский языки. Её можно использовать для проверки пользовательского ввода или текстовых фрагментов перед передачей языковой модели, чтобы отмечать потенциальные prompt injection. Модель работает с текстом и выдаёт метки классификации. Лицензия — Apache-2.0. Карточка модели не описывает метрики качества; результаты классификации следует оценивать с учётом собственного сценария и данных.

embeddinggemma-300m-GGUF — это модель для создания векторных представлений текста, основанная на google/embeddinggemma-300m. Исходную модель разработала Google, а GGUF-версии подготовила Second State Inc. Модель предназначена для задач семантического сходства и других сценариев, где требуется сравнивать тексты по смыслу, включая поиск и работу с векторными индексами. Модель поддерживает запуск через sentence-transformers и LlamaEdge, использует специальный режим embedding и имеет контекстное окно 2048 токенов. Доступны варианты размерности эмбеддингов 128, 256, 512 и 768. Репозиторий содержит квантованные GGUF-файлы размером примерно от 212 до 329 МБ, а также версию f16 размером 616 МБ. Квантование уменьшает требования к ресурсам, но может снижать качество: Q4_K_M, Q5_K_M и Q5_K_S обозначены как сбалансированные или рекомендуемые варианты, тогда как наиболее компактные версии имеют существенные потери качества. README не содержит сведений о поддерживаемых языках, точной архитектуре, составе модальностей или конкретных наборах данных обучения. Модель распространяется по лицензии Gemma; условия лицензии следует учитывать при использовании.

Giga-Retrieval-instruct — русскоязычная модель эмбеддингов семейства GigaREmbed от ai-sage, созданная на базе прореженной decoder-only LLM GigaChat-3b. Она преобразует тексты в векторы размерностью 2048 с помощью pooling на основе latent attention и предназначена прежде всего для семантического поиска и извлечения релевантных фрагментов. Для retrieval рекомендуется добавлять краткую инструкцию перед запросом, но не перед документом; модель также можно настраивать инструкциями для разных задач эмбеддингов. Модель поддерживает русский и английский языки, однако разработчики рекомендуют использовать её прежде всего для русского. Вход ограничен 4096 токенами. Лицензия — MIT.

GLM-4.5 — базовая гибридная модель с открытыми весами, разработанная Z.ai и предназначенная для интеллектуальных агентов. Она объединяет рассуждение, программирование и работу с инструментами; поддерживает режимы пошагового мышления для сложных задач и вызова инструментов, а также режим быстрых ответов. Архитектура семейства GLM-4 MoE, класс модели для причинной генерации текста; в карточке Hugging Face указано 23,4 млрд параметров, а README описывает серию GLM-4.5 с 355 млрд общих и 32 млрд активных параметров. Контекст — до 131 072 токенов. Модель принимает текстовые запросы и выдаёт текст; заявлены английский и китайский языки. Модель подходит для диалоговых помощников, программирования, сложного анализа и агентных сценариев с вызовом инструментов. README сообщает о результатах на 12 отраслевых бенчмарках, но конкретные результаты требуют сверки с техническим отчётом. Весовые файлы доступны в формате safetensors; для запуска описана поддержка Transformers, vLLM и SGLang, а в README также упомянуты варианты BF16 и FP8 для серии. Лицензия MIT допускает коммерческое использование и доработку. Для полного вывода GLM-4.5 требуются значительные вычислительные ресурсы; приведённые в README конфигурации для тонкой настройки включают 16 ускорителей H100 для LoRA.