II.10Разработка и эксплуатация AI/ML-систем
В разделе собраны самостоятельные задачи, где AI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
49 000 моделейSkywork-Reward-V2-Qwen3-8B — модель оценки предпочтений (reward model), разработанная командой Skywork на базе Qwen3-8B. Она присваивает оценку диалогам и ответам, помогая сравнивать варианты и отбирать более предпочтительные при обучении и настройке языковых моделей. Модель относится к семейству Qwen3, использует плотную архитектуру классификации последовательностей и содержит 7,6 млрд параметров. Модель обучена в рамках серии Skywork-Reward-V2 на смеси из 26 млн тщательно отобранных пар предпочтений с использованием схемы Bradley–Terry. Серия оценивалась на бенчмарках RewardBench, PPE Preference, PPE Correctness, RMB, RM-Bench и JudgeBench. Для этой версии заявлены контекст до 40 960 токенов и поддержка нескольких языков через базовую Qwen3-8B. Веса представлены в формате safetensors; для инференса README рекомендует Transformers и SGLang. Лицензия — Apache-2.0. Это модель оценки, а не обычный генератор ответов: её оценки отражают обученные предпочтения и могут быть ошибочными или смещёнными; перед применением в автоматическом отборе ответов результаты стоит проверять на целевых данных.
Карточка модели unsloth/snowflake-arctic-embed-l-v2.0 на Hugging Face совпадает с карточкой Snowflake/snowflake-arctic-embed-l-v2.0, поэтому описание составлено по ней. Snowflake Arctic Embed L v2.0 — мультиязычная модель эмбеддингов от Snowflake для семантического поиска и извлечения релевантных текстов. Она основана на архитектуре XLM-RoBERTa и использует представление текста в виде векторов; в метаданных указано 658,7 млн параметров, а контекст составляет до 8194 токенов. Модель принимает текст и выдаёт эмбеддинги, предназначенные для сравнения запросов и документов по смысловой близости. Модель рассчитана на поиск на английском и многих других языках, включая арабский, бенгальский, немецкий, испанский, французский, хинди, японский и корейский. README сообщает о поддержке векторов размерностью 1024 и Matryoshka Representation Learning для сокращения до 256 измерений; вместе с 4-битным квантованием это позволяет хранить вектор примерно в 128 байтах. Указаны результаты оценки на наборах BEIR, MIRACL и CLEF, а также возможность использовать модель как замену BAAI/bge-m3-retromae в системах вывода. Лицензия Apache 2.0 допускает свободное использование в том числе в коммерческих приложениях. Модель предназначена для многоязычного семантического поиска, извлечения документов и построения систем поиска с векторным индексом. Сокращение и квантование эмбеддингов снижают требования к хранению, но могут уменьшить качество поиска; README отмечает небольшое снижение показателей при сокращении размерности до 256. Русский язык не указан среди языков карточки и метаданных, поэтому его поддержку нельзя подтвердить.
Snowflake Arctic Embed M — плотная текстовая embedding-модель Snowflake для поиска по смыслу и извлечения релевантных документов. В карточке она описана как средняя модель семейства Arctic Embed, основанная на intfloat/e5-base-unsupervised и обученная в несколько этапов на парах запрос–документ и триплетах с трудными негативными примерами. Метаданные указывают архитектуру BERT, 136,7 млн параметров и контекст до 512 токенов. Модель предназначена для построения векторного поиска и retrieval-компонента в системах RAG. Для версии M README приводит размерность эмбеддингов 768 и оценку MTEB Retrieval 54,90 NDCG@10. Она принимает текст и выдаёт векторные представления, которые можно сравнивать для ранжирования по релевантности. Карточка позиционирует исходную модель как англоязычную; более новые версии семейства отдельно заявлены для многоязычных сценариев. Модель распространяется по лицензии Apache-2.0. Ограничение контекста — 512 токенов; заявленные характеристики retrieval относятся к оценке из карточки и могут различаться на конкретных данных и настройках поиска.
Vela Halu — разработанная llm-semantic-router модель для проверки ответов на соответствие предоставленным свидетельствам: она выделяет в ответе фрагменты, не подтверждённые контекстом. Это дообученный энкодер ModernBERT с 306,9 млн параметров, предназначенный для разметки токенов; метки означают «подтверждено» и «галлюцинация», а позиции фрагментов задаются смещениями символов Unicode. Модель принимает ответ вместе с доказательствами, поддерживает до 8 192 токенов по README; метаданные указывают нативный контекст до 32 768 токенов. Использование предусмотрено через Transformers, веса доступны в формате safetensors. Модель подходит для проверки ответов RAG-систем и анализа галлюцинаций в текстах и коде. В опубликованной оценке на 10 698 примерах она показывает F1 по фрагментам 64,7 и F1 по ответам 87,5; результаты зависят от набора данных и протокола оценки. Проверка касается поддержки ответа заданными свидетельствами, а не истинности утверждений в реальном мире: отсутствие отмеченных фрагментов не гарантирует правильность ответа. Арифметические задачи и многошаговые выводы, которые не изложены явно в контексте, могут ошибочно отмечаться как галлюцинации. Лицензия — Apache-2.0.
VirbiusGuard — двуязычная модель-охранник для проверки безопасности входящего текста, разработанная автором репозитория i1see1you на основе дообучения Qwen/Qwen3Guard-Gen-0.6B. Она выявляет безопасные и небезопасные запросы, включая jailbreak, извлечение системных инструкций, злоупотребление инструментами агента и вредоносные инструкции. Модель возвращает результат в виде JSON с признаком срабатывания и идентификатором одной из категорий риска. Модель построена на архитектуре Qwen3ForCausalLM, содержит около 507,9 млн параметров и поддерживает контекст до 32 768 токенов. README описывает LoRA-дообучение и усиленную обработку сценариев prompt injection и agent safety. Доступны веса Safetensors и GGUF, включая варианты F16 и Q4_K_M; автор указывает, что квантованный вариант подходит для запуска на CPU, Mac и через Ollama. Модель предназначена для фильтрации пользовательских запросов и результатов работы инструментов агента. По приведённым автором оценкам V2.0 снижает ложные срабатывания и блокирует атаки в описанной конфигурации AgentDojo; эти результаты относятся к указанным тестовым условиям. README также предупреждает, что политические и религиозные темы могут классифицироваться строго, а при слишком малом лимите генерации JSON может обрезаться. Лицензия — Apache-2.0.
Wolf Defender Prompt-Injection Detector — модель Patronus AI для обнаружения prompt injection и jailbreak-инструкций в недоверенном тексте до его передачи большой языковой модели. Это дообученный на базе jhu-clsp/mmBERT-base многоязычный энкодер ModernBERT с 306,9 млн параметров и классификационной головой для бинарной классификации последовательностей: BENIGN или INJECTION. Метаданные указывают контекст до 8192 токенов; README описывает обработку окнами по 2048 токенов. Модель предназначена для локальной фильтрации содержимого в AI-агентах, чат-ботах и RAG-конвейерах, а также в документах, письмах, веб-страницах и автоматизированных рабочих процессах с кодом. Она выдаёт метку класса, позволяя направить подозрительный ввод на блокировку, карантин или проверку человеком. В README приведены результаты оценки на наборах с атаками и сложными доброкачественными примерами; модель улучшает устойчивость к ложным срабатываниям на таких примерах по сравнению с предыдущей версией. Модель обрабатывает только текст и не учитывает личность вызывающего, разрешения инструментов, происхождение данных или границы доверия приложения, если эти сведения не включены во вход. Возможны как пропуски новых или замаскированных атак, так и ложные срабатывания на доброкачественный текст о безопасности. Английский и немецкий — основные языки оценки; качество на других языках проверено слабее. README рекомендует использовать модель как один слой эшелонированной защиты и настраивать порог на данных целевого применения. Лицензия — Apache-2.0.
Карточка модели avsolatorio/00-600-11-1-2-2-0-0-cls-normed-768-512_GIST_BAAI_bge-base-en-v1.5-20240221181530-best на Hugging Face совпадает с карточкой BAAI/bge-base-en-v1.5, поэтому описание составлено по ней. BAAI/bge-base-en-v1.5 — англоязычная плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует текст в векторы для поиска по смыслу и сравнения сходства предложений, в том числе в системах retrieval-augmented generation (RAG). Модель относится к архитектуре BERT и содержит 136,7 млн параметров; максимальный контекст — 512 токенов. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Оценки сходства не следует интерпретировать по универсальному порогу: из-за способа обучения даже несходные предложения могут получать значения выше 0,5. Модель поддерживает английский язык; доступны веса PyTorch и Safetensors, а также формат ONNX. Лицензия — MIT.
Карточка модели avsolatorio/00-600-11-1-2-2-0-0-cls-normed-768-512_GIST_BAAI_bge-base-en-v1.5-20240221194439-best на Hugging Face совпадает с карточкой BAAI/bge-base-en-v1.5, поэтому описание составлено по ней. BAAI/bge-base-en-v1.5 — англоязычная плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует текст в векторы для поиска по смыслу и сравнения сходства предложений, в том числе в системах retrieval-augmented generation (RAG). Модель относится к архитектуре BERT и содержит 136,7 млн параметров; максимальный контекст — 512 токенов. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Оценки сходства не следует интерпретировать по универсальному порогу: из-за способа обучения даже несходные предложения могут получать значения выше 0,5. Модель поддерживает английский язык; доступны веса PyTorch и Safetensors, а также формат ONNX. Лицензия — MIT.
Карточка модели avsolatorio/01-100-31-1-2-2-0-0-cls-normed-384-512_GIST_BAAI_bge-small-en-v1.5-20240207015601-best на Hugging Face совпадает с карточкой avsolatorio/01-100-31-1-2-2-0-0-cls-normed-384-512_GIST_BAAI_bge-small-en-v1.5-20240207031328-best, поэтому описание составлено по ней. Это англоязычная модель для получения плотных векторных представлений текста на основе BAAI/bge-small-en-v1.5. Репозиторий размещён в пространстве имён avsolatorio; по идентификатору модели и карточке это производная версия BGE, однако карточка не описывает конкретные изменения или способ обучения этой версии. Модель предназначена для поиска семантически близких текстов и формирования эмбеддингов для систем поиска и retrieval-augmented generation (RAG). Архитектура — BERT, около 40 млн параметров; максимальная длина контекста — 512 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Модель ориентирована на английский язык. Эмбеддинги подходят для поиска кандидатов, но README рекомендует при необходимости повышать точность выдачи с помощью отдельного reranker. Карточка также отмечает, что оценка сходства сама по себе не является калиброванной вероятностью семантической близости.
Это англоязычная модель для получения плотных векторных представлений текста на основе BAAI/bge-small-en-v1.5. Репозиторий размещён в пространстве имён avsolatorio; по идентификатору модели и карточке это производная версия BGE, однако карточка не описывает конкретные изменения или способ обучения этой версии. Модель предназначена для поиска семантически близких текстов и формирования эмбеддингов для систем поиска и retrieval-augmented generation (RAG). Архитектура — BERT, около 40 млн параметров; максимальная длина контекста — 512 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Модель ориентирована на английский язык. Эмбеддинги подходят для поиска кандидатов, но README рекомендует при необходимости повышать точность выдачи с помощью отдельного reranker. Карточка также отмечает, что оценка сходства сама по себе не является калиброванной вероятностью семантической близости.
Agent Guard ModernBERT-base V3.2 — англоязычный классификатор от dannyliv для обнаружения prompt injection, jailbreak и связанных атак на LLM-агентов. Модель дообучена на answerdotai/ModernBERT-base; это плотная encoder-only архитектура ModernBERT с 149 млн параметров и контекстом до 8192 токенов. Она присваивает недоверенному тексту оценки по классам атак и предназначена для проверки пользовательских запросов, веб-страниц, писем, результатов инструментов и фрагментов RAG до передачи этих данных языковой модели. Модель рассчитана на защитный фильтр в приложениях с LLM и агентами; заявлена совместимость с Transformers и ONNX. В README для версии V3.2 указаны F1 0,834 на JBB-Behaviors и частота ложных срабатываний 3,2% при пороге 0,5; свежие адаптивные white-box GCG-атаки всё ещё могут обходить сам классификатор. Лицензия — Apache-2.0.
AI Bastion — англоязычная модель классификации текста, разработанная Neeraj Kumar на основе microsoft/deberta-v3-base. Это DeBERTa-v3 с классификационной головой, дообученная определять, является ли запрос безвредным или содержит prompt injection либо попытку jailbreak. Модель принимает текст и выдаёт бинарную метку: 0 для безвредного запроса и 1 для вредоносного. Модель предназначена для фильтрации входов в LLM-чатботах, RAG-конвейерах и агентных системах, а также для исследований по обнаружению атакующих запросов. По карточке, обучение проводилось на 22 908 сбалансированных примерах; на тестовой выборке указаны точность 0,9895, precision 0,9836 и recall 0,9956. Размер по метаданным — 211,6 млн параметров, контекст — до 512 токенов. Лицензия — Apache 2.0. Классификация бинарная: модель не определяет тип атаки. Результаты могут ухудшаться на новых сценариях или доменах, не представленных в обучающих данных; модель рассчитана на английский язык.
Katanemo Arch-Guard — классификатор текстовых запросов для обнаружения jailbreak-попыток, разработанный Katanemo и предназначенный для защиты приложений на основе LLM. Модель дообучена на базе meta-llama/Prompt-Guard-86M на открытых наборах данных с примерами jailbreak и обычных диалогов. В каталоге указаны архитектура DeBERTa-v2, 306 млн параметров, контекст до 512 токенов и формат Safetensors. Модель принимает текст и относит его к классу jailbreak или обычного запроса. Она предназначена для проверки пользовательских промптов в реальном времени, в том числе в составе прокси-сервера Arch для агентных систем. В README заявлены низкая задержка и низкий уровень ложных срабатываний; в приведённой оценке Arch-Guard показывает TPR 0,8887, TNR 0,9970 и FPR 0,0030. Модель ориентирована на английский язык. Лицензия — MIT.
ArmoRM-Llama3-8B-v0.1 — модель оценки вознаграждения, разработанная Haoxiang Wang, Wei Xiong, Tengyang Xie, Han Zhao и Tong Zhang. Она дообучена на FsfairX-LLaMA3-RM-v0.1 и использует архитектуру Llama 3 с плотной сетью и агрегацией нескольких целей оценки через смесь экспертов (MoE). Модель принимает текст и выдаёт оценку для классификации или ранжирования ответов ассистента. Модель предназначена для сравнения ответов в диалогах, оценки качества и безопасности, а также отбора предпочтительных ответов при обучении и настройке языковых моделей. В таблице RewardBench для неё указан общий результат 89,0; среди приведённых показателей — 96,9 для Chat, 92,2 для Safety и 97,3 для Reasoning. Размер модели — около 7,5 млрд параметров, контекст — 8192 токена; формат весов — safetensors. Это специализированная модель вознаграждения, а не универсальный генератор ответов: оценки зависят от обучающих предпочтений и выбранной постановки задачи, поэтому их следует проверять на целевом наборе данных. В карточке указана лицензия Llama 3 (llama3); перед применением необходимо соблюдать её условия.
AX Qwen3 Embedding 0.6B MLX 8-bit — текстовая модель эмбеддингов от AutomatosX для Apple Silicon, основанная на Qwen/Qwen3-Embedding-0.6B. Это 8-битная версия с форматом MLX Safetensors, 28 слоями трансформера и векторами размерности 1 024; настроенная длина контекста — 32 768 токенов. Тензоры и токенизатор совпадают с mlx-community/Qwen3-Embedding-0.6B-8bit, а выпуск AutomatosX добавляет манифест и сведения о происхождении модели. Модель преобразует текст в нормализованные векторы для семантического поиска, сравнения предложений и задач извлечения признаков. Пригодна для создания эмбеддингов документов и поисковых запросов; для запросов на извлечение информации при необходимости можно добавлять инструкцию на английском языке, а документы обычно подавать без префикса. В карточке описана проверка подачи запросов к API эмбеддингов на macOS arm64 с AX Engine. Модель рассчитана на запуск на компьютерах Apple с Apple Silicon и распространяется по лицензии Apache-2.0. Это эмбеддинговый выпуск, а не универсальная модель генерации текста; качество поиска зависит от выбранной инструкции и прикладного процесса.
BERT Dense Retriever — англоязычная модель плотного семантического поиска, разработанная Mihir Vyas и дообученная на MS MARCO Passage Ranking на базе google-bert/bert-base-uncased. Она кодирует запросы и passages в векторы фиксированного размера с помощью mean pooling и L2-нормализации; для поиска используется косинусное сходство. Векторы можно индексировать, например, в FAISS. Модель предназначена для поиска релевантных фрагментов по естественно-языковым запросам, извлечения контекста для RAG и построения систем информационного поиска. В README приведены результаты на MS MARCO и отдельных наборах BEIR, но они относятся к описанным там оценочным настройкам, включая гибридный поиск и переранжирование, и не гарантируют те же показатели при самостоятельном использовании энкодера. Лицензия — MIT.
BERTJudge — разработанная Artefactory encoder-based модель для оценки ответов LLM по эталонному ответу. Она принимает последовательность с вопросом, ответом-кандидатом и эталоном и выдаёт sigmoid-оценку корректности. В отличие от буквального сопоставления, модель оценивает семантическую правильность, учитывая различия в формулировках и форматировании. Модель построена на EuroBERT-210m и дообучена как классификатор последовательностей; в репозитории указаны 211,7 млн параметров, контекст до 8192 токенов и формат safetensors. Основной сценарий — автоматическая проверка ответов, сгенерированных языковыми моделями, когда доступен эталон. README рекомендует вариант Free-QCR, принимающий вопрос, ответ-кандидат и эталон, и пакет BERT-as-a-Judge для инференса. Модель рассчитана на английский язык. Она экономнее по вычислениям, чем оценивание с помощью LLM-as-a-Judge, однако предназначена для reference-based оценки и не заменяет проверку без эталона. Лицензия в предоставленных данных не указана.
BAAI/bge-base-zh-v1.5 — плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная Beijing Academy of Artificial Intelligence. Она преобразует текст в низкоразмерные векторы для семантического поиска, извлечения документов, классификации и кластеризации, а также для поиска контекста в векторных базах данных при построении систем с генерацией с дополненной выборкой (RAG). Модель основана на BERT, содержит около 129,5 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Для поиска коротким запросом длинных документов инструкция к запросу может повысить качество, но её влияние зависит от задачи. Модель рассчитана на китайский язык; README описывает семейство BGE и на английском, однако это само по себе не подтверждает поддержку английского этой конкретной модели. Модель выдаёт векторные представления, а не готовые ответы или оценки релевантности документов. Значения сходства между парами текстов не следует интерпретировать по универсальному порогу: для фильтрации нужно подбирать порог на собственных данных. Лицензия — MIT.
Карточка модели shashengdong/bge-base-zh-v1.5 на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.
hooman650/bge-m3-onnx-o4 — версия весов модели BAAI/bge-m3 в формате ONNX. Это многоязычная модель на архитектуре XLM-RoBERTa с 658,7 млн параметров и контекстом до 8194 токенов. Она предназначена для извлечения признаков текста и задач поиска: поддерживает плотные эмбеддинги, разреженное представление и многовекторный поиск; заявлена поддержка более 100 языков и документов длиной до 8192 токенов. Модель подходит для построения семантического и гибридного поиска, поиска по длинным документам и многоязычных систем извлечения информации. Репозиторий указывает, что веса нельзя загрузить напрямую через обычный онлайн-интерфейс, и описывает скачивание снимка репозитория. Поддержка многовекторного режима обозначена как планируемая. Лицензия — MIT.
BAAI/bge-small-en — компактная англоязычная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная командой FlagEmbedding. Она преобразует текст в векторные представления для семантического поиска, извлечения релевантных документов и сравнения текстов по смыслу. В retrieval-сценариях можно добавлять инструкцию к короткому запросу; для документов и фрагментов текста инструкция не требуется. Модель основана на архитектуре BERT, содержит около 40 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт эмбеддинги. Подходит для компактных систем поиска и retrieval-augmented generation, а также может использоваться с FlagEmbedding, Sentence-Transformers и LangChain. В README отмечено, что более новая версия bge-small-en-v1.5 имеет более разумное распределение оценок сходства и рекомендуется вместо этой версии. Модель распространяется по лицензии MIT. Оценки сходства для исходной версии часто лежат в диапазоне примерно 0,6–1 даже для несходных предложений, поэтому абсолютный порог нельзя переносить между задачами: его следует подбирать на своих данных, ориентируясь также на относительный порядок результатов.
vectoriseai/bge-small-en-v1.5 — англоязычная модель эмбеддингов семейства BGE, опубликованная под именем vectoriseai; карточка описывает её через материалы проекта FlagEmbedding. Модель преобразует текст в плотные векторы для поиска, сравнения предложений, классификации и кластеризации, а также для поиска контекста в векторных базах данных и системах RAG. Модель основана на архитектуре BERT, содержит около 40 млн параметров и поддерживает контекст до 512 токенов. Для поиска по длинным документам README рекомендует при необходимости добавлять поисковую инструкцию к короткому запросу, но не к документам. Доступны веса PyTorch и ONNX; лицензия — MIT. Версия BGE v1.5 улучшает распределение оценок сходства и поиск без инструкции. Оценки сходства следует интерпретировать относительно: порог для отбора похожих текстов нужно подбирать на своих данных. Модель ориентирована на английский язык; качество для других языков не заявлено.
Bastion Prompt Protection Tiny — компактный классификатор Bastion Soft для обнаружения prompt injection и jailbreak-атак в приложениях на базе LLM. Модель дообучена на microsoft/deberta-v3-xsmall и выполняет бинарную классификацию текста на категории «атака» и «безопасный ввод». В репозитории указано 70 млн параметров; метаданные указывают 77,5 млн. Доступны веса Safetensors и ONNX, включая INT8-вариант для локального CPU-инференса; контекст ограничен 512 токенами. Модель предназначена для предварительной проверки пользовательских запросов и текстовых данных от инструментов, фильтрации входов агентов и настройки защитных барьеров. Обучающие данные и оценки охватывают английские запросы, в том числе инъекции в JSON, XML, журналах и результатах инструментов. По данным карточки, на нескольких отложенных наборах модель показала средний AUC 0,991 и частоту ложных срабатываний 1,24% на реальном чат-трафике; это результаты авторской оценки, а не гарантия качества в конкретной системе. Лицензия — AGPL-3.0-or-later. Модель анализирует каждый запрос отдельно: она не учитывает историю диалога и состояние агента. Она обучена и оценивалась только на английском языке, поэтому карточка не подтверждает надёжность для других языков. Для свободного текста из недоверенных источников авторы также рекомендуют проверку схемы и дополнительные меры защиты.
Builder117/distilbert-indirect-injection — дообученный классификатор на базе DistilBERT для поиска косвенных prompt injection-атак в содержимом, которое получает LLM. Модель разработана Builder117 и предназначена для предварительной проверки извлечённых документов в RAG-системах, страниц для веб-агентов и материалов для систем вопросов и ответов по документам. Архитектура — DistilBertForSequenceClassification; модель присваивает тексту одну из двух меток: CLEAN для обычного содержимого или INDIRECT для обнаруженной атаки. Она распознаёт скрытые инструкции в комментариях HTML/CSS, текстах документов, полях JSON и метаданных, а также команды, замаскированные пробелами. Базовая модель — distilbert-base-uncased; контекст ограничен 512 токенами. Модель принимает и классифицирует текст на английском языке. Лицензия — Apache-2.0. Классификатор помогает фильтровать содержимое перед передачей языковой модели, но может пропустить инструкции в конце документа, обрезанного до 512 токенов, и новые способы маскировки, отсутствовавшие в обучающих данных. Для лучшего покрытия README рекомендует проверять каждый извлечённый фрагмент отдельно.
F2LLM-v2-0.6B-Preview — многоязычная модель эмбеддингов от CodeFuse AI, дообученная на базе Qwen3-0.6B. Она обучена на корпусе из 27 миллионов примеров на более чем 100 естественных и программных языках и предназначена как основа для задач эмбеддингов, последующей настройки и исследований. Это плотная модель семейства Qwen3 с 507,9 млн параметров и контекстом до 40 960 токенов; доступны веса в формате safetensors и работа через Transformers и Sentence Transformers. Модель подходит для кодирования текста в векторы для поиска, сопоставления текстов и других downstream-задач с эмбеддингами. Эта preview-версия обучена без инструкций, поэтому её следует рассматривать как базовую модель для дальнейшей настройки, а не как готовую инструкционную систему. Лицензия — Apache-2.0.
Granite Guardian 3.0 2B — дообученная IBM Research модель семейства Granite для выявления рисков в пользовательских запросах и ответах языковых моделей. Она оценивает вредный контент, социальную предвзятость, попытки обхода ограничений, насилие, ненормативную лексику, сексуальный контент и неэтичное поведение, а также подходит для проверок в RAG-сценариях: релевантности найденного контекста, обоснованности ответа и его соответствия запросу. Модель построена на плотной архитектуре GraniteForCausalLM, содержит 2,5 млрд параметров и имеет контекст до 8192 токенов. Она принимает текст и в предписанном шаблоне выдаёт ответ «да» или «нет» для оценки заданного риска. Обучение использует человеческую разметку и синтетические данные; заявлено превосходство над другими открытыми моделями того же назначения на стандартных бенчмарках. Модель предназначена для оценки рисков, мониторинга и выборочной проверки входов и выходов при умеренных требованиях к стоимости, задержке и пропускной способности. Обучение и тестирование проводились только на английских данных. Следует использовать предписанный режим оценки: отклонение от шаблона может привести к неожиданным результатам, а пользовательские определения рисков требуют тестирования. Лицензия — Apache 2.0.
Granite Guardian 3.1 2B — модель IBM Research, дообученная на базе Granite 3.1 2B Instruct для выявления рисков в запросах пользователей и ответах моделей. Она предназначена для работы в режиме проверки по заданному шаблону: модель выдает оценку «да/нет» и может использоваться как защитный слой в корпоративных приложениях. Модель выявляет вредоносный контент, предвзятость, попытки обхода ограничений, насилие, ненормативную лексику, сексуальный контент и неэтичное поведение. В сценариях RAG она оценивает релевантность найденного контекста и ответа, а также обоснованность ответа контекстом. В агентных системах помогает обнаруживать ошибки и галлюцинации в вызовах инструментов. Архитектура — плотная GraniteForCausalLM, размер — 2,5 млрд параметров, контекст — до 131 072 токенов; модель принимает и генерирует текст. Она обучена и проверена только на английских данных. Модель рассчитана на оценку рисков, мониторинг и выборочные проверки при умеренных требованиях к стоимости и задержке. Отклонение от предписанного режима оценки может приводить к неожиданным или небезопасным ответам; возможна уязвимость к состязательным атакам. Для пользовательских определений рисков требуется тестирование. Лицензия — Apache 2.0.
Granite Guardian 3.1 8B — модель IBM Research, дообученная на базе Granite 3.1 8B Instruct для выявления рисков в запросах пользователей и ответах моделей. Она выдаёт оценку «да/нет» по заданному шаблону и предназначена для работы в режиме классификации рисков. Модель помогает обнаруживать вредоносный контент, предвзятость, попытки обхода защит, насилие, ненормативную лексику, сексуальный контент и неэтичное поведение. В RAG-системах она проверяет релевантность найденного контекста, опору ответа на этот контекст и соответствие ответа запросу. В агентных сценариях выявляет синтаксические и смысловые ошибки в вызовах функций и связанные с ними галлюцинации. Архитектура — плотная GraniteForCausalLM с 8,2 млрд параметров; модель принимает текст, поддерживает контекст до 131 072 токенов и рассчитана на английский язык. IBM сообщает о результатах выше других открытых моделей той же области на стандартных бенчмарках. Модель предназначена для оценки рисков, мониторинга и выборочной проверки данных при умеренных требованиях к стоимости, задержке и пропускной способности. Использование вне предписанного шаблона оценки может приводить к неожиданным или небезопасным ответам; модель может быть уязвима к состязательным атакам, а пользовательские определения рисков требуют тестирования. Лицензия — Apache 2.0.
Granite Guardian 3.2 3B-A800M — модель IBM Research, дообученная на базе Granite 3.2 3B-A800M Instruct для выявления рисков в запросах пользователей, ответах моделей и диалогах. Она предназначена для использования в качестве защитного фильтра, а также для проверки релевантности контекста, обоснованности ответов и корректности вызовов функций в RAG- и агентных системах. Модель построена на архитектуре Granite MoE с причинным языковым моделированием и содержит 352,3 млн параметров; контекст — до 131 072 токенов. Для оценки заданного риска она выдаёт ответ «да» или «нет» по предусмотренному шаблону. Поддерживаемые проверки включают вредоносное содержание, предвзятость, jailbreak, насилие, ненормативную лексику, сексуальный контент, неэтичное поведение, уклончивость, релевантность и обоснованность ответов, а также галлюцинации при вызове функций. Модель обучалась и тестировалась только на английских данных. IBM указывает, что модель следует использовать в предусмотренном режиме оценки: отклонение от шаблона может приводить к неожиданным или небезопасным результатам, а модель уязвима к состязательным атакам. Для пользовательских определений риска необходимы отдельные испытания. Лицензия — Apache 2.0.
Granite Guardian 3.2 8B Factuality Detection — модель IBM Research на базе ibm-granite/granite-3.2-8b-instruct, дообученная выявлять фактические ошибки в ответах языковых моделей. Она принимает ответ модели и исходный контекст, а затем выдаёт метку «Yes» или «No»: содержит ли ответ утверждения, не подтверждённые контекстом или противоречащие ему. Модель предназначена для контроля ответов LLM, в том числе в корпоративных системах и сценариях RAG, а также для мониторинга и выборочной проверки результатов. Это плотная авторегрессионная модель архитектуры Granite с 8,2 млрд параметров и контекстом до 131 072 токенов. Карточка указывает, что обучение и тестирование проводились только на английских данных. Модель оптимизирована для обнаружения риска фактической недостоверности и работает в заданном формате оценки; она не предназначена для универсальной проверки других рисков. Лицензия — Apache 2.0.