II.10Разработка и эксплуатация AI/ML-систем

Qwen3Guard-Stream-0.6B — модель модерации безопасности от команды Qwen, дообученная на базе Qwen/Qwen3-0.6B. Она предназначена для проверки текста в реальном времени по мере его генерации: токен-классификационная голова оценивает поток и относит содержание к безопасному, спорному или небезопасному. Модель поддерживает 119 языков и диалектов и охватывает категории риска, включая насилие, незаконные действия, сексуальный контент, раскрытие персональных данных, самоповреждение, травлю, политически чувствительные темы, нарушение авторских прав и попытки обхода инструкций. Модель имеет плотную архитектуру Qwen3ForGuardModel, содержит около 507,9 млн параметров и рассчитана на контекст до 8192 токенов. Для работы с Transformers в README рекомендуется версия 4.55.0 или новее; веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Она предназначена для потоковой классификации безопасности, а не для генерации ответов; конкретные показатели качества и известные слабые места в предоставленной карточке не описаны.

Qwen3Guard-Stream-4B — модель модерации безопасности из серии Qwen3Guard, разработанной на базе Qwen3 и обученной на 1,19 млн размеченных запросов и ответов. Версия Stream предназначена для проверки текста по мере его потоковой генерации: для этого в модели используется классификационная голова на уровне токенов. Модель насчитывает около 3,7 млрд параметров, использует плотную архитектуру Qwen3, принимает текст и выдаёт признаки для задачи классификации; контекст — до 8192 токенов. Модель относит содержание к трём уровням риска — безопасному, спорному и небезопасному — и охватывает насилие, незаконные действия, сексуальный контент, раскрытие персональных данных, самоповреждение, неэтичное содержание, политически чувствительные темы, нарушения авторских прав и попытки обхода инструкций во входных данных. В README заявлена поддержка 119 языков и диалектов, что делает модель пригодной для потоковой модерации многоязычных диалогов и генераций. Для работы рекомендуется Transformers версии 4.55.0 или выше; поддержка vLLM в README обозначена как находящаяся в разработке. Лицензия — Apache-2.0.

RAGHal-large-en-v1 — англоязычный детектор неподдержанных фрагментов в ответах для RAG, суммаризации и преобразования данных в текст. Его разработчик дообучил энкодер ModernBERT-large с 394,7 млн параметров и головой классификации токенов на два класса: clean и hallucinated. Модель принимает prompt с контекстом и инструкцией вместе с ответом и выделяет неподдержанные или противоречащие источнику фрагменты; итоговый флаг отмечает ответ, если найден хотя бы один такой фрагмент. Максимальная длина входа — 8192 токена. Модель проверяет соответствие ответа предоставленному источнику, а не истинность утверждений в целом. Её можно применять для постфактум-аудита ответов RAG, суммаризаций и data-to-text, а также для подсветки фрагментов на ручную проверку. Лицензия — Apache-2.0. Модель предназначена только для английского языка. Результаты чувствительны к шаблону prompt; обучающая разметка автоматическая и может содержать шум, а для суммаризации отмечен низкий span recall. Для входов длиннее 8192 токенов потребуется усечение или разбиение контекста на фрагменты. README не рекомендует использовать модель для блокировки ответов без проверки человеком из-за возможных ложных срабатываний.

Maksim-KOS/sft-qwen3-14b-flags — дообученная на Qwen3-14B модель-судья для оценки ответов виртуального ассистента по методологии LAP++ V7. Она принимает вопрос клиента, контекстные пассажи и ответ ассистента, затем выдаёт структурированные флаги и две итоговые метки: достижение цели диалога (gcr: present, partial или absent) и соответствие продуктовому видению (product_vision: present или absent).

ShieldGemma 2B — модель модерации текстового контента от Google, дообученная на базе Gemma 2. Это декодерная текстовая языковая модель с 2 млрд параметров; она принимает текст с заданными правилами безопасности и классифицирует его как соответствующий им или нарушающий их, отвечая «Yes» или «No». Модель предназначена для проверки запросов пользователей и ответов генеративных моделей по категориям сексуально откровенного контента, опасного контента, разжигания ненависти и преследования. Модель рассчитана на английский язык. Для корректной работы важно придерживаться предусмотренного формата промпта и точно формулировать проверяемые правила; ShieldGemma чувствительна к их формулировке. Её можно использовать как компонент фильтрации входных запросов и выходных ответов, но результатам автоматической модерации следует уделять внимание при неоднозначном или нюансированном содержании. Google сообщает, что модель дообучена на синтетических внутренних и общедоступных данных. Базовые ограничения Gemma 2 применимы и к ShieldGemma; оценочные наборы для модерации ограничены и могут не отражать реальные сценарии. Лицензия — Gemma; также применяются политики Google о запрещённом использовании.

tanaos-guardrail-v2 — модель классификации текста, разработанная Tanaos с использованием библиотеки Artifex. Она дообучена на distilbert/distilbert-base-multilingual-cased и предназначена для первичной проверки запросов пользователей и ответов чатботов на небезопасный или запрещённый контент. Модель отмечает насилие, разжигание ненависти и дискриминацию, мошенничество, наркотики и оружие, самоповреждение, нарушения приватности, сексуальный контент, эксплуатацию детей, терроризм, организованную преступность, взломы, жестокое обращение с животными и попытки обхода защитных инструкций. Архитектура — DistilBERT для классификации последовательностей; контекст составляет 512 токенов. В карточке описан английский как основной язык. Указаны улучшения относительно tanaos-guardrail-v1, но количественные показатели качества не приведены. Модель распространяется по лицензии MIT. Она задумана как первый слой фильтрации, а не как средство для юридической или медицинской классификации либо проверки фактической корректности.

Это англоязычный ретривер на базе BERT, дообученный Utah NLP с помощью Tevatron-Elastic для поиска релевантных документов по запросу. Модель формирует векторные представления запросов и текстовых фрагментов; в запросах и документах используются префиксы `query:` и `passage:`. Чекпойнт поддерживает эластичную ширину эмбеддинга по принципу Matryoshka Representation Learning (MRL): из одной модели можно получать представления разных размерностей, выбирая рабочую точку через Tevatron-Elastic. Модель содержит 136,7 млн параметров, принимает текст длиной до 512 токенов и распространяется в формате safetensors. В тесте BEIR-15 для полной размерности указано значение nDCG@10 0,445. Это ресурс для воспроизводимости экспериментов и построения систем поиска; авторы не заявляют о превосходстве над современными моделями. Лицензия — Apache-2.0.

TinyLettuce (Ettin-17M) — компактная модель организации KRLabsOrg для выявления галлюцинаций в ответах с опорой на заданный контекст. Это энкодер Ettin на 17 млн параметров с головой классификации токенов; модель помечает токены как подтверждённые контекстом или галлюцинированные, а объединение токенов в фрагменты выполняется отдельно. Она принимает последовательность контекста, вопроса и ответа длиной до 4096 токенов и рассчитана на англоязычные данные. Модель дообучена на RAGTruth и синтетических span-размеченных примерах; заявленный объём обучения — около 20 тысяч примеров. Разработчики ориентируют её на быстрый запуск на CPU и недорогое доменное дообучение. На RAGTruth указана F1 68,52%, ниже показателей приведённых в README моделей LettuceDetect на базе ModernBERT. Репозиторий использует формат Safetensors, библиотеку Transformers и лицензию MIT.

Toxic Prompt RoBERTa 1.0 — модель классификации текста от Intel AI Safety для выявления токсичных пользовательских запросов и ответов в разговорных системах ИИ. Она основана на RoBERTa-base и дообучена на наборах ToxicChat и Jigsaw Unintended Bias с классификационной головой; в метаданных указаны 151,8 млн параметров и контекст до 514 токенов. Модель принимает текст и выдаёт логиты для двух классов: «не токсично» и «токсично». Модель предназначена для автоматической модерации чатов, мониторинга пользовательских сообщений и фильтрации токсичного ввода или ответа перед передачей его генеративной системе. В карточке приведены результаты на тестовом наборе ToxicChat: F1 0,7869, точность 0,8315 и полнота 0,7469. Это англоязычная модель; результаты и анализ смещения в карточке не гарантируют одинакового качества на других данных и для всех групп пользователей. Лицензия — MIT.

EdgeFirst/yolov8-det — набор моделей обнаружения объектов на базе официальных весов Ultralytics YOLOv8, представленный в Model Zoo компании EdgeFirst. Модели обучены Ultralytics на COCO 2017 с 80 классами; EdgeFirst сообщает, что не переобучала веса, а измеряла точность на пути развертывания и проверяла работу на реальном периферийном оборудовании. Вариант обнаружения использует безъякорную голову DFL; в репозитории доступны экспорты ONNX и TFLite. Модель предназначена для обнаружения и локализации объектов на изображениях, в том числе при запуске на встроенных устройствах и ускорителях NPU. Приведённые результаты охватывают разные платформы и точности, включая FP32, FP16, INT8 и смешанную INT8/INT16; для примеров указано входное разрешение 640×640. Карточка подробно описывает различия между методикой оценки EdgeFirst и опубликованными показателями Ultralytics, а также публикует результаты валидации на устройстве. Ограничения связаны с охватом и смещениями COCO, потерей точности при квантовании и отдельными конфигурациями ускорителей, результаты которых отмечены как требующие улучшения или пока не поддерживаются. Для другого разрешения требуется letterbox-преобразование. Лицензия репозитория — GNU AGPL-3.0.

YuFeng-XGuard-Reason-0.6B — разработанная Alibaba AAIG компактная модель-ограничитель для выявления рисков безопасности в запросах пользователей, ответах моделей и произвольном тексте. Она основана на плотной архитектуре Qwen3ForCausalLM и дообучена на Qwen/Qwen3-0.6B; размер составляет около 507,9 млн параметров, максимальная длина контекста — 40 960 токенов. Модель предназначена для быстрой проверки контента в интерактивных системах с высокой нагрузкой. Она сначала выдаёт структурированное заключение о риске и оценку, а затем может привести объяснение с указанием триггеров и причин классификации. Встроенная таксономия охватывает общие категории безопасности и соответствия требованиям; модель поддерживает диалоговый режим. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Разработчики позиционируют её как вспомогательный инструмент для модерации и управления рисками, а не как окончательный арбитр: возможны ложноположительные и ложноотрицательные результаты, поэтому для конкретного применения необходима оценка качества и мониторинг.

zenlm/zen-guard-gen-8b — языковая модель для генеративной проверки безопасности контента и построения защитных барьеров. Репозиторий содержит перепакованные веса Qwen/Qwen3Guard-Gen-8B; модель не обучалась с нуля. Это плотная архитектура Qwen3 с 7,6 млрд параметров и контекстом до 32 768 токенов, опубликованная в формате safetensors. Модель предназначена для оценки безопасности запросов и ответов в диалоговых системах и отнесения контента к категориям риска. Она поддерживает английский язык и может применяться как компонент модерации в приложениях с генерацией текста. Репозиторий помечен как устаревший в пользу zenlm/zen3-guard; веса сохранены для воспроизводимости. Лицензия — Apache-2.0.

Карточка модели avsolatorio/00-000-10-1-0-1-0-0-u_GIST_BAAI_bge-base-en-v1.5-20240127115244-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/00-000-11-1-0-1-0-0-cls-normed-1024-512_GIST_BAAI_bge-base-en-v1.5-20240128091053-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/00-000-11-1-0-1-0-0-u_GIST_BAAI_bge-base-en-v1.5-20240127164623-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/00-400-10-1-0-1-0-0-cls-normed-768-512_GIST_BAAI_bge-base-en-v1.5-20240130184711-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/00-400-11-1-0-1-0-0-cls-normed-768-512_GIST_BAAI_bge-base-en-v1.5-20240130201404-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

AdaGuard-0.6B — генеративная модель для проверки пользовательских запросов и действий ИИ-агентов на соответствие правилам, заданным разработчиком. Модель разработана Yunhao-Feng на базе Qwen3Guard-Gen-0.6B и дообучена на AdaptiveSafety с последующим этапом SafePO. Архитектура — плотная Qwen3ForCausalLM; в чекпойнте около 507,9 млн параметров, формат хранения — FP32, пример загрузки использует BF16. Модель принимает текст с набором политик и событий, а выдаёт текстовый разбор и идентификаторы нарушенных правил либо метку NR, если нарушений нет. Подходит для проверки запросов, последовательностей действий агента и результатов вызовов инструментов по правилам конкретного приложения. Можно передать от 1 до 100 правил с собственными идентификаторами; результат содержит объяснение и нарушенные ID в порядке политики. Контекст — 32 768 токенов, однако пример ограничивает бюджет входного запроса 16 000 токенами и генерацию 512 токенами. По опубликованным оценкам версия 0.6B уступает вариантам 4B и 8B; предсказание представляет структурированное решение, а не откалиброванную вероятность риска. При некорректном или неполном ответе разбор следует считать недействительным. Лицензия — Apache-2.0.

Карточка модели AI45Research/AgentDoG1.5-Llama-3.1-8B на Hugging Face совпадает с карточкой AI45Research/AgentDoG1.5-Qwen3.5-4B, поэтому описание составлено по ней. AgentDoG 1.5 Qwen3.5 4B — модель для проверки безопасности траекторий действий ИИ-агентов, разработанная AI45Research в рамках семейства AgentDoG. Она принимает полную текстовую траекторию работы агента, включая взаимодействие с инструментами и средой, и классифицирует её как безопасную или небезопасную. Для небезопасных траекторий модель также может определять тип сбоя, возможные последствия риска и его источник. Модель построена на плотной архитектуре Qwen3.5 и содержит 4 млрд параметров. Она предназначена для классификации и мониторинга агентных сценариев, в том числе для работы в качестве онлайн-защитного барьера, способного выявлять риск и вмешиваться в выполнение workflow. Для развёртывания README рекомендует совместимые версии SGLang или vLLM. Модель распространяется под лицензией Apache-2.0. Карточка не приводит конкретных ограничений точности или списка поддерживаемых естественных языков; результаты следует интерпретировать в контексте заданной таксономии безопасности и формата входной траектории.

Карточка модели AI45Research/AgentDoG1.5-Qwen3.5-2B на Hugging Face совпадает с карточкой AI45Research/AgentDoG1.5-Qwen3.5-4B, поэтому описание составлено по ней. AgentDoG 1.5 Qwen3.5 4B — модель для проверки безопасности траекторий действий ИИ-агентов, разработанная AI45Research в рамках семейства AgentDoG. Она принимает полную текстовую траекторию работы агента, включая взаимодействие с инструментами и средой, и классифицирует её как безопасную или небезопасную. Для небезопасных траекторий модель также может определять тип сбоя, возможные последствия риска и его источник. Модель построена на плотной архитектуре Qwen3.5 и содержит 4 млрд параметров. Она предназначена для классификации и мониторинга агентных сценариев, в том числе для работы в качестве онлайн-защитного барьера, способного выявлять риск и вмешиваться в выполнение workflow. Для развёртывания README рекомендует совместимые версии SGLang или vLLM. Модель распространяется под лицензией Apache-2.0. Карточка не приводит конкретных ограничений точности или списка поддерживаемых естественных языков; результаты следует интерпретировать в контексте заданной таксономии безопасности и формата входной траектории.

Карточка модели AI45Research/AgentDoG1.5-Unified-Qwen3.5-4B на Hugging Face совпадает с карточкой AI45Research/AgentDoG1.5-Qwen3.5-4B, поэтому описание составлено по ней. AgentDoG 1.5 Qwen3.5 4B — модель для проверки безопасности траекторий действий ИИ-агентов, разработанная AI45Research в рамках семейства AgentDoG. Она принимает полную текстовую траекторию работы агента, включая взаимодействие с инструментами и средой, и классифицирует её как безопасную или небезопасную. Для небезопасных траекторий модель также может определять тип сбоя, возможные последствия риска и его источник. Модель построена на плотной архитектуре Qwen3.5 и содержит 4 млрд параметров. Она предназначена для классификации и мониторинга агентных сценариев, в том числе для работы в качестве онлайн-защитного барьера, способного выявлять риск и вмешиваться в выполнение workflow. Для развёртывания README рекомендует совместимые версии SGLang или vLLM. Модель распространяется под лицензией Apache-2.0. Карточка не приводит конкретных ограничений точности или списка поддерживаемых естественных языков; результаты следует интерпретировать в контексте заданной таксономии безопасности и формата входной траектории.

kimtos-labs/all-MiniLM-L6-v2 — зеркало Xenova/all-MiniLM-L6-v2, подготовленное KimtOS для загрузки в расширение. Репозиторий содержит конфигурацию, токенизатор и квантованную версию весов ONNX; размер модели — 25,9 млн параметров, контекст — до 512 токенов. Архитектура основана на BERT. Модель предназначена для извлечения признаковых представлений текста, например для получения эмбеддингов, используемых при поиске и сравнении текстов. В карточке не заявлены конкретные языки или специализированные области применения. Лицензия Apache-2.0 разрешает распространение при сохранении уведомления об авторских правах.

zli12321/answer_equivalence_roberta-large — модель семейства RoBERTa-Large, предназначенная для оценки эквивалентности ответа кандидата эталонному ответу в задачах контроля качества систем вопросов и ответов. В карточке README модель указана среди дообученных моделей для нейронного сопоставления ответов; метаданные указывают архитектуру RobertaForMaskedLM, объём 454,1 млн параметров и контекст до 514 токенов. Модель подходит для сравнения ответа с одним или несколькими эталонами с учётом вопроса, выставления оценки сходства и определения, эквивалентны ли ответы. Её можно применять при оценке QA-моделей на англоязычном наборе PEDANTS; метаданные также указывают задачи fill-mask и text-classification. В README не уточнены детали обучения именно этого чекпойнта и его метрики качества. Модель распространяется по лицензии MIT. Карточка не описывает специальные меры безопасности или ограничения предметной области; оценка эквивалентности зависит от эталонных ответов и может ошибаться на неоднозначных формулировках.

ProCreations/auto-1b-bf16 — это дообученный классификатор на базе encoder-модели ModernBERT с 1 млрд параметров. Он оценивает следующий вызов инструмента AI-агента и классифицирует его как разрешённый или запрещённый; модель предназначена для встроенных проверок безопасности и защитных ограничений в агентных системах. В метаданных указаны контекст до 65 536 токенов, библиотека Transformers и формат весов safetensors. По README, версия bf16 занимает 2,0 ГБ вместо 3,9 ГБ у исходной версии и на полном тесте из 3 000 примеров показала те же accuracy 96,4%, AUROC 0,992845 и F1 для класса deny 0,961373; заявлено отсутствие изменившихся решений относительно fp32 на этом тесте. Модель принимает текст с запросом пользователя, историей и предполагаемым вызовом инструмента и выдаёт оценку классов approve/deny. Карточка рекомендует использовать заданный формат входа и расположение разделов, поскольку обучение учитывало их. Модель ориентирована на англоязычные сценарии: метаданные указывают язык en. Заявленные результаты относятся к конкретному набору approve-or-deny и не гарантируют точности для других данных или форматов. Лицензия — Apache-2.0.

Карточка модели avsolatorio/AVES_BAAI_bge-base-en-v1.5-20240125211517-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/AVES_BAAI_bge-base-en-v1.5-20240125221415-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/AVES_BAAI_bge-base-en-v1.5-20240125233651-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Chonky modernbert large v1 — англоязычная модель токеновой классификации, дообученная автором mirth на answerdotai/ModernBERT-large для разделения текста на смысловые фрагменты. Она размечает границы сегментов меткой separator и предназначена для подготовки документов к поиску и генерации с дополнением из найденных данных (RAG), а также для передачи фрагментов в системы эмбеддингов или языковые модели. Модель построена на архитектуре ModernBERT и содержит 394,7 млн параметров. Базовая архитектура поддерживает контекст до 8192 токенов, однако модель дообучалась на последовательностях длиной 1024 токена. В README приведены token-based F1 0,85 для minipile и 0,79 для BookCorpus. Модель распространяется в формате safetensors по лицензии MIT.

Context aware splitter 1.1b — дообученная модель на базе TinyLlama/TinyLlama-1.1B-intermediate-step-955k-token-2T, разработанная для контекстно-зависимого разделения текста. Она предназначена для подготовки текстовых фрагментов для систем поиска с дополненной генерацией (RAG), где важно учитывать смысл и контекст при выборе границ фрагментов. Модель построена на архитектуре Llama и содержит около 1 млрд параметров; максимальная длина контекста — 8192 токена. Поддерживается английский язык. В README указано значение loss 0,0598 на оценочном наборе, но методика оценки и характеристики обучающих данных подробно не описаны. Модель распространяется по лицензии Apache-2.0.

facebook/dpr-question_encoder-single-nq-base — англоязычный кодировщик вопросов из набора Dense Passage Retrieval (DPR), разработанный авторами DPR и опубликованный в репозитории Facebook на Hugging Face. Модель представляет собой BERT-основанный плотный энкодер с архитектурой DPRQuestionEncoder; содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Она обучена на Natural Questions для поиска релевантных фрагментов при ответах на вопросы по открытым источникам. Энкодер преобразует вопрос в векторное представление для сопоставления с векторами документов, закодированных соответствующим DPR-кодировщиком контекста. Его применяют как компонент конвейера поиска для открытого вопросно-ответного поиска и извлечения контекста; сам по себе он не генерирует ответ. Доступны веса PyTorch и TensorFlow. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование без отдельного разрешения. Качество поиска зависит от домена и коллекции документов; модель обучена на английских данных Natural Questions, а карточка предупреждает о возможных стереотипных и вредоносных ассоциациях.