II.10Разработка и эксплуатация AI/ML-систем

RadixArk/GLM-5.3-NVFP4 — текстовая языковая модель, представляющая собой квантованную производную GLM-5.3-BF16 от Z.ai. Квантование выполнено RadixArk с использованием NVIDIA Model Optimizer; RadixArk не обучала и не дообучала модель. Модель предназначена для агентной разработки, программирования, длительного использования инструментов и задач рассуждения. Архитектура — Transformer со Sparse Mixture-of-Experts и разреженным вниманием: 78 декодерных слоёв, включая 3 плотных MLP и 75 MoE-слоёв, 753 млрд параметров всего и около 40 млрд активируемых на токен. В MoE-слоях используется 256 маршрутизируемых экспертов с выбором 8 экспертов и один общий эксперт. Модель принимает и генерирует текст, поддерживает английский и китайский языки, а длина контекста достигает 1 048 576 токенов. Ключевое преимущество — существенное уменьшение размера checkpoint с 1 507 до 465 ГБ за счёт NVFP4 W4A4-квантования части параметров при сохранении ряда компонентов в BF16. Указаны высокие результаты на GSM8K, AIME 2026, Terminal-Bench 2.1 и DeepSWE, однако базовая модель может выдавать неточные, неполные, нерелевантные или нежелательные ответы, поэтому необходимы проверка результатов и защитные меры. Checkpoint рассчитан на запуск через SGLang на Linux и совместим прежде всего с GPU NVIDIA Blackwell; конфигурация проверена на B300. Условия использования определяются лицензией Z.AI Model License, указанной как MIT-style.

Карточка модели seerware/granite-embedding-30m-sparse на Hugging Face совпадает с карточкой ibm-granite/granite-embedding-30m-sparse, поэтому описание составлено по ней. Granite-Embedding-30m-Sparse — разреженная модель для построения текстовых представлений, разработанная командой Granite Embedding в IBM. Она основана на энкодерной архитектуре на базе RoBERTa, содержит 33,5 млн параметров и рассчитана на английский язык. Модель кодирует текст в словарь токенов и их весов переменной длины, включая расширения исходных токенов. Представления подходят для семантического поиска, извлечения релевантных документов и сравнения текстов. Модель обучалась с использованием предварительного обучения для задач поиска, контрастивной настройки и дистилляции; в карточке сообщается о конкурентных результатах на тестах BEIR, включая сравнение с более крупной SPLADE-моделью. Её можно применять, например, с Sentence Transformers и Milvus. Контекст ограничен 512 токенами: более длинный текст обрезается. Модель обучена только на английских текстах. Лицензия — Apache 2.0.

arshvir/granite-embedding-311m-multilingual-r2-GGUF — конвертированная в формат GGUF модель эмбеддингов IBM Granite Embedding 311M Multilingual R2 на архитектуре ModernBERT. Репозиторий содержит веса в формате F16; модель насчитывает 311 млн параметров и поддерживает контекст до 32 768 токенов. Она преобразует текст в векторы размерностью 768, которые можно усекать до 512, 384, 256 или 128 измерений благодаря Matryoshka Representation Learning. Модель предназначена для многоязычного и межъязыкового семантического поиска, сравнения предложений и поиска по длинным документам, а также для поиска по коду. В README заявлена поддержка более 200 языков, с усиленным обучением на 52 языках и примерами языков программирования. Для загрузки GGUF предлагается использовать llama-cpp-python. По README, модель набрала 65,2 на 18 задачах многоязычного retrieval-бенчмарка MTEB; эти результаты приведены автором карточки. Репозиторий указывает лицензию Apache 2.0. Это преобразование исходной модели в GGUF F16, а не новая обученная версия; для использования нужна совместимая среда выполнения GGUF.

HyperNova 60B 2605 — открытая по весам instruction-tuned модель, разработанная Multiverse Computing и представленная как решение на базе CompactifAI. Она предназначена для общего рассуждения, генерации кода и разработческих сценариев, включая RAG, агентские приложения и задачи с инструментами. Модель построена на decoder-only Transformer и содержит 60B общих параметров, из которых 4,8B являются активными. Она поддерживает native tool calling с OpenAI-style схемами, function calling, структурированный вывод и агентские рабочие процессы. Основной язык — английский; другие языки формально не оценивались. Размер контекста в предоставленных данных не указан. К сильным сторонам относятся оптимизация эффективного вывода, уменьшенный объём памяти, улучшения по сравнению с HyperNova 60B 2602 в задачах кодирования и общих бенчмарках, а также поддержка настраиваемого уровня reasoning effort. Ограничения включают отсутствие формальной оценки других языков и отсутствие гарантии полной совместимости поведения tool calling с базовой или другими моделями. Модель распространяется по лицензии Apache 2.0.

INF-Retriever-v1 — плотная модель поиска по тексту на основе LLM, разработанная INF TECH. Она дообучена на Alibaba-NLP/gte-Qwen2-7B-instruct для извлечения релевантных документов и семантического поиска, особенно по англоязычным и китайскоязычным данным. Модель формирует текстовые эмбеддинги размерности 3584; архитектура — Qwen2, размер — 7,1 млрд параметров. В метаданных указан контекст до 131 072 токенов, а в README заявлен максимальный вход в 32 768 токенов. Модель предназначена для поиска по разнородным коллекциям документов и может использоваться как компонент поисковой системы или RAG-конвейера: запросы и документы кодируются в векторы, которые затем сравниваются по близости. README сообщает о результатах на AIR-Bench, включая первое место в версиях 24.04 и 24.05 на момент публикации результатов. Основная настройка — английский и китайский языки; заявлена также эффективность на других языках. Доступны веса в формате safetensors, поддерживаются Sentence Transformers и Transformers. Лицензия — Apache-2.0. Это модель для получения эмбеддингов и поиска, а не генератор ответов; заявленные результаты бенчмарков не гарантируют аналогичного качества на конкретной коллекции, а наиболее явно подтверждена настройка для английского и китайского языков.

Injection Sentry — XLM-RoBERTa Component — это дообученный Verm1ion классификатор на базе XLM-RoBERTa-base для выявления атак prompt injection. Модель выдаёт бинарную классификацию SAFE или INJECTION и рассчитана на защиту приложений, использующих большие языковые модели. Она также входит в ансамбль Injection Sentry, представленный на бенчмарке Lakera PINT, и может применяться самостоятельно для обнаружения атак на разных языках. Модель содержит 305,2 млн параметров, использует архитектуру XLM-RoBERTa для классификации последовательностей и принимает текст длиной до 514 токенов. В карточке заявлена поддержка более 20 языков; среди перечисленных — английский, русский, французский, немецкий, испанский, китайский, японский, корейский и арабский. Для длинных документов README описывает обработку скользящими окнами с шагом 128 токенов. Веса опубликованы в формате safetensors по лицензии Apache-2.0. Модель обучалась на размеченных данных для обнаружения prompt injection и jailbreak-атак. Её сильная сторона — многоязычная классификация; по README, качество отдельной модели ниже, чем у полного ансамбля. Возможны ложные срабатывания на безопасных текстах с инструкциями или формулировками, похожими на атаки. Указанные в README показатели оценки относятся к полному ансамблю, а не к этой модели отдельно.

jina-embeddings-v2-base-zh — двуязычная модель текстовых эмбеддингов, разработанная Jina AI. Она предназначена для получения векторных представлений текста на китайском и английском языках и рассчитана на одноязычный и межъязыковой поиск, включая поиск китайских документов по английскому запросу и наоборот. Модель использует архитектуру JinaBERT на основе BERT с двунаправленным вариантом ALiBi и поддерживает контекст до 8192 токенов. В репозитории указано около 160,1 млн параметров; модель создаёт плотные векторы, для формирования эмбеддингов рекомендуется mean pooling. Подходит для семантического поиска и сценариев RAG, где нужно находить близкие по смыслу фрагменты на китайском и английском языках. Модель распространяется по лицензии Apache-2.0. Для загрузки из Hugging Face требуется авторизация, поскольку доступ к репозиторию ограничен; при использовании через Transformers README также указывает на необходимость включить trust_remote_code.

NVIDIA Kimi-K2.5-Thinking-Eagle3 — текстовая авторегрессионная модель, основанная на Moonshot AI Kimi-K2.5 и включающая Eagle3 для спекулятивного декодирования с Model Optimizer. В метаданных указаны архитектура Eagle3DeepseekV2ForCausalLM семейства Kimi-K2, 1,8 млрд параметров и контекст до 262 144 токенов. Модель предназначена для разработчиков чат-ботов, RAG-систем, AI-агентов и других приложений, а также для выполнения инструкций, диалога, генерации кода и рассуждений. Принимает текст и выдаёт текст. NVIDIA ориентирует её на системы с GPU NVIDIA; в README указаны TensorRT-LLM, Linux и совместимость с NVIDIA Blackwell. README заявляет возможность коммерческого и некоммерческого использования. Следует соблюдать NVIDIA Open Model License и условия Modified MIT License Kimi-K2.5. Для применения в конкретном сценарии нужна проверка на профильных данных; README также отмечает, что меры по снижению нежелательной предвзятости не указаны.

LFM2.5-Embedding-350M-int4 — 4-битная MLX-квантизация мультиязычного двунаправленного плотного bi-encoder LiquidAI LFM2.5-Embedding-350M для семантического поиска и поиска между языками. Модель формирует вектор размерности 1024 из CLS-токена; для кодирования запросов и документов используются префиксы «query: » и «document: », а сходство оценивается косинусной мерой. Контекст составляет до 128 000 токенов. Вариант рассчитан на запуск на компьютерах Apple Silicon через MLX. В README приведено сравнение с fp16 на подмножестве из четырёх англоязычных наборов NanoBEIR: среднее сохранение NDCG@10 после квантизации указано как 99,9%. Для корректного получения эмбеддингов в репозитории поставляется специальный загрузчик, поскольку обычная загрузка причинной LFM2-модели не учитывает двунаправленное внимание и CLS pooling. Лицензия в метаданных обозначена как other; README не уточняет дополнительные условия.

Это 4-битная квантизированная версия mxfp4 модели LFM2.5-Embedding-350M, подготовленная Sahil Chachra для запуска на Apple Silicon через MLX. Модель представляет собой плотный двунаправленный биэнкодер семейства LFM2.5 с вектором CLS размерности 1024; она кодирует запросы и документы для мультиязычного поиска. Для входов требуются префиксы «query: » и «document: », а сходство векторов можно оценивать косинусной мерой. Модель подходит для семантического и межъязыкового поиска по документам и для построения retrieval-компонента систем RAG. README сообщает о размере весов 188 МБ и скорости кодирования 13 936 токенов/с на устройстве серии M; приведённый бенчмарк охватывает только ограниченную англоязычную выборку NanoBEIR. Метаданные указывают 444,6 млн параметров и контекст 128 000 токенов. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой базовой модели и репозитория.

Это квантованная 8-битная версия mxfp8 модели LFM2.5-Embedding-350M от Liquid AI, подготовленная для запуска на Apple Silicon через MLX. Модель представляет собой плотный двунаправленный биэнкодер семейства LFM2.5 с вектором CLS размерности 1024 и предназначена для мультиязычного поиска: отдельно кодирует запросы и документы, после чего их векторы сравнивают по косинусному сходству. При кодировании нужны префиксы «query: » для запросов и «document: » для документов. В репозитории указаны 366 МБ весов и контекст до 128 000 токенов. В тесте на четырёх англоязычных наборах NanoBEIR версия mxfp8 сохранила среднее значение NDCG@10 на уровне 100,7% от fp16; это ограниченная проверка английского поиска, а не оценка всей мультиязычной версии. Для инференса поставлен специализированный MLX-загрузчик, учитывающий двунаправленное внимание и CLS-пулинг. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой базовой модели и файлами лицензии репозитория.

unsloth/Llama-3.1-Nemotron-Nano-8B-v1-GGUF — GGUF-версия модели Llama-3.1-Nemotron-Nano-8B-v1, разработанной NVIDIA и подготовленной Unsloth. Это языковая reasoning-модель на базе Meta Llama 3.1 8B Instruct, предназначенная для диалогов, следования инструкциям, генерации кода, математических и логических задач, RAG-систем, tool calling и AI-агентов. Модель рассчитана прежде всего на английский язык и языки программирования, также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель представляет собой плотный decoder-only Transformer с архитектурой Llama 3.1 и примерно 8 млрд параметров. Она поддерживает текстовый ввод и вывод, контекст до 131 072 токенов, а также режимы с рассуждением и без него, переключаемые системным промптом. Постобучение включало supervised fine-tuning для математики, кода, рассуждений и tool calling, а также этапы reinforcement learning и оптимизации предпочтений. GGUF-формат и заявленная эффективность позволяют использовать модель локально, в том числе на одной RTX GPU; рекомендуемые аппаратные платформы исходной модели — NVIDIA Hopper и Ampere. Сильными сторонами являются сочетание качества рассуждений, чат-возможностей и вычислительной эффективности, а также поддержка длинного контекста и агентских сценариев. Ограничения включают преимущественную ориентацию на английский язык и языки программирования, зависимость поведения от корректной настройки режима рассуждения и устаревание части знаний: дата среза предобучающих данных Meta Llama 3.1 указана как 2023 год. Использование регулируется NVIDIA Open Model License; дополнительно указано соглашение Meta Llama 3.1 Community License Agreement. Модель заявлена как пригодная для коммерческого использования.

facebook/mcontriever-msmarco — мультиязычная модель плотного поиска, разработанная исследовательской командой Facebook (ныне AI at Meta). Она создаёт векторные представления текстов для поиска релевантных документов по запросу и была дообучена на MS MARCO для улучшения соответствия между запросами и документами. Модель основана на BERT, имеет около 205 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Базовая версия mContriever обучалась на 29 языках; для этой модели опубликованы оценки мультиязычного и межъязыкового поиска, в том числе по запросам на одном языке с поиском документов на другом. Она возвращает эмбеддинги, которые можно сравнивать, например, скалярным произведением; сама по себе не генерирует ответы. Подходит как компонент информационного поиска и retrieval-этапа RAG. Результаты зависят от языка, данных и настройки поиска; карточка Hugging Face не содержит подробного описания ограничений и не показывает лицензию, поэтому условия использования следует сверить с лицензией репозитория разработчика.

Карточка модели avsolatorio/MixEmbed-base-20240110021715-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240122145230-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели anlanwang925/MNLP_M3_document_encoder_test5 на Hugging Face совпадает с карточкой BAAI/bge-large-en-v1.5, поэтому описание составлено по ней. BAAI/bge-large-en-v1.5 — англоязычная модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI) для поиска и сравнения текстов. Она преобразует текст в векторы, пригодные для семантического поиска, извлечения документов и построения систем с дополненной генерацией (RAG). Версия v1.5 улучшает retrieval и делает модель менее зависимой от инструкций для запросов по сравнению с предыдущей версией. Модель основана на архитектуре BERT и содержит 433,9 млн параметров. Она принимает текстовые входы на английском языке, имеет контекстное окно до 512 токенов и доступна в форматах PyTorch, Safetensors и ONNX. Для поиска можно сначала получить кандидатов с помощью эмбеддингов, а затем повысить точность ранжирования отдельной моделью BGE Reranker. Модель подходит для семантического поиска и сходства предложений. README предупреждает, что абсолютные значения сходства не следует трактовать как универсальную шкалу: из-за особенностей обучения оценки могут быть выше 0,5 даже для несхожих предложений. Лицензия — MIT.

ms-marco-MiniLM-L-6-v2 GGUF — это конвертированная и квантизованная версия модели cross-encoder/ms-marco-MiniLM-L-6-v2, опубликованная пользователем cstr для запуска через лёгкий движок инференса CrispEmbed на базе ggml. Модель предназначена для ранжирования текстовых пар и повышения качества поиска, в частности для reranking в системах RAG и сценариях, требующих работы в реальном времени. Указан английский язык. Модель построена на архитектуре BERT, содержит около 22 млн параметров, 6 слоёв, размерность представления 384, использует CLS-pooling и токенизатор WordPiece. Доступны варианты GGUF с представлением Q4_K размером 18 МБ, Q8_0 размером 24 МБ и F32 размером 87 МБ. Конвертация не изменяла архитектуру, словарь или заявленные возможности исходной модели; для преобразованных файлов заявлена битовая эквивалентность с реализацией Hugging Face с cosine similarity не менее 0,999 на тестовых текстах. Сильные стороны модели — небольшой размер, высокая скорость и возможность инференса без Python и ONNX через CrispEmbed, включая серверный режим. Ограничения включают специализацию на английских текстах и назначение для reranking, а не для генерации текста. В README также указано, что следует предпочитать исправленные файлы с суффиксом -g7c, поскольку исходные файлы имели некорректно преобразованную scoring head и могли давать неправильно калиброванные оценки и изменять порядок результатов. Модель распространяется по лицензии Apache-2.0 на тех же условиях, что и исходная модель.

Muse Glimmer — модель Meta Superintelligence Lab с плотным причинным трансформером и отдельным энкодером восприятия. Это мультимодальная модель на 29,6 млрд параметров, дистиллированная из Muse Spark и опубликованная по лицензии Apache 2.0. Она предназначена для локального запуска на потребительском оборудовании и поддерживает диалог с изображениями. Модель рассчитана на многошаговые агентные сценарии: планирование, вызов инструментов, восстановление после ошибок и выполнение длительных задач. Её также можно применять для разработки кода, анализа скриншотов, диаграмм и документов, генерации синтетических данных и оценки ответов других моделей. В README заявлены результаты на бенчмарках агентного выполнения, включая SWE-Bench, DeepSearch QA и MCP-Atlas. Модель может ошибаться в рассуждениях, особенно в новых сценариях, и выдавать неточные, предвзятые или нежелательные ответы. Поддержки аудио нет; видео явно не оптимизировано и обрабатывается как отдельные кадры. Качество может снижаться для языков, на которых модель недостаточно оценивалась. Для агентных приложений разработчик рекомендует дополнительные меры защиты и проверки.

Nemotron-3-Embed-1B-BF16 — мультиязычная модель для создания текстовых эмбеддингов, представленная сообществом mlx-community как конверсия NVIDIA Nemotron-3-Embed-1B-BF16 для запуска на Apple Silicon. Это плотный энкодер архитектуры Ministral3 с двунаправленным вниманием; размер — 1,1 млрд параметров. Веса сохранены в bfloat16, а эмбеддинги формируются средним pooling и нормализацией L2. Контекст upstream-модели — до 262 144 токенов, однако реализация в этом репозитории по умолчанию ограничивает длину 4096 токенами, а двунаправленное внимание требует квадратичной памяти по длине последовательности. Модель предназначена для семантического поиска, извлечения документов и построения систем RAG: она преобразует запросы и документы в векторы для сравнения по смыслу. Для запросов и документов требуется использовать префиксы «query: » и «passage: » либо задавать тип входа, который добавит их автоматически. В карточке указана поддержка множества языков, включая русский и английский. Конверсия не включает переобучение или квантизацию; автор README сообщает о cosine similarity выше 0,999 относительно исходной реализации на проверенных входах. Для массовой индексации пропускная способность на Apple Silicon может быть ограниченной. Лицензия — OpenMDW-1.1.

Nemotron-3-Embed-1B-NVFP4 — мультиязычная модель для создания текстовых эмбеддингов, разработанная NVIDIA. Это квантованная версия Nemotron-3-Embed-1B-BF16, предназначенная прежде всего для задач поиска ответов на вопросы по большим текстовым корпусам, семантического поиска, retrieval и построения RAG-приложений. Модель готова к коммерческому использованию. Модель основана на пруненом энкодере архитектуры Ministral-3-3B-Instruct-2512 и содержит 1,14 млрд параметров при размере скрытого состояния 2048. Она обрабатывает только текст, использует двунаправленное внимание и формирует плотный 2048-мерный вектор посредством среднего pooling по токенам. Максимальная длина входа составляет 32768 токенов; более длинные тексты необходимо разбивать на фрагменты или обрезать. Поддерживается динамическое уменьшение размерности эмбеддинга с последующей L2-нормализацией. Модель поддерживает 34 языка, включая английский, русский, китайский, арабский, французский, немецкий, испанский, японский, корейский, хинди, португальский, украинский и другие. Квантование весов и активаций линейных слоёв в формат NVFP4 выполнено с использованием NVIDIA Model Optimizer, а дистилляция с учётом квантования применялась для восстановления качества на длинных входах. Основное ограничение — checkpoint предназначен для запуска через vLLM и оптимизирован для NVIDIA GPU; для Transformers или Sentence Transformers рекомендуется версия BF16. Качество поиска при замене BF16-версии на NVFP4 следует проверять на собственных данных. Модель распространяется по лицензии OpenMDW License Agreement версии 1.1; дополнительно указана Apache License 2.0. При использовании необходимо учитывать условия стороннего программного обеспечения, устанавливаемого вместе с проектом.

Карточка модели hotchpotch/open-provence-reranker-v1-gte-modernbert-base на Hugging Face совпадает с карточкой hotchpotch/open-provence-reranker-xsmall-v1, поэтому описание составлено по ней. OpenProvence reranker xsmall v1 — компактная двуязычная модель переранжирования и отбора предложений для подготовки контекста в системах поиска и RAG. Модель разработана hotchpotch и содержит 30 млн параметров; архитектура — OpenProvence для классификации последовательностей, веса представлены в формате safetensors. Модель принимает вопрос и текстовый контекст, оценивает релевантность предложений и удаляет фрагменты, не относящиеся к запросу. Она предназначена для ускорения поиска нужной информации и сокращения контекста перед передачей его генеративной модели. Поддерживаются английский и японский языки; согласно карточке, xsmall рассчитана на низкую задержку и может работать на CPU. В опубликованных оценках модель сокращала объём контекста, сохраняя ответы на контрольных примерах, но результаты зависят от языка, порога отсечения и набора данных. Модель опубликована под лицензией MIT.

Карточка модели JaehyeokLee/preliminary_one_source_gist_checkpoint_epoch_1_step_10 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

PromptShield Flan-T5-small — небольшая модель классификации, разработанная на основе google/flan-t5-small и дообученная для обнаружения prompt injection. Она относит входной текст к одному из двух классов: BENIGN — без внедрения инструкций, или INJECTION — попытка внедрения инструкций. Модель предназначена для фильтрации пользовательских запросов и другого текста перед передачей языковой модели. Модель использует архитектуру T5ForSequenceClassification с 45,8 млн параметров и принимает последовательности длиной до 512 токенов. Карточка описывает бинарную классификацию и обучение на наборе данных PromptShield с дополнением обучающих примеров переносами строк. Лицензия — Apache-2.0.

CrowdMind / Dustin Loring разработали CrowdMind/Qwen3.5-9b-pro — мультимодальную плотную модель семейства Qwen3.5 на 9 млрд параметров, полученную supervised fine-tuning модели Qwen/Qwen3.5-9B. Она предназначена для агентных сценариев, генерации и редактирования кода, работы с инструментами и терминалом, автоматизации и общих рассуждений. Модель принимает текст, изображения и видео через процессор и специальный шаблон чата; шаблон также позволяет настраивать уровень рассуждений или отключать их. Для инференса в карточке приведены инструкции по использованию Transformers и SGLang. В опубликованных авторами результатах SFT-чекпойнт превосходит исходную Qwen3.5-9B в приведённых метриках SWE Pro, AutomationBench и Terminal Bench. Эти результаты не гарантируют качество на конкретных задачах: модель может ошибаться или давать чрезмерно уверенные ответы, неверно интерпретировать изображения и пропускать детали видео. Вызовы инструментов и сгенерированный код требуют проверки; длинные диалоги ограничены доступным контекстом. Лицензия — MIT.

stelterlab/Qwen3-Coder-30B-A3B-Instruct-AWQ — экспериментальная AWQ-квантизованная версия Qwen3-Coder-30B-A3B-Instruct, разработанная stelterlab на основе оригинальных весов Qwen AI. Квантизация выполнена в формате INT4 GEMM с использованием llm-compressor от vLLM Project. Модель предназначена для генерации и анализа кода, агентного программирования, работы с браузером и задач, требующих понимания репозиториев и вызова инструментов. Это каузальная языковая MoE-модель с 30,5 млрд параметров, из которых активируются 3,3 млрд. Она содержит 48 слоёв, 128 экспертов и активирует 8 экспертов на запрос; используется GQA с 32 головами Q и 4 головами KV. Нативная длина контекста составляет 262 144 токена, а с использованием YaRN может расширяться до 1 млн токенов. Модель поддерживает только режим без рассуждений и не генерирует блоки <think></think>; заявлены возможности function calling и интеграция с инструментами для агентного программирования. README не указывает полный перечень поддерживаемых языков. К сильным сторонам относятся сочетание большого общего объёма параметров с малым числом активируемых параметров, длинный контекст, ориентация на код и поддержка инструментов. Ограничения связаны с экспериментальным статусом данной квантизованной сборки и возможными требованиями к памяти и вычислительным ресурсам при работе с длинным контекстом; при нехватке памяти рекомендуется уменьшать контекст. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-Next-GPTQ — это 4-битная GPTQ-квантизованная версия модели Qwen3-Coder-Next, разработанной Qwen и подготовленной пользователем 6block. Модель предназначена для генерации и обработки текста, прежде всего для задач программирования, и поддерживает английский и китайский языки. Она рассчитана на эффективное развертывание с помощью vLLM и SGLang. В основе лежит разреженная MoE-архитектура qwen3_next: 80 млрд параметров всего, около 3 млрд активных, 48 слоёв, 512 экспертов и маршрутизация top-10. Контекст составляет 256K токенов. Используется схема W4A16 с размером группы 128 и формат compressed-tensors на базе safetensors. Большинство весов, включая линейные слои экспертов и attention, квантизовано до 4 бит, тогда как маршрутизаторы MoE и lm_head сохранены в bf16. Размер модели составляет около 40 ГиБ, что позволяет запускать её на одной видеокарте объёмом 48 ГБ и, с параллелизмом или выгрузкой, на конфигурациях с 24 ГБ. Главное преимущество — существенное снижение требований к памяти при сохранении близкого к исходной модели поведения; по данным README, perplexity на wikitext-2-raw составляет 9,34 против 7,74 у эталонной bf16-версии. Ограничением является заметное ухудшение этого показателя относительно bf16, а также необходимость совместимого движка, поддерживающего compressed-tensors. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Qwen3-Coder-Next.w4a16 — квантизированная версия языковой модели Qwen3-Coder-Next, разработанная Red Hat на базе модели Qwen/Qwen3-Coder-Next. Это авторегрессионная модель архитектуры Qwen3NextForCausalLM с текстовым вводом и текстовым выводом, предназначенная прежде всего для генерации и анализа кода, а также для развертывания в сценариях, поддерживающих вызов инструментов. Модель использует схему W4A16: веса линейных операторов в блоках Transformer представлены в формате INT4, а активации — FP16. Такая оптимизация сокращает число битов на параметр с 16 до 4 и приблизительно на 75% уменьшает требования к дисковому пространству и памяти GPU. README не содержит сведений о размере модели, поддерживаемых языках программирования и естественных языках, максимальной длине контекста или мультимодальных возможностях. Основное преимущество модели — существенное снижение требований к памяти при сохранении высокой эффективности на задачах программирования. В оценке SWE-Bench Lite она получила результат 48,67 против 49,33 у исходной Qwen3-Coder-Next, что соответствует восстановлению 98,6% исходного показателя. Ограничением является возможная небольшая потеря точности из-за квантизации, а также зависимость рекомендуемого развертывания от совместимой инфраструктуры, например vLLM и Tensor Parallel. Модель распространяется по лицензии Apache-2.0. Для квантизации использовалась библиотека llm-compressor и алгоритм GPTQ; в README приведён пример развертывания через vLLM с поддержкой автоматического выбора инструментов и парсера вызовов Qwen3 Coder.

Qwen3-Coder-REAP-25B-A3B — сжатая версия инструктивной модели Qwen3-Coder-30B-A3B-Instruct, созданная Cerebras с помощью метода REAP (Router-weighted Expert Activation Pruning). Это разреженная причинно-языковая MoE-модель для генерации кода, агентного программирования и вызова функций; она также сохраняет понимание репозиториев и работу с длинным контекстом. В модели заявлено 25 млрд параметров, из которых около 3 млрд активируются на токен; в метаданных каталога указано 2,4 млрд параметров. Архитектура включает 48 слоёв и 103 эксперта, из которых активируются 8 на токен. REAP удаляет 20% экспертов без дополнительного дообучения. Нативный контекст — 262 144 токена; README также указывает возможность расширения до 1 млн токенов с YaRN. Модель принимает текст и генерирует текст, поддерживает английский язык и доступна в формате Safetensors для Transformers. Модель предназначена для локального развёртывания и сценариев с ограниченными ресурсами; README заявляет близкую к исходной модели производительность на задачах генерации кода, агентного программирования и вызова функций. Для развёртывания описана совместимость с vLLM. Лицензия — Apache 2.0. Заявления о качестве приведены в карточке модели; результаты и методика оценки требуют сверки с указанной там публикацией.

sergeyzh/rubert-large-uncased-query — компактная BERT-модель автора sergeyzh для симметричного сравнения поисковых запросов на русском и английском языках. Она создаёт эмбеддинги размерности 1024 и предназначена для поиска семантически близких запросов, в том числе для кэширования и фильтрации обращений к LLM и сценариев Q2Q RAG. Модель получена дистилляцией эмбеддингов с учётом префикса Qwen/Qwen3-Embedding-8B и дообучена на основе sergeyzh/rubert-large-uncased-sts. В архитектуре BERT 12 слоёв, максимальная длина контекста — 512 токенов; префиксы при использовании не требуются. Вариант uncased не различает верхний и нижний регистр. По оценке на датасете ai-forever/rubq-retrieval сходство с ответами Qwen/Qwen3-Embedding-8B составляет Pearson r 0,850 и Spearman ρ 0,800. Модель принимает текст и выдаёт векторные представления для сравнения семантической близости. Репозиторий содержит веса safetensors; лицензия — MIT. Результаты метрик приведены для русского языка, поэтому качество на иных данных и задачах может отличаться.

sudy-super/Sentinel — многоязычная модель классификации текста на базе BERT, разработанная для выявления prompt injection, утечек промптов и jailbreak-атак. Она выдаёт метку класса; в карточке указано, что LABEL_1 означает обнаруженный prompt injection. Модель содержит 205,1 млн параметров, принимает последовательности длиной до 512 токенов и опубликована в формате safetensors. Модель подходит для проверки пользовательского ввода и текстов в приложениях с LLM, чтобы выявлять попытки вмешательства в инструкции или обхода ограничений. В карточке перечислены японский, английский, испанский, китайский, корейский, хинди, немецкий, французский и русский языки. Лицензия — Apache-2.0. Подробности о точности, порогах классификации и распознавании меток для утечки и jailbreak отдельно не приведены.