II.10Разработка и эксплуатация AI/ML-систем

Карточка модели inclusionAI/SingGuard-NSFA-2B на Hugging Face совпадает с карточкой inclusionAI/SingGuard-NSFA-0.8B, поэтому описание составлено по ней. SingGuard-NSFA-0.8B — модель-охранник для защиты агентных систем, разработанная командой SingGuard из AI Security Lab компании Ant Group. Это вариант с 0,8 млрд параметров, дообученный на базе Qwen3.5. Модель предназначена для проверки отдельных запросов пользователя и ответов агента: она выявляет prompt injection и jailbreak, запросы на вредоносный код, кражу чувствительных данных, опасное использование инструментов и ресурсов, а также утечку чувствительной информации в ответах. Модель поддерживает два режима: генеративный анализ с объяснением для аудита и классификацию для оперативного перехвата угроз. В README для классификационного режима указана задержка около 45–57 мс на одном NVIDIA A100; для семейства моделей заявлена оценка выше 94% F1 на созданных авторами многоязычных тестах. Карточка описывает модель как текстовую и одноходовую, хотя в метаданных Hugging Face указаны архитектура с поддержкой изображений и pipeline image-text-to-text; мультимодальные угрозы README относит к сценариям вне области применения. Модель заявлена для 133 языков; метаданные перечисляют языковые коды, включая английский, китайский, французский, немецкий, хинди и арабский. Распространяется по лицензии Apache 2.0. Ограничения: модель не анализирует угрозы в изображениях, аудио и видео, многоходовые траектории взаимодействия и межагентную коммуникацию; её таксономия не предназначена для общей модерации контента.

SIQ-1-35B — дообученная и дистиллированная модель семейства Qwen, разработанная AlexWortega на базе Qwen/Qwen3.6-35B-A3B. Это текстовая MoE-модель для генерации текста с 35 млрд параметров суммарно и примерно 3 млрд активных параметров на каждом токене. Модель ориентирована на английский язык и поддерживает гибридный режим рассуждений: пошаговое мышление с блоком <think> или прямую генерацию ответа. Модель предназначена для универсальных агентных сценариев, включая автономное ML-исследование, написание и отладку кода, использование инструментов, планирование действий и сложное рассуждение. В README заявлены сильные результаты на GPQA-Diamond, IFEval, агентном кодинге и задачах autoresearch; также отмечается сниженный расход токенов по сравнению с рядом более крупных моделей. Режим reasoning effort позволяет регулировать длину рассуждений, а отключение мышления подходит для быстрых ответов и задач с высокой пропускной способностью. Приведённые результаты зависят от квантизации, формата вычислений, настроек генерации и тестового стенда; часть сравнений выполнена на Q4_K_M GGUF, а результаты autoresearch не сопоставимы с официальными рейтингами из-за ограничений оборудования. Контекстное окно и мультимодальные возможности в README не указаны, поэтому модель следует рассматривать как текстовую. Модель распространяется по лицензии Apache-2.0.

SPLADE-v3-DistilBERT — разреженный энкодер для семантического поиска и извлечения документов, опубликованный Naver. Модель кодирует предложения и абзацы в разреженные векторы размерностью 30 522; релевантность оценивается скалярным произведением. Архитектура основана на DistilBERT с маскированной языковой моделью и max-пулингом SPLADE. Максимальная длина последовательности — 512 токенов; в режиме воспроизведения оценки используется 256. Модель предназначена для построения поисковых систем и ранжирования документов по запросу. В карточке приведены результаты на MS MARCO dev (MRR@10 38,7) и BEIR-13 (средний nDCG@10 50,0). Поддерживается английский язык. Доступна по лицензии CC BY-NC-SA 4.0, которая требует указания авторства и распространения производных материалов на тех же условиях и ограничивает коммерческое использование.

Supertron-embedding-300M — компактная модель эмбеддингов на базе Sentence Transformers, разработанная Surpem и дообученная на основе google/embeddinggemma-300m. Она преобразует текст в векторные представления для семантического поиска, сравнения предложений и кластеризации документов, в том числе в системах RAG. Модель построена на плотном трансформере семейства Gemma 3 Text, содержит 302,8 млн параметров и рассчитана на контекст до 2048 токенов. В README указана максимальная длина последовательности 256 токенов для описанной процедуры обучения. Модель ориентирована на английский язык и демонстрирует результаты на задачах семантического сходства из бенчмарка MTEB. Компактный размер делает её подходящей для прикладных систем с ограниченными вычислительными ресурсами. Модель распространяется в формате Safetensors по лицензии Apache 2.0.

Vela Guard — классификатор на базе ModernBERT, разработанный командой vLLM Semantic Router для обнаружения prompt injection и попыток обхода ограничений в тексте. Модель анализирует прямые запросы и недоверенные фрагменты, пытающиеся переопределить инструкции или получить доступ к привилегированному контексту; её можно использовать как защитный компонент маршрутизации запросов и обработки документов. Для выявления вредоносного содержания README предлагает сочетать её с Vela Safety или Vela Hazard. Модель содержит 306,9 млн параметров, принимает текст и поддерживает контекст до 32 768 токенов. Заявлена многоязычная работа; в README приведены оценки на наборах с контрастами инструкций на шести языках. В описанной оценке macro F1 составил 97,77% на наборе запросов, основанных на источниках, и 75,98% на контрастах инструкций; авторы отмечают, что эти результаты не измеряют точность на длинных документах. Доступны веса safetensors и ONNX; для использования указаны Transformers и Candle, а ONNX-артефакты поддерживают CPU и ROCm. Лицензия — Apache-2.0.

Wolf Defender Threat Classifier — мультиязычный классификатор безопасности от Patronus, построенный на архитектуре ModernBERT и базе mmBERT. Он относит входной текст к одному классу угроз, например к попытке переопределить инструкции, получить доступ к секретам или злоупотребить инструментом; карточка также приводит классы для вредоносного или токсичного содержания и доброкачественных запросов. Модель предназначена для проверки промптов, вызовов инструментов и шагов AI-агентов, включая маршрутизацию угроз, мониторинг безопасности и принятие решений о блокировке или необходимости подтверждения. Модель содержит 140,5 млн параметров, принимает текст и поддерживает контекст до 8192 токенов. В карточке указаны немецкий и английский как основные оценённые языки; мультиязычная база позволяет обрабатывать и другие языки, но они не проходили активную проверку. Доступны веса Safetensors и экспорт ONNX FP16. Указанная лицензия — Apache-2.0. В тестировании на отложенной выборке из 4078 примеров указаны точность 0,960 и macro F1 0,925. Положительная классификация указывает на признаки угрозы во входе, но не доказывает, что действие было выполнено; модель не отслеживает поток данных между несколькими шагами агента. Возможны ложные срабатывания и пропуски, поэтому для решений с серьёзными последствиями карточка рекомендует сочетать её с детерминированными правилами и откалиброванными порогами.

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_2120 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_2520 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_840 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

mlx-community/all-MiniLM-L6-v2-bf16 — компактная модель для получения векторных представлений предложений, созданная сообществом mlx-community путём конвертации sentence-transformers/all-MiniLM-L6-v2 в формат MLX. Модель основана на архитектуре MiniLM и содержит 25,9 млн параметров. Она предназначена для оценки семантического сходства текстов, поиска похожих предложений и построения систем семантического поиска, кластеризации и retrieval-компонентов. Модель принимает англоязычные тексты и возвращает нормализованные embeddings, между которыми можно вычислять сходство через скалярное произведение. Поддерживается контекст длиной до 512 токенов и использование через библиотеку sentence-transformers и инструменты MLX. Сильные стороны модели — небольшой размер, специализированность на sentence embeddings и удобство применения на устройствах и в окружениях, совместимых с MLX. Модель не предназначена для генерации текста, плохо подходит для текстов за пределами английского языка, а входы длиннее 512 токенов требуют усечения или предварительной обработки. Лицензия — Apache-2.0.

lightonai/answerai-colbert-small-v1 — модель ColBERT в формате PyLate, основанная на answerdotai/answerai-colbert-small-v1 и подготовленная для работы с библиотекой PyLate. Это компактная BERT-модель примерно с 40 млн параметров: она кодирует запросы и документы в последовательности 96-мерных векторов и оценивает их сходство оператором MaxSim. Для запросов предусмотрено до 32 токенов, для документов — около 300; максимальный контекст по метаданным составляет 512 токенов. Модель предназначена для семантического поиска по коллекциям текстов и переранжирования результатов, в том числе в RAG-системах. Её можно использовать для получения векторных представлений запросов и документов, поиска релевантных фрагментов и вычисления оценок сходства. Карточка указывает английский базовый ретривер; поддержка других языков не заявлена. Репозиторий распространяется в формате safetensors. Лицензия в предоставленных данных не указана.

Модель tmdeptrai3012/bamiBERT-prompt-injection-vi-en разработана на основе Qualcomm-AI-Research/BamiBERT и дообучена для обнаружения prompt injection в пользовательском тексте. Она предназначена для классификации текста на вьетнамском, английском и их смешении, например для проверки пользовательских сообщений перед передачей их LLM. Модель построена на архитектуре RoBERTa, содержит 129 млн параметров и рассчитана на контекст до 2050 токенов. В README сообщаются результаты оценки: accuracy 0,97 и F1 0,9691; эти значения относятся к указанному набору оценки и не гарантируют такую же точность на других данных. Репозиторий включает веса Safetensors и формат ONNX. Лицензия — Apache-2.0.

Qdrant/bge-base-en-v1.5-onnx-Q — это квантованная версия в формате ONNX модели BAAI/bge-base-en-v1.5, опубликованная Qdrant. Модель предназначена для вычисления текстовых представлений, задач классификации текста и поиска по сходству. Модель работает с текстовыми данными на английском языке, поскольку базовая модель имеет суффикс en. Она преобразует документы и запросы в числовые векторы, которые можно сравнивать для семантического поиска, кластеризации или последующей классификации. В README указана интеграция с библиотекой FastEmbed. Ключевое преимущество модели — использование квантованного ONNX-представления, что может быть удобно для эффективного выполнения инференса в совместимых средах. При этом в README не приведены точные сведения об архитектуре, размере модели, размерности векторов, поддерживаемой длине контекста и характеристиках производительности. Ограничением также является ориентация на английский язык. Модель распространяется по лицензии Apache-2.0.

CompendiumLabs/bge-large-en-v1.5-gguf — набор квантованных и неквантованных embedding-моделей в формате GGUF, созданный Compendium Labs на основе исходной модели BAAI/bge-large-en-v1.5. Модель предназначена для преобразования текстов в векторные представления, которые можно использовать для семантического поиска, сравнения текстов, кластеризации и других задач, основанных на эмбеддингах. Модель рассчитана на запуск через llama.cpp, llama-cpp-python и интеграцию с LangChain. Доступны варианты F32 размером 1,3 ГБ, F16 размером 639 МБ, Q8_0 размером 342 МБ и Q4_K_M размером 199 МБ. Квантованные версии могут ускорить работу на CPU примерно до 30% при минимальной потере точности; выигрыш на GPU обычно скромнее и зависит от приложения. README не указывает архитектуру, размерность эмбеддингов, максимальную длину контекста и перечень поддерживаемых языков. Сильные стороны модели — поддержка эффективного выполнения на CPU, несколько вариантов точности и совместимость с популярными инструментами экосистемы llama.cpp. Ограничения связаны с тем, что это embedding-модель, а не генеративная языковая модель, а влияние квантования на качество зависит от выбранного формата и сценария. Модель распространяется по лицензии MIT.

BAAI/bge-large-zh-v1.5 — модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI). Она преобразует китайский текст в плотные векторные представления для поиска и сравнения текстов; версия v1.5 улучшает распределение оценок сходства и позволяет выполнять поиск без инструкции к запросу. Модель построена на архитектуре BERT, содержит 424,3 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска по документам, поиска ответов для RAG-систем и сопоставления запросов с текстами. Эмбеддинги можно использовать для получения первичного списка кандидатов, а затем уточнять ранжирование отдельной моделью BGE Reranker. В README семейство BGE описано для китайского и английского языков, однако эта конкретная модель рассчитана прежде всего на китайский. Сходство между эмбеддингами не следует трактовать как универсальную вероятность: в README отмечено, что оценки несхожих предложений могут быть выше 0,5. Репозиторий использует формат PyTorch и лицензию MIT.

mlx-community представила неофициальную версию BAAI/bge-m3, преобразованную для MLX и квантованную до 8 бит для работы на Apple Silicon. Это плотная модель на архитектуре XLM-RoBERTa с 658,7 млн параметров; размер эмбеддинга — 1024, контекст — до 8194 токенов. Квантование affine с группами по 64 веса уменьшает размер примерно до 592 МБ. Модель предназначена для создания текстовых представлений и семантического поиска. Исходная BGE-M3 поддерживает плотный, разреженный и многовекторный поиск, включая подход ColBERT; приведённый пример использования этой версии извлекает векторные представления текста через mean pooling. Многоязычная поддержка включает английский, китайский, немецкий, испанский, французский, итальянский, японский, корейский, португальский и русский языки. Квантованная версия рассчитана на сценарии, где важны качество и работа в пределах памяти около 600 МБ. Это неофициальная конверсия, поэтому совместимость ориентирована на MLX и Apple Silicon. Лицензия — MIT.

Карточка модели dabitbol/bge-m3-sparse-elastic на Hugging Face совпадает с карточкой Bylaw/BAAI-bge-m3, поэтому описание составлено по ней. BAAI/bge-m3 — многоязычная модель эмбеддингов семейства XLM-RoBERTa, разработанная BAAI и представленная в репозитории Bylaw/BAAI-bge-m3. Она предназначена для поиска по смыслу и извлечения документов, включая многоязычный и межъязыковой поиск, а также поиск по длинным текстам. Модель формирует плотные эмбеддинги, разреженные лексические веса и многовекторные представления ColBERT; эти представления можно использовать отдельно или объединять в гибридном поиске и RAG-конвейерах. Модель имеет 658,7 млн параметров, размерность эмбеддинга 1024 и контекст до 8194 токенов. README заявляет поддержку более 100 языков и указывает, что модель можно применять к коротким предложениям и длинным документам. В карточке также заявлены форматы PyTorch и Safetensors, а лицензия — MIT. BGE-M3 удобна тем, что объединяет несколько подходов к поиску и поддерживает длинный контекст. По README, для задач на одном языке специализированные одноязычные модели могут показывать лучшие результаты; поддержка разреженного поиска также зависит от используемой библиотеки. Для повышения точности авторы рекомендуют сочетать гибридный поиск с отдельной моделью-реранкером.

Chonky mmBERT Small Multilingual 1 — модель разметки токенов на базе мультиязычной jhu-clsp/mmBERT-small, разработанная автором репозитория mirth. Она находит в тексте точки смыслового разделения и помогает разбивать документы на связные фрагменты для последующей индексации и поиска в RAG-системах. Модель можно использовать через библиотеку chonky или стандартный pipeline NER в Transformers. Модель содержит 140,5 млн параметров и принимает последовательности длиной до 8192 токенов, однако при дообучении использовалась длина 1024 токена. В README приведены результаты token-based F1 на нескольких языках: модель показывает высокие значения на ряде европейских языков и русском, но значительно более низкое значение для китайского. Обучение проводилось на фрагментах BookCorpus, MiniPile и Project Gutenberg. Лицензия — MIT.

ColBERTv2 — модель поиска по текстовым коллекциям, разработанная командой ColBERT и представленная в статье ColBERTv2. Она предназначена для быстрого извлечения релевантных фрагментов и поиска passages по запросам, в том числе в крупных корпусах. Контрольная точка обучена на задаче ранжирования фрагментов MS MARCO Passage Ranking. Модель основана на BERT и использует позднее взаимодействие: отдельно кодирует запрос и каждый фрагмент в матрицы контекстных векторных представлений токенов, а затем сопоставляет их оператором MaxSim. В репозитории указаны 136,7 млн параметров и контекст до 512 токенов; модель рассчитана на английский язык. Для поиска нужно заранее индексировать коллекцию; скорость и качество выдачи можно регулировать параметрами поиска. Доступны форматы PyTorch, ONNX и Safetensors. ColBERTv2 подходит для поиска passages и построения компонентов retrieval в системах ответов на вопросы и RAG. Она выдаёт векторные представления и оценки релевантности, а не готовые текстовые ответы. Репозиторий распространяется по лицензии MIT.

ConstBERT — англоязычная модель поиска по фрагментам текста, разработанная Pinecone на основе дообучения google-bert/bert-base-uncased. Она изменяет подход ColBERT: вместо отдельного вектора для каждого токена документа модель формирует для документа фиксированный набор из 32 векторов размерностью 128. Запрос представляется набором токенных эмбеддингов, а релевантность документа оценивается механизмом позднего взаимодействия MaxSim. Модель предназначена для семантического поиска и извлечения фрагментов из больших коллекций документов, в том числе как первого этапа поиска или для переоценки кандидатов от другой поисковой системы. Фиксированное представление уменьшает размер индекса и упрощает управление хранением; выбор числа векторов задаёт компромисс между эффективностью поиска и затратами. README сообщает о сопоставимых с ColBERT результатах на MSMARCO и BEIR при существенно меньших индексах. Модель принимает текст и выдаёт многовекторные представления для поиска; контекст составляет до 512 токенов. Распространяется по лицензии Apache-2.0.

facebook/contriever — плотная модель векторного представления текста на базе архитектуры BERT, разработанная командой Facebook. Её обучили без учителя с помощью контрастивного обучения для поиска информации; для получения эмбеддинга предложения поверх выходов модели требуется mean pooling. Модель предназначена для построения векторного поиска по коллекциям документов и извлечения релевантных текстов по запросу. Она содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт представления текста. В README не указаны языки обучения или специализация на конкретной предметной области. Модель опубликована в формате PyTorch. Условия лицензии в предоставленных данных не описаны.

JasperLS/deberta-v3-base-injection — англоязычная модель классификации текста, полученная дообучением microsoft/deberta-v3-base на наборе данных promp-injection для выявления prompt injection. Это плотная архитектура DeBERTa-v3 с примерно 211,6 млн параметров и контекстом до 512 токенов. В README указаны результаты на тестовой выборке: accuracy 0,9914 и loss 0,0673. Модель предназначена для классификации текстовых фрагментов при проверке на prompt injection. Она может быть полезна как компонент фильтрации входных данных в приложениях с LLM; результаты на указанной выборке не гарантируют такую же точность на других данных. Модель распространяется по лицензии MIT.

DeepSeek-Coder-V2-Instruct-FP8 — квантизированная версия DeepSeek-Coder-V2-Instruct, разработанная Neural Magic. Это текстовая causal language model с текстовым вводом и выводом, предназначенная для коммерческого и исследовательского использования, прежде всего в сценариях ассистентского чата на английском языке. Модель ориентирована на задачи генерации и обработки кода; в README также приведён результат 88,98 на бенчмарке HumanEval+. В модели применена FP8-квантизация весов и активаций линейных операторов внутри transformer-блоков. Используется симметричная поканальная для всего тензора квантизация с единым линейным масштабированием; экспертные gate-модули сохранены в исходной точности. Переход с 16 на 8 бит примерно вдвое уменьшает размер на диске и требования к памяти GPU: модель может загружаться на 4 GPU H100 вместо 8. Версия подготовлена для инференса через vLLM версии 0.5.2 и новее; в примере конфигурации указана максимальная длина контекста 4096 токенов. К сильным сторонам относятся снижение потребления памяти и возможность более доступного развертывания при сохранении сопоставимого качества с исходной моделью. Ограничения включают заявленную поддержку только английского языка, необходимость совместимого окружения vLLM и GPU-инфраструктуры, а также отсутствие в README сведений о точном числе параметров и полной мультиязычной поддержке. Модель распространяется по лицензии deepseek-license; условия следует уточнять в тексте лицензии DeepSeek.

DeepSeek-V4.1-Flash — мультимодальная модель DeepSeek для диалогов, рассуждений и агентных задач. Она принимает изображения и текст и авторегрессионно генерирует текст. По README, модель обучена с нуля и использует архитектуру Causal Encoder-Decoder с 40 слоями и Mixture-of-Experts; в ней 552 млрд параметров backbone, а при обработке токенов активируется 8 млрд параметров на этапе prefill и 16 млрд при генерации. Модель поддерживает контекст до одного миллиона токенов и управляемый уровень усилий рассуждения от 1 до 100. Среди заявленных архитектурных решений — сжатие KV-кэша, разреженное внимание, условная память Engram и спекулятивное декодирование. Модель ориентирована на сценарии с длинным контекстом и агентным выполнением задач, включая работу с кодом и визуальными данными. Метаданные указывают форматы safetensors FP8 и библиотеку Transformers; лицензия — MIT. README отмечает, что для релиза не предоставлен Jinja-шаблон чата, а для запуска локально предлагается обратиться к инструкциям в папке inference.

DeepSeek-V4-Flash-0731 — официальный выпуск модели DeepSeek-V4-Flash от DeepSeek, заменивший предварительную версию. Это плотная языковая модель с архитектурой DeepseekV4ForCausalLM и 10,7 млрд параметров; репозиторий содержит веса Safetensors в формате FP8. Модель предназначена для генерации текста, диалогов и агентных сценариев, в том числе программирования и работы с терминалом. В README заявлено улучшение агентных возможностей и приведены результаты сравнительных тестов, однако приведённая таблица частичная. Контекст модели составляет до 1 048 576 токенов. Выпуск включает модуль спекулятивного декодирования DSpark; для общения предусмотрен специальный способ кодирования OpenAI-совместимых сообщений, но Jinja-шаблон чата не включён. README описывает уровни reasoning_effort low, high и max, а также запуск через vLLM, SGLang и локальную инфраструктуру. Лицензия — MIT. Языки, на которых модель обучена или проверена, в предоставленных данных не перечислены.

NVIDIA DeepSeek-V4-Flash-0731-NVFP4 — это квантизированная версия модели DeepSeek-V4-Flash-0731, разработанной DeepSeek AI и оптимизированной NVIDIA с помощью Model Optimizer. Модель предназначена для коммерческого и некоммерческого использования и ориентирована на сложное рассуждение, агентные AI-приложения, работу с инструментами, математику, программную инженерию и корпоративных AI-ассистентов. Модель построена на архитектуре Transformer и использует Mixture-of-Experts с 304 млрд параметров, из которых активируются 13 млрд, гибридное внимание Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Это авторегрессионная языковая модель с текстовым вводом и выводом, поддержкой многоходовых диалогов, системных инструкций, структурированного JSON, function calling и отображения рассуждений. Максимальная длина контекста составляет 1 млн токенов; доступны уровни reasoning effort low, high и max. Модель включает модуль спекулятивного декодирования DSpark. К сильным сторонам относятся поддержка очень длинного контекста, задач рассуждения, программирования, следования инструкциям и агентного взаимодействия с инструментами. Модель предназначена прежде всего для запуска на GPU NVIDIA с архитектурой Blackwell в Linux через SGLang или vLLM; совместимость с другими платформами в README не указана. Данные исходного обучения не раскрыты, поэтому заявленные характеристики требуют дополнительной проверки на прикладных данных. Модель распространяется по лицензии MIT.

Devstral-Small-2-24B-Instruct-2512-GGUF — квантизированная в формат GGUF версия модели Devstral-Small-2-24B-Instruct-2512 от Mistral, подготовленная ByteShape с использованием ShapeLearn. Метод ShapeLearn подбирает тип данных для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и задач, связанных с программированием, включая function calling, а также поддерживает мультимодальные сценарии с обработкой изображений. Доступны варианты с эффективной разрядностью от 2,34 до 4,04 бит на вес и размером от 6,9 до 11,9 ГБ. Качество оценивалось на BFCL-V3, LiveCodeBench V6, HumanEval, GSM8K-V, Math500, GSM8K и MMLU; в README также указана оценка vision-возможностей. Модели оптимизированы для GPU NVIDIA RTX 40-й и 50-й серий при использовании llama.cpp и могут запускаться через Ollama. Для работы с изображениями в llama.cpp необходимы файл модели и соответствующий мультимодальный projector-файл; размер контекста в приведённом примере составляет 8192 токена. Основные преимущества — широкий выбор компромиссов между качеством, скоростью и потреблением памяти, а также поддержка низкобитной квантизации и мультимодального использования. Ограничения включают возможное снижение качества на наиболее компактных вариантах и необходимость совместимого окружения для запуска; конкретные языки, полная архитектура и точные характеристики контекстного окна в README не указаны. Модель распространяется по лицензии Apache-2.0.

shanaka95/embeddinggemma-300m-rag-stage1 — дообученная модель эмбеддингов на базе google/embeddinggemma-300m, разработанная для поиска документов в корпоративных RAG-системах. Она преобразует текстовые запросы и документы в векторы, пригодные для сравнения по косинусной близости. Для запросов и документов предусмотрены отдельные подсказки query и document. Модель основана на плотной текстовой архитектуре Gemma 3 и содержит 302,8 млн параметров. Контекст — до 2048 токенов; модель принимает и обрабатывает текст на английском языке. Дообучение на 200 000 парах вопрос—документ из EnterpriseRAG-Bench использовало MultipleNegativesRankingLoss и MatryoshkaLoss с размерами эмбеддингов 768, 512, 256 и 128. В оценке на подмножестве бенчмарка модель показала Recall@1 0,3933 против 0,1750 у базовой модели; результаты получены на 89 вопросах и корпусе из 5000 документов. Модель предназначена для семантического поиска и извлечения релевантных документов в RAG-сценариях. Для корректного поиска корпус необходимо заново закодировать этой моделью: эмбеддинги базовой модели находятся в другом векторном пространстве. Лицензия — Gemma; этап 2 дообучения с подбором сложных негативных примеров в карточке указан как находящийся в процессе.

Frony Embed Arctic V2.5 (0.6B) — модель эмбеддингов текста от FronyAI, дообученная на базе Snowflake/snowflake-arctic-embed-l-v2.0. Это двунаправленный энкодер XLM-RoBERTa с плотным одно-векторным представлением и mean pooling; в метаданных указано 658,7 млн параметров. Модель ориентирована прежде всего на корейский язык и поддерживает поиск между корейскими и английскими текстами. Модель предназначена для семантического поиска и извлечения релевантных фрагментов, в том числе в RAG-системах, сопоставления FAQ и поиска по корейским документам в Markdown. Для запросов и документов предусмотрены специальные токены, добавляемые через настроенные prompts Sentence Transformers. Контекстная длина базовой модели — до 8194 токенов, однако обучение и оценка проводились на меньших последовательностях, а качество заявлено только до 512 токенов. Модель распространяется под лицензией Apache-2.0. При использовании следует учитывать ограничение на длину фрагментов и необходимость специальных токенов запроса и документа: без них качество поиска заметно снижается.

Functionary Small v3.1 — разговорная языковая модель с поддержкой вызова функций и плагинов, разработанная meetkai на основе Meta-Llama-3.1-8B-Instruct. Это плотная архитектура LlamaForCausalLM на 7,5 млрд параметров с контекстом до 131 072 токенов; модель распространяется в формате safetensors и совместима с Transformers. Модель предназначена для диалоговых систем, которым нужно выбирать подходящий инструмент, вызывать функции по JSON Schema, выполнять последовательные или параллельные вызовы и формировать ответы с опорой на результаты инструментов. Она также поддерживает сценарии с интерпретатором кода и может отвечать обычным текстом, когда вызов инструмента не нужен. Качество работы с инструментами зависит от корректного описания функций, шаблона диалога и обработки вызовов на стороне приложения; README предлагает использовать сервер vLLM с совместимым с OpenAI API интерфейсом. Модель выпущена под лицензией MIT.