II.10Разработка и эксплуатация AI/ML-систем

Inkling-Small-GGUF — мультимодальная авторегрессионная модель, разработанная Thinking Machines и представленная в формате GGUF командой Unsloth. Модель принимает текст, изображения и аудио, а генерирует текст; она предназначена для разработчиков AI-приложений, включая агентные и tool-use системы, coding assistants, чат-ботов, retrieval-augmented generation, диалоговые и мультимодальные сценарии, а также для исследований, дообучения и интеграции в сторонние продукты. Архитектура представляет собой 42-слойный decoder-only Transformer с разреженным Mixture-of-Experts: всего 276 млрд параметров, из которых активны 12 млрд; для каждого токена выбираются 6 из 256 экспертов и используются 2 общих эксперта. Внимание сочетает локальные и глобальные слои. Изображения обрабатываются иерархическим patch-энкодером, аудио — дискретным токенизированным представлением, после чего все модальности проецируются в общее скрытое пространство. Поддерживаются числовые форматы BF16 и NVFP4; GGUF-вариант ориентирован на локальный запуск через совместимые инструменты. Для изображений рекомендуются размеры каждой стороны от 40 до 4096 пикселей, для аудио — WAV с частотой 16 кГц и длительностью желательно менее двух минут. Сильные стороны модели — сочетание текстовых, визуальных и аудиовходов, поддержка английского и общих мультиязычных сценариев, работы с кодом и широкого спектра прикладных задач. Ограничения включают текстовый формат вывода, рекомендуемые ограничения на входные изображения и аудио, а также отсутствие в представленных данных конкретного размера контекстного окна и подробных результатов оценивания. Модель распространяется под лицензией Apache-2.0.

Iso-ModernColBERT — англоязычная много-векторная модель для семантического поиска и ранжирования документов, разработанная TopK.io. Это изотропно скорректированная версия GTE-ModernColBERT-v1 на архитектуре ModernBERT с 149 млн параметров и контекстом до 8192 токенов. Модель кодирует запросы и документы в наборы векторов и поддерживает позднее взаимодействие в стиле ColBERT; в TopK она также применяется со Sparse Multi-Vector Encoding (SMVE). Модель рассчитана на производственные системы поиска, где важны качество ранжирования и скорость извлечения. По внутренним оценкам разработчика на наборах BEIR и NanoBEIR версия bf16 сохраняет качество ранжирования, близкое к fp32, и ускоряет инференс до трёх раз относительно исходной модели; SMVE предназначен для масштабируемого поиска кандидатов с последующим ранжированием. Эти результаты получены во внутреннем тестовом контуре, а README отмечает, что некоторые показатели выигрыша SMVE обусловлены крайне низкой базовой оценкой исходной модели. Лицензия — Apache-2.0. Модель ориентирована на английский язык; заявленный контекст — 8192 токена. Она предназначена для получения векторов и оценок релевантности, а не для генерации ответов. Результаты README относятся к указанным поисковым бенчмаркам и конфигурациям, поэтому качество на других корпусах и при иных настройках отдельно не подтверждено.

Jina AI разработала jina-colbert-v2-64 — мультиязычную модель поиска по фрагментам текста на архитектуре ColBERT с поздним взаимодействием токеновых представлений. Она создаёт эмбеддинги размерности 64 и подходит для поиска релевантных документов и фрагментов в системах информационного поиска и RAG. Модель принимает последовательности длиной до 8192 токенов. Поддерживает множество языков, включая английский, арабский, бенгальский, немецкий, испанский, французский, хинди, японский и корейский. Matryoshka-представления позволяют выбирать компромисс между размером эмбеддингов и точностью; в тестах README версия с размерностью 64 показывает близкие к более крупным вариантам результаты на BEIR и MS MARCO. Для развёртывания README указывает зависимости einops и flash_attn; также приведены примеры интеграции с RAGatouille и Stanford ColBERT. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Метаданные классифицируют репозиторий как fill-mask, однако заявленное назначение и архитектура ColBERT указывают на поиск и ранжирование текстовых фрагментов; подходящий тег retrieval в доступных данных не указан.

jina-embeddings-v2-base-en-GGUF — англоязычная модель для создания векторных представлений текста. Оригинальная модель разработана jinaai, а GGUF-версии подготовлены Second State Inc. Модель предназначена для семантического поиска, сопоставления текстов, кластеризации, классификации и других задач, где требуется сравнивать смысловое сходство текстовых данных. Модель работает в режиме embedding, поддерживает контекст до 8192 токенов и формирует эмбеддинги размерностью 768. Распространяется в формате GGUF с вариантами квантования от Q2_K до Q8_0, а также в формате f16. Квантированные версии занимают примерно от 61,7 до 146 МБ, тогда как f16-версия — 274 МБ. Для запуска в README указан LlamaEdge версии v0.14.17. Основное преимущество модели — возможность локального запуска и выбор между компактностью и качеством через разные уровни квантования; версии Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые. При этом сильное квантование может приводить к существенной потере качества, особенно у вариантов Q2_K и Q3. Модель ориентирована на английский язык, поэтому её пригодность для других языков не подтверждена. Лицензия — Apache-2.0.

Kompress-base — модель компрессии текста для сокращения содержимого контекстного окна LLM; её разработчик — chopratejas. Модель основана на ModernBERT-base от Answer.AI и имеет около 149 млн параметров, архитектуру с двумя головами и контекст до 8192 токенов. Она классифицирует каждый токен как сохраняемый или удаляемый, а дополнительная сверточная голова выделяет важные фрагменты и помогает сохранить пограничные токены. Компрессия экстрактивная: сохраняются исходные слова в исходном порядке, а степень сжатия меняется в зависимости от плотности текста. Модель предназначена для сокращения текстовых контекстов перед передачей LLM, в том числе в агентных сценариях и через прокси Headroom. В карточке автор сообщает о более высокой оценке качества и меньшей задержке по сравнению с LLMLingua-2, но эти результаты основаны на внутренней оценке и не гарантируют аналогичного качества на других данных. Модель рассчитана на английский текст; для JSON, кода и логов рекомендуются специализированные компрессоры. Доступна по лицензии Apache-2.0.

Laguna-S-2.1-GGUF — GGUF-квантизированная версия текстовой Mixture-of-Experts-модели Laguna S 2.1, разработанной poolside и подготовленной для запуска через Unsloth и llama.cpp. Модель предназначена прежде всего для агентного программирования, вызова инструментов и выполнения длительных многошаговых задач с кодом. Она поддерживает нативное рассуждение с чередованием размышлений и вызовов инструментов, а также спекулятивное декодирование с использованием отдельной DFlash-модели. Архитектура содержит 118 млрд параметров, из которых около 8 млрд активируются для каждого токена. Модель имеет 48 слоёв, 256 маршрутизируемых экспертов с выбором 10 экспертов на токен и один общий эксперт, grouped-query attention с 8 KV-головами, а также комбинацию глобального и скользящего внимания: 12 глобальных слоёв и 36 слоёв с окном 512 токенов. Контекстное окно составляет 1 048 576 токенов, размер словаря — 100 352 токена. Модальность — text-to-text; языки в README не указаны. Ключевые преимущества — большое контекстное окно, специализированность на агентных задачах и программировании, поддержка нескольких движков инференса и снижение требований к памяти за счёт GGUF-квантизации. Вариант UD-Q4_K_XL занимает около 40 ГБ и поставляется в трёх файлах; для него требуется llama.cpp версии b10087 или новее. Ограничения включают значительный общий размер модели и необходимость нескольких GPU для полноточных вариантов. Модель распространяется по лицензии OpenMDW-1.1, разрешающей свободное использование и модификацию для коммерческих и некоммерческих целей.

Laguna XS 2.1-FP8 — текстовая Mixture-of-Experts модель, разработанная poolside для агентного программирования и длительных рабочих процессов на локальном компьютере. Она предназначена для генерации и анализа кода, выполнения многошаговых задач с инструментами и работы в сценариях, требующих продолжительного контекста и межшагового рассуждения. Модель содержит 33 млрд параметров, из которых 3 млрд активируются для каждого токена, и включает 256 экспертов с одним общим экспертом. Архитектура состоит из 40 слоёв: 30 используют Sliding Window Attention с окном 512 токенов, а 10 — глобальное внимание; применяется смешанное соотношение SWA и глобального внимания 3:1, а также per-head gating и rotary scales. Контекстное окно составляет 262 144 токена. Модель работает в режиме text-to-text, поддерживает interleaved thinking между вызовами инструментов и позволяет включать или отключать режим рассуждений для отдельных запросов. Вариант FP8 использует FP8-квантизацию KV-кэша, что снижает требования к памяти. К сильным сторонам относятся компактность для модели такого класса, низкие требования к KV-кэшу, пригодность для локального запуска и специализация на агентных задачах разработки ПО. В README не указаны поддерживаемые языки программирования или естественные языки. Приведённые результаты зависят от конкретной методики оценки и параметров запуска; заявлены показатели 70,9% на SWE-bench Verified, 63,1% на SWE-bench Multilingual, 47,6% на SWE-Bench Pro и 37,5% на Terminal-Bench 2.0. Модель распространяется по лицензии OpenMDW-1.1, допускающей свободное использование и модификацию для коммерческих и некоммерческих целей.

nikitast/lang-classifier-roberta — модель классификации текста по языку, созданная дообучением RoBERTa. Она принимает текст и определяет, к одному из поддерживаемых языков он относится: русскому, украинскому, белорусскому, казахскому, азербайджанскому, венгерскому, армянскому, грузинскому, ивриту, английскому или немецкому. Модель основана на XLM-RoBERTa, содержит около 305,2 млн параметров и рассчитана на последовательности длиной до 514 токенов. Модель дообучена на небольших выборках Open Subtitles, OSCAR и Tatoeba — примерно по 9 тысяч примеров на язык. В README приведены результаты проверки на отдельных выборках примерно по тысяче примеров на язык; для показанных классов F1 составляет от 0,976 до 0,998. Размер обучающих выборок ограничивает уверенность в качестве на текстах, которые отличаются от использованных данных. Репозиторий содержит веса PyTorch; сведения о лицензии в доступных данных отсутствуют.

LFM2.5-Encoder-350M Corpus Cleaner — модель токеновой классификации, опубликованная Yijiong Yu и дообученная на двунаправленном энкодере LiquidAI/LFM2.5-Encoder-350M. Она помечает токены в шумных текстах как KEEP или DELETE, чтобы удалять рекламные вставки, навигацию, шаблонные блоки, искажённый текст и другой низкокачественный материал, сохраняя полезные фрагменты без переписывания документа. Модель рассчитана на очистку и фильтрацию больших текстовых корпусов, в том числе данных для предобучения; автор сообщает о скорости около 3 тыс. токенов в секунду на CPU и около 160 тыс. на одном GPU H20. В README заявлен контекст 8 тыс. токенов, тогда как метаданные указывают нативный контекст энкодера 128 тыс. токенов; фактический рабочий предел может зависеть от используемой конфигурации. Модель версии 0.0.2 обучена примерно на 3 млн пар сырых и очищенных примеров; очистку целевых текстов выполняли с помощью Qwen3.5-9B. Архитектура — плотный LFM2, около 444,6 млн параметров по метаданным. Указана поддержка английского и китайского языков. Для работы требуются Transformers с поддержкой LFM2 и trust_remote_code=True. Лицензия в предоставленных данных не указана.

MinhNghia/Llama-Prompt-Guard-2-86M-vi-v2 — классификатор попыток prompt injection и jailbreak во вьетнамском тексте, дообученный автором MinhNghia на базе meta-llama/Llama-Prompt-Guard-2-86M. Модель использует архитектуру DeBERTa-v2 для классификации последовательностей, принимает текст и выдаёт метку класса с оценкой. Размер по метаданным — 306 млн параметров, контекст — до 512 токенов. Модель предназначена для проверки пользовательских запросов и другого текста перед передачей языковой модели. В README приведены высокие показатели на тестовом наборе, включая F1 для вредоносного класса около 0,995; результаты зависят от данных и не гарантируют обнаружение всех атак. Карточка указывает поддержку вьетнамского и английского языков. Лицензия — Llama 4.

unsloth/Meta-Llama-3.1-70B — квантованная версия базовой модели meta-llama/Meta-Llama-3.1-70B, опубликованная в экосистеме Unsloth и предназначенная для работы с Transformers. Модель ориентирована на англоязычные задачи обработки и генерации текста, а также на последующее дообучение на пользовательских датасетах. В README упоминаются сценарии conversational и text completion, а также экспорт дообученной модели в форматы GGUF и vLLM. Из указанных характеристик известно, что модель относится к семейству Llama 3.1, имеет размер 70B и поддерживает английский язык. Она распространяется как quantized-модель, что должно снижать требования к памяти по сравнению с полной версией, однако конкретный формат и параметры квантования не указаны. Архитектура, размер контекста, точный набор поддерживаемых модальностей и показатели качества в README не описаны, поэтому модель следует рассматривать прежде всего как крупную текстовую основу для инференса и дообучения. Лицензия указана как llama3.1; условия её применения необходимо проверять по лицензии Meta.

furiosa-ai/Meta-Llama-3.1-8B-Instruct-FP8-dynamic — это инструкция-ориентированная языковая модель Meta Llama 3.1 с 8 млрд параметров, подготовленная для диалогов на естественном языке, выполнения инструкций и вызова инструментов. Модель представляет собой плотный авторегрессионный Transformer, работает с текстом на входе и выходе и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Квантованная версия FP8-dynamic опубликована RedHatAI на основе Meta Llama 3.1 8B Instruct, а данный репозиторий дополнительно содержит пакет Furiosa Executable Bundle для запуска на аппаратном обеспечении FuriosaAI RNGD через Furiosa-LLM. Линейные веса Transformer-блоков используют статическое квантование FP8, а активации динамически квантуются в FP8 для каждого токена во время инференса, без предварительной офлайн-калибровки. Модель поддерживает вызов функций через парсер llama3_json и рассчитана на параллелизм по 8 processing elements на одной карте RNGD. Основной сценарий использования — развёртывание текстового диалогового сервиса через OpenAI-совместимый API Furiosa-LLM; также заявлена совместимость с другими фреймворками, включая vLLM, SGLang и Transformers. Ограничения по размеру контекста в предоставленных данных не указаны. Модель распространяется по лицензии Llama 3.1 Community License.

facebook/mms-lid-126 — модель проекта Massive Multilingual Speech от Facebook, дообученная для определения языка речи. Она принимает аудио и выдаёт распределение вероятностей по 126 языковым классам; построена на архитектуре Wav2Vec2 и дообучена на базе facebook/mms-1b. Размер модели указан в карточке как 1 млрд параметров, а в метаданных — 1,3 млрд. Модель предназначена для автоматической идентификации языка по речевому аудио и поддерживает речь на 126 языках. Для работы с ней подходят аудиозаписи с частотой дискретизации 16 кГц. Лицензия CC-BY-NC 4.0 разрешает использование на условиях Creative Commons «С указанием авторства — Некоммерческое использование».

ModernBERT-base-ModBERTScore-12 — текстовая модель для извлечения признаков, созданная LazerLambda на основе answerdotai/ModernBERT-base. В ней используются первые 12 трансформерных слоёв исходной модели; размер составляет 103,9 млн параметров, архитектура — ModernBERT. Модель принимает текст и формирует векторные представления, которые можно использовать в системах поиска и сравнения текстов. Максимальная длина контекста — 8192 токена. Модель распространяется в формате Safetensors и предназначена для использования с библиотекой Transformers. Лицензия в предоставленных данных не указана.

Это англоязычный многовекторный текстовый энкодер семейства ModernBERT, созданный tomaarsen на базе Alibaba-NLP/gte-modernbert-base и дообученный на 20 тысячах примеров MS MARCO с дистилляцией оценок bge-reranker-v2-gemma. Модель преобразует текст в последовательность 128-мерных векторов токенов и оценивает соответствие запросов и документов с помощью late interaction MaxSim; длина входной последовательности — до 8192 токенов. Модель предназначена для семантического поиска и извлечения документов, особенно в системах, где важна точная токен-уровневая оценка релевантности. В карточке приведены результаты оценки на наборах NanoMSMARCO и NanoBEIR. Веса доступны в формате safetensors, использовать их можно с библиотекой Sentence Transformers. Лицензия — Apache-2.0.

Muse-Glimmer-30B-assistant — лёгкая модель-планировщик Muse Glimmer от Meta Superintelligence Lab, выпущенная в августе 2026 года. Это версия на базе DFlash для ускорения генерации: она предлагает блоки по 16 токенов за один проход, после чего основная модель проверяет их и исправляет ошибки. В README основная Muse Glimmer описана как плотный причинный трансформер с энкодером восприятия, дистиллированный из Muse Spark и рассчитанный на локальную работу; однако метаданные этого репозитория указывают 2,5 млрд параметров, поэтому размер именно загруженной модели расходится с описанием основной модели на 30 млрд параметров. Модель предназначена для мультимодального общения и агентных сценариев: интерпретации изображений, снимков экрана, диаграмм и документов, планирования последовательности действий, вызова инструментов, программирования, генерации синтетических данных и оценки ответов других моделей. Метаданные указывают задачу image-text-to-text, библиотеку Transformers, формат Safetensors и контекст 131 072 токена. README сообщает, что аудио не поддерживается; видео не является целевой модальностью и обрабатывается покадрово. Языки, на которых модель особенно хорошо работает, не перечислены. Модель может ошибаться в многошаговых рассуждениях, выдавать предвзятые или нежелательные ответы; качество на языках за пределами хорошо поддерживаемого набора может снижаться. Для агентных систем автор рекомендует собственные проверки безопасности и дополнительные ограничения, особенно перед необратимыми действиями. Лицензия — Apache 2.0.

mxbai-edge-colbert-v0-17m — компактная модель поиска Mixedbread AI: 16,8 млн параметров, основана на Ettin-17M и архитектуре ModernBERT. Она строит многовекторные представления текста в стиле ColBERT с размерностью проекции 48 и предназначена для семантического поиска, извлечения документов и переранжирования результатов после первичного поиска. Модель совместима с PyLate и Sentence Transformers. В README заявлена обработка документов длиной до 32 000 токенов. Метаданные указывают нативный контекст в 7 999 токенов, поэтому предел 32 000 следует считать заявленной возможностью представления документов, а не подтверждённой длиной нативного контекста. Модель ориентирована на английский язык. Доступны форматы safetensors и ONNX; лицензия — Apache-2.0.

OpenLID — модель классификации текста для автоматического определения языка, разработанная Laurie Burchell, Alexandra Birch, Nikolay Bogoychev и Kenneth Heafield. Она построена на fastText и охватывает 201 язык; модель обучена на наборе OpenLID и оценивалась на бенчмарке FLORES-200. Модель предназначена для определения языка короткого текста и предварительной фильтрации или маршрутизации многоязычных данных в NLP-конвейерах. Лицензия — GPL-3.0. Ограничения связаны с охватом только 201 языка, неравномерным качеством распознавания и оценкой на предложениях из Википедии, которая может не отражать результаты на данных из других областей. Часть обучающих данных не проверялась носителями языка; ошибки могут затрагивать диалекты, письменности и малые языки.

opensearch-project/opensearch-neural-sparse-encoding-doc-v2-mini — компактная модель OpenSearch для нейронного разреженного поиска по документам. Она основана на BERT и содержит 25,9 млн параметров; модель принимает текст и формирует разреженные векторы размерностью 30 522. Для запросов используются токенизатор и таблица весов, а релевантность вычисляется как скалярное произведение векторов запроса и документа. Модель предназначена для применения с инвертированным индексом Lucene в OpenSearch и может запускаться через Sentence Transformers или API Hugging Face. Модель подходит для поиска документов и passages, семантического поиска и расширения документов при подготовке к поиску. В README приведены результаты оценки серии моделей на подмножестве BEIR; показатели различаются между наборами данных. Контекст ограничен 512 токенами, основной язык в метаданных — английский. Распространяется по лицензии Apache-2.0.

Ornith-1.5-27B-A3B-CoderX-MTP-GGUF — квантизированная GGUF-версия модели Ornith-1.5-27B-A3B-CoderX, разработанная ManniX-ITA. Модель предназначена прежде всего для генерации и анализа кода, рассуждений и текстовых задач; в метаданных также заявлена поддержка vision-сценариев. Указанный язык — английский. Модель использует архитектуру Qwen3.5-MoE с 25,6 млрд параметров, из которых активно используется около 3 млрд. В составе 184 эксперта, из них выбираются 8; конфигурация включает 40 основных блоков и один слой MTP (Multi-Token Prediction). Доступны веса F16 и многочисленные варианты квантизации от Q8_0 до IQ2_XS, а также отдельный vision projector. Заявлен контекст до 262 144 токенов в примере запуска через llama.cpp. Сильные стороны модели — MoE-архитектура с небольшим числом активных параметров, поддержка рассуждений, кода, MTP и vision, а также квантизация с importance matrix, рассчитанной специально для этой версии. Ограничения зависят от выбранного уровня квантизации: компактные варианты могут заметно терять качество, а F16 и старшие кванты требуют значительного объёма памяти. Модель распространяется по лицензии Apache-2.0 и предназначена для запуска в совместимом окружении, включая llama.cpp.

Ornith-1.5-9B-GGUF — открытая плотная модель на 9 млрд параметров, разработанная Ornith AI и представленная в формате GGUF пользователем prithivMLmods. Она предназначена для локального запуска на одной GPU, мобильных и периферийных устройствах, а также для интеграции с llama.cpp и другими средами инференса. Модель ориентирована на генерацию текста, рассуждения, программирование, агентские сценарии и использование инструментов. Модель поддерживает встроенное пошаговое рассуждение с разделением промежуточных размышлений в тегах <think> и итогового ответа, а также структурированные вызовы инструментов в XML-формате, совместимые с OpenAI API, vLLM, SGLang, Ollama и llama.cpp. Заявлено контекстное окно 262 144 токена с возможностью расширения до 1 млн токенов посредством YaRN RoPE scaling. Указан английский язык; архитектурная линия основана на Qwen3.5 и Gemma-4 с дополнительным предварительным обучением, дообучением и reinforcement learning. В репозитории доступны варианты BF16, F16 и различные уровни квантования размером примерно от 4,26 до 17,9 ГБ, а также файлы мультимодального проектора. Сильными сторонами заявлены производительность в задачах кодирования, рассуждений и работы с инструментами, поддержка длинного контекста и локального инференса при относительно небольшом размере. README приводит результаты на SWE-bench Verified — 70,6% и GPQA Diamond — 86,4%, однако методика оценки не описана. Ограничения включают зависимость качества и требований к памяти от выбранного варианта квантования, а также отсутствие подробных сведений о поддерживаемых мультимодальных входах и фактических сценариях работы проектора. Модель распространяется по лицензии MIT.

Ornstein-3.5-9B-V1.5 — дообученная DJLougen / GestaltLabs модель семейства Qwen3.5 с примерно 9,65 млрд параметров. Это плотная модель на базе Qwen/Qwen3.5-9B-Base, выпущенная в формате BF16 и предназначенная для диалогового использования через Transformers; карточка также указывает интерфейс вызова инструментов. Модель ориентирована на многошаговые рассуждения, научные и технические задачи, помощь в исследованиях ИИ, программирование и обычный диалог. По заявленным разработчиком тестам GBS STANDARD-200 она превосходит базовую модель в рассуждениях и научных вопросах; результаты приведены в README и не гарантируют аналогичного качества на других задачах. V1.5 — промежуточный релиз supervised fine-tune, а не описываемая как завершённая версия будущего этапа обучения с reinforcement learning. Модель принимает текст и выдаёт текст. Карточка ориентирует её на английский язык. Лицензия — Apache 2.0.

LocalAI-io/privacy-filter-multilingual-GGUF — это GGUF-версия мультиязычной модели классификации токенов для обнаружения персональных и других чувствительных данных (PII). Модель разработана OpenMed как дообученная версия openai/privacy-filter, а данный репозиторий содержит её локально запускаемую упаковку GGUF, ориентированную на использование с privacy-filter.cpp и LocalAI. Модель не предназначена для диалога или генерации текста: она размечает каждый токен тегами BIOES и возвращает позиции обнаруженных сущностей, чтобы служить уровнем NER в системах маскирования и редактирования PII. Модель поддерживает 54 категории PII, представленные 217 классами, и 16 языков: арабский, бенгальский, немецкий, английский, испанский, французский, хинди, итальянский, японский, корейский, нидерландский, португальский, телугу, турецкий, вьетнамский и китайский. Используется специальная архитектура openai-privacy-filter; доступны варианты F16 размером около 2,7 ГБ и Q8_0 размером около 1,6 ГБ, в котором основные веса MoE-кспертов квантизированы, а attention, embeddings и классификационная голова сохранены в F16. Q8_0 уменьшает требования к памяти и обычно немного ускоряет работу на CPU, но может снижать точность. Для запуска рекомендуется privacy-filter.cpp с поддержкой CPU, CUDA и Vulkan либо LocalAI с backend privacy-filter. Стандартные llama.cpp, llama-cpp-python, Ollama и LM Studio без специальных патчей эту модель не загрузят. F16 считается предпочтительным вариантом для максимальной надёжности; результаты Q8_0 следует проверять на собственных данных, особенно для редких форматов PII и языков, поскольку заявленная проверка совпадения с F16 проводилась на одном англоязычном документе. Модель распространяется по лицензии Apache-2.0.

Sentinel v2 — модель классификации текста, разработанная rogue-security и дообученная на базе Qwen/Qwen3-0.6B. Она предназначена для обнаружения prompt injection и jailbreak-атак во входных запросах к большим языковым моделям и может использоваться как фильтр перед передачей запросов чат-боту или как компонент системы модерации. По карточке, модель содержит около 596 млн параметров, работает с текстом, поддерживает контекст до 32K токенов и рассчитана прежде всего на английский язык. В опубликованной оценке средний F1 составил 0,957 на пяти бенчмарках; пример вывода содержит метку класса и оценку уверенности. Модель не предназначена для генерации текста или общего анализа тональности. Она может ошибочно классифицировать творческие и неоднозначные запросы; оценка на неанглоязычных данных не проводилась, поэтому заявленная применимость ограничена английским языком. Для сложных атак рекомендуется сочетать её с проверкой человеком или правилами. В README указана лицензия Elastic и возможность коммерческого использования; метаданные Hugging Face обозначают лицензию как other, поэтому перед внедрением следует проверить условия лицензии в репозитории.

Qwen2.5-7B — базовая языковая модель серии Qwen2.5, разработанной командой Qwen. Это предобученная плотная авторегрессионная модель на 7,1 млрд параметров; в карточке указаны архитектура Qwen2ForCausalLM, RoPE, SwiGLU, RMSNorm и контекст до 131 072 токенов. Модель распространяется в формате Safetensors и под лицензией Apache-2.0. Модель предназначена для дальнейшей адаптации и использования как основа для генерации текста, кода и структурированных ответов. Серия поддерживает более 29 языков, включая русский и английский, и заявляет улучшения в математике, программировании, следовании инструкциям и работе с таблицами и JSON. У этой версии базовые веса предобучения: разработчик не рекомендует использовать её непосредственно для диалогов; для чат-сценариев требуется постобучение, например SFT или RLHF.

CISCai/Qwen2.5-Coder-32B-Instruct-SOTA-GGUF — это квантизированная версия Qwen2.5-Coder-32B-Instruct, разработанной командой Qwen. Модель предназначена для генерации текста и кода в диалоговом формате, включая написание, дополнение и исправление программ. Она поддерживает сценарий Fill-in-the-Middle и использует шаблон запросов ChatML. Модель основана на архитектуре Qwen2 и содержит 32 млрд параметров. Поставляется в формате GGUFv3 с вариантами квантизации от 1 до 4 бит, включая IQ1_S, IQ1_M, IQ2, IQ3 и IQ4 с importance matrix. Размер файлов составляет примерно от 6,8 ГБ, а требуемый объём оперативной памяти — от 7,8 ГБ, в зависимости от варианта. Базовая длина контекста составляет 32 768 токенов; для отдельных файлов доступны варианты с YaRN и контекстом до 131 072 токенов. Основные преимущества — возможность локального запуска через llama.cpp и совместимые интерфейсы, а также снижение требований к памяти благодаря квантизации. При этом наиболее компактные варианты сопровождаются существенной или высокой потерей качества, поэтому выбор файла требует компромисса между размером и точностью. В README язык указан как английский; сведения о поддержке других языков отсутствуют. Файлы совместимы с llama.cpp начиная с версии от 27 февраля 2024 года. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen2.5-Coder-3B-Instruct-GGUF — это квантованная в формате GGUF версия Qwen2.5-Coder-3B-Instruct, разработанной командой Qwen. Квантование выполнено bartowski на основе llama.cpp, релиз b4014. Модель предназначена для генерации текста и кода, диалогового взаимодействия и использования в Code Agents. Модель имеет размер 3B параметров и поддерживает контекст до 32K токенов. При обучении использовалось до 5,5 триллиона токенов, включая исходный код, данные для выравнивания текста и кода, а также синтетические данные. В метаданных указано английское языкoвое направление. Формат GGUF и совместимость с llama.cpp делают модель подходящей для локального запуска в приложениях, поддерживающих этот формат. К сильным сторонам относятся специализация на программировании, большой контекст и адаптация к сценариям с агентами для работы с кодом. Ограничениями являются относительно небольшой размер по сравнению с крупными моделями, возможные потери качества из-за квантования и стандартный риск генерации неточного, небезопасного или ошибочного кода. В README указана лицензия qwen-research; точные условия следует проверять в оригинальной лицензии Qwen.

QuantTrio/Qwen3-30B-A3B-Thinking-2507-AWQ — это AWQ-квантизированная версия причинной языковой модели Qwen3-30B-A3B-Thinking-2507, разработанной командой Qwen и подготовленной QuantTrio. Модель предназначена для генерации текста с акцентом на углублённое рассуждение, включая решение математических и научных задач, программирование, логический анализ, следование инструкциям, использование инструментов и работу в агентских сценариях. Поддерживается только режим thinking; шаблон чата автоматически добавляет маркер <think>. Архитектура модели основана на Mixture-of-Experts: всего 30,5 млрд параметров, из которых при обработке активируются 3,3 млрд; предусмотрены 48 слоёв, 128 экспертов и 8 активируемых экспертов, а также GQA с 32 головами запросов и 4 головами ключей и значений. Исходная модель поддерживает нативный контекст до 262 144 токенов, однако в приведённой конфигурации vLLM задан максимальный размер контекста 32 768 токенов. Файлы квантизированной версии занимают около 16 ГБ. К сильным сторонам относятся улучшенные способности к рассуждению, математике, программированию, работе с инструментами и обработке длинного контекста, а квантизация снижает требования к памяти при развёртывании. Ограничения включают поддержку только thinking-режима, необходимость запуска с параметром --enable-expert-parallel и рекомендуемую зависимость vLLM версии 0.10.0; в README приведена конфигурация для одной узловой системы с четырьмя GPU. Модель распространяется по лицензии Apache-2.0.

QuantTrio/Qwen3.6-35B-A3B-AWQ — квантованная версия открытой модели Qwen3.6-35B-A3B, разработанной командой Qwen. Репозиторий содержит веса в формате Hugging Face Transformers и подготовлен с использованием data-free-квантизации AWQ без калибровочного набора данных. Указана лицензия Apache 2.0, унаследованная от базовой модели Qwen/Qwen3.6-35B-A3B. Модель предназначена для генерации текста, программирования, агентных сценариев и работы с изображениями благодаря архитектуре causal language model с vision encoder. Она ориентирована, в частности, на repository-level reasoning, frontend-разработку, использование инструментов и сохранение контекста рассуждений между сообщениями. Для запуска рекомендуется vLLM; в README также заявлена совместимость с Transformers, SGLang и KTransformers. Архитектура включает 35 млрд параметров, из которых активируется около 3 млрд, 40 слоёв, Mixture of Experts с 256 экспертами, 8 маршрутизируемыми и одним общим активным экспертом, а также компоненты Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Размер файлов модели — около 24 ГиБ. README не приводит полный перечень поддерживаемых языков и подробные результаты тестирования. Ключевые ограничения связаны с требованиями к совместимым версиям vLLM и Transformers, CUDA 12.8 или 13.0, а также с необходимостью корректной настройки expert parallelism при распределённом запуске.

sokada4/Qwen3.8-27B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия модели Qwen/Qwen3.8-27B, опубликованная пользователем sokada4. Квантизация выполнена с помощью GPTQModel 7.3.4 по схеме W4A16, с размером группы 128 и симметричным представлением. Модель предназначена для текстового вывода и рассчитана на локальное развертывание через vLLM, в том числе как OpenAI- или Anthropic-совместимый backend для Claude Code и Codex CLI. Это плотная языковая модель примерно на 27 млрд параметров с заявленным нативным контекстом до 262144 токенов. Квантизации подверглись только веса language_model; веса vision tower сохранены без изменений, однако данный checkpoint предназначен для text-only serving. Тензоры MTP, используемые для speculative decoding, также сохранены в формате bf16. Калибровка проводилась на англоязычных, китайских и японских текстах, а также на коде, поэтому модель ориентирована на многоязычные и программные сценарии, хотя точный языковой охват в README не указан. Ключевые преимущества — существенное снижение требований к памяти по сравнению с полноразмерной моделью, поддержка speculative decoding через MTP и совместимость с инструментальными вызовами в vLLM. Для комфортной работы с длинным контекстом и MTP рекомендуется конфигурация из двух GPU по 24 ГБ; на одной видеокарте 24 ГБ длину контекста придётся заметно уменьшить, а MTP использовать нецелесообразно. В README также отмечен повышенный риск некорректно сформированных tool calls по сравнению с облачными моделями, поэтому для автономных агентных сценариев рекомендуется проверка вызовов человеком. Модель распространяется по лицензии Apache-2.0.