I.2Синтез, понимание и проверка знаний

GLM-4.6-FP8 — языковая модель для генерации текста, разработанная командой zai-org, связанной с Zhipu AI. Модель предназначена для работы с агентами, рассуждениями, программированием, поиском и использованием инструментов, а также для задач, где важны качество текста и естественность ролевого взаимодействия. Модель поддерживает английский и китайский языки, работает через библиотеку Transformers и имеет контекстное окно до 200 000 токенов. По сравнению с GLM-4.5 заявлены улучшения в кодировании, рассуждениях, использовании инструментов и поисковых агентах, а также более качественная генерация визуально оформленных интерфейсов. В README не указаны архитектура, количество параметров и точные сведения о поддерживаемых модальностях; по заявленному pipeline_tag модель относится к генерации текста. К сильным сторонам относятся увеличенный контекст, улучшенная работа с кодом и агентскими сценариями, поддержка tool use во время вывода и более естественный стиль написания. Ограничения и результаты конкретных тестов в README подробно не приведены. Для общих оценок рекомендуется temperature 1.0, а для задач программирования дополнительно top_p 0.95 и top_k 40. Модель распространяется по лицензии MIT.

unsloth/gpt-oss-120b — открытая модель с весами, основанная на openai/gpt-oss-120b и разработанная OpenAI; карточка опубликована в формате, совместимом с Transformers. Модель предназначена для универсальной генерации текста, сложных рассуждений, агентских сценариев и задач разработчиков, включая вызов функций, веб-навигацию, выполнение Python-кода и Structured Outputs. Модель содержит около 117 млрд параметров, из которых при обработке активны примерно 5,1 млрд, и использует архитектуру Mixture of Experts с нативной MXFP4-квантизацией для MoE-слоёв. Она рассчитана на запуск в пределах одной GPU H100. Доступны настраиваемые уровни рассуждений — low, medium и high, что позволяет выбирать компромисс между качеством и задержкой. Модель обучена с использованием формата ответов harmony и должна применяться именно в этом формате. В README не указаны поддерживаемые языки и размер контекстного окна. Сильными сторонами являются открытые веса, высокая эффективность активных параметров, возможность тонкой настройки и поддержка инструментального и агентского использования. Полная цепочка рассуждений доступна для отладки и анализа, но не предназначена для показа конечным пользователям. Ограничения включают требование формата harmony и существенные аппаратные ресурсы для запуска полной модели; конкретные показатели качества и дополнительные ограничения в карточке не приведены. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование, модификацию и распространение.

RedHatAI/gpt-oss-20b — открытая модель с открытыми весами, разработанная OpenAI и опубликованная Red Hat AI в валидированной сборке для Red Hat OpenShift AI, Red Hat AI Inference Server и vLLM. Модель предназначена для генерации текста, диалоговых приложений, задач рассуждения, агентных сценариев и вызова инструментов, включая function calling, веб-поиск, выполнение Python-кода и Structured Outputs. Это меньшая версия серии gpt-oss: модель содержит около 21 млрд параметров, из которых около 3,6 млрд активны при обработке запроса. Она использует архитектуру Mixture-of-Experts и посттренировочную MXFP4-квантизацию весов MoE, благодаря чему рассчитана на работу примерно в пределах 16 ГБ памяти и обеспечивает меньшую задержку по сравнению с gpt-oss-120b. Поддерживается английский язык; в карточке указана текстовая модальность и задачи text-to-text, text-generation и tool-calling. Доступна настройка интенсивности рассуждений: low, medium и high. Сильные стороны модели — открытые веса, низкие требования к памяти, возможность локального и специализированного развертывания, тонкой настройки и интеграции с инструментами. Ограничения и важные условия использования: модель должна работать в формате ответов Harmony, иначе она может функционировать некорректно; раскрываемую цепочку рассуждений не следует показывать конечным пользователям. В README не приведены количественные результаты тестов и полный размер контекстного окна. Модель распространяется по лицензии Apache 2.0, допускающей модификацию и коммерческое использование.

Dingdust/granite-4.2-8b-heretic — дообученная и модифицированная версия модели семейства Granite от IBM. Это плотный decoder-only Transformer GraniteForCausalLM с 8,4 млрд параметров, рассчитанный на генерацию текста, диалог, рассуждения и вызов инструментов. Веса опубликованы в формате safetensors; лицензия Apache 2.0 разрешает коммерческое и академическое использование. Модель предназначена для ответов на сложные вопросы, решения многошаговых задач, математики, программирования и агентных сценариев с инструментами. Карточка описывает режимы рассуждения с разной глубиной и контекст до 512 тыс. токенов, однако метаданные указывают нативный контекст 131 072 токена. README также сообщает об abliteration: в приведённом сравнении доля отказов снизилась с 96 до 3 из 100 запросов; поэтому модель менее склонна отказывать, но может отвечать на небезопасные запросы. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; качество может быть ниже английского. Возможны неточные, предвзятые или небезопасные ответы. Текст рассуждений может содержать промежуточные выводы и не отражать итоговый ответ.

Это модель Sentence Transformers на основе BERT, созданная дообучением thenlper/gte-small. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и сравнивает их с помощью косинусного сходства. Максимальная длина входной последовательности — 512 токенов; архитектура включает усреднение токенных представлений и нормализацию векторов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации текста. Её можно использовать для построения векторного поиска и группировки похожих предложений и документов. Карточка указывает англоязычную базовую модель GTE; отдельные языки дообучения не обозначены. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

saraleivam/GURU2-paraphrase-multilingual-MiniLM-L12-v2 — мультиязычная Sentence Transformer модель на архитектуре BERT, дообученная на базе saraleivam/GURU-paraphrase-multilingual-MiniLM-L12-v2. Она преобразует предложения и абзацы в плотные векторы размерности 384 для оценки семантического сходства, поиска по смыслу, выявления перефразировок, классификации текстов и кластеризации. В README указана максимальная длина последовательности 128 токенов; метаданные каталога указывают контекст до 512 токенов. Для сравнения векторов предусмотрена косинусная близость. Модель поддерживает несколько языков; примеры обучающих данных включают испанский, корейский и английский. Она рассчитана на получение текстовых эмбеддингов и может применяться в семантическом поиске, ранжировании похожих фраз и группировке текстов. Размер модели — 124,3 млн параметров, библиотека — sentence-transformers. Лицензия в предоставленных данных не указана.

Многоязычная модель Sentence Transformer, дообученная saraleivam на sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Она использует BERT с усреднением токеновых представлений и преобразует предложения и абзацы в плотные векторы размерностью 384; сходство можно оценивать косинусной метрикой. По карточке, модель предназначена для семантического сравнения текстов, поиска и извлечения перефразировок, кластеризации и классификации текста. README указывает максимальную длину последовательности 128 токенов, а метаданные — контекст до 512 токенов. Модель принимает текст и выдаёт векторы; библиотека Sentence Transformers поддерживает её использование. Лицензия в предоставленных данных не описана.

haLLAwa3 — объединённая языковая модель AbacusResearch на архитектуре Mistral с 7,1 млрд параметров. Она создана методом слияния mergekit моделей openchat/openchat-3.5-0106 и machinists/Mistral-7B-SQL; в конфигурации указаны метод slerp и точность bfloat16. Модель предназначена для генерации текста и диалоговых ответов, в том числе для задач, где нужны краткие прямые ответы, понимание документов и работа с SQL. Контекст модели составляет до 32 768 токенов. В README приведены результаты Open LLM Leaderboard: средний балл 71,34, включая 67,83 на AI2 Reasoning Challenge и 87,02 на HellaSwag; эти показатели относятся к указанным тестам и не гарантируют точность в конкретном применении. Лицензия — Apache-2.0.

Карточка модели tomaarsen/jina-embeddings-v3-hf на Hugging Face совпадает с карточкой jinaai/jina-embeddings-v3-hf, поэтому описание составлено по ней. jina-embeddings-v3-hf — мультиязычная модель эмбеддингов текста от Jina AI на архитектуре Jina-XLM-RoBERTa. Она преобразует текст в векторы для поиска по смыслу, сопоставления текстов, кластеризации и классификации. Для разных сценариев предусмотрены пять адаптеров LoRA: retrieval_query, retrieval_passage, separation, classification и text_matching. Модель содержит 658,7 млн параметров и принимает последовательности длиной до 8192 токенов. Matryoshka-эмбеддинги позволяют выбирать размер вектора от 32 до 1024 измерений. Модель ориентирована на 30 языков, включая русский, английский, китайский, арабский и хинди; исходная архитектура поддерживает более широкий набор языков. Доступны веса в форматах Safetensors и ONNX, а карточка описывает использование через Transformers и Sentence Transformers. Модель подходит для семантического поиска, извлечения документов, сравнения текстов и подготовки векторных признаков для последующей классификации или кластеризации. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование.

Kimi-VL-A3B-Instruct — открытая мультимодальная модель Moonshot AI для понимания изображений, видео и текста. Она объединяет языковую модель с архитектурой Mixture-of-Experts, визуальный энкодер MoonViT с обработкой изображений в исходном разрешении и MLP-проектор. Всего модель содержит 16 млрд параметров, при генерации активирует около 3 млрд; контекстное окно — 128 тыс. токенов. Модель предназначена для диалогов с визуальными данными, распознавания текста на изображениях, анализа длинных документов и видео, понимания нескольких изображений и выполнения агентных задач по скриншотам. Поддерживает ввод текста, изображений и видео и выдаёт текстовые ответы. В README приведены результаты на задачах OCR, визуального понимания и взаимодействия с агентами; для сложных рассуждений, включая математику, разработчики рекомендуют вариант Kimi-VL-A3B-Thinking. Модель распространяется по лицензии MIT. Для запуска доступны веса в формате safetensors и библиотека Transformers. README рекомендует температуру 0,2 для Instruct-варианта. Указанные результаты основаны на бенчмарках разработчиков; качество может зависеть от задачи и настроек инференса.

MiMo-V2-Flash — большая языковая модель Xiaomi для генерации текста, диалогов, рассуждений и агентных сценариев, включая работу с инструментами. В README она описана как MoE-модель с гибридным вниманием, многотокенным предсказанием и 309 млрд параметров, из которых активно используются 15 млрд. Метаданные Hugging Face указывают архитектуру MiMoV2FlashForCausalLM, 12 млрд параметров и файлы Safetensors в формате FP8; это расходится с характеристиками размера в README. Модель принимает текст и рассчитана на контекст до 262 144 токенов. Модель предназначена для быстрых ответов, сложных рассуждений и агентных рабочих процессов; карточка также сообщает о результатах на SWE-Bench и других тестах. Для развёртывания README рекомендует SGLang и описывает вариант запуска с выгрузкой MoE-экспертов на CPU через KTransformers. Языки в предоставленных данных не перечислены. Лицензия — MIT. Реальное качество зависит от задачи и конфигурации развёртывания; заявленные в README результаты бенчмарков являются оценками разработчика.

Карточка модели NarsAI/mini-2.0 на Hugging Face совпадает с карточкой inclusionAI/Ling-mini-2.0, поэтому описание составлено по ней. Ling-mini-2.0 — компактная разговорная языковая модель семейства Ling 2.0 от inclusionAI, предназначенная для генерации текста, следования инструкциям и решения задач на рассуждение. Это дообученная версия Ling-mini-base-2.0; по метаданным, она использует архитектуру Bailing MoE для причинного языкового моделирования и содержит 1,2 млрд параметров. README описывает семейство Ling-mini-2.0 как разреженную MoE-модель с 16,26 млрд параметров всего и примерно 1,43 млрд активных на токен, обученную на более чем 20 трлн токенов с многоэтапной настройкой и обучением с подкреплением. Модель подходит для диалоговых приложений, сложных рассуждений, математики, программирования и ответов на вопросы, а также предоставляет интерфейс вызова инструментов. Метаданные указывают контекст 32 768 токенов; README сообщает о расширении до 128K с YaRN. Разработчик заявляет о высокой скорости генерации и сильных результатах на тестах рассуждения, однако приведённые показатели зависят от оборудования и режима развёртывания. Веса доступны в формате safetensors, библиотека — Transformers; лицензия MIT.

Ministral-8B-Instruct-2410 — инструктивно дообученная языковая модель компании Mistral AI для локального запуска, вычислений на устройствах и периферийных системах. Это плотный трансформер семейства Mistral с примерно 8 млрд параметров; модель поддерживает диалог и вызов функций. В карточке заявлено окно контекста до 128 тыс. токенов, но метаданные каталога указывают 32 768 токенов, а README уточняет, что vLLM ограничивает контекст 32 тыс. токенов; полный размер окна доступен при использовании Mistral Inference. Модель рассчитана на генерацию ответов по инструкциям, диалог, программирование, математические задачи и вызов функций. Она обучена на значительной доле многоязычных и программных данных; заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Рекомендуемая библиотека для инференса — vLLM. Модель распространяется по Mistral Research License; для коммерческого использования README предлагает обратиться к Mistral AI за коммерческой лицензией. Для запуска на одном GPU требуется 24 ГБ видеопамяти. Качество ответов и многоязычные возможности зависят от языка и задачи.

Это дообученная модель Sentence Transformers на базе endre01/e5-small-v2_st, разработанная для преобразования предложений и абзацев в плотные текстовые эмбеддинги размерностью 384. В основе архитектуры — BERT с усреднением токеновых представлений; модель вычисляет сходство по косинусной мере и поддерживает последовательности длиной до 512 токенов. Модель подходит для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текста. Эмбеддинги можно применять для сопоставления запросов с документами и группировки похожих фрагментов. В карточке не указаны специальные предметные ограничения или языковой охват. Лицензия не указана в предоставленных данных.

Карточка модели arkam23/multilingual-e5-base на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.

codersan/newfa_e5small_7 — дообученная модель Sentence Transformers на базе intfloat/multilingual-e5-small, разработанная автором репозитория codersan. Она преобразует предложения и абзацы в плотные текстовые эмбеддинги размерностью 384 для сравнения семантической близости, семантического поиска, поиска перефразирований, классификации и кластеризации текста. Архитектура включает трансформер BERT, усреднение токенных представлений и нормализацию векторов; сходство можно оценивать косинусной мерой. Модель обучена на парах anchor-positive с помощью MultipleNegativesRankingLoss. Максимальная длина последовательности — 512 токенов. Базовая модель многоязычная, а примеры обучающих данных включают персидский и английский языки. Для работы с моделью используется библиотека Sentence Transformers. Лицензия в предоставленных данных не указана.

nli-distilroberta-base-v2 — модель sentence-transformers, обученная командой Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 на основе архитектуры RoBERTa; число параметров — 95,2 млн, максимальный контекст — 514 токенов. Модель предназначена для получения эмбеддингов и сравнения смысловой близости текстов, а также подходит для семантического поиска и кластеризации. Её можно использовать в поисковых системах для ранжирования текстов по смысловому сходству, группировки похожих документов и анализа близости предложений. Модель доступна в форматах PyTorch, TensorFlow, Flax, ONNX и OpenVINO. Лицензия — Apache-2.0. Языковая специализация в карточке не обозначена.

sentence-transformers/nli-mpnet-base-v2 — модель эмбеддингов, обученная командой Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 на основе архитектуры MPNet с 136,7 млн параметров. Модель предназначена для поиска по смыслу, сравнения предложений и кластеризации текстов; доступна через библиотеку Sentence-Transformers и поддерживает форматы PyTorch, TensorFlow, ONNX и OpenVINO. Модель принимает текст и выдаёт векторные представления. Её контекстное окно составляет 514 токенов. Лицензия Apache-2.0 разрешает свободное использование с соблюдением её условий.

paraphrase-MiniLM-L6-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она кодирует предложения и абзацы в плотные векторы размерностью 384 для поиска по смыслу, сравнения текстов и кластеризации. Архитектура основана на BERT; модель содержит 25,9 млн параметров и принимает последовательности длиной до 512 токенов. Доступны реализации в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель подходит для семантического поиска и сопоставления текстов по смыслу, в том числе как компонент поисковых и кластеризационных систем. Лицензия Apache-2.0 разрешает свободное использование на её условиях. В карточке не заявлены языки обучения или гарантии качества для конкретных языков; качество может зависеть от языка и предметной области.

ntAnh-dev/paraphrase-multilingual-MiniLM-L12-v2 — дообученная командой ntAnh-dev многоязычная модель Sentence Transformers на основе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Архитектура — BERT с mean pooling; модель преобразует предложения и абзацы в плотные векторы размерности 384. Для сравнения текстов используется косинусное сходство. В метаданных указано 124,3 млн параметров и окно контекста 512 токенов; в карточке модели указана максимальная длина последовательности 128 токенов. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. Многоязычное назначение унаследовано от базовой модели; конкретный перечень языков в предоставленных данных не приведён. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

Quatfit Mini — мультимодальная модель на 8 млрд параметров от Quatfit AI Research, дообученная на архитектуре Google Gemma 4. Она принимает текст, изображения и аудио, а также поддерживает контекст до 131 072 токенов. В репозитории опубликованы веса FP32 в формате safetensors; для инференса на менее мощном оборудовании доступны преобразование в BF16/FP16 и отдельные сборки GGUF. Разработчик заявляет оптимизации для ускорения инференса, в том числе speculative decoding, и сценариев с вызовом инструментов. Модель предназначена для визуальных вопросов и ответов, OCR, понимания диаграмм и аудио, программирования, длинного контекста и агентных рабочих процессов. Карточка перечисляет поддержку английского, хинди, гуджарати, маратхи, телугу, французского, японского и китайского языков. Для медицинской диагностики, юридических рекомендаций и решений с высоким риском модель не предназначена; также обозначены ограничения для крупных программных проектов и соревновательного программирования. Лицензия — Apache-2.0.

Qwen2.5-1.5B-Instruct-AWQ — квантизированная 4-битная AWQ-версия инструкционно дообученной языковой модели Qwen2.5, разработанной командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, написания кода, решения математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель относится к каузальным языковым моделям и использует архитектуру на базе transformers с RoPE, SwiGLU, RMSNorm, смещениями в attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, 28 слоёв и механизм GQA с 12 головами для Q и 2 для KV. Поддерживаются контекст до 32 768 токенов и генерация до 8192 токенов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся компактный размер, сниженные требования к памяти благодаря 4-битной квантизации, улучшенные возможности следования инструкциям, работы с длинными текстами, кодом, математикой и JSON. Ограничения включают возможную потерю качества относительно исходной версии в формате bfloat16 из-за квантизации; конкретные результаты тестов в README не приведены. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Qwen2.5-1.5B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Qwen2.5-1.5B-Instruct, созданная QuantFactory с использованием llama.cpp на основе модели Qwen от Alibaba Cloud. Это каузальная текстовая модель для диалогов, генерации текста, следования инструкциям, работы со структурированными данными и формирования структурированных ответов, включая JSON. Она также улучшена для задач программирования и математики. Модель содержит 1,54 млрд параметров, из которых 1,31 млрд не относятся к эмбеддингам, и включает 28 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV внимания, связанные эмбеддинги слов и GQA с 12 головами для Q и 2 для KV. Поддерживаются контексты до 32 768 токенов и генерация до 8192 токенов. Модель многоязычная и поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Квантизация в формате GGUF может снизить требования к ресурсам и упростить локальный запуск, однако README не содержит сведений о конкретном типе квантизации, размере файлов, точности или производительности. Модель предназначена для текстовых сценариев и не заявляет поддержку изображений или других модальностей. Распространяется по лицензии Apache-2.0.

unsloth/Qwen2.5-3B-Instruct-unsloth-bnb-4bit — это 4-битная квантизированная версия Qwen2.5-3B-Instruct, разработанная Unsloth на основе модели Qwen/Qwen2.5-3B-Instruct. Модель предназначена для диалогов, следования инструкциям, генерации текста, работы с кодом и математическими задачами, а также создания структурированных ответов, включая JSON. Модель относится к классу причинных языковых моделей и использует текстовую модальность. В семействе Qwen2.5 заявлена поддержка более 29 языков, включая английский, китайский, русский и другие. Для серии также заявлена работа с контекстом до 128K токенов и генерация до 8K токенов, однако конкретные параметры этой 3B-квантизированной версии в README подробно не указаны. Ключевая особенность сборки — формат Unsloth Dynamic 4-bit, предназначенный для снижения требований к памяти при сохранении лучшей точности по сравнению со стандартной 4-битной квантизацией. Модель подходит для локального запуска, чат-ботов, автоматизации текстовых задач, программирования, анализа данных и дообучения. К преимуществам относятся компактный размер, сниженное потребление памяти и возможности instruction-tuned модели. Ограничения связаны с меньшим размером по сравнению с крупными моделями и возможными потерями точности из-за квантизации; конкретные показатели качества в README не приведены. Указанная лицензия — Apache-2.0.

Qwen/Qwen3-1.7B-MLX-bf16 — языковая модель семейства Qwen3, представленная в формате MLX и весах BF16. По метаданным, это производная Qwen/Qwen3-1.7B-Base; модель плотная, с архитектурой Qwen3ForCausalLM и 1,7 млрд параметров. Она предназначена для генерации текста и диалогов, выполнения инструкций, рассуждений, математических и программных задач, а также интеграции с инструментами. Модель переключается между режимом рассуждений и обычным режимом диалога. README указывает поддержку более 100 языков и диалектов, а метаданные задают контекст до 40 960 токенов. Разработчик рекомендует MLX для запуска; веса опубликованы в формате safetensors. Лицензия Apache-2.0 разрешает свободное использование на её условиях. Компактный размер упрощает запуск по сравнению с крупными моделями семейства, а интерфейс вызова инструментов подходит для агентных сценариев. Как модель на 1,7 млрд параметров, она может уступать более крупным моделям в сложных задачах; в режиме рассуждений не рекомендуется жадное декодирование, поскольку оно может ухудшать ответы и приводить к повторениям.

Qwen3-30B-A3B-Instruct-2507-quantized.w4a16 — квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанная Red Hat совместно с Neural Magic. Модель предназначена для генерации текста, рассуждений, вызова функций, многоязычного следования инструкциям, перевода и последующей адаптации под предметные области с помощью дообучения. Модель построена на архитектуре Qwen3ForCausalLM и работает с текстовыми входами и выходами. Веса линейных операторов в трансформерных блоках сжаты до INT4 с использованием алгоритма GPTQ, симметричной групповой схемы с размером группы 128; выходной слой lm_head не квантизируется. Такое преобразование уменьшает число битов на параметр с 16 до 4, а также примерно на 75% снижает требования к дисковому пространству и памяти GPU. Размер базовой модели — 30B параметров, при этом в README не указаны точные сведения о языках и максимальном контексте; в примерах развертывания используется длина контекста до 262144 токенов. К сильным сторонам относятся существенное снижение требований к ресурсам и возможность эффективного развертывания через vLLM, включая OpenAI-совместимый API. Ограничения связаны с потерями качества, возможными при INT4-квантизации, а также с отсутствием в предоставленных данных подробных результатов бенчмарков и характеристик поддержки отдельных языков. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

QuantTrio/Qwen3.5-4B-AWQ — это AWQ-квантизированная версия мультимодальной модели Qwen3.5-4B, разработанной командой Qwen. Репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers; квантизация выполнена без использования калибровочных данных. Модель предназначена для задач понимания и генерации текста, работы с изображениями, рассуждений, программирования и агентских сценариев. Модель представляет собой причинную языковую модель с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженный Mixture-of-Experts. Она содержит около 4 млрд параметров, 32 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Доступны интеграции с Transformers, vLLM, SGLang и KTransformers, а также поддержка tool calling и reasoning parser в vLLM. К сильным сторонам относятся мультимодальность, большой контекст, относительно небольшой размер и оптимизация AWQ для более эффективного инференса. Ограничения связаны с необходимостью совместимого программного и аппаратного окружения: в README указаны vLLM версии не ниже 0.16.0rc2.dev447, экспериментальная версия Transformers, CUDA 12.8 и дополнительные исправления конфигурации. Конкретные значения производительности в README не приведены. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR подготовил GGUF-вариант мультимодальной инструктивной модели Qwen3.5-9B с квантизацией MXFP4. Модель содержит 32 трансформерных блока с гибридной архитектурой attention, FFN и SSM, дополнительную голову Multi-Token Prediction и проектор SigLIP для обработки изображений. Размер модели — 9 млрд параметров, контекст — до 262 144 токенов; веса представлены в 4-битном формате MXFP4, а проектор — в F16. Модель предназначена для генерации ответов и диалога на нескольких языках, понимания изображений и видео, вызова инструментов, рассуждений и задач по коду. Режим рассуждений в этой сборке выключен по умолчанию и включается параметром enable_thinking=true. Для мультимодального запуска требуется подключить файл проектора mmproj; использовать сборку можно через llama.cpp и совместимые инструменты для GGUF. Модель основана на Qwen/Qwen3.5-9B и распространяется по лицензии Apache-2.0. Квантизация уменьшает требования к памяти, но может повлиять на точность по сравнению с исходными весами. В README указана поддержка английского, китайского и кода; метаданные также отмечают многоязычность.

AEON-7/Qwen3.6-35B-A3B-heretic-NVFP4 — мультимодальная NVFP4-квантизированная версия модели tvall43/Qwen3.6-35B-A3B-heretic, подготовленная AEON-7. Модель предназначена для диалогов, рассуждений, программирования, агентских сценариев, function calling и обработки изображений с текстовыми запросами. Заявлена поддержка английского языка, vision-language задач и контекста до 1 млн токенов. Модель использует гибридную архитектуру Qwen3_5MoeForConditionalGeneration с Mixture-of-Experts: 35 млрд параметров всего и около 3 млрд активных параметров. В составе присутствуют разреженные MoE-слои, линейное внимание Mamba/GDN, 27-блочный ViT-энкодер, сохранённый в BF16, и экспертные веса в формате NVFP4. Поддерживаются multimodal image-text-to-text, tool calling, speculative decoding, prefix caching и FP8 KV-cache при использовании совместимой конфигурации vLLM. К сильным сторонам относятся высокая плотность модели при небольшом числе активных параметров, длинный контекст, мультимодальность и стабильная работа текста в заявленном стеке vLLM. В README указана проверка обработки изображений после исправления размещения тензоров vision tower, а также масштабирование до 64 одновременных запросов и примерно 740 токенов в секунду суммарно при использовании DFlash, однако эти характеристики зависят от оборудования и конфигурации. Модель ориентирована прежде всего на DGX Spark и совместимые GPU Blackwell/GB10 с образом AEON vLLM; для других сред совместимость не гарантируется. Это abliterated/decensored-вариант с существенно сниженным уровнем отказов, поэтому стандартные ограничения безопасности могут быть ослаблены. Лицензия — Apache-2.0.

Dingdust/Qwen3.8-27B-heretic — производная от Qwen3.8-27B версия, созданная методом abliteration: в README приведены параметры изменения весов и сравнение частоты отказов с исходной моделью. Это плотная причинная языковая модель с визуальным энкодером на 27 млрд параметров, совместимая с Transformers и рассчитанная на диалог с текстом и изображениями. Семейство поддерживает также понимание видео; карточка этой версии описывает её как vision-language модель. Модель предназначена для диалога, анализа изображений и видео, а также сложных многошаговых задач, включая программирование, исследования и работу с документами. Архитектура основана на Qwen3.5 и сочетает Gated DeltaNet и Gated Attention; базовая модель имеет контекст 262 144 токена с расширением до 1 000 000. README сообщает, что режим рассуждений включён по умолчанию и может настраиваться. В сравнении с исходной моделью в карточке указано меньше отказов: 10 из 100 против 89 из 100; это указывает на ослабление отказного поведения, но не гарантирует конкретные ответы. Для производных весов модели отдельные оценки качества не приведены. Репозиторий распространяется по лицензии Apache-2.0.