I.5Создание и редактирование текста

Qwen2.5 — семейство текстовых генеративных моделей, разработанное командой Qwen. Репозиторий cortexso/qwen2.5 предоставляет варианты моделей общего назначения, а также специализированные версии для программирования и математики. Модели предназначены для генерации и обработки текста, включая разработку программного кода и решение математических задач, с выбором размера под доступные вычислительные ресурсы и требования к качеству. Доступны варианты общего назначения размером от 0,5 до 72 млрд параметров, а также Qwen2.5 Coder объёмом 1,5 и 7 млрд параметров и Qwen2.5 Math объёмом 1,5 и 7 млрд параметров. В README не указаны архитектура, поддерживаемые языки, контекстное окно, модальности и конкретные показатели качества, поэтому эти характеристики нельзя надёжно определить по представленным данным. Модели распространяются для работы через Jan и Cortex; конвертером указан Homebrew. Лицензия — Apache 2.0. Сильной стороной семейства является широкий диапазон размеров и наличие специализированных вариантов для кода и математики, что позволяет выбирать модель под конкретный сценарий. Ограничения и требования к аппаратным ресурсам зависят от выбранного варианта и в README подробно не описаны.

Qwen2.5-7B-Instruct-1M-heretic — это модифицированная версия Qwen2.5-7B-Instruct-1M, разработанная автором репозитория saidutta69 с использованием Heretic v1.4.0. Модель предназначена для генерации текста, диалогов, ролевых сценариев, программирования, анализа длинных документов и рассуждений по большим контекстам, включая анализ целых кодовых баз. Она ориентирована на локальный запуск разработчиками и пользователями потребительских GPU. Модель относится к семейству Qwen 2.5, имеет около 7 млрд параметров и поддерживает контекст до 1 млн токенов. Это instruction-tuned текстовая авторегрессионная модель; заявленный язык — английский. Доступны веса BF16 и квантованные варианты GGUF Q4_K_M, Q5_K_M, Q6_K и Q8_0, что позволяет запускать её на GPU с 8–24 ГБ памяти, а также на CPU и Apple Silicon при наличии достаточного объёма оперативной памяти. Модификация выполнена методом directional ablation, или abliteration: целевые изменения весов attention output и MLP down-projections подавляют поведение, связанное с отказами, без дообучения. Сильной стороной модели являются большой контекст, возможность локального запуска и сохранение большей части знаний и возможностей базовой модели после модификации. При этом подавление отказов является осознанным ограничением безопасности: модель может выполнять запросы, которые исходная версия отклоняла, в том числе потенциально опасные, и не содержит дополнительной фильтрации. Поэтому её не рекомендуется использовать за незащищённым публичным интерфейсом без собственной модерации. Модель распространяется по лицензии other, унаследованной от базовой Qwen2.5-7B-Instruct-1M.

geoffmunn/Qwen3-14B-f16 — версия модели Qwen3-14B в формате GGUF F16, подготовленная Geoff Munn для локального запуска через llama.cpp и совместимые приложения. Это языковая модель на 14 млрд параметров для диалогов, следования инструкциям, рассуждений, генерации кода и работы с многоязычным текстом. Карточка описывает варианты квантования, но этот репозиторий содержит веса F16. Модель подходит для локальных ассистентов, генерации и отладки кода, ответов по документам в RAG-системах и многошаговых задач. Метаданные указывают поддержку английского, китайского, испанского, французского, немецкого, русского, арабского, японского, корейского и хинди. Указана лицензия Apache-2.0. Размер модели составляет 14 млрд параметров. README заявляет о работе с длинными входами, но точную длину контекста не приводит. Для локального запуска требуются ресурсы, соответствующие размеру модели; потребление памяти и скорость зависят от формата весов и оборудования. Приведённые в карточке оценки квантованных вариантов не следует напрямую переносить на F16.

6block/Qwen3-14B-GGUF — набор GGUF-квантизированных версий языковой модели Qwen3-14B, разработанной Qwen. Квантизацию выполнил 6block с использованием llama.cpp и метода imatrix; исходная модель доступна как Qwen/Qwen3-14B. Модель предназначена для генерации текста и программного кода, включая двуязычные сценарии на английском и китайском языках, и может применяться локально через llama.cpp, LM Studio, Ollama и совместимые проекты. Доступны варианты квантизации от Q8_0 до Q2_K размером примерно от 15,70 до 5,75 ГБ. Для калибровки использовался датасет с английскими, китайскими и программными текстами, что должно помогать сохранять способности к работе с китайским языком и кодом в моделях с низкой разрядностью. Более высокие варианты обычно обеспечивают лучшее качество, а низкоразрядные требуют меньше памяти, но сильнее ограничены потерями качества; I-кванты могут быть эффективнее по качеству на размер, но медленнее K-квантов на CPU. Архитектура, длина контекста и точный набор поддерживаемых языков в карточке не указаны. Модель распространяется по лицензии Apache 2.0. Для запуска требуется подходящее локальное программное обеспечение и объём RAM или VRAM, соответствующий выбранному файлу; конкретные требования зависят от варианта квантизации.

YashasviMantha/Qwen3-4B-Instruct-2507-heretic — версия Qwen3-4B-Instruct-2507, созданная с помощью Heretic v1.4.0. Это плотная причинно-языковая модель примерно на 3,7 млрд параметров для генерации текста в диалоговом и инструктивном режиме. Она принимает текст и генерирует текст; поддерживает многоязычные запросы, работу с кодом и инструментами, а также контекст до 262 144 токенов. Модель использует только режим без рассуждений (non-thinking). Модель предназначена для ответов на вопросы, следования инструкциям, логических и математических задач, написания и разбора кода, а также работы с длинными документами и инструментами. Это декensored-версия исходной модели: в приведённом сравнении она отказала в 16 из 100 запросов, тогда как исходная — в 100 из 100; это может означать ослабленные ограничения на ответы. Доступны веса в формате safetensors, библиотека Transformers и лицензия Apache-2.0.

Карточка модели textclf/Qwen3.5-397B-A17B-TQ-4bit на Hugging Face совпадает с карточкой Qwen/Qwen3.5-397B-A17B, поэтому описание составлено по ней. Qwen3.5-397B-A17B — мультимодальная модель семейства Qwen от Alibaba, предназначенная для диалогов, рассуждений, работы с изображениями и видео, программирования и использования инструментов. Это постобученная причинная языковая модель с визуальным энкодером, гибридной архитектурой Gated Delta Networks и разреженной Mixture-of-Experts: всего 397 млрд параметров, из которых активируются 17 млрд. В модели 60 слоёв и 512 экспертов; одновременно задействуются 10 маршрутизируемых и один общий эксперт. Модель принимает текст, изображения и видео, а её основными результатами являются текстовые ответы и вызовы инструментов. Она поддерживает 201 язык и диалект. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. По умолчанию включён режим рассуждений; доступны интеграции с Transformers, vLLM, SGLang и KTransformers. Модель подходит для мультимодальных помощников, анализа визуального содержимого, сложных вопросов, программирования и агентных сценариев с вызовом инструментов. Эффективность вывода и пропускная способность зависят от используемого фреймворка и его версии. Веса и конфигурации опубликованы в формате Transformers/Safetensors под лицензией Apache-2.0.

Smoffyy/Qwen3.5-4B-Instruct-Revised-GGUF — переработанная GGUF-квантизация модели Qwen3.5-4B, разработанной командой Qwen. Автор варианта Smoffyy конвертировал исходные веса в формат GGUF с помощью llama.cpp и заменил официальный шаблон чата на собственный исправленный шаблон. Модель предназначена для диалогов, рассуждений, программирования, агентских сценариев и визуального понимания; это мультимодальная causal language model с vision encoder. Для работы с изображениями требуется отдельный файл mmproj-f16.gguf. Модель содержит около 4 млрд параметров, 32 слоя и использует гибридную архитектуру Gated DeltaNet, Gated Attention и sparse Mixture-of-Experts. Заявлена поддержка 201 языка и диалекта. Вариант сохраняет возможности исходной модели, но исправляет проблемы шаблона чата, включая управление режимом рассуждений, пустые блоки рассуждений и поддержку роли developer. По умолчанию включён режим без рассуждений; его можно переключать специальными токенами в системном запросе. В README приведён пример использования q4_k_m с контекстом 64k, требующий около 7 ГБ VRAM; рекомендуемые требования к видеопамяти зависят от уровня квантизации. К ограничениям относятся потеря части качества по сравнению с полноразмерными весами при использовании более сильной квантизации, а также необходимость скачивать дополнительный мультимодальный проектор для обработки изображений. Модель и производные работы распространяются по лицензии Apache 2.0.

cyankiwi/Qwen3.5-9B-AWQ-4bit — это 4-битная AWQ-квантизированная версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, включая визуальное понимание, рассуждения, программирование и агентские сценарии. Она распространяется в формате, совместимом с Transformers, vLLM, SGLang и KTransformers. Модель содержит около 9 млрд параметров и построена как авторегрессионная языковая модель с vision encoder. В архитектуре сочетаются Gated Delta Networks и разреженная Mixture-of-Experts; заявлены 32 слоя и скрытая размерность 4096. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Квантизация AWQ снижает требования к памяти и может сделать инференс практичнее на совместимом оборудовании, однако возможны потери качества по сравнению с полноразмерной версией, а фактическая производительность зависит от используемого движка. Модель ориентирована на разработчиков и корпоративные приложения, которым нужны мультимодальные ответы, анализ изображений, работа с длинным контекстом, кодом и сложными задачами. README не содержит подробностей о специфических ограничениях, безопасности, точных требованиях к оборудованию или характеристиках именно квантизированной версии. Лицензия — Apache-2.0.

FadedRedStar/Qwen3.5-9B-heretic-GGUF — это квантизированная GGUF-версия мультимодальной модели Qwen3.5-9B-heretic. Исходную модель разработала команда Qwen компании Alibaba, а квантизацию выполнил FadedRedStar на основе весов coder3101/Qwen3.5-9B-heretic. Суффикс heretic означает постобработку с помощью Heretic v1.2.0 и метода Multi-directional refusal suppression, направленного на снижение количества отказов модели. Модель предназначена для мультимодального рассуждения, генерации текста, программирования, вызова инструментов и агентских сценариев. Она поддерживает обработку изображений через встроенный vision encoder и раннее объединение модальностей, формат запросов ChatML, 201 язык и диалект, а также контекст до 262 144 токенов с заявленной возможностью расширения примерно до миллиона токенов. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; языковая часть содержит около 9 млрд параметров, общий объём с vision encoder составляет примерно 10 млрд параметров. Модель по умолчанию генерирует рассуждения перед финальным ответом и поддерживает tool calling. Репозиторий предоставляет варианты квантизации Q4_K_M, Q5_K_M и Q8_0, а также отдельные vision-проекторы в форматах Q8_0 и BF16 для запуска с поддержкой изображений в llama.cpp. Q4_K_M рассчитан на баланс качества и потребления памяти, Q5_K_M — на более высокую точность, а Q8_0 — на близкое к исходному качество при больших требованиях к памяти. Для ускоренного декодирования доступны дополнительные MTP-файлы. Заявленные показатели обхода отказов являются самоотчётными и независимо не проверялись; изменение поведения безопасности может быть ограничением при использовании модели. Лицензия — Apache-2.0.

TeichAI/Qwen3.6-27B-Claude-Opus-Reasoning-Distill-v2 — дообученная мультимодальная модель семейства Qwen3.6 от TeichAI на базе Qwen/Qwen3.6-27B. Для обучения использовались наборы примеров с рассуждениями Claude Opus 4.5 и 4.6. Модель предназначена для диалогов, программирования, творческого письма, общего назначения и понимания изображений; метаданные также указывают интерфейс вызова инструментов. Модель имеет плотную архитектуру Qwen3_5ForConditionalGeneration и принимает текст и изображения, выдавая текст. В README приведены результаты бенчмарков ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и WinoGrande в точности mxfp8, с небольшими улучшениями относительно базовой Qwen3.6-27B в части тестов. Репозиторий содержит веса safetensors и распространяется по лицензии Apache 2.0. Результаты тестов не гарантируют качество на конкретных задачах; README рекомендует следовать инструкциям по настройке исходной модели Qwen.

Qwen3.6-27B-NEO-CODE-Di-IMatrix-MAX-GGUF — это набор GGUF-квантов модели Qwen3.6-27B, разработанной командой Qwen и дополнительно оптимизированной DavidAU. Кванты созданы с применением объединённых NEO и NEO-CODE imatrix-датасетов, а также дополнительных настроек тензоров, подобранных по результатам бенчмарков относительно полной BF16-версии. Модель предназначена для широкого круга задач: программирования, математики, решения задач, диалогов с длинным контекстом, многошагового взаимодействия, творческого письма, генерации сюжетов и сцен, сторителлинга и ролевых сценариев. Заявлена поддержка английского и китайского языков. Максимальный контекст составляет 256K токенов. Модель поддерживает работу с текстом и изображениями; для обработки изображений требуется совместимый файл mmproj, размещённый вместе с GGUF-файлом. Доступны варианты квантования от IQ2_M до Q8_0 с разным соотношением размера и точности. По данным README, Q8_0 сохраняет 98,38% показателя Same Top P относительно полной точности, IQ4_XS — 93,98%, а IQ2_M — 82,66%. Сильными сторонами заявлены качество при длинном контексте, кодировании, математике и стандартном решении задач, однако качество и требования к памяти зависят от выбранного кванта. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.6-35B-A3B-AWQ-4bit — квантованная 4-битная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель распространяется в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. В карточке указано, что квантование выполнено с калибровкой на данных для STEM-задач и агентных сценариев. Это каузальная языковая модель с визуальным энкодером, предназначенная для работы с текстом и изображениями, включая программирование, фронтенд-разработку, рассуждения на уровне репозиториев и агентные рабочие процессы. Она поддерживает английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Заявлена длина контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура основана на Mixture of Experts: всего 35 млрд параметров, из которых активируется около 3 млрд. Модель содержит 40 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общего активируемого эксперта; в архитектуре используются Gated DeltaNet и Gated Attention. Размер файлов модели составляет около 24,97 ГБ. Потенциальные сильные стороны — высокая эффективность за счёт разреженной активации экспертов, большой контекст, мультимодальность и ориентация на кодинг и агентные задачи. Ограничения и точные требования к аппаратному обеспечению в README не указаны; результаты приведённых бенчмарков также представлены неполностью. Лицензия — Apache-2.0.

ISTA-DASLab/Qwen3.8-27B-3Bit-GSQ — это квантованная версия Qwen/Qwen3.8-27B, опубликованная ISTA-DASLab и созданная с применением метода GSQ (Gumbel-Softmax Quantization). Модель предназначена для рассуждений, программирования, научных и общих текстовых задач, многоязычного понимания, обработки длинного контекста и агентских сценариев. В контрольную выборку для квантования также входили математические, кодовые, научные, мультиязычные и длинноконтекстные данные. Веса transformer-корпуса квантованы до 3 бит с размером группы 128. Слой эмбеддингов и LM head квантованы отдельно до 4 бит методом RTN с размером группы 64 для сохранения качества вывода и эмбеддингов. Контрольная точность на AIME 2025 составила 100%, а на GPQA Diamond — 91,41% в одном прогоне; авторы предупреждают о значительной вариативности таких результатов. Чекпойнт поддерживает vision-компоненты, однако они не калибровались на мультимодальных данных, поэтому качество работы с изображениями может быть ограничено. Размер составляет около 11,83 ГБ с vision-компонентами и 10,90 ГБ в text-only режиме. Для сервинга через vLLM требуется версия 0.27.1 и специальный патч для поддержки квантованных embedding-весов. Спекулятивное декодирование не поддерживается: компоненты MTP удалены из опубликованного чекпойнта. Лицензия — Apache-2.0.

Mia-AiLab/Qwen3.8-27B-EXL3-3.5bpw — это текстовая генеративная модель на основе Qwen/Qwen3.8-27B, разработанная Mia-AiLab и представленная в формате EXL3 для запуска через exllamav3. Модель предназначена для генерации текста, программирования и задач математического и логического рассуждения, включая сценарии с длинным контекстом. Вариант использует workload-калибровку на самостоятельно сгенерированном наборе из 622 515 токенов с кодом и рассуждениями, что, по данным автора, улучшает принятие токенов при speculative decoding и поведение на целевых задачах по сравнению с общей калибровкой. Это плотная модель размером 27B с гибридной архитектурой: 48 слоёв gated-deltanet с рекуррентным состоянием и 16 слоёв full attention с KV-кэшем. Средняя точность квантования составляет 3,5 bpw, веса занимают около 14,2 ГБ; эмбеддинги и lm_head сохранены в не-квантованном формате. Модель поддерживает нативный контекст до 262 144 токенов, а через YaRN доступно расширение до 1 048 576 токенов, однако качество за пределами 262 тысяч токенов ограничено. Это текстовая модель без vision tower; конкретный набор поддерживаемых языков в README не указан. К сильным сторонам относятся небольшое потребление видеопамяти для модели такого размера, эффективная работа с длинным контекстом, встроенная MTP-голова для speculative decoding и возможность применения FP8 или NVFP4 KV-кэша в расширенной версии exllamav3. На видеокарте с 24 ГБ памяти заявлена возможность разместить веса и полный нативный контекст при использовании NVFP4 KV-кэша. Ограничения включают зависимость от exllamav3, необходимость специализированного aarch64-порта на DGX Spark/GB10 и использование форка exllamav3 для некоторых функций KV-кэша и DFlash2. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-GSQ-RCO-GGUF — квантизированная версия Qwen3.8-27B, разработанная с использованием методов GSQ и RCO в Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель распространяется в формате GGUF и предназначена для локального запуска в llama.cpp, Ollama и LM Studio. Модель рассчитана на текстовые и мультимодальные сценарии благодаря отдельному vision encoder и проектору mmproj в формате BF16. Доступны варианты с эффективной средней разрядностью от 2,50 до 3,50 бит на вес и размером от 8,4 до 11,8 ГБ; файл mmproj занимает около 0,9 ГБ. Вариант IQ3_S позиционируется как рекомендуемый и практически не уступающий базовой модели на заявленных тестах AIME25, LiveCodeBench v6 и GPQA-Diamond. Дополнительные сборки с MTP head поддерживают speculative decoding и примерно на 0,35 ГБ больше. GSQ выполняет посттренировочную скалярную квантизацию с учетом чувствительности отдельных координат и масштабов групп, а RCO распределяет типы квантизации между тензорами в рамках заданного бюджета размера. Это позволяет существенно уменьшить объем модели при сохранении качества, однако низкоразрядные варианты могут иметь компромиссы по точности и требуют совместимого программного обеспечения. Лицензия — Apache 2.0.

Qwen3.8-27B Hi-Fi (fraQtl) — это текстовая GGUF-версия модели Qwen3.8-27B, подготовленная участником сообщества fraQtl на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, включая задачи программирования, математики, общие текстовые сценарии и работу с длинным контекстом. Визуальная башня исходной модели не конвертирована, поэтому мультимодальные возможности в этой сборке отсутствуют. Модель использует квантизацию Q4_K_M с эффективностью около 4,8 бит на параметр и занимает примерно 16,5 ГБ, что ориентирует её на системы класса Snapdragon X-Elite и AI-PC, а не на смартфоны. Заявлен нативный контекст до 262 144 токенов; тестирование извлечения информации подтверждено для последовательностей длиной до 131 072 токенов. По данным README, по сравнению с эталонными сборками того же класса она обеспечивает более близкое к исходным весам поведение на задачах кода и математики, а также сопоставимые результаты на GSM8K и MATH-500. Ограничения включают возможное небольшое ухудшение качества: perplexity на Wikitext-2 выше на 0,7%, а совпадение ответов с исходной моделью в общих задачах ниже на 0,2 процентного пункта. Поддерживаемые языки отдельно не указаны. Модель распространяется по лицензии Apache-2.0.

Карточка модели nicoplv/Qwen3.8-27B-oQ4e-fp16-mtp на Hugging Face совпадает с карточкой Qwen/Qwen3.8-27B, поэтому описание составлено по ней. Qwen3.8-27B — плотная мультимодальная модель семейства Qwen от команды Qwen. Это постобученная причинная языковая модель с визуальным энкодером, содержащая 27 млрд параметров и построенная на архитектурной основе Qwen3.5. Репозиторий включает веса и конфигурацию в формате Hugging Face Transformers; модель также совместима с vLLM, SGLang и другими средами инференса. Лицензия — Apache-2.0. Модель предназначена для диалогов, программирования, профессиональных и исследовательских задач, а также многошаговых агентных сценариев. Она принимает текст, изображения и видео и умеет разбирать документы, диаграммы и длительные видеоматериалы. Режим рассуждения включён по умолчанию, его можно отключить для отдельного запроса, а глубину настраивать параметром reasoning_effort. Контекст составляет 262 144 токена и может расширяться до 1 000 000 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN-блоки; предусмотрено обучение с Multi-Token Prediction. В карточке заявлены улучшения планирования и выполнения задач с учётом обратной связи среды, однако приведённые описания бенчмарков сами по себе не гарантируют качество в конкретном применении. Модель ориентирована на применение и распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-YMQ-MTP-GGUF — семейство GGUF-квантизаций модели JonathanColetti/Qwen3.8-27B-Uncensored, подготовленное проектом ZeroDigest с использованием собственного YMQ-Compiler v2.0. Модель предназначена для генерации текста, программирования и агентных сценариев, включая выполнение API-задач в инструментах вроде RooCode и Aider. Это плотная модель на 27 млрд параметров, преобразованная из исходных BF16-файлов в смешанные по точности варианты с архитектурно-зависимой квантизацией. Сборка ориентирована на поддержку параллельного multi-token prediction (MTP) и speculative decoding, а также на работу с большими контекстами. В README упоминаются компоненты и методы, связанные с Mamba, SSM и AutoRound, однако точный размер контекстного окна, список языков и полный набор поддерживаемых модальностей не указаны; по представленным данным модель является текстовой. Доступно несколько пресетов размером примерно от 9,3 до 17 ГБ, рассчитанных на видеокарты с 12 или 16 ГБ памяти и на разные компромиссы между компактностью и качеством. Более компактные варианты подходят для ограниченной VRAM и коротких однопользовательских запросов, но могут проявлять забывание контекста, циклы форматирования и повышенный шум квантизации. Более крупные пресеты обеспечивают лучшую стабильность логики, форматирования и многошаговой работы, но требуют больше памяти. Лицензия — Apache-2.0.

soyrsoyr/Qwen3.8-27B-W4A16-AWQ-GPTQ — квантизированная версия мультимодальной модели Qwen3.8-27B семейства Qwen3.5, разработанной Qwen. Модель предназначена для обработки текста и изображений, генерации ответов, решения задач рассуждения, работы с кодом и использования в сценариях, где важны сниженные требования к памяти и высокая скорость инференса. Она поддерживает запуск через Transformers и vLLM. Модель использует гибридную архитектуру внимания и является VLM с текстовым декодером и vision tower. Веса линейных слоёв текстового декодера квантизированы в INT4 по схеме W4A16 с группой 128, с применением AWQ и GPTQ. Vision tower, гибридные linear-attention mixers и lm_head сохранены в формате bf16; также сохранён базовый MTP-предиктор для speculative decoding. Полный VLM хранится в формате compressed-tensors. Точные сведения о языках и размере контекстного окна в README не указаны, однако приведён пользовательский результат с окном обслуживания до 256K токенов. К сильным сторонам относятся существенное снижение потребления памяти, совместимость с CUDA GPU, поддержка Marlin или compressed-tensors INT4-ядер и небольшая потеря качества относительно bf16-версии. В указанных тестах среднее восстановление результатов составило 99,3% на OpenLLM v1 и 94,9% на генеративном reasoning-наборе; при этом на AIME-25 снижение заметнее. Для работы требуются совместимые CUDA GPU и программный стек vLLM или Transformers с поддержкой соответствующего формата. Лицензия — Apache-2.0.

azampatti/Qwen3.8-Flash-Next-125B-A5B-INT4-AutoRound — гибридная квантованная версия Qwen3.8-Flash-Next, подготовленная автором azampatti на основе чекпойнтов Qwen и Intel. Модель предназначена для генерации текста, программного кода, математических ответов, работы с инструментами и длинным контекстом. Она поддерживает OpenAI-совместимую подачу через специализированную сборку vLLM и рассчитана прежде всего на запуск на одной системе DGX Spark с GB10 и 128 ГБ памяти. Модель использует архитектуру mixture-of-experts: всего 125 млрд параметров, из которых около 4,8 млрд активируются для каждого токена. Число выбираемых маршрутизатором экспертов сокращено с 10 до 5, после чего общий эксперт был дообучен методом self-distillation для восстановления качества. Основные компоненты распределены между форматами int4, fp8 и bf16; применяются GPTQ-Marlin с размером группы 128 и AutoRound. В репозитории также содержится FP8-таблица n-грамм объёмом около 49 ГБ, отображаемая из памяти при работе. Сильными сторонами являются высокая скорость генерации — примерно 64–70 токенов в секунду на DGX Spark, сохранение возможностей инструментального использования и уменьшенные активные вычисления по сравнению с исходной моделью. Ограничение — некоторое снижение общей способности: заявленный показатель составляет около 47–49 против 51,8 у исходной версии, а результаты измерялись собственным тестовым стендом и не являются универсальным лидербордом. Для запуска требуется специализированная сборка vLLM, поскольку стандартная vLLM не поддерживает используемую комбинацию int4 и fp8. Лицензия указана как qwen с типом other; применяются условия лицензии Qwen, ссылка на которую приведена в карточке.

local-inference-lab/Qwen3.8-Flash-Next-NVFP4 — мультимодальная conversational-модель, дистиллированная из Qwen/Qwen3.8-Flash-Next с применением quantization-aware distillation. Она предназначена для диалогов, общего следования инструкциям, reasoning, программирования, multilingual-сценариев и обработки изображений с текстом. В качестве учителя использовалась исходная BF16-модель Qwen, а обучение проводилось на корпусе из 200 004 844 prompt-and-response токенов и 53 573 документов с последовательностями до 8 192 токенов. Архитектура сохранена без сокращения числа слоёв и экспертов: 48 decoder layers, 512 routed experts на слой, из которых для каждого токена активны 10, гибрид Gated DeltaNet/Qwen Sparse Attention и n-gram embedding tables. Сжатие достигается пониженной точностью весов: routed experts и часть компонентов используют NVFP4, другие проекции — MXFP8, а отдельные параметры остаются в BF16. Также сохранены vision encoder, MTP-модуль, tokenizer, chat template и vision assets. Размер checkpoint составляет около 98 GiB; заявлены оценки AA-LCR 79.4, GPQA Diamond 89.9 и Tool Eval Bench 91. Сильные стороны модели — сохранение исходной архитектуры, обучение с компенсацией ошибок квантования и более высокая эффективность по сравнению с NVFP4 PTQ на GPQA Diamond: при сопоставимом качестве модель использовала меньше токенов. Ограничения включают значительный объём checkpoint, дополнительные требования к памяти для KV cache и runtime buffers, а также необходимость runtime с поддержкой Qwen3.8-Flash-Next и смешанного ModelOpt-формата NVFP4/MXFP8, включая NVFP4 PLE tables. Модель распространяется по лицензии qwen-community-1.0; точные условия следует проверять по указанной license-ссылке.

BenevolenceMessiah/QwQ-32B-Preview-Self-instruct-3x-TIES-v1.0 — объединённая языковая модель на архитектуре Qwen2, созданная методом TIES с помощью mergekit на основе Qwen/QwQ-32B-Preview и моделей EVA-Qwen2.5-32B-v0.2, Rombos-Coder-V2.5-Qwen-32b и Rombos-LLM-V2.5-Qwen-32b. Она предназначена для диалоговой генерации текста, математических рассуждений и программирования; поддерживает интерфейс вызова инструментов. Модель содержит 32 млрд параметров, принимает текст и рассчитана на контекст до 32 768 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

Русскоязычная модель суммаризации текста, разработанная путём дообучения ai-forever/ruT5-base на примерно 60 тысячах примеров датасета IlyaGusev/gazeta. Основана на архитектуре T5 и содержит 123,8 млн параметров; принимает текст и генерирует его краткое изложение. Указанная длина контекста — 512 токенов. Модель подходит для сокращения русскоязычных статей и других текстов. Качество результата зависит от качества и репрезентативности данных дообучения, поэтому пригодность для конкретных материалов следует оценивать отдельно. Распространяется по лицензии Apache-2.0.

Sarvam-105B — созданная Sarvam AI языковая модель с архитектурой Mixture-of-Experts и MLA-style attention. По README, у неё 10,3 млрд активных параметров, 128 экспертов с маршрутизацией top-8 и контекст до 128 тыс. токенов; метаданные Hugging Face указывают общий размер 9,7 млрд параметров. Модель предназначена для генерации текста и диалогов, сложных рассуждений, математики, программирования и агентных сценариев, включая веб-поиск и техническую диагностику. При обучении особое внимание уделялось индийскому контексту и 22 языкам Индии. В метаданных перечислены английский и ряд языков Южной Азии; карточка заявляет сильные результаты на тестах рассуждений и агентных задач. Для запуска README описывает использование Transformers и варианты развёртывания через vLLM и SGLang, включая специальные настройки. Модель распространяется по лицензии Apache 2.0.

Sinythos 5.5 — это готовый к запуску вариант Qwen3-30B-A3B-Thinking-2507, подготовленный HTPQoo и распространяемый в формате GGUF для LM Studio, Jan, Atomic Chat и llama.cpp. Это модель MoE с 30 млрд параметров, из которых активны 3,3 млрд на токен; README сообщает, что все 579 тензоров побайтно совпадают с квантованной сборкой UD-Q4_K_XL базовой модели. Изменены встроенный шаблон чата и системная директива с шестью правилами поведения, поэтому модель не является обученной с нуля или дообученной версией. Модель предназначена для диалогов и генерации текста, включая рассуждения, помощь с программированием и агентские сценарии с внешними инструментами, выполнением кода и повторной проверкой ответа. Встроенная директива ориентирует ответы на язык пользователя; в метаданных отмечены итальянский, английский и многоязычность. Для применения в llama.cpp требуется включить обработку шаблона через `--jinja`; без неё пользовательские инструкции из шаблона не применяются. README указывает файл размером 17,7 ГБ и возможность запуска на CPU при достаточном объёме RAM. Веса распространяются по лицензии Apache 2.0, унаследованной от Qwen; для кода runtime указана MIT. Для полной реализации агентского сценария требуются runtime и инструменты, которые предоставляет приложение, а не только файл модели.

CaptainArni/Swift-Qwen3.8-27B-NInfer — артефакт модели Swift-Qwen3.8-27B, разработанной UkisAI на базе Qwen3.8-27B и преобразованной в однофайловый формат NInfer v3 проектом NInfer. Это мультимодальная модель для работы с текстом и изображениями, с поддержкой видео при включении vision-компонента. Она предназначена для диалогов, рассуждений, программирования и генерации структурированного вывода, а также для локального развёртывания через OpenAI-совместимый API. Модель содержит 27 млрд параметров исходной архитектуры, текстовые и vision-компоненты, MTP и опциональный speculative decoding через DFlash2. Используются квантование NVFP4 и FP8, а также форматы BF16 и Q4/Q5/Q6 для отдельных компонентов. Артефакт занимает около 21,2 GiB, веса требуют 18,9 GiB VRAM с MTP или 20,5 GiB с DFlash2. Заявлен максимальный контекст до 262 144 токенов; в примерах конфигурации используется 64 000 токенов. Поддерживается ускоренная генерация с MTP или DFlash2, причём DFlash2 демонстрирует преимущества на коде и структурированном выводе, но требует больше памяти. К сильным сторонам относятся сокращённое число токенов рассуждения, высокая скорость предварительной обработки и меньший объём памяти по сравнению с приведённым официальным NVFP4-артефактом. Ограничения включают зависимость от NVIDIA GPU, Linux и CUDA 12.8+, необходимость использования NInfer, а также ограниченную доказательность заявленных качественных результатов: README описывает лишь небольшое тестирование. DFlash2 обучался на скрытых состояниях базовой Qwen3.8, а не Swift-версии, поэтому его эффективность для этой модели может различаться. Модель распространяется по лицензии swift-open-license-1.0; точные условия следует уточнять по указанному лицензионному документу.

Yi-1.5-6B-Chat — диалоговая языковая модель от 01.AI, основанная на архитектуре Llama и содержащая 5,8 млрд параметров. Модель предназначена для генерации ответов в чате, следования инструкциям, понимания текста, рассуждений, решения математических задач и помощи с программированием. Семейство Yi-1.5 прошло дополнительное предварительное обучение на 500 млрд токенов и тонкую настройку на 3 млн примеров; карточка конкретной модели подтверждает контекст 4096 токенов. Модель работает с текстом и выдаёт текст. README отмечает улучшения в программировании, математике, рассуждениях и следовании инструкциям, а также способности к пониманию языка, здравому смыслу и чтению. Лицензия — Apache 2.0. README не приводит отдельные оценки качества именно версии 6B; результаты больших вариантов семейства нельзя напрямую переносить на неё.

Apollo-1-8B — инструкция-дообученная языковая модель, разработанная Noema Research на базе Qwen3-8B. Это плотный decoder-only трансформер примерно на 7,6 млрд параметров для генерации текста, диалога, рассуждений, выполнения инструкций и написания кода; модель поддерживает интерфейс вызова инструментов. Заявленная длина контекста — до 40 960 токенов по метаданным Hugging Face. Модель предназначена для многошагового решения задач, разговорных помощников, обучения и помощи в разработке программного обеспечения. В карточке заявлена поддержка множества языков, включая английский, русский и другие европейские и азиатские языки. Репозиторий содержит веса в формате Safetensors. В README указана лицензия anvdl-1.0, тогда как метаданные классифицируют лицензию как other. Карточка сообщает об улучшенном следовании инструкциям и рассуждениях относительно Apollo-1-4B, но полный отчет о тестировании ещё не опубликован. Модель может ошибаться, особенно в специализированных областях, чувствительна к формулировке запроса и уступает более крупным моделям на особенно сложных задачах. Для критически важных решений требуется проверка человеком.

AriannaV4 — мультимодальная модель-ассистент, созданная SurgeFF на базе google/gemma-4-12B с объединёнными весами Aria v4. Это самостоятельная модель для локального запуска; доступны веса в формате safetensors и варианты GGUF разной точности для llama.cpp, Ollama и LM Studio. Архитектура относится к Gemma 4 Unified, размер базовой модели — 12 млрд параметров. Модель предназначена для диалогов, рассуждений, работы с текстом и кодом, математических задач, выбора инструментов, а также понимания изображений, аудио и видео. Для голосового ввода и вывода в реальном времени, генерации изображений и видео и получения эмбеддингов README описывает отдельные подключаемые компоненты: эти возможности не встроены в веса AriannaV4. Репозиторий предназначен для локального развертывания и позиционируется автором как production-ассистент. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространяет производные работы на тех же условиях и запрещает коммерческое использование.

jondurbin/bagel-jamba-v05 — экспериментальная дообученная модель автора jondurbin на базе AI21 Jamba-v0.1. Это языковая модель с гибридной архитектурой Mamba-Transformer и смесью экспертов (MoE), содержащая 7,2 млрд параметров и предназначенная для генерации текста в диалоговом формате. Модель обучалась на наборе BAGEL, включающем инструкции, диалоги, вопросы и ответы, задачи по математике, естественным наукам, программированию, суммаризации, ролевому письму и вызову функций. README указывает, что эта версия прошла этап SFT; улучшение гиперпараметров ещё рассматривается, а DPO-версия для неё могла быть выпущена позднее. Поддерживаются несколько шаблонов промптов, включая Vicuna, Llama 2, Alpaca и модифицированный ChatML; шаблон по умолчанию — Llama 2. Модель принимает и генерирует текст. Данные включают многоязычные задания, но конкретный список поддерживаемых языков не установлен. Карточка обозначает модель как экспериментальную. Лицензия — Apache-2.0. README предупреждает, что в обучающих источниках есть токсичный и потенциально незаконный контент; это не означает, что модель предназначена для сексуального контента.