I.2Синтез, понимание и проверка знаний

Это сегментированная по файлам копия Mistral-7B-Instruct-v0.1 от filipealmeida, предназначенная для запуска при ограниченной памяти CPU. В основе лежит плотная трансформерная модель Mistral с 7,1 млрд параметров, дообученная следовать инструкциям на открытых диалоговых наборах данных. Архитектура использует Grouped-Query Attention и Sliding-Window Attention; карточка указывает контекст до 32 768 токенов. Модель принимает текстовые инструкции в формате с маркерами [INST] и [/INST] и генерирует текстовые ответы в диалоговых сценариях. Её можно применять для вопросов и ответов, ведения диалога, составления черновиков и выполнения текстовых инструкций. Разбиение весов на шарды снижает требования к памяти CPU при загрузке, но не является квантизацией и само по себе не меняет вычислительные требования модели во время генерации. Лицензия — Apache-2.0.

MaziyarPanahi/Mistral-7B-Instruct-v0.3 — версия Mistral-7B-Instruct-v0.3, размещённая Maziyar Panahi. Это плотная языковая модель Mistral на 7,1 млрд параметров, дообученная следовать инструкциям на основе Mistral-7B-v0.3. Она предназначена для диалогов и генерации ответов на текстовые запросы, включая сценарии с вызовом функций. Модель поддерживает контекст до 32 768 токенов и использует формат safetensors. Модель подходит для чат-ботов, ответов на вопросы, следования инструкциям и генерации текста. В README указаны расширенный словарь токенизатора и поддержка function calling. Карточка предупреждает, что у модели нет механизмов модерации, поэтому её ответы могут не соответствовать требованиям к ограничению контента. Лицензия — Apache-2.0.

mistral-7b-openhermes-sft — дообученная методом supervised fine-tuning модель семейства Mistral, разработанная CorticalStack на базе unsloth/mistral-7b-bnb-4bit с использованием набора данных teknium/openhermes. Это плотная авторегрессионная языковая модель с 7,1 млрд параметров и контекстом до 32 768 токенов, предназначенная для генерации текста.

Mistral-Nemo-Instruct-2407-GGUF — это квантованная в формате GGUF версия инструкционной языковой модели Mistral Nemo Instruct 2407, разработанной Mistral AI. Квантование выполнено bartowski на основе llama.cpp; LM Studio представляет модель как общественную модель сообщества, но не является её создателем или владельцем. Модель предназначена для генерации текста и выполнения инструкций, включая многоязычные сценарии. В README заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Модель обучалась с контекстом до 128 тысяч токенов; использование контекста большего размера возможно, но может приводить к снижению качества. Сведения о числе параметров, конкретной архитектуре, модальностях помимо текста и требованиях к оборудованию не указаны. К сильным сторонам относятся многоязычность, большой контекст и формат GGUF, ориентированный на запуск с помощью llama.cpp и совместимых приложений. Ограничения включают возможное ухудшение качества при превышении обученного размера контекста, а также риск неточных, вредных или неподходящих ответов, характерный для подобных моделей. В карточке указана лицензия Apache-2.0.

zetasepic/Mistral-Small-Instruct-2409-abliterated — производная версия Mistral-Small-Instruct-2409, созданная автором репозитория с применением метода «abliteration». Это плотная инструкционная языковая модель семейства Mistral на 22 млрд параметров с архитектурой MistralForCausalLM, предназначенная для диалогов и генерации текста; метаданные также указывают интерфейс вызова функций. Модель принимает текст и рассчитана на контекст до 32 768 токенов. Карточка сообщает об использовании кода для abliteration, но не описывает процедуру, результаты, языковое покрытие или ограничения этой версии. Базовая модель — mistralai/Mistral-Small-Instruct-2409. Файлы представлены в формате safetensors; указанная библиотека — Transformers. Лицензия в предоставленных данных не приведена.

ModernCE-base-sts — англоязычный кросс-энкодер для оценки семантического сходства двух текстов. Модель разработал dleemiller на основе answerdotai/ModernBERT-base; она дообучена на датасете sentence-transformers/stsb после предварительного обучения на выборке pair-score-sampled из dleemiller/wiki-sim. Архитектура ModernBERT-base содержит 149 млн параметров, работает с библиотекой sentence-transformers и обрабатывает последовательности длиной до 8192 токенов. Модель принимает пару текстов и выдаёт оценку сходства от 0 до 1, поэтому подходит для сравнения предложений и оценки ответов языковых моделей. На тестовой выборке STS-Benchmark автор сообщает корреляции Pearson 0,9162 и Spearman 0,9122. Доступны веса safetensors и формат ONNX; лицензия — MIT. Результаты оценки могут зависеть от предметной области и не гарантируют точности для любых пар текстов.

MyAwesomeModel — модель из репозитория liufeftwer145, распространяемая через Hugging Face и предназначенная для извлечения признаков; в метаданных указаны библиотека Transformers, PyTorch и тег BERT. README описывает обновлённую версию модели с улучшенными способностями к рассуждению и выводу, а также применением алгоритмической оптимизации на этапе post-training. Модель заявлена для математического и логического рассуждения, понимания текста, ответов на вопросы, классификации, анализа тональности, генерации кода и текста, суммаризации, перевода, диалогов, поиска знаний и следования инструкциям. README также упоминает поддержку системного промпта, function calling, загрузки файлов и генерации с использованием результатов веб-поиска, а также доступ через чат-интерфейс и API. В README приведены результаты внутренних или заявленных benchmark-оценок по нескольким категориям, включая математику, программирование и общую логику; для AIME 2025 указано повышение точности с 70% до 87,5% по сравнению с предыдущей версией. Рекомендуемая температура составляет 0,6. Модель распространяется по лицензии MIT.

MyAwesomeModel — языковая модель, распространяемая через библиотеку Transformers; разработчик в представленном README не указан. Модель ориентирована на задачи, требующие рассуждений и генерации текста, включая математические и логические задачи, программирование, ответы на вопросы, классификацию текстов, анализ тональности, суммаризацию, перевод, диалог, творческое письмо и следование инструкциям. Также заявлена поддержка function calling, загрузки файлов и генерации с использованием результатов веб-поиска. По данным README, обновлённая версия получила улучшения в глубине рассуждений, возможностях вывода и постобучении, а также сниженный уровень галлюцинаций. На тесте AIME 2025 точность выросла с 70% до 87,5%, при этом среднее число токенов рассуждения увеличилось примерно с 12 тысяч до 23 тысяч на задачу. В сводных оценках модель показывает наиболее заметные результаты в рассуждениях и генерации, однако конкретные архитектура, число параметров, поддерживаемые языки, модальности и размер контекстного окна не указаны. Для использования рекомендуется библиотека Transformers, системный промпт с текущей датой и температура 0,6. Специальные токены в начале ответа для включения определённого режима рассуждений не требуются. README также упоминает вариант MyAwesomeModel-Small, но не приводит его подробных характеристик. Модель распространяется по лицензии MIT.

NeuralsirkrishnaShadow_NeuralsirkrishnaInex12 — объединённая модель семейства Mistral, созданная на основе automerger/NeuralsirkrishnaShadow-7B и automerger/NeuralsirkrishnaInex12-7B. Она предназначена для генерации текста и диалогов. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Распространяется в формате safetensors по лицензии Apache-2.0.

NVIDIA-Nemotron-Labs-3-Elastic-12B-A2B — извлечённый из семейства NVIDIA Nemotron Labs 3 Elastic 12B вариант языковой модели, опубликованный DavidAU. Модель предназначена для диалогов, генерации текста и задач рассуждения. В ней 946,5 млн параметров по метаданным; архитектура Nemotron H, а базовая модель — NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-BF16. В README для семейства описана гибридная архитектура Mamba, Transformer и MoE с 128 экспертами, из которых активируются 8; вариант 12B указан как содержащий 2B активных параметров. Модель принимает текст и выдаёт текст, поддерживает контекст до 262 144 токенов по метаданным. Указаны английский, немецкий, испанский, французский, итальянский и японский языки. README сообщает о коротких блоках рассуждений и готовности к дальнейшей настройке. Лицензия обозначена как other, а README заявляет о коммерческой применимости, поэтому условия следует проверять по лицензии исходной модели и карточке репозитория.

NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-BF16 — языковая модель NVIDIA для генерации текста и диалогов с поддержкой рассуждений. Это эластичный чекпойнт на базе NVIDIA-Nemotron-3-Nano-30B-A3B-BF16, содержащий вложенные варианты размером 30B, 23B и 12B параметров, которые можно извлечь из общих весов. Для основного варианта указаны 30B общих и 3,6B активных параметров; архитектура сочетает Mamba-2, Transformer и Mixture-of-Experts. Модель распространяется в формате BF16 через safetensors и использует библиотеку Transformers. Модель предназначена для диалогов, решения задач на рассуждение и генерации текста с возможностью выбирать вариант под доступный вычислительный бюджет. Она поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Размер контекста по метаданным — 262 144 токена; в README также описана настройка развёртывания с контекстом до 1M токенов. README заявляет готовность к коммерческому использованию, однако конкретное обозначение лицензии в метаданных — other, поэтому условия следует проверить на странице модели.

Occamy-1.0 APEX-I-MiniPlus-V2-GGUF — это квантованная мультимодальная версия модели Occamy-1.0, разработанной Accio-Lab и подготовленной в формате GGUF пользователем IsValorum. Модель предназначена для генерации текста, рассуждений, математических и логических задач, а также анализа изображений и оптического распознавания документов. В основе используется архитектура Qwen3_5MoeForConditionalGeneration с гибридным механизмом внимания, включающим рекуррентные слои DeltaNet и 256 микроэкспертов. На каждый токен активируется примерно 3,2 млрд параметров. Основной файл занимает 14,62 GB, или 13,62 GiB, и использует схему квантования с показателем 3,38 BPW. В комплект входит отдельный vision projector mmproj в формате Q8_0 размером 614 MB. Заявлена поддержка контекста до 256K токенов и работы в пределах 24 GB VRAM. Модель ориентирована на английский, китайский, испанский, французский, немецкий, португальский, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. К сильным сторонам относятся сохранение F32 router gates, повышенная точность token output head за счёт Q6_K, защита attention gates в Q8_0 и использование не менее 3-битного квантования для ключевых экспертных блоков. Такая настройка должна обеспечивать лучшее качество и устойчивость по сравнению с плоскими 3-битными квантованиями и общими сборками APEX-I-Mini, особенно в задачах рассуждения и при работе с длинным контекстом. Ограничения связаны с потерями качества, присущими квантованной версии, значительными требованиями к памяти и необходимостью совместимого ПО, например llama.cpp. В README указана лицензия Apache-2.0.

ArchSpace-Collection публикует экспорт базовой модели OLMo 3 3B после четвертого этапа обучения instruct SFT. Это плотная авторегрессионная языковая модель на 3,2 млрд параметров для генерации текста и диалогового взаимодействия; используется официальная реализация Transformers Olmo3ForCausalLM без необходимости подключать remote code. Репозиторий содержит веса safetensors. Модель обучалась с длиной последовательности 32 768 токенов и поддерживает контекст до 65 536 токенов. Внимание использует скользящее окно 4 096 токенов в слоях SWA и полное внимание в каждом четвертом слое; для полных слоёв применяется YaRN. Карточка не сообщает, на каких естественных языках модель обучена или рассчитана работать. Модель подходит для диалогов и генерации текста, включая сценарии с длинным контекстом; метаданные также отмечают интерфейс вызова инструментов. Это базовый OLMo 3 instruct SFT baseline, а не отдельная модель для специализированной предметной области. Для загрузки README требует Transformers версии не ниже 4.57.6 и ниже 5. Лицензия в предоставленных данных не указана.

Omega AI 70B — диалоговая языковая модель семейства Omega AI, представленная как дообученная на базе meta-llama/Llama-3.3-70B-Instruct. По метаданным, модель содержит 71,5 млрд параметров, использует архитектуру Qwen2ForCausalLM и принимает текст для генерации ответов; доступны интерфейсы чата и вызова инструментов. Контекст составляет до 32 768 токенов. Модель предназначена для диалоговых ассистентов и генерации текста. README характеризует репозиторий как справочный и уточняет, что фирменное название Omega AI не меняет архитектуру или предварительно обученные веса базовой модели. Условия исходной лицензии и требования к атрибуции продолжают действовать; конкретная лицензия в предоставленных данных не приведена.

Orion-14B-Chat-RAG — мультиязычная чат-модель компании OrionStarAI, дообученная на специальном наборе данных для генерации с использованием поиска по источникам (RAG). Модель построена на плотной архитектуре OrionForCausalLM и содержит 14,1 млрд параметров; веса опубликованы в формате safetensors. Контекст модели составляет 4096 токенов. Модель предназначена для диалоговых систем, которые используют найденные документы или фрагменты знаний для подготовки ответов, а также для генерации текста и кода. Семейство Orion-14B обучалось на многоязычном корпусе и поддерживает китайский, английский, японский и корейский языки; версия Chat-RAG ориентирована на ответы с опорой на извлечённую информацию. Модель разработала OrionStarAI. Лицензия в предоставленных источниках не указана. Как и другие языковые модели, она может выдавать ошибки или неподтверждённые ответы; длина контекста ограничивает объём документов, который можно передать за один запрос.

Qwen1.5-14B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это бета-версия Qwen2: плотная авторегрессионная языковая модель на архитектуре Transformer с 13,4 млрд параметров, предназначенная для генерации текста в диалоге и следования запросам пользователя. Модель поддерживает многоязычное общение и контекст длиной до 32 768 токенов. В основе семейства — декодерная архитектура Transformer; для Qwen1.5 описаны активация SwiGLU, смещение в QKV-внимании и адаптированный к разным естественным языкам и программным кодам токенизатор. Репозиторий содержит веса в формате Safetensors. Модель подходит для чат-ботов, ответов на вопросы, создания и преобразования текста. Карточка рекомендует использовать Transformers версии 4.37.0 или новее и предоставленные параметры генерации, чтобы уменьшить проблемы с переключением языков и другие нежелательные результаты. Лицензия указана как other, поэтому условия использования следует уточнять в карточке модели.

Qwen1.5-MoE-A2.7B-Chat — диалоговая языковая модель на архитектуре Transformer с декодером и смесью экспертов (MoE), разработанная командой Qwen. Она создана на основе Qwen-1.8B и предназначена для генерации текста в чате и ответов на запросы. По карточке модели, всего в ней 14,3 млрд параметров, из которых при генерации активируются 2,7 млрд; каталог Hugging Face указывает 1,5 млрд параметров. Контекст модели — до 32 768 токенов. Разработчики сообщают о сопоставимой с Qwen1.5-7B производительности при меньших затратах на обучение и о более высокой скорости инференса. Карточка советует использовать параметры генерации из generation_config.json при проблемах с переключением языков или других нежелательных результатах. Модель рассчитана на текстовый ввод и выдачу текста; в метаданных указан английский язык. Лицензия обозначена как other, поэтому конкретные условия использования следует сверять с лицензией репозитория.

Это слитая методом passthrough модель семейства Qwen2.5, созданная с помощью mergekit на основе bunnycore/Qwen2.5-7B-Instruct-Fusion и bunnycore/Qwen2.5-7B-Exp2-lora_model. Модель имеет плотную архитектуру Qwen2ForCausalLM и содержит 7,1 млрд параметров; веса представлены в формате safetensors. Модель предназначена для генерации текста и диалогов. Метаданные указывают на поддержку интерфейса вызова инструментов. Нативная длина контекста составляет 131072 токена, что позволяет использовать модель для работы с длинными текстовыми запросами и документами. Основные сведения о назначении доступны, однако README не приводит результаты оценки качества или подробные рекомендации по применению. Лицензия в предоставленных данных не указана.

lmstudio-community/Qwen2.5-7B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct, разработанной командой Qwen. Квантизация выполнена bartowski на основе llama.cpp release b3772; модель представлена в рамках программы Community Models LM Studio, но LM Studio не является её разработчиком или владельцем. Модель предназначена для генерации текста, диалоговых сценариев, ответов на инструкции и работы со структурированными данными. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский, что делает её пригодной для многоязычных приложений. Ключевые характеристики включают размер 7 млрд параметров, контекст до 128 тысяч токенов с настройками YaRN RoPE и генерацию до 8 тысяч токенов. К сильным сторонам относятся широкий языковой охват, поддержка длинного контекста и улучшенное понимание и создание структурированных данных. При этом модель может генерировать неточную, вредную или вводящую в заблуждение информацию, а README не содержит подробностей о конкретной схеме квантизации, требованиях к ресурсам и результатах бенчмарков. Распространение указано под лицензией Apache 2.0.

Qwen3-128k-30B-A3B-NEO-MAX-Imatrix-gguf — набор GGUF-квантизаций модели Qwen3-30B-A3B, разработанной командой Qwen. Это разреженная Mixture-of-Experts-модель с 30 млрд общих параметров и 128 экспертами, из которых обычно активируются 8 в зависимости от содержания запроса; эффективный объём активных параметров составляет около 3 млрд. Автор сборки применил собственный NEO Imatrix-процесс и модификации, ориентированные на работу с различными уровнями квантования. Модель предназначена для генерации текста, творческого письма, ролевых сценариев, рассуждений, решения задач и использования инструментов. Заявлена поддержка контекста до 131072 токенов, расширенного с 32768 с применением YaRN. В README указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Ключевое преимущество сборки — возможность запуска всех вариантов на GPU, CPU или в режиме CPU с оперативной памятью благодаря MoE-архитектуре и активации только части параметров. NEO Imatrix-квантизация призвана сохранить пригодное качество даже у компактных вариантов, однако более низкие уровни квантования уступают старшим по качеству и могут требовать более подробных промптов. Скорость и качество зависят от конкретного варианта квантизации и оборудования; приведённые в README оценки производительности ограничены описанной конфигурацией. Модель распространяется по лицензии Apache-2.0.

Карточка модели inference-optimization/Qwen3-30B-A3B-Thinking-2507-REAP-25-nonuniform на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B-Thinking-2507, поэтому описание составлено по ней. Qwen3-30B-A3B-Thinking-2507 — причинная языковая модель семейства Qwen3 от команды Qwen. Это модель типа Mixture of Experts с 30,5 млрд параметров, из которых при генерации активируются около 3,3 млрд; в архитектуре 128 экспертов, одновременно используются 8. Она предназначена для диалогов и сложных задач рассуждения, включая математику, науку, программирование, следование инструкциям и работу с инструментами. Модель поддерживает только режим рассуждения и имеет нативное контекстное окно 262 144 токена. В README отмечены улучшения в глубине рассуждений, общих возможностях и обработке длинного контекста. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют. Модель распространяется под лицензией Apache-2.0. Длинные рассуждения могут приводить к большому объёму вывода, а для высоких нагрузок на контекст требуются значительные вычислительные ресурсы; README рекомендует актуальную версию Transformers и описывает запуск через vLLM или SGLang.

Карточка модели inference-optimization/Qwen3-30B-A3B-Thinking-2507-REAP-25-uniform на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B-Thinking-2507, поэтому описание составлено по ней. Qwen3-30B-A3B-Thinking-2507 — причинная языковая модель семейства Qwen3 от команды Qwen. Это модель типа Mixture of Experts с 30,5 млрд параметров, из которых при генерации активируются около 3,3 млрд; в архитектуре 128 экспертов, одновременно используются 8. Она предназначена для диалогов и сложных задач рассуждения, включая математику, науку, программирование, следование инструкциям и работу с инструментами. Модель поддерживает только режим рассуждения и имеет нативное контекстное окно 262 144 токена. В README отмечены улучшения в глубине рассуждений, общих возможностях и обработке длинного контекста. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют. Модель распространяется под лицензией Apache-2.0. Длинные рассуждения могут приводить к большому объёму вывода, а для высоких нагрузок на контекст требуются значительные вычислительные ресурсы; README рекомендует актуальную версию Transformers и описывает запуск через vLLM или SGLang.

Mungert/Qwen3.5-122B-A10B-GGUF — это GGUF-квантизированная версия мультимодальной модели Qwen3.5-122B-A10B, разработанной командой Qwen. Репозиторий подготовлен Mungert с использованием llama.cpp и предназначен для локального запуска и эффективного инференса в совместимых инструментах, включая llama.cpp и связанные экосистемы GGUF. Модель представляет собой авторегрессионную языковую модель с vision encoder, поддерживающую обработку текста и изображений. Она рассчитана на рассуждения, программирование, работу с агентами, визуальное понимание и другие универсальные задачи. Заявлена поддержка 201 языка и диалекта. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture of Experts: всего 122 млрд параметров, из которых при генерации активируются около 10 млрд. Модель содержит 48 слоёв и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Ключевое преимущество этой сборки — специальная стратегия квантизации: важные слои вручную переводятся в более высокую точность сверх стандартной конфигурации IMatrix. По заявлению автора, это особенно улучшает точность при низкой разрядности и для MoE-моделей, но увеличивает размер файлов. Фактические характеристики зависят от выбранного GGUF-варианта и аппаратного обеспечения; README не приводит подробностей о конкретных уровнях квантизации, требованиях к памяти или независимых результатах тестирования. Исходная модель распространяется по лицензии Apache-2.0.

Qwen3.5-35B-A3B-Uncensored-FernflowerAI-MLX-8bit — это мультимодальная MoE-модель, преобразованная в формат MLX для нативного запуска на Apple Silicon. В её основе лежит Qwen3.5-35B-A3B от Alibaba, использованы uncensored-вариант HauhauCS и исправленные веса FernflowerAI от LuffyTheFox. Конверсию выполнил автор репозитория froggeric. Исправление устраняет повреждение двух тензоров в исходных весах, вызывавшее деградацию на длинном контексте. Модель предназначена для диалогов, генерации и анализа текста и кода, работы с изображениями и видео, рассуждений и вызова инструментов. Она содержит около 35 млрд параметров, активирует примерно 3 млрд параметров на токен, использует архитектуру qwen3_5_moe с 256 экспертами, DeltaNet-MoE и Attention-MoE. Поддерживаются текстовые, визуальные и видеовходы, multi-token prediction, переключаемый режим рассуждений и контекст до 262 тысяч токенов, расширяемый до 1 млн с помощью YaRN. Заявлена поддержка 201 языка и словаря размером 248 тысяч токенов. К сильным сторонам относятся высокая вычислительная эффективность MoE, мультимодальность, большой контекст, поддержка tool calling и 8-битное квантование с объёмом около 35 ГБ. Ограничения включают зависимость от совместимых версий mlx-lm и mlx-vlm, необходимость Apple Silicon для целевого сценария и известное замедление примерно в 2,7 раза при декодировании Gated DeltaNet с невокабулярными эмбеддингами; обычный текстовый инференс этим ограничением не затронут. Модель распространяется по лицензии Apache-2.0.

Interlinkarts/Qwen3.5-9B-GGUF — версия модели Qwen3.5-9B, разработанной командой Qwen. Репозиторий предназначен для локального запуска модели в формате GGUF; при этом README также указывает совместимость исходных артефактов с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель распространяется по лицензии Apache-2.0. Это мультимодальная causal language model с vision encoder, предназначенная для генерации и понимания текста, анализа изображений, рассуждений, программирования, агентских сценариев и других задач vision-language. Заявлена поддержка 201 языка и диалекта. Контекстное окно составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Модель содержит 9 млрд параметров и использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts; также применяются Gated Attention, 32 слоя, скрытая размерность 4096 и multi-step training. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, высокая заявленная эффективность инференса и поддержка длинного контекста. README не содержит точных сведений о варианте GGUF-квантизации, требованиях к аппаратному обеспечению и ограничениях качества, поэтому эти характеристики требуют отдельной проверки.

Qwen3.6-35B-A3B-QD-GGUF — квантизированная версия модели Qwen3.6-35B-A3B, подготовленная Quadux IT с использованием собственной методики Quadux Dynamic Quantization. Модель предназначена для диалоговых и мультимодальных сценариев, включая работу с текстом и изображениями, и рассчитана на запуск через llama.cpp в формате GGUF. В основе лежит MoE-архитектура: 35,5 млрд параметров всего и около 3 млрд активных параметров на токен. Используется гибридная схема attention с контекстом до 256 тысяч токенов и низкими затратами на KV-кэш. Поддерживаются английский, немецкий и, согласно карточке, другие языки. В комплект включены MTP head и совместимый vision projector, что обеспечивает поддержку изображений при использовании соответствующей конфигурации. Доступно несколько вариантов квантизации размером примерно от 10,6 до 26,42 ГБ, рассчитанных на видеокарты с 12–32 ГБ памяти. Распределение точности выполнено по результатам измерения чувствительности отдельных тензоров, поэтому варианты ориентированы на хорошее качество при ограниченном размере. Ограничения связаны с неизбежными потерями качества квантизации, зависимостью результата от выбранного варианта и необходимостью отдельного vision projector для мультимодальной работы. Лицензия — Apache 2.0.

Qwen3.8-27B-3bit-MLX-TextOnly — текстовая квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и преобразованной в формат MLX пользователем lukaskremla с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и использования инструментов, включая задачи с длинным контекстом и многоязычные приложения. Модель сохраняет возможности преобразования текста в текст и не содержит vision tower, поэтому не поддерживает обработку изображений. Она использует 3-битное квантование весов с affine- и RTN-подходами и размером группы 64; заявленный размер базовой модели — 27B параметров. Формат MLX ориентирован на запуск с использованием экосистемы MLX и mlx-lm. Конкретные поддерживаемые языки и максимальная длина контекста в README не указаны. К преимуществам относятся сниженные требования к памяти по сравнению с полноразмерной моделью, поддержка текстовой генерации, рассуждений, инструментов и длинного контекста. Ограничения связаны с отсутствием мультимодальности и возможными потерями качества из-за 3-битного квантования; точные показатели производительности не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-4bit-MLX-TextOnly — текстовая 4-битная квантованная версия модели Qwen3.8-27B, разработанной командой Qwen. Модель преобразована в формат MLX с использованием mlx-lm 0.31.2 и предназначена для запуска в экосистеме MLX и mlx-lm. Она поддерживает генерацию текста, диалоговые сценарии, рассуждения, использование инструментов и работу с длинным контекстом; заявлена как многоязычная. Модель содержит около 27 миллиардов параметров в исходной версии и использует weight-only-квантование до 4 бит с group size 64, affine- и RTN-подходами. Это текстовая модель без vision tower: возможности обработки изображений удалены, поэтому она работает только с текстом. К сильным сторонам относятся уменьшенный объём весов и пригодность для локального запуска в MLX, а ограничением — отсутствие мультимодальных возможностей и потенциальная потеря точности по сравнению с полной моделью из-за квантования. Точная длина контекста в README не указана. Распространяется по лицензии Apache-2.0.

Qwen3.8-27B-abliterated-GGUF — GGUF-квантизированная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, опубликованная пользователем prithivMLmods. Это вариант Qwen3.8-27B, созданный с применением abliteration — редактирования активаций, направленного на удаление поведения, связанного с отказами. Модель представляет собой плотную causal language model на 27 млрд параметров с нативным vision encoder и поддержкой обработки текста и изображений. Модель предназначена для локального запуска через llama.cpp и совместимые среды, а также для генерации и анализа текста, понимания изображений и видео, визуальных вопросов и ответов, OCR, описания изображений и видео, документного анализа и визуального рассуждения. Заявлены поддержка английского и китайского языков, контекст до 262 144 токенов с возможностью расширения до 1 млн через YaRN, а также управление глубиной рассуждений параметром reasoning_effort. Архитектура включает 64 слоя с чередованием блоков линейного внимания Gated DeltaNet и периодических слоёв Gated Attention. Доступны варианты от BF16 и F16 до Q2_K–Q8_0, что позволяет выбирать между качеством и требованиями к памяти; размеры файлов составляют примерно от 10,7 до 53,8 ГБ, отдельно поставляются мультимодальные проекторы. К ограничениям относятся отсутствие MTP-голов в формате GGUF, поэтому преимущества Multi-Token Prediction и связанной спекулятивной декодировки исходной модели недоступны. Abliteration является экспериментальным подходом и может влиять на поведение и надёжность модели. В README указана лицензия Apache 2.0.

infosave/Qwen3.8-27B-cmf — это квантизированная версия модели Qwen3.8-27B, преобразованная в контейнер CMF. Исходная модель разработана командой Qwen, а данный репозиторий содержит её представление для запуска через cortiq — нативный Rust-бинарник без Python и ML-фреймворков. Модель предназначена для генерации текста, диалогов, объяснения технических тем и работы через API, совместимый с OpenAI, а также через Ollama-совместимый интерфейс. Модель имеет 27 млрд параметров и гибридную архитектуру: 48 слоёв GatedDeltaNet с линейным вниманием и 16 слоёв полного внимания. Заявлено контекстное окно до 262 тысяч токенов и режим рассуждений. Поддерживаются английский, русский и китайский языки. Доступны варианты квантизации 4-bit и 8-bit; наиболее компактный q4tp занимает 14,3 ГБ, q4t — 15,4 ГБ, а q8_2f — 27,4 ГБ. К сильным сторонам относятся большое контекстное окно, поддержка различных GPU через Vulkan, Metal и DX12, работа на CPU, совместимость с NVIDIA, AMD, Intel и Apple silicon, а также возможность спекулятивного декодирования для ускорения жадной генерации. Ограничения связаны с высокими требованиями к памяти, зависимостью производительности от оборудования и характера запроса, а также с тем, что спекулятивное декодирование применяется преимущественно для greedy-генерации и не всегда ускоряет свободный текст. Модель распространяется по лицензии Apache-2.0.