II.3Рефакторинг, миграция и модернизация

Buzz-3b-Small-v0.6.3 — промежуточный чат-чекпойнт проекта H-D-T, дообученный на базе семейства Llama. Модель имеет плотную архитектуру LlamaForCausalLM примерно с 3,8 млрд параметров и использует шаблон диалога Llama 3. Она обучалась одну эпоху на примерно 6,2 млн примеров; этот чекпойнт соответствует двум десятым пути по датасету Buzz и его срезам. Модель предназначена для диалоговой работы в роли универсального ассистента: она может писать код, разбирать задачи, объяснять и проводить пошаговые разборы, играть персонажей, анализировать данные и выполнять математические вычисления. Принимает текст и генерирует текст, поддерживает контекст до 8192 токенов. Ответы могут быть неточными. Лицензия — Apache-2.0.

Модель bcoding — дообученная версия unsloth/DeepSeek-R1-0528-Qwen3-8B на архитектуре Qwen3 с причинным языковым моделированием. Она предназначена для диалогов и генерации текста; каталог также указывает интерфейс вызова инструментов. Размер модели — 7,6 млрд параметров, контекст — до 131 072 токенов. В карточке указано, что обучение проводилось с Unsloth и библиотекой TRL. Модель может применяться для диалоговых ответов, рассуждений, решения задач по математике и логике, а также помощи с программированием — эти сценарии указаны для базовой модели в описании каталога. Поддерживаемый язык карточки — английский. Репозиторий распространяется в формате Safetensors по лицензии Apache 2.0.

mlx-community/DeepSeek-R1-Distill-Qwen-1.5B — конвертированная в формат MLX версия компактной языковой модели DeepSeek-R1-Distill-Qwen-1.5B, подготовленная сообществом mlx-community из модели deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B с помощью mlx-lm 0.20.2. Это плотная авторегрессионная модель семейства Qwen2 с 1,5 млрд параметров, предназначенная для диалоговой генерации текста и решения задач рассуждения, математики и программирования. Модель принимает текст и генерирует текст; метаданные указывают контекстное окно 131072 токена и интерфейс для вызова инструментов. Формат MLX ориентирован на запуск с mlx-lm. В карточке приведена лицензия базовой модели только косвенно, поэтому условия лицензирования здесь не уточняются. Возможности и качество унаследованы от базовой модели.

FuseChat-7B-VaRM — диалоговая языковая модель, разработанная Fanqi Wan и коллегами из Университета Сунь Ятсена. Она объединяет знания трёх чат-моделей: NH2-Mixtral-8x7B, NH2-Solar-10.7B и OpenChat-3.5-7B. В каталоге Hugging Face указаны архитектура Mistral с плотной моделью MistralForCausalLM и 7,1 млрд параметров; для инференса используется библиотека Transformers. Модель предназначена для генерации ответов в диалоге и выполнения общих текстовых инструкций, включая написание текстов, ролевые сценарии, рассуждения, математику и программирование. В README сообщается о среднем результате 8,22 на MT-Bench. Модель принимает текст и генерирует текст; заявленный контекст — 8192 токена, язык карточки — английский. Модель опубликована в форматах PyTorch и Safetensors и распространяется по лицензии Apache-2.0. Как и другие языковые модели, она может давать ошибочные или непроверенные ответы; в предоставленных материалах отдельные дополнительные ограничения не описаны.

IFM/K2-Horizon-32B-GGUF — GGUF-версия модели K2-Horizon-32B-Stage1, разработанной IFM. Это открытая плотная decoder-only языковая модель с 32 млрд параметров, предназначенная для генерации текста, а также для задач, связанных с агентными сценариями, программированием и рассуждениями. Указан английский язык; модель относится к текстовой модальности. Модель поддерживает контекстное окно размером 524 288 токенов. Тензоры сохранены в исходной точности BF16, а файлы GGUF содержат метаданные токенизатора и шаблон чата, совместимый с llama.cpp. Для запуска требуется версия llama.cpp с поддержкой архитектуры K2 Horizon; на момент публикации такая поддержка находилась в разработке, а доступный checkpoint относится к первой стадии обучения. К сильным сторонам относятся большой контекст, полностью открытая модель, публикация обучающих данных, рецепта и кода обучения, а также наличие промежуточных checkpoint для изучения изменений возможностей в процессе обучения. Ограничения связаны с необходимостью специальной поддержки архитектуры в llama.cpp и с тем, что это Stage 1, тогда как финальный checkpoint ещё должен быть выпущен. Лицензия — Apache 2.0.

Kanana 1.5 2.1B Instruct — языковая модель компании Kakao, выпущенная в мае 2025 года. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, примерно 1,9 млрд параметров и контекстом до 32 768 токенов. Веса доступны в формате Safetensors, лицензия — Apache 2.0. Модель предназначена для диалогов и генерации текста, включая задачи программирования, математики и вызова функций. Она подходит для ответов на вопросы, помощи с кодом, решения математических задач и продолжительных бесед; README отмечает улучшения в этих возможностях по сравнению с предыдущей версией семейства. Модель поддерживает английский и корейский языки; интерфейс вызова функций указан среди её возможностей. Для контекста длиннее 32K токенов README описывает расширение до 128K с помощью YaRN. Качество на конкретных задачах зависит от запроса и сценария; количественные результаты оценки в предоставленной карточке опущены. Kakao указывает, что пользовательские данные Kakao не использовались для предобучения или последующего обучения.

NVIDIA Kimi-K2-Thinking-Eagle3 — текстовая авторегрессионная модель NVIDIA, представляющая собой Eagle3 speculative decoding head для Moonshot AI Kimi-K2-Thinking. Она основана на трансформерной архитектуре DeepSeek V3 и обучена с NVIDIA Model Optimizer. Веса модели занимают 1,8 млрд параметров; метаданные указывают контекст до 262 144 токенов, тогда как README приводит длину 4096 токенов. Эти значения расходятся, поэтому фактическую длину контекста следует сверить с выбранной конфигурацией запуска. Модель предназначена для разработчиков чат-ботов, AI-агентов, RAG-систем и других приложений, а также для выполнения инструкций, генерации кода и рассуждений. Она принимает текст и генерирует текст; для ускоренного инференса NVIDIA указывает TensorRT-LLM и совместимость с GPU Blackwell. Лицензия обозначена как other; README требует соблюдать NVIDIA Open Model License и упоминает Modified MIT License Kimi-K2-Thinking. Перед использованием следует проверить условия обеих лицензий и протестировать модель на целевых данных.

Llama 3 Tulu V2+DPO 70B — языковая модель-инструкция от Allen Institute for AI (AI2), созданная дообучением Llama 3 Tulu 2 70B на предпочтениях UltraFeedback методом DPO. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, предназначенная для диалогов и выполнения пользовательских инструкций; принимает текст и генерирует текст. Основной язык — английский, а длина контекста составляет 2048 токенов. Модель подходит для диалоговых помощников, ответов на вопросы, следования инструкциям и генерации текста. В опубликованных оценках показаны результаты на тестах знаний, математики, программирования, следования инструкциям и предпочтений. Модель не проходила этап RLHF для безопасных ответов и не имеет встроенной фильтрации, поэтому может генерировать проблемный контент, особенно по прямому запросу. Выпущена под лицензией Apache 2.0; в карточке также отмечено наличие лицензии сообщества Meta Llama 3.

ceia-aisdk/llm-medium-v1 — распространяемый CEIA AI SDK артефакт GGUF на основе инструктивной языковой модели Qwen2.5-7B-Instruct. CEIA не обучала эти веса: репозиторий содержит квантованную версию Q4_K_M, подготовленную bartowski, для использования через псевдоним SDK llm/medium@1. Модель предназначена для диалогов и генерации текста по инструкциям. Базовая Qwen2.5-7B-Instruct поддерживает также генерацию кода и структурированных ответов. Репозиторий использует формат GGUF и распространяется по лицензии Apache-2.0, как и базовая модель.

Meta-Llama-3.1-405B-Instruct-AWQ-INT4 — это общественно подготовленная квантованная версия большой языковой модели Meta-Llama-3.1-405B-Instruct, разработанной Meta AI. Модель предназначена для генерации текста и ведения многоязычных диалогов, включая ассистентские сценарии, ответы на вопросы и другие задачи, поддерживаемые instruction-tuned моделями. Она работает в формате text in/text out и интегрируется с Transformers, AutoAWQ и Text Generation Inference. Модель содержит 405B параметров и использует архитектуру Llama 3.1. FP16-версия была преобразована в INT4 с помощью AutoAWQ: применяются GEMM-ядра, zero-point quantization и размер группы 128. В README заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Точный размер контекстного окна в представленных данных не указан. Ключевое преимущество — значительное снижение требований к памяти по сравнению с FP16 при сохранении возможностей 405B-модели и поддержке оптимизированного инференса. Ограничения связаны с экстремально большим размером: для загрузки чекпойнта требуется около 203 GiB VRAM без учета KV-кэша и CUDA graphs, поэтому для практического запуска нужна мног GPU-конфигурация или сопоставимая инфраструктура. Модель распространяется по лицензии llama3.1; это именно community-driven квантованная версия оригинальной модели Meta.

unsloth/Meta-Llama-3.1-70B — квантованная версия базовой модели meta-llama/Meta-Llama-3.1-70B, опубликованная в экосистеме Unsloth и предназначенная для работы с Transformers. Модель ориентирована на англоязычные задачи обработки и генерации текста, а также на последующее дообучение на пользовательских датасетах. В README упоминаются сценарии conversational и text completion, а также экспорт дообученной модели в форматы GGUF и vLLM. Из указанных характеристик известно, что модель относится к семейству Llama 3.1, имеет размер 70B и поддерживает английский язык. Она распространяется как quantized-модель, что должно снижать требования к памяти по сравнению с полной версией, однако конкретный формат и параметры квантования не указаны. Архитектура, размер контекста, точный набор поддерживаемых модальностей и показатели качества в README не описаны, поэтому модель следует рассматривать прежде всего как крупную текстовую основу для инференса и дообучения. Лицензия указана как llama3.1; условия её применения необходимо проверять по лицензии Meta.

Mistral-7B-Instruct-v0.1-GGUF — это квантизированная версия текстовой instruct-модели Mistral-7B-Instruct-v0.1, разработанной Mistral AI и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии, в средах, совместимых с GGUF и LlamaEdge. Модель основана на архитектуре Mistral, имеет 7 миллиардов параметров и поддерживает только текстовую модальность. Размер контекста составляет 4096 токенов, а для взаимодействия используется шаблон mistral-instruct: <s>[INST] {prompt} [/INST]. README не указывает поддерживаемые языки. Доступны варианты квантизации от 2 до 8 бит размером примерно от 2,7 до 7,7 ГБ; Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые, поскольку обеспечивают баланс между размером и качеством. Основные преимущества модели — возможность локального запуска, широкий выбор уровней квантизации и совместимость с LlamaEdge версии 0.2.8 и выше. Более агрессивная квантизация уменьшает требования к ресурсам, но может приводить к заметной потере качества. Лицензия модели — Apache-2.0.

duyntnet/Mistral-NeMo-Minitron-8B-Instruct-imatrix-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Mistral-NeMo-Minitron-8B-Instruct, разработанной NVIDIA. Исходная модель создана на базе Mistral-NeMo-Minitron-8B-Base, которая была получена из Mistral-NeMo 12B с применением методов pruning и distillation, а затем дообучена в несколько этапов с помощью supervised fine-tuning и выравнивания на основе предпочтений. Модель предназначена для генерации текста, включая диалоговые сценарии, roleplay, retrieval-augmented generation и function calling. Она работает с текстом на английском языке и поддерживает контекст до 8192 токенов. Архитектура представляет собой авторегрессионный Transformer Decoder семейства Mistral-NeMo с 40 слоями, размером эмбеддингов 4096, 32 attention heads, промежуточным размером MLP 11520, Grouped-Query Attention и Rotary Position Embeddings. Формат GGUF позволяет использовать модель в совместимых локальных клиентах и интерфейсах, включая llama.cpp, KoboldCPP, Ollama, Jan, text-generation-webui и GPT4All. Для оптимальных результатов рекомендуется применять специальный шаблон диалога с ролями System, User и Assistant и заданными специальными токенами. Ограничения включают поддержку только текстовой модальности и заявленного английского языка; конкретные характеристики производительности зависят от выбранного уровня квантизации и аппаратного обеспечения. Исходная модель распространяется по NVIDIA Open Model License; для данного репозитория указано обозначение лицензии other.

Soulfate24/Nanbeige4.2-3B-DSpark-ASHQ1-Remix-GGUF — это объединённая и представленная в формате GGUF версия Nanbeige4.2-3B с DSpark, подготовленная в рамках набора ASHQ1-Remix. Репозиторий предназначен для генерации текста и диалогового использования; базовая модель имеет 3,2 млрд параметров и ориентирована на рассуждения, программирование и агентные задачи с вызовом инструментов. В README описана активационно-зависимая квантизация GGUF с параметрами, основанными на измеренных экспериментах, и поддержкой линии AutoRound с ограничениями насыщения. Модель поддерживает английский и китайский языки. Репозиторий распространяется по лицензии Apache-2.0. Карточка не приводит отдельные сведения о длине контекста и конкретных уровнях квантования для данного файла.

Это 8-битная версия модели NVIDIA Nemotron 3 Nano 30B A3B, подготовленная командой LM Studio Community с помощью mlx_lm для Apple Silicon. В основе лежит NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 от NVIDIA; MLX-квантизация уменьшает точность весов для запуска на компьютерах Apple с кремниевыми чипами. По метаданным, модель предназначена для генерации текста и диалогов и поддерживает интерфейс вызова инструментов. Модель подходит для ответов на вопросы, помощи с программированием и математическими задачами, а также для агентных приложений, использующих инструменты. Карточка базовой модели указывает поддержку английского, испанского, французского, немецкого, японского и итальянского языков. Лицензия репозитория обозначена как other, поэтому перед использованием следует проверить её условия. Как и другие генеративные модели, она может выдавать неточные или неподходящие ответы; README также предупреждает об отсутствии гарантий качества.

prithivMLmods/Olmo-3-7B-Instruct-AIO-GGUF — набор GGUF-квантизаций модели Olmo-3-7B-Instruct, разработанной Allen Institute for AI. Это авторегрессионная трансформерная языковая модель примерно на 7 миллиардов параметров, дообученная методами supervised fine-tuning и direct preference optimization на наборах данных Tulu 2 и UltraFeedback. Модель предназначена для генерации текста, ответов на вопросы, следования инструкциям, многошагового диалога и сценариев с использованием инструментов. Она поддерживает английский язык, контекст до 2048 токенов и ориентирована на создание контекстно-зависимых и безопасных ответов, включая задачи в технической, образовательной и юридической областях. Доступны варианты в форматах BF16, F16, F32 и различных уровнях квантизации, что позволяет выбирать между качеством, размером файла и требованиями к ресурсам. К сильным сторонам относятся открытость модели и обучающего кода, поддержка диалоговых и инструкционных сценариев, а также широкий выбор GGUF-вариантов для эффективного локального запуска. Ограничениями являются заявленная длина контекста 2048 токенов и поддержка только английского языка; сведения о мультимодальности отсутствуют, поэтому модель следует рассматривать как текстовую. Модель распространяется по лицензии Apache 2.0.

Omega AI 1T — вариант модели OpenModel-1T-A50B-Instruct под брендом Omega AI. По карточке, архитектура и предварительно обученные веса происходят от базовой модели; репозиторий указывает около 1 трлн общих параметров и примерно 50 млрд активных параметров на проход, тогда как метаданные каталога приводят 49,6 млрд параметров. Модель относится к архитектуре OpenModel с разреженной смесью экспертов (MoE), принимает текст и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Возможны сценарии, унаследованные от базовой инструкционной модели: сложные рассуждения, генерация кода, математические задачи и многошаговые диалоги. Эти возможности описывают базовую модель и не подтверждены отдельными оценками именно для Omega AI 1T. Репозиторий распространяет веса в формате safetensors по лицензии Apache-2.0.

bartowski/Phi-3.1-mini-4k-instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели Phi-3.1-mini-4k-instruct, основанной на модели Microsoft Phi-3-mini-4k-instruct. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых сценариев, ответов на вопросы и задач, связанных с обработкой естественного языка и программного кода. Модель работает в текстовой модальности и ориентирована на английский язык. Из идентификатора и описания следует контекстное окно 4K токенов, однако точные сведения об архитектуре и количестве параметров в README не приведены. Доступны варианты от F32 до низкоразрядных Q2 и IQ-квантизаций с размером файлов примерно от 1,3 до 15,3 ГБ. Старшие варианты сохраняют более высокое качество, а младшие требуют меньше оперативной памяти, но заметно уступают в качестве и могут быть непредсказуемее. Модель подходит для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. README рекомендует варианты Q4–Q6 как компромисс между качеством и требованиями к ресурсам; конкретный выбор зависит от доступной памяти и допустимой потери качества. Это текстовая модель без заявленной поддержки изображений или других модальностей, а ограниченное окно контекста не рассчитано на обработку очень длинных документов. Указана лицензия MIT.

Phi-3-Mini-4K-Instruct — компактная плотная языковая модель Microsoft семейства Phi-3 с 3,7 млрд параметров. Она обучена на синтетических данных и отфильтрованных общедоступных веб-источниках, а затем дообучена методом supervised fine-tuning и оптимизирована по предпочтениям (DPO) для следования инструкциям и повышения безопасности. Для диалогов рекомендуется использовать формат чата. Модель предназначена для генерации текста общего назначения, диалоговых систем, задач рассуждения, математики и программирования. Компактный размер рассчитан на сценарии с ограниченными вычислительными ресурсами и требованиями к задержке; длина контекста составляет 4096 токенов. Модель ориентирована прежде всего на английский язык, также в карточке указана поддержка французского. Модель может ошибаться, выдавать предвзятые или оскорбительные ответы; качество на языках, отличных от английского, может быть ниже. Для критичных сценариев требуется отдельная проверка качества и безопасности. Лицензия — MIT.

Microsoft Phi-3 Small-8K-Instruct — преобразованная в ONNX версия инструктивной языковой модели семейства Phi-3 Small, оптимизированная для вывода через ONNX Runtime на графических процессорах NVIDIA. Модель содержит 8,2 млрд параметров по метаданным и поддерживает контекст до 8192 токенов. Базовая модель обучалась на синтетических данных и отфильтрованных общедоступных веб-данных, а затем прошла дообучение по инструкциям и оптимизацию предпочтений. Модель предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, рассуждения, математические задачи и программирование. Репозиторий включает варианты FP16 и INT4; INT4 экономит ресурсы и может быть выгоден при небольших пакетах, а FP16 рекомендован для более крупных пакетов. В README приведены измерения производительности на A100, поэтому эти показатели не гарантируют аналогичную скорость на другом оборудовании. Для запуска требуются ONNX Runtime и совместимый NVIDIA GPU с Compute Capability не ниже 7.5. Лицензия — MIT. Указанные в README Python, C и C++ относятся к языкам программирования, а не к естественным языкам модели.

Qwen3.5-4B-Clarity-1.0-GGUF — экспериментальная дообученная версия Qwen3.5-4B, опубликованная пользователем Regic1d3 и основанная на модели Qwen от Qwen. Модель предназначена для генерации текста, рассуждений, решения многошаговых задач, проверки согласованности, выявления ошибок и некорректных предположений, а также для более точной генерации кода на Python. В обучении использовались дополнительные примеры рассуждений на английском и русском языках, а основная часть данных была дистиллирована из Qwen3.8-27B. Дообучение выполнено как относительно тонкая поведенческая настройка, сохраняющая общие возможности исходной модели. Модель имеет размер 4B параметров и доступна в формате GGUF, совместимом с llama.cpp. Предоставлены варианты квантования Q5_K_M и Q8_0. README также упоминает возможность мультимодального запуска, однако подробные характеристики поддерживаемых модальностей и контекстного окна не указаны. Рекомендуемые параметры генерации различаются для общих задач и кода. К сильным сторонам относятся потенциально улучшенные логическое, причинно-следственное и ограничительное рассуждение, арифметика в несколько шагов, обнаружение и исправление ошибок, а также различение фактов и предположений. Ограничения включают экспериментальный статус, отсутствие стандартизированных бенчмарков, возможность ошибочных рассуждений, недостаточную калибровку и склонность к чрезмерно уверенным или избыточно подробным ответам. Лицензия в README не указана.

schwyzquant/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель на базе Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. В README указано участие нескольких авторов и команд, включая DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; модель создана с использованием Unsloth и рассчитана на запуск на потребительском оборудовании. Она распространяется в форматах GGUF, включая обычные и MTP-варианты с multi-token prediction, а также 4- и 8-битные квантизации. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, ролевых сценариев и диалогов. Заявлена поддержка текста и изображений, английского и китайского языков. Среди ключевых свойств указаны улучшенное следование инструкциям, решение задач и reasoning, сохранение возможностей базовой Qwen-модели, а также uncensored/heretic-настройка. Контекстное окно, точные архитектурные характеристики и параметры мультимодального компонента в README не приведены. Автор заявляет высокие результаты на ряде бенчмарков и превосходство базовой Qwen3.6-27B по шести из семи указанных тестов, однако эти утверждения следует воспринимать как данные из карточки модели. Сильными сторонами называются качество рассуждений, универсальность, поддержка vision и эффективность квантизированных версий; возможное ограничение — отсутствие подробных независимых результатов и недостаток технических сведений о размере контекста. Лицензия — Apache-2.0.

Mojo24x7/Qwen3.6-35B-A3B-npuaware-rk3588-GGUF — это GGUF-квантизация модели Qwen3.6-35B-A3B, разработанная для ускорения на NPU Rockchip RK3588. Сборка использует backend RKNPU2 в rk-llama.cpp и предназначена для генерации текста, включая работу с документами, кодом, логами и другим длинным контекстом. Модель имеет гибридную архитектуру: 30 блоков Gated-DeltaNet/SSM, 10 полноценных attention-блоков и один MTP-блок. Указана поддержка английского языка. Размер файла Q35-npuaware.gguf составляет 14,89 GiB, средняя точность хранения — 3,60 бит на вес; заявленный контекст — до 32768 токенов. Ключевая особенность сборки — NPU-aware размещение весов: экспертные тензоры переведены в Q3_K и выполняются на CPU, тогда как основные attention- и SSM-проекции сохраняют NPU-совместимые типы Q4_0, Q8_0 и Q6_K. На Radxa ROCK 5B+ с RK3588 и 16 ГБ памяти заявлены показатели 20,4 токена/с для prefilling и 4,8 токена/с для decode, что превосходит сравниваемую квантизацию UD-IQ4_XS при меньшем размере файла. Для работы требуется специальная сборка rk-llama.cpp с backend RKNPU2 и корректными параметрами запуска. Модель особенно подходит для длинных одиночных запросов, но менее эффективна для продолжительных диалогов: из-за рекуррентной архитектуры последующие сообщения требуют повторной обработки большей части контекста. Поддержка 256 экспертов с выбором 8 экспертов на токен обеспечивает MoE-структуру; уменьшение числа активных экспертов до 4 ускоряет decode, но снижает качество. Лицензия — Apache-2.0.

majentik/Qwen3.6-35B-A3B-RotorQuant-MLX-2bit — это 2-битная квантизированная версия Qwen/Qwen3.6-35B-A3B, подготовленная для запуска на Apple Silicon с использованием фреймворка MLX. Базовую модель разработала команда Qwen, а данный вариант опубликован пользователем или организацией majentik. Модель предназначена для генерации и обработки текста, включая диалоговые сценарии, написание текстов, ответы на вопросы и программный код. Модель использует архитектуру Mixture-of-Experts: всего 35 млрд параметров, из которых около 3 млрд активируются для каждого токена. Это позволяет снизить вычислительную нагрузку по сравнению с плотной моделью сопоставимого общего размера. Вариант содержит только языковую часть модели и не поддерживает изображения или видео; зрительный модуль и MTP-голова исключены. Приблизительный размер весов — 9 ГБ, рекомендуемый объём объединённой памяти — от 16 ГБ. Для работы используется MLX и загрузка через mlx_lm на компьютерах с Apple Silicon. Главное преимущество модели — компактность и относительно низкие требования к памяти при сохранении архитектуры с большим общим числом параметров. Ограничениями являются потери качества, характерные для агрессивной 2-битной квантизации, отсутствие мультимодального ввода и зависимость от совместимого оборудования и программного окружения. Обозначение RotorQuant относится к варианту выпуска; связанный с ним экспериментальный форк для квантизации KV-кэша считается устаревшим и не требуется для использования модели. Модель распространяется по лицензии Apache 2.0.

PocketAiHub/Qwen3.8-27B-Abliterated-MTPLX-Optimized-Speed — производный вариант модели Qwen3.8-27B, созданной командой Qwen. PocketAiHub выполнила проекцию, подавляющую выученное поведение отказа, а также конвертацию, оптимизацию и проверку модели. Для ускорения используется MTPLX 2.7.1 и нативный механизм multi-token prediction с глубиной 3. Модель предназначена для генерации текста, рассуждений, структурированного выбора инструментов и работы с изображениями через OpenAI-совместимый API. Поддерживаются входные изображения в форматах PNG, JPEG и WebP; работоспособность видео в серверном режиме не подтверждена. Конфигурационное контекстное окно составляет 262 144 токена, однако для ускоренного MTPLX-режима рекомендуется использовать не более 32 000 токенов. Квантование смешанное: основная часть весов имеет 4-битную точность, отдельные чувствительные компоненты — 8-битную или BF16. Размер загрузки — около 21,31 ГБ. Главное преимущество — высокая скорость декодирования на Apple Silicon: на Apple M5 Max измерено до 58,05 токена в секунду, что соответствует ускорению до 2,35 раза относительно авторегрессионного режима. Ограничения включают зависимость производительности от оборудования, возможный дрейф поведения из-за квантования и аблитерации, а также подавление отказов, которое может приводить к ошибочным, вредным или непредсказуемым ответам. Модель не является более безопасной и требует собственных защитных механизмов. Распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Brainwaves-WFH-GGUF — это GGUF-квантизированная версия модели Qwen3.8-27B-Brainwaves-WFH, подготовленная mradermacher на основе модели nightmedia. Модель предназначена для локального запуска и генерации текста в широком спектре сценариев, включая диалог, следование инструкциям, программирование, математические и STEM-задачи, исследования, рассуждения, творческое и художественное письмо, сторителлинг и ролевые взаимодействия. Указана поддержка английского, китайского, японского и испанского языков. Модель относится к семейству Qwen и доступна в формате GGUF с вариантами квантования от Q2_K до Q8_0, а также в форматах IQ4_XS и F16. Размер файлов варьируется примерно от 11 до 29,1 ГБ; для мультимодального использования предусмотрены дополнительные файлы mmproj-Q8_0 и mmproj-f16, однако конкретные поддерживаемые визуальные модальности в README не описаны. В метаданных заявлены контексты 256K и 1M токенов, но их практическая доступность для данной сборки не подтверждена. Сильной стороной модели является выбор вариантов квантования, позволяющий выбирать между размером, скоростью и качеством: Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант очень хорошего качества, а Q8_0 — как вариант наилучшего качества среди указанных. Ограничения включают значительные требования к дисковому пространству и памяти, а также отсутствие подробных данных о производительности, оценках качества, точной архитектуре и рекомендуемых параметрах запуска. Лицензия — Apache-2.0.

bartowski/Qwen3.8-27B-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, разработанной Qwen и сконвертированной bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для локального запуска через совместимые инструменты, включая llama.cpp. Модель поддерживает текстовый и, при наличии отдельного файла mmproj, графический ввод, поэтому может использоваться для текстовых и мультимодальных сценариев. Также заявлена поддержка speculative decoding через MTP. В репозитории представлены варианты квантизации от Q2 до Q8 с размерами файлов примерно от 10 до 29 ГБ; рекомендуемым универсальным вариантом назван Q4_K_M размером 17,44 ГБ, а варианты Q6_K_L, Q6_K и Q6_K_S обеспечивают более высокое качество при большем потреблении памяти. Сильная сторона набора — широкий выбор компромиссов между размером, скоростью и сохранением качества; для вариантов приведены показатели perplexity, Mean KLD и совпадения распределения top-p. Более сильная квантизация требует больше оперативной или видеопамяти, а компактные варианты могут заметнее терять качество. Языки, размер контекстного окна, точные возможности мультимодального ввода и лицензия в представленном README не указаны.

Qwen3.8-27B-Opus-Distill-v2-FP8 — это квантизированная версия модели barozp/Qwen3.8-27B-Opus-Distill-v2, опубликованная пользователем или организацией barozp. Модель предназначена для задач рассуждения и мультимодального общения с текстом и изображениями; в карточке также заявлена поддержка MTP и speculative decoding. Она распространяется в формате, совместимом с Transformers, и основана на архитектуре Qwen3.8 с 27 млрд параметров, однако точные сведения о контекстном окне и поддерживаемых языках не указаны. В модели используется блочная FP8-квантизация E4M3 с блоками 128×128 и динамическим масштабированием активаций. Квантизируются главным образом веса, без калибровочного набора данных; vision tower, MTP head, нормализующие и gate-слои, embedding-слои и отдельные параметры Gated-DeltaNet сохраняются в исходной точности. Размер checkpoint составляет примерно 31 ГБ против около 55 ГБ у исходной BF16-версии. По представленным тестам, снижение качества на MMLU, HellaSwag и ARC-Challenge находится в пределах статистической погрешности. Сильные стороны модели — существенно меньший размер, поддержка native FP8 на совместимом оборудовании и близкое к BF16 качество на проверенных задачах. Ограничения связаны с требованиями к программному окружению и аппаратуре: для native FP8 в Transformers требуется специальный FP8 kernel, а некоторые сценарии MTP и sampling на Blackwell могут быть ограничены проблемами flashinfer. На A100 модель автоматически вычисляется через BF16 после де-квантизации. Лицензия — Apache-2.0.

Карточка модели TreezzZ/r2s-scienceworld-qwen3.5-4b-student на Hugging Face совпадает с карточкой Qwen/Qwen3.5-4B, поэтому описание составлено по ней. Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.

TheBloke/SOLAR-10.7B-Instruct-v1.0-AWQ — это квантизированная версия инструкционной языковой модели Solar 10.7B Instruct v1.0, разработанной upstage. Репозиторий содержит файлы модели в формате AWQ для эффективного запуска генерации текста на совместимом оборудовании. Модель предназначена для диалоговых сценариев и выполнения задач по текстовым инструкциям; рекомендуемый шаблон промпта использует роли User и Assistant. Модель имеет размер 10,7 млрд параметров и представлена в 4-битной AWQ-квантизации с group size 128, максимальной длиной последовательности 4096 токенов и размером файлов около 5,96 ГБ. Квантизацию выполнил TheBloke; модель распространяется в виде шардированных файлов safetensors. AWQ обеспечивает более низкое потребление памяти и высокую скорость инференса при сопоставимом с распространёнными настройками GPTQ качестве. Модель подходит для локального и серверного GPU-инференса через AutoAWQ, vLLM, Text Generation Inference или Transformers. Основное ограничение — поддержка AWQ в README указана для Linux и Windows с видеокартами NVIDIA; для macOS рекомендованы модели в формате GGUF. Языки и мультимодальные возможности отдельно не указаны. Лицензия — Apache 2.0.