II.3Рефакторинг, миграция и модернизация

lued/Qwen3.8-27B-huihui-abliterated-INT8-W8A16-DFlash2 — квантованная версия Huihui-Qwen3.8-27B-abliterated, разработанная на базе моделей huihui-ai и Qwen. Это мультимодальная conversational-модель с поддержкой текста и изображений, предназначенная для диалогов, генерации текста, задач рассуждения, tool calling и работы с длинным контекстом. Модель рассчитана на запуск через vLLM и потребительское оборудование, в частности две видеокарты RTX 3090. Модель содержит 27B параметров, использует формат W8A16 с весами INT8 и активациями FP16 или BF16, а также поддерживает контекст до 262 144 токенов. Для ускорения генерации применяется speculative decoding с отдельной моделью-черновиком DFlash2, которая предлагает до 7 токенов за шаг. Размер основной модели составляет около 28 GiB в шести шардах, размер drafter — около 2,02 GiB. По данным README, квантование сохраняет 98,5% совпадения следующего токена с исходной BF16-моделью при среднем KLD 0,000694. Сильные стороны модели — уменьшенный вдвое размер относительно BF16-версии, поддержка длинного контекста, vision tower, thinking controls и tool calling, а также заявленное ускорение генерации на RTX 3090. Ограничения включают необходимость двух GPU с общим объёмом памяти 48 ГБ для заявленного сценария, использование неподдерживаемого в стабильном vLLM DFlash2 с дополнительными патчами и отсутствие собственных измерений скорости именно для этой сборки; приведённые показатели производительности относятся к родственному варианту. Модель распространяется по лицензии Apache-2.0.

dealignai/Qwen3.8-27B-JANG_6D-CRACK — квантованная версия модели Qwen/Qwen3.8-27B, разработанная dealignai для запуска на Apple Silicon через MLX. Это плотная гибридная vision-language модель с 27 млрд параметров и 64 слоями, сочетающая линейное внимание GatedDeltaNet с полным gated attention. Модель поддерживает текст, изображения и видео, работает на английском и китайском языках, умеет рассуждать, вызывать инструменты через XML-схему и использовать встроенную голову Multi-Token-Prediction для speculative decoding. Модель подвергнута CRACK-обработке — удалению поведения, связанного с отказами в ответах, на уровне весов. Поэтому она ориентирована на исследовательские и прикладные сценарии, где требуется максимальная готовность выполнять запросы в различных категориях, включая потенциально опасные. Рассуждение включено по умолчанию с уровнем xhigh; доступны уровни xhigh, medium и low, а также полное отключение рассуждений. Для данной JANG_6D-квантизации заявлен размер около 24 ГБ и примерно 6-битное affine-кодирование с imatrix. В тестах README указаны 89,12% на MMLU и 100% соответствия на HarmBench-240 по критерию выполнения запросов. Сильными сторонами являются сохранение мультимодальности, видеоанализа, рассуждений, вызова инструментов и многоязычности при существенно меньшем размере, чем у полной модели. Ограничения включают требование совместимого MLX-окружения и значительного объёма памяти, а также отсутствие защитных отказов, что повышает риск генерации небезопасного или вредоносного содержания. Максимальный размер контекста в README не указан. Модель распространяется под лицензией Apache-2.0.

Qwen3.8-27B-NVFP4-MTP-VL-GGUF — пользовательская GGUF-сборка базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Сборка предназначена для локального запуска через llama.cpp и Ollama и объединяет языковую модель с поддержкой изображений и видео, механизмом MTP для ускоренного спекулятивного декодирования и отдельным F16 CLIP-проектором для обработки зрения. Это не официальный checkpoint в формате Transformers, а квантованная упаковка сообщества. Языковая часть и MTP используют NVFP4, выходные и embedding-слои — Q5_K, размер языкового файла составляет около 14,6 ГиБ, а проектор занимает около 888 МиБ. Нативный контекст модели — 262 144 токена; в GGUF добавлены метаданные статического YaRN с коэффициентом 4, позволяющие запрашивать окно до 1 048 576 токенов без изменения весов. Поддерживаются английский и китайский языки. Сильные стороны — существенно меньшие требования к памяти по сравнению с BF16, сохранение визуальных возможностей и MTP, а также совместимость с локальными рантаймами. Для работы требуются сборки, поддерживающие архитектуру qwen35, NVFP4, mmproj и draft-mtp. Окно в миллион токенов требует очень большого объёма памяти для KV-кэша, а статический YaRN может ухудшать качество на коротких запросах, поэтому для обычного диалога рекомендуется меньший контекст. Модель распространяется по лицензии Apache License 2.0.

Chungulus/Qwen3.8-27B-Q8_0-GGUF — это независимая, неизменённая квантизация Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель распространяется в формате GGUF для запуска с llama.cpp и предназначена для генерации текста, работы с изображениями и видео, а также вызова инструментов в нативном формате Qwen. Это не дообученная модель, не объединение моделей и не модификация шаблона чата. Модель содержит около 27 миллиардов параметров и использует квантизацию Q8_0 с 8-битным представлением весов. Архитектура сочетает Hybrid Gated DeltaNet и полноценное внимание; в составе также есть vision tower, проектор для мультимодального ввода и сохранённые MTP-тензоры. Для работы с изображениями требуется отдельный файл vision projector. Поддерживаются режимы управления рассуждением через enable_thinking, reasoning_effort и preserve_thinking. Сведения о поддерживаемых языках и максимальной длине контекста в README не указаны. К сильным сторонам относятся сохранение исходной архитектуры и шаблона чата, проверенная генерация текста, вызов инструментов, обработка изображений и видео, а также отсутствие дополнительной потери качества от тонкой настройки или слияния моделей. Для запуска требуется совместимый runtime с поддержкой гибридного графа Qwen3.8, vision-компонентов, токенизатора и MTP-метаданных. Основные ограничения — возможное снижение качества из-за квантизации, высокая потребность в памяти: рекомендуется иметь не менее примерно 33 ГБ с учётом модели, проектора и служебных расходов, а память под KV-кэш дополнительно растёт вместе с контекстом. Максимальный контекст не был проверен в рамках описанной валидации. Родительская модель и данная ванильная квантизация распространяются по лицензии Apache-2.0.

primitive-ai/Qwen3.8-Flash-Next-NVFP4 — квантизированная сборка базовой модели Qwen/Qwen3.8-Flash-Next, подготовленная Primitive AI. Модель предназначена для генерации текста и обработки запросов с изображениями в формате image-text-to-text, а также поддерживает рассуждения, структурированные вызовы инструментов и speculative decoding через MTP. Объём исходной модели составляет около 180 млрд параметров; сборка использует NVFP4 для экспертных компонентов и BF16 для части весов, занимая около 186 ГБ на диске. Главное преимущество — запуск крупной модели на одной 96 ГБ GPU Blackwell благодаря выгрузке 51-миллиардной n-gram-таблицы в оперативную память хоста; требуется примерно 100 ГБ свободной RAM. Заявлены скорость до 74,4 токена/с в однопоточном режиме и до 483,8 токена/с при 32 параллельных запросах. Модель сохраняет поддержку MTP, имеет проверенные парсеры рассуждений и tool calling в vLLM, а также показывает высокие результаты на приведённых наборах знаний и вызова инструментов. Ограничения связаны с жёсткими требованиями к оборудованию, объёму RAM и настройкам vLLM. Для запуска рекомендуется опубликованный образ vllm/vllm-openai:qwen38-flash-next и специальные параметры offload; без них сервер может зависать или не пройти инициализацию. Данные о поддерживаемых языках и точной архитектуре в README не приведены. Распространение осуществляется по лицензии Qwen Community 1.0.

Typhoon2-Qwen2.5-7B-Instruct — инструктивная языковая модель, разработанная командой Typhoon AI и дообученная на базе Qwen2.5-7B. Это плотная авторегрессионная модель архитектуры Qwen2 с 7,1 млрд параметров, предназначенная для диалога и выполнения инструкций на тайском и английском языках. Метаданные указывают контекст до 32 768 токенов; для более длинных текстов README описывает расширение контекста с помощью YaRN. Модель подходит для диалоговых помощников, вызова функций, решения математических задач, программирования и работы с длинными текстами. В приведённых разработчиками оценках она показывает результаты на тайском и английском языках, включая задачи следования инструкциям и переключения между языками. Модель принимает текст и генерирует текст. Это развивающаяся модель: ответы могут быть неточными, предвзятыми или нежелательными, поэтому её следует оценивать применительно к конкретному сценарию. Расширение контекста YaRN может ухудшить качество на коротких запросах при статическом масштабировании. Распространяется по лицензии Apache-2.0.

mrcuddle/arcee-fusion-lumaid-12B — объединённая языковая модель на архитектуре Mistral, созданная с помощью mergekit и метода Arcee Fusion. В качестве базовой модели использована mistralai/Mistral-Nemo-Instruct-2407; в объединение также вошла NeverSleep/Lumimaid-v0.2-12B. Модель содержит 12,1 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалога и генерации текста по инструкциям. Её можно применять для ответов на вопросы, написания и редактирования текстов, а также сценариев с интерфейсом вызова инструментов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. В метаданных и README не приведены результаты оценки качества или условия лицензии, поэтому пригодность для конкретных задач и правомерность использования следует проверять по исходным карточкам обеих базовых моделей и условиям публикации этой модели.

Baichuan2-13B-Chat-4bits — версия чат-модели Baichuan 2 от Baichuan Intelligence, представленная в 4-битном квантованном варианте. Это плотная авторегрессионная модель на 13,3 млрд параметров для генерации текста и диалогового взаимодействия. Семейство Baichuan 2 обучено на 2,6 трлн токенов; версия Chat v2, согласно карточке, улучшает математические и логические рассуждения и следование сложным инструкциям. Модель ориентирована прежде всего на китайский и английский языки. Модель подходит для диалоговых помощников, ответов на вопросы, выполнения текстовых инструкций, а также задач общего характера в областях права, медицины, математики, программирования и многоязычного перевода. Карточка сообщает о 4-битном варианте для снижения требований к памяти. Для работы указан PyTorch 2.0 или новее. Для использования требуется соблюдать Apache 2.0 и лицензионное соглашение сообщества Baichuan 2. Коммерческое применение требует предварительного обращения за официальной лицензией и зависит от условий, изложенных в карточке. Модель может ошибаться; перед использованием в чувствительных сценариях её ответы следует проверять.

c4ai-command-r7b-12-2024-heretic — модифицированная версия модели CohereForAI Command R7B, созданная автором репозитория с использованием Heretic 1.4.0 и метода направленной абляции (abliteration). Это мультиязычная генеративная языковая модель примерно на 7 млрд параметров, оптимизированная для retrieval-augmented generation (RAG), диалоговых сценариев, локального запуска и надёжного использования инструментов. Указан английский язык, однако в описании заявлена мультиязычность. Модель поддерживает текстовую генерацию и поставляется в форматах BF16 Safetensors и GGUF с квантованиями Q4_K_M, Q5_K_M, Q6_K и Q8_0; доступен запуск через Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Ключевая особенность — подавление поведения, связанного с отказами, посредством изменения отдельных направлений весов в выходных проекциях attention и down-проекциях MLP, без дообучения. Это должно сохранять большую часть знаний и возможностей базовой модели, но одновременно означает отсутствие встроенной фильтрации безопасности: модель может выполнять запросы, которые исходная версия отклоняла, включая потенциально нежелательные. Поэтому её не рекомендуется размещать за незащищённым публичным endpoint для сторонних пользователей. Модель рассчитана на локальное использование на потребительских GPU и CPU/Apple Silicon; рекомендуемый объём видеопамяти зависит от квантования и составляет примерно 6–24 ГБ, а для контекста требуется дополнительно около 1 ГБ. Ограничения контекстного окна в README не указаны. Модель наследует лицензию other базовой модели CohereForAI c4ai-command-r7b-12-2024; подробные условия доступны по ссылке на её LICENSE.

QuantFactory/calme-2.1-phi3.5-4b-GGUF — это квантованная GGUF-версия языковой модели calme-2.1-phi3.5-4b, созданной на основе Microsoft Phi-3.5-mini-instruct. Исходную модель разработал MaziyarPanahi, а квантование выполнено им же с использованием llama.cpp. Модель предназначена для генерации текста и работает с шаблоном диалогов ChatML. Модель ориентирована на ответы на вопросы, работу чат-ботов и виртуальных ассистентов, генерацию и суммирование контента, генерацию и анализ кода, решение сложных задач и поддержку принятия решений. Заявлен размер около 4 млрд параметров; поддерживаемая модальность — текст, основной указанный язык — английский. Длина контекста в карточке не указана. К сильным сторонам относятся универсальность, формат инструкционной и диалоговой работы, а также доступность в квантованном GGUF-формате, удобном для запуска с llama.cpp и совместимыми инструментами. Ограничения включают возможные смещения и ошибки, характерные для языковых моделей, а также умеренные результаты на сложных тестах рассуждений: средний результат Open LLM Leaderboard указан как 27,01. Для продуктивного использования рекомендуются защитные меры и контроль человеком. Лицензия модели — MIT.

Solstice-AI публикует GGUF-сборку DeepSeek-V4-Flash-Vision-UNCENSORED для локального мультимодального диалога и анализа изображений. В ней используются MoE-веса MXFP4 с 305 млрд параметров, включая 256 маршрутизируемых экспертов и около 18 млрд активных параметров на токен; визуальный энкодер сохранён в BF16. К сборке приложены спекулятивные черновые модели DSpark для ускорения вывода. Заявлена длина контекста 1 048 576 токенов. Модель принимает текст и изображения и выдаёт текст; среди подходящих сценариев — визуальные вопросы и ответы, анализ документов и графиков, а также задачи программирования и рассуждений в диалоге. Карточка приводит высокие результаты в ряде бенчмарков, включая DocVQA и ChartQA, но эти показатели заявлены автором и не гарантируют аналогичного качества в конкретной среде. Сборка распространяется по лицензии MIT. В README упоминается режим UNCENSORED, поэтому её ответы могут содержать материалы, которые обычно ограничиваются отказами.

DPOpenHermes-7B-v2 — диалоговая языковая модель, разработанная OpenAccess AI Collective на базе OpenHermes-2.5-Mistral-7B. Это плотная модель MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов, дообученная методом Direct Preference Optimization (DPO) с использованием 16-битного LoRA и наборов предпочтений Intel/orca_dpo_pairs и UltraFeedback. Модель предназначена для многоходового общения, следования инструкциям и генерации текста; её формат диалога ChatML поддерживает системные сообщения и совместим с типовым сценарием общения через ChatGPT-подобный API. Карточка приводит результаты AGIEval и BigBench Hard, но не описывает их методику; результаты TruthfulQA не приведены. Модель ориентирована на английский язык. Распространяется по лицензии Apache-2.0; как и другие языковые модели, может выдавать ошибки и неподходящие ответы.

ciocan/gemma-4-E4B-it-W4A16 — GPTQ-квантизированная 4-битная версия модели google/gemma-4-E4B-it, подготовленная с использованием auto-round в режиме RTN. Модель имеет 8 млрд параметров, из которых 4 млрд являются эффективными благодаря архитектуре PLE. Она предназначена для запуска и обслуживания через vLLM, включая использование OpenAI-совместимого API и вызов инструментов. Модель поддерживает текст, изображения, аудио и видео. Нативная длина контекста составляет 128K токенов, однако для видеокарт с 12 ГБ VRAM рекомендуется ограничивать её 8K токенами, а при нехватке памяти — 4K. Квантованию подвергнут только языковой модуль; vision- и audio-компоненты сохранены в полной точности BF16. Размер памяти при загрузке составляет около 9,65 GiB, что позволяет использовать модель на видеокартах уровня RTX 3080 Ti или RTX 4070 с 12 ГБ VRAM. К сильным сторонам относятся поддержка нескольких модальностей, совместимость с vLLM и OpenAI-совместимым интерфейсом, а также сниженные требования к видеопамяти. Ограничения связаны с необходимостью использовать vLLM и специфический GPTQ-совместимый формат: AutoAWQ и llm-compressor для этой архитектуры не поддерживаются. Модель распространяется по лицензии Apache 2.0.

NVIDIA Llama 3.1 70B Instruct FP8 — квантованная до FP8 версия диалоговой языковой модели Meta Llama 3.1 70B Instruct. В README указано, что модель разработана не NVIDIA: веса и активации линейных операторов в блоках трансформера преобразованы в FP8 с помощью TensorRT Model Optimizer. Архитектура — авторегрессионный трансформер Llama 3.1 с 69,5 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и интерфейс для вызова инструментов. Модель предназначена для диалоговых ассистентов и генерации текста. FP8-квантование примерно вдвое сокращает требования к дисковому пространству и памяти GPU; в описанном тесте на H100 заявлено ускорение примерно в 1,5 раза. Для инференса указаны TensorRT-LLM и vLLM, совместимое оборудование включает NVIDIA Blackwell, Hopper и Lovelace. Лицензия — Llama 3.1; README сообщает о возможности коммерческого и некоммерческого использования. Следует учитывать условия лицензии Meta и ограничения исходной модели. Модель текстовая, поэтому она не принимает изображения, аудио или видео.

Neurona 8B v2 — предварительная диалоговая языковая модель на базе Meta Llama 3 8B Instruct, разработанная Икером Гарсией. Это плотная модель с архитектурой LlamaForCausalLM, примерно 7,5 млрд параметров и контекстом до 8192 токенов; она сохранена в формате safetensors и дообучена с помощью Axolotl на смеси англоязычных и испаноязычных наборов данных. Модель предназначена для диалога и генерации текста на испанском и английском языках. В карточке указаны сценарии RAG, вызова функций, помощи с кодом, ответов на вопросы и суммаризации; обучающие данные также включают перевод между английским и испанским, обработку новостей и экономические и медицинские тексты. Модель обозначена автором как экспериментальная предварительная версия, созданная для настройки скриптов и инфраструктуры, а не как финальный релиз. Лицензия — llama3.

Unsloth/Meta-Llama-3.1-8B-Instruct-unsloth-bnb-4bit — это 4-битная версия инструкционно настроенной текстовой языковой модели Meta Llama 3.1 с 8 млрд параметров, подготовленная Unsloth для использования с Transformers и форматом bitsandbytes. Модель предназначена для диалогов, генерации и обработки текста, выполнения инструкций, суммаризации и других задач, где требуется компактная LLM с пониженным потреблением памяти. Модель использует авторегрессионную архитектуру Transformer и работает в режиме «текст на входе — текст на выходе». Ключевая особенность версии — селективная динамическая 4-битная квантизация Unsloth, направленная на снижение требований к памяти при сохранении большей точности по сравнению со стандартной 4-битной квантизацией. В карточке официально указан английский язык; дополнительные языки, размер контекста и другие характеристики для данной версии не подтверждены. Разработчик базовой модели — Meta, адаптацию и квантизацию выпустила Unsloth. Ограничения включают возможные потери качества из-за квантизации и отсутствие в предоставленных данных подробной информации о производительности, контекстном окне и поддерживаемых сценариях за пределами текста. Модель распространяется по лицензии Llama 3.1.

Это текстовая конверсия Mistral Small 3.1 Instruct 24B в формат Hugging Face Transformers, опубликованная пользователем mrfakename. Репозиторий содержит только текстовую часть исходной модели и не поддерживает обработку изображений. Модель предназначена для диалогов и генерации текста по инструкциям. Она использует плотную архитектуру MistralForCausalLM, содержит 23,4 млрд параметров и имеет контекст длиной 32 768 токенов. Для хранения весов используется safetensors; модель доступна по лицензии Apache-2.0. Возможности и ограничения конверсии зависят от текстовой части исходной Mistral Small 3.1 Instruct 24B: этот репозиторий не подходит для задач с изображениями. README не приводит отдельной информации о поддерживаемых языках.

IsValorum/Occamy-1.0-APEX-I-MiniPlus-V2.1-GGUF — это квантизированная версия модели Occamy-1.0 от Accio-Lab, подготовленная IsValorum в формате GGUF для запуска через llama.cpp и совместимые инструменты. Модель предназначена для генерации текста, рассуждений, выполнения сложных инструкций и многоязычных сценариев, включая работу с английским, китайским, испанским, французским, немецким, португальским, итальянским, русским, японским, корейским, вьетнамским, тайским и арабским языками. Архитектура основана на разреженной Mixture-of-Experts с 40 слоями и 256 микроэкспертами. Версия MiniPlus V2.1 использует настраиваемую покомпонентную квантизацию: маршрутизаторы gate_inp сохранены в F32, выходная голова — в Q6_K, attention gates — в Q8_0, а основные эксперты — преимущественно в IQ3_XXS и Q3_K. Заявленный размер составляет около 13,74 GiB, а поддерживаемый контекст — до 256K токенов. Модель рассчитана на эффективный offload в системную RAM и работу на рабочих станциях с 24 ГБ памяти или видеопамяти, однако фактическая скорость зависит от оборудования и конфигурации запуска. К сильным сторонам относятся компактный размер для MoE-модели, сохранение маршрутизации в высокой точности, поддержка длинного контекста и широкий набор языков. Ограничения связаны с потерями качества и скорости, неизбежными для квантизированной версии, а заявленные показатели производительности и близость к качеству более точных вариантов требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.

Melvin56/Phi-4-mini-instruct-abliterated-GGUF — это GGUF-квантизированная версия модели Phi-4-mini-instruct-abliterated, разработанная на основе модели huihui-ai/Phi-4-mini-instruct-abliterated. Модель предназначена для генерации текста, включая задачи обработки естественного языка и работы с кодом, и может использоваться в локальных приложениях через совместимые средства инференса GGUF. Модель поддерживает мультиязычную генерацию, включая арабский, китайский, чешский, датский, нидерландский, английский, финский, французский, немецкий, иврит, венгерский, итальянский, японский, корейский, норвежский, польский, португальский, русский, испанский, шведский, тайский, турецкий и украинский языки. Доступны варианты квантования Q2_K_S, Q2_K, Q3_K_M, Q3_K_L, Q4_K_M, Q5_K_M, Q6_K, Q8_0 и F16 размером примерно от 1,59 до 7,68 ГБ. Кванты подготовлены с использованием imatrix dataset и поддерживают различные режимы вычислений на CPU и GPU, включая AVX2, ARM NEON, Metal, cuBLAS, rocBLAS и SYCL; отдельные конфигурации могут работать медленнее или иметь ограничения совместимости. Сильными сторонами модели являются широкий выбор размеров квантования, мультиязычность и возможность локального запуска на разнообразном оборудовании. Ограничения включают отсутствие сведений о точном размере архитектуры, длине контекста и результатах тестирования, а также возможное снижение качества и скорости при использовании компактных квантов. Модель распространяется по лицензии MIT.

Qwen2.5-7B-Instruct-20241204-114939 — дообученная компанией или автором qfq диалоговая языковая модель на архитектуре Qwen2 плотного типа с 7,1 млрд параметров. Она предназначена для генерации текста и ответов в формате диалога; также поддерживает интерфейс вызова инструментов. В карточке указана оценка Loss 0,3328 на наборе для оценки, но сам набор данных и подробности обучения не описаны. Модель принимает текст и генерирует текст. Контекстное окно составляет 32 768 токенов. Модель опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. README не приводит конкретных специализаций или ограничений, поэтому пригодность для узких задач и качество ответов следует оценивать отдельно.

Карточка модели aoiandroid/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

YOYO-AI/Qwen3-30B-A3B-YOYO-Thinking-Chimera — объединённая модель Qwen3, созданная YOYO-AI методом «сшивания» компонентов двух вариантов Qwen3-30B-A3B: Instruct-2507 и Thinking-2507. Веса экспертов маршрутизации и внимания взяты из Thinking, остальные компоненты — из Instruct. Модель предназначена для диалогов, выполнения инструкций и генерации текста с рассуждениями; метаданные также указывают интерфейс вызова инструментов. Архитектура — MoE с классом Qwen3MoeForCausalLM. В метаданных указано 2,6 млрд параметров, формат хранения — safetensors; README сообщает о точности bfloat16 и контексте до 262 144 токенов, а также упоминает вариант длины 1 010 000 токенов без пояснения его условий. Языки карточки — английский и китайский. Модель распространяется по лицензии Apache-2.0.

OnlyTextLLMs/Qwen3.5-4B-OnlyText — текстовая причинная языковая модель, подготовленная на основе Qwen/Qwen3.5-4B: из исходной модели удалены компоненты обработки изображений и аудио, а текстовая часть и выходная голова сохранены. Разработчик репозитория сообщает, что новые обучающие данные и дообучение не применялись; сохранена также MTP-голова для чернового предсказания токенов. Модель предназначена для генерации текста и диалоговых сценариев. Она использует плотную архитектуру Qwen3_5ForCausalLM; в метаданных указаны 3,4 млрд параметров и контекст до 262 144 токенов. README приводит размер 4,33 млрд параметров и точность bfloat16. Модель работает только с текстом; интерфейс вызова инструментов указан среди возможностей, но сам по себе не гарантирует выполнение инструментов. Репозиторий распространяется по лицензии Apache-2.0. Поскольку это производная версия исходной Qwen3.5-4B с удалёнными мультимодальными компонентами, она не предназначена для обработки изображений или аудио.

btbtyler09/Qwen3.6-35B-A3B-GPTQ-8bit — это 8-битная GPTQ-квантизованная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для работы с текстом и изображениями, включая понимание изображений, генерацию текста, рассуждения, вызов инструментов и поддержку speculative decoding через модуль MTP. README не указывает конкретный список поддерживаемых языков. Модель использует архитектуру Mixture-of-Experts с примерно 35 млрд параметров, из которых около 3 млрд активируются для каждого токена. В каждом из 40 слоёв используется 256 экспертов и один общий эксперт; на токен выбираются 8 экспертов. Архитектура сочетает 30 слоёв линейного внимания и 10 слоёв полного внимания. Контекстное окно составляет до 262 144 токенов. В состав входят полноразмерный vision encoder на базе ViT с 27 блоками и модуль MTP; vision encoder и MTP сохранены в BF16, а экспертные модули квантизованы в INT8. Ключевое преимущество версии — существенное уменьшение размера примерно с 67 до 40 ГБ при практически незаметном ухудшении perplexity относительно исходной BF16-модели. При этом для запуска требуется значительный объём видеопамяти и, согласно README, рекомендуется использовать vLLM с распределением модели минимум на несколько GPU. GPTQModel и transformers на момент публикации не поддерживают непосредственную загрузку этой мультимодальной сборки, поэтому для инференса следует использовать vLLM; также возможна необходимость исправления ошибки совместимости в некоторых версиях vLLM. Модель распространяется по лицензии Apache-2.0.

Chungulus/Qwen3.8-27B-Q3_K_L-GGUF — это независимая ванильная GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель не является дообучением, слиянием или изменённой версией; сохранены исходные шаблон чата, режимы рассуждений, нативный формат вызова инструментов и мультимодальные компоненты. Квантизация выполнена в формате Q3_K_L с использованием llama.cpp, размер основного файла составляет около 14,56 ГБ, а полный репозиторий занимает около 15,5 ГБ. Модель предназначена для генерации текста, вызова инструментов, анализа изображений и работы с видео через vision projector. Она использует гибридную архитектуру с чередованием Gated DeltaNet и полнотекстового внимания, а также содержит MTP-тензоры, однако спекулятивное ускорение не заявлено. Текстовая генерация, вызов инструментов и мультимодальные сценарии прошли функциональную проверку; валидационная скорость составила около 14,77 токена в секунду на тестовой системе. Для запуска требуется совместимый runtime, поддерживающий граф Qwen3.8, vision tower, проектор, токенизатор и MTP-метаданные, а также ориентировочно не менее 19 ГБ доступной памяти без гарантии пикового потребления. Максимальный размер контекста в README не указан и полноценно не тестировался, языки также не перечислены. Квантизация может снижать качество, особенно из-за небольшой разрядности. Модель и её квантизация распространяются по лицензии Apache-2.0.

Chungulus/Qwen3.8-27B-Q3_K_M-GGUF — это независимая vanilla-квантизация модели Qwen3.8-27B, разработанной командой Qwen. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp. Квантизация Q3_K_M выполнена без дообучения, слияния, изменения выравнивания или шаблона чата. Модель поддерживает генерацию текста, нативный tool calling, обработку изображений и видео, а также режимы управления рассуждением через параметры enable_thinking, reasoning_effort и preserve_thinking. Архитектура включает гибридную структуру Hybrid Gated DeltaNet/full-attention, vision tower и проектор; в репозитории сохранены MTP-тензоры, однако ускорение speculative decoding не заявлено. Основной файл занимает около 13,5 ГБ, vision projector — в формате F16, общий размер репозитория — около 14,4 ГБ. Для запуска рекомендуется не менее примерно 18 ГБ доступной памяти, при этом KV-cache дополнительно увеличивает потребление в зависимости от контекста. К сильным сторонам относятся сохранённые возможности исходной модели, проверенная поддержка текста, инструментов, изображений и видео, а также совместимость с нативным форматом вызова инструментов Qwen. Ограничение — возможное снижение качества из-за низкобитной квантизации; заявленные проверки не позволяют делать выводы о максимальной длине контекста. Для работы требуется runtime с поддержкой архитектуры Qwen3.8, vision-компонентов, токенизатора и MTP-метаданных. Модель и её vanilla-квантизация распространяются по лицензии Apache-2.0.

Chungulus/Qwen3.8-27B-Q4_K_M-GGUF — это неизменённая vanilla-квантизация базовой модели Qwen/Qwen3.8-27B в формате GGUF. Репозиторий подготовлен Chungulus и содержит основной файл модели с квантизацией Q4_K_M, а также отдельный vision projector в формате F16. Это не дообученная, не объединённая и не изменённая с точки зрения шаблона чата модель. Модель предназначена для генерации текста, работы с изображениями и видео, а также вызова инструментов через нативный формат Qwen. Сохранены механизмы управления рассуждениями, включая enable_thinking, reasoning_effort и preserve_thinking. Архитектура включает гибридную структуру Gated DeltaNet и полноразмерного внимания, зрительную башню и проектор; заявленный размер базовой модели — 27 млрд параметров. Поддерживаемые языки и максимальная длина контекста в README не указаны. Преимущества модели — подтверждённая работоспособность генерации текста, vision- и video-сценариев, tool calling и совместимость с llama.cpp при наличии соответствующей поддержки архитектуры. Квантизация уменьшает требования к памяти, однако может снижать качество, особенно по сравнению с полной точностью. Для запуска рекомендуется иметь примерно 21 ГБ доступной памяти, причём KV-кэш дополнительно увеличивает расход памяти в зависимости от контекста. Максимальный контекст README не подтверждает тестированием. Модель и её квантизация распространяются по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, опубликованная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео. Профиль Aggressive ориентирован на прямые ответы с минимальным вступлением и без поведения отказа; заявленные возможности базовой модели сохраняются без изменений в обучающих данных и общем назначении. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder и поддержкой мультимодального ввода через отдельный BF16-проектор. Архитектура включает 64 слоя, скрытый размер 5120, размер FFN 17408, словарь 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Указана поддержка английского, китайского и других языков. Выпуск представлен в форматах GGUF с различными уровнями квантизации, включая специализированные K_P-кванты. К сильным сторонам относятся длинный контекст, мультимодальность, сохранённые встроенные механизмы MTP/NextN и ускорение HauhauCS FastMTP 32K. Заявлено ускорение генерации до 3,02 раза для документов и до 1,93 раза для задач рассуждения по сравнению с вариантами без MTP, однако эти показатели зависят от сценария и конфигурации. Агрессивный профиль может быть менее подходящим для надёжно контролируемых агентских задач, где предпочтительнее сбалансированная версия. Для работы с изображениями и видео требуется отдельный vision-проектор. Модель распространяется по лицензии Apache-2.0.

unsloth/gemma-3n-E4B-it — инструкция-настроенная версия Gemma 3n E4B от Google, опубликованная Unsloth. Это плотная модель класса Gemma3n с архитектурой Gemma3nForConditionalGeneration и поддержкой диалога и изображений. Репозиторий содержит веса safetensors; в README для этой сборки заявлена работа только с текстом, поэтому описанные для семейства возможности обработки изображений, видео и аудио здесь не подтверждены. Модель предназначена для генерации текста и диалоговых сценариев: создания черновиков и кода, суммаризации, ответов на вопросы и работы чат-ботов. README указывает контекст до 32 тысяч токенов. Семейство Gemma 3n рассчитано на эффективный запуск на устройствах с ограниченными ресурсами благодаря выборочной активации параметров; для этой конкретной сборки общее число параметров в предоставленных метаданных не указано. Ожидаемые ограничения включают возможные фактические ошибки, смещения обучающих данных и затруднения с неоднозначными или сложными запросами. Лицензия — Gemma; перед использованием следует учитывать её условия.

GLM-Z1-Rumination-32B-0414 — диалоговая модель глубокого рассуждения от Z.ai, созданная на основе GLM-4-32B-0414. В ней сочетаются длительное пошаговое рассуждение и использование инструментов поиска для решения открытых и сложных задач; обучение дополнительно ориентировано на математику, код, логику, исследовательский стиль письма и задачи с извлечением информации. Модель содержит 32,2 млрд параметров, использует плотную архитектуру GLM-4 и работает с контекстом до 131 072 токенов. Карточка описывает поддержку китайского и английского языков, диалога и вызова инструментов поиска. Указаны сценарии сравнительного анализа, подготовки исследовательских текстов и комплексного поиска с последующим синтезом результатов. Модель распространяется под лицензией MIT. Доступные материалы не приводят отдельных результатов оценки качества или подробностей ограничений; ответы и результаты поиска следует проверять, особенно в задачах, требующих точности и актуальности.