I.6Перевод и языковая адаптация

EXAONE-3.5-7.8B-Instruct-GGUF — набор GGUF-квантизаций инструкционной языковой модели EXAONE-3.5-7.8B-Instruct, разработанной LGAI. Репозиторий подготовлен ThomasBaruzier с использованием llama.cpp и imatrix-квантизации; представлены варианты с разными уровнями сжатия и размерами файлов. Модель предназначена для генерации текста и выполнения инструкций в текстовых сценариях. В README указаны английский и корейский языки. Размер исходной модели составляет 7,8 млрд параметров, однако архитектура и максимальная длина контекста не указаны. Доступны варианты квантизации IQ и Q, примерно от 1,8 до 5,6 ГБ; выбор варианта позволяет балансировать между требованиями к памяти и сохранением качества. К сильным сторонам относятся возможность локального запуска через совместимый стек llama.cpp, широкий выбор квантизаций и опубликованные показатели perplexity и accuracy для сравнения вариантов. Более агрессивное сжатие уменьшает размер модели, но может заметнее снижать качество. Модель текстовая и не поддерживает заявленные мультимодальные сценарии. Лицензия обозначена как EXAONE; подробные условия следует уточнять в файле LICENSE.

guillaumekln опубликовал конверсию модели распознавания речи Whisper tiny.en от OpenAI в формат CTranslate2. Модель предназначена для транскрибирования английской речи и может использоваться через CTranslate2 и библиотеки на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно выбрать параметром compute_type в CTranslate2. Репозиторий содержит конвертированную модель, а не новое дообучение. Лицензия — MIT.

unsloth/gemma-3-270m-it-GGUF — GGUF-версия инструкционно дообученной модели google/gemma-3-270m-it, разработанной Google DeepMind и подготовленной Unsloth. Модель предназначена для генерации текста, ответов на вопросы, суммаризации документов и задач рассуждения, а также может использоваться локально на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Это компактная модель семейства Gemma 3 с размером 270M параметров и поддержкой текстовых и, согласно общей карточке Gemma 3, визуальных входных данных при генерации текста. Для вариантов 270M заявлено контекстное окно до 32K токенов на запрос, включая вход и доступный объём вывода. Семейство поддерживает более 140 языков, однако конкретные языки и возможности именно этой версии отдельно не уточнены. Данные обучения имеют отсечку знаний августом 2024 года. К сильным сторонам относятся небольшой размер, возможность локального развёртывания и открытые веса; компактность может быть полезна при ограниченных ресурсах. Ограничения связаны с меньшей ёмкостью модели по сравнению с крупными вариантами Gemma 3, а также с тем, что README не содержит отдельных оценок качества для данной GGUF-квантизации и не уточняет её параметры квантизации. Использование регулируется лицензией Gemma и соответствующими Terms of Use.

Gemma-4-12B-CoreAI — конвертация языковой модели Google Gemma 4 12B, подготовленная пользователем mlboydaisuke для запуска через Apple Core AI на устройствах с Apple Silicon. Модель предназначена для генерации текста, диалогов, суммаризации и других локальных сценариев использования LLM без передачи данных в облако; заявлена интеграция с CoreAIKit и запуск на GPU или Neural Engine, хотя в README отдельно подтверждён запуск на M-series Mac через конвейерный GPU-движок. Это плотный текстовый декодер без MoE, PLE, AltUp, Laurel и совместного использования KV-кэша: 48 слоёв, скрытое представление размерностью 3840, 16 голов внимания и словарь на 262144 токена. Используется чередование оконного и глобального внимания в соотношении 5:1, причём размерность головы составляет 256 для sliding attention и 512 для глобального внимания. Доступны варианты int8 размером около 14 ГБ и int4 размером около 8,2 ГБ; на M4 Max заявлена скорость декодирования примерно 23 и 33 токена в секунду соответственно. Контекстное окно и перечень поддерживаемых естественных языков в README не указаны. Сильная сторона модели — возможность локального запуска крупной 12B-модели на Apple Silicon, включая специальное Metal-ядро flash-decode для обхода ограничений стандартного GPU-декодирования. Вариант int8 описан как проверенный и воспроизводящий результаты эталонной fp32-модели, тогда как int4 требует меньше памяти и работает быстрее, но может немного ухудшать формулировки. Ограничения включают зависимость от совместимого оборудования и Core AI, большой объём загрузки, режим decode-only, отсутствие записи о рейтинге DeviceMark и возможные сбои у обычных, не использующих специальное ядро, сборок. В метаданных указана лицензия Apache 2.0.

Vontra/GLM-5.3-Flash-MLX-4bit-MTP — MLX-конверсия модели GLM-5.3-Flash от Z.ai, подготовленная для Apple Silicon. Это мультимодальная sparse MoE-модель архитектуры glm5_next с поддержкой текста и изображений, рассчитанная на работу с английским и китайским языками. Модель распространяется в формате MLX safetensors и сохраняет оригинальные токенизатор, chat template, мультимодальный процессор и настройки генерации. Модель предназначена для локальной генерации текста и обработки изображений в совместимых окружениях MLX и MLX-VLM. Она использует гибридное линейное и разреженное внимание, manifold-constrained hyper-connections и встроенный блок предсказания следующего токена для speculative decoding (native MTP). Заявленный контекст составляет до 1 048 576 токенов. Квантование выполнено методом weight-only post-training quantization: основные подходящие матрицы переведены в 4-bit с group size 64, тогда как vision encoder, projector, embeddings, output head и часть служебных тензоров сохранены в исходной или совместимой точности. К сильным сторонам относятся мультимодальность, очень длинный контекст, поддержка sparse MoE, оптимизация под Apple Silicon и существенное уменьшение размера весов по сравнению с полноточной моделью. Репозиторий занимает около 181,7 ГБ, поэтому для запуска требуется значительный объём объединённой памяти. Native MTP требует специальной интеграции GLM5 Next в runtime; проверена работа с oMLX 0.6.3rc3, MLX 0.32.0 и MLX-VLM 0.6.3 с соответствующей поддержкой. Старые или стандартные сборки без этой интеграции могут работать только без MTP либо не поддерживать модель. Приведённый тест на Apple M3 Ultra показал около 6,27 токена в секунду при отключённом MTP, но фактическая производительность зависит от нагрузки и окружения. Лицензия — MIT.

Guanaco — многоязычная инструкционная языковая модель, разработанная Josephus Cheung при участии KBlueLeaf и построенная на Meta LLaMA 7B. Это плотная авторегрессионная модель семейства LLaMA с 6,6 млрд параметров и контекстом до 2048 токенов; веса представлены в формате PyTorch, лицензия — GPL-3.0. Модель предназначена для генерации ответов по инструкциям и многоходового диалога, включая ролевые беседы. В обучающий набор вошли данные Alpaca и более 534 тысяч дополнительных примеров на английском, упрощённом и традиционном китайском, японском и немецком языках, а также задания по грамматике и языку. Разработчики отмечают, что ответы на фактические вопросы могут быть неточными, и рекомендуют опираться на проверяемые источники. Модель не фильтровалась от вредного, предвзятого или откровенного контента. Для вывода рекомендуется fp16; 8-битная точность может ухудшить качество.

Многоязычная модель Sentence Transformers, разработанная командой Impresso Project на основе sentence-transformers/paraphrase-multilingual-mpnet-base-v2 и дообученная для исторического и современного люксембургского языка. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена прежде всего для кросс-языкового семантического поиска между люксембургским и другими языками, а также для сравнения текстов, поиска парафраз и кластеризации. Модель подходит библиотекам и архивам для поиска по коллекциям и изучения изменений языка во времени. Архитектура — XLM-RoBERTa; модель содержит 305,2 млн параметров, использует библиотеку Sentence Transformers и принимает текст. README указывает ограничение в 128 субтокенов на вход, хотя метаданные каталога сообщают длину контекста 514 токенов. На историческом и современном люксембургском модель показывает сильный результат в различении парафраз ParaLUX; для поиска по более длинному контексту README рекомендует другую модель. Лицензия — AGPL-3.0.

danieleV9H/hubert-base-libri-clean-ft100h-v3 — англоязычная модель распознавания речи, созданная дообучением facebook/hubert-base-ls960 на наборе LibriSpeech ASR. Она принимает аудио и выдаёт текстовую расшифровку; архитектура — HuBERT с CTC-головой, размер — 113,3 млн параметров. На указанном в карточке наборе оценки модель достигла WER 0,1332 и loss 0,1120. Модель подходит для транскрибации английской речи, особенно аудиокниг и записей, похожих на LibriSpeech. Доступна под лицензией Apache-2.0.

Sanat-agrwl/indic-whisper-ctc-timestamps — модель Саната Кумара Агравала и Шриканта Раджа Четупатли для распознавания речи на хинди с временными метками слов. Это Whisper large-v2, дообученная для хинди и дополненная символьной CTC-головой, которая использует то же представление аудио, что и декодер транскрипции. Модель выполняет один проход энкодера: декодер формирует текст, а CTC-голова оценивает границы слов с разрешением 20 мс. Модель подходит для транскрибирования хинди-речи и автоматической разметки начала и конца каждого слова. В тесте IndicVoices-R для хинди указана WER 14,6%; среднее расхождение границ с внешним выравнивателем составляет 20,8 мс, однако это согласие между системами, а не точность относительно человеческой разметки. По README, калибровка уменьшает среднюю ошибку относительно человеческой разметки с 74,5 до 43,0 мс. Распространяется по лицензии Apache-2.0.

MiniCPM-o 4.5 — мультимодальная модель команды OpenBMB для понимания изображений, речи и видео, а также голосового и текстового диалога в реальном времени. Это сквозная плотная архитектура на основе SigLIP2, Whisper-medium, CosyVoice2 и Qwen3-8B; в метаданных репозитория указаны 7,6 млрд параметров и контекст 40 960 токенов. Модель принимает изображения, аудио и непрерывные аудио-видеопотоки, а также формирует текстовые и речевые ответы; поддерживает полно-дуплексное взаимодействие, распознавание речи, анализ говорящего, описание аудио, OCR и разбор документов. Для изображений заявлена обработка разрешением до 1,8 млн пикселей, для видео — частота до 10 кадров в секунду; README указывает мультиязычные возможности более чем на 30 языках и двуязычный голосовой диалог на английском и китайском. Модель рассчитана на визуальные вопросы и ответы, работу с документами и сценами, транскрибацию и анализ аудио, а также потоковые голосовые и мультимодальные приложения, включая локальный запуск. Метаданные указывают библиотеку Transformers и форматы ONNX и safetensors; README также описывает варианты запуска и квантованные сборки через сторонние инструменты. Заявленные показатели качества приведены авторами README и не являются независимой гарантией. Лицензия репозитория — Apache-2.0.

Это пакет слоёв GGUF для Mistral Medium 3.5 128B UD-Q4_K_XL, подготовленный Mesh LLM для распределённого вывода. Он создан на основе unsloth/Mistral-Medium-3.5-128B-GGUF и разбивает исходное распределение GGUF на артефакты по слоям для запуска модели на локальном кластере Mesh LLM. Пакет предназначен для приватного локального чата и генерации текста, в том числе на нескольких машинах, когда модель целиком не помещается на одном узле. Mesh LLM поддерживает OpenAI-совместимый интерфейс чата и дополнений. Вариант квантования — UD-Q4_K_XL; архитектурные подробности, контекст и языки следует уточнять по карточке исходной модели.

cloudyu/Mixtral_34Bx2_MoE_60B — языковая модель для генерации текста, созданная автором репозитория на основе объединения jondurbin/bagel-dpo-34b-v0.2 и SUSTech/SUS-Chat-34B. В метаданных указаны архитектура Mixtral с механизмом Mixture of Experts и около 33,9 млрд параметров; веса опубликованы в формате safetensors. Для модели заявлен контекст до 200 000 токенов. Модель предназначена для генерации текста и диалоговых сценариев на английском и китайском языках. В README приведены результаты оценок на Open LLM Leaderboard, однако показатели в разных таблицах различаются, поэтому их нельзя считать однозначной характеристикой качества. Модель распространяется по лицензии Apache-2.0.

NbAiLab/Nb-wav2vec2-1b-bokmaal — модель автоматического распознавания речи, разработанная командой NbAiLab для норвежского языка букмол. Она дообучена на базе XLS-R от Facebook/Meta и использует архитектуру Wav2Vec2 с CTC-декодированием; размер модели — 1,3 млрд параметров. Для обучения использовался Norwegian Parliamentary Speech Corpus (NPSC). Модель предназначена для преобразования норвежской речи в текст. На тестовом наборе указана оценка WER 6,33% и CER 2,48% с 5-граммовой языковой моделью KenLM; без неё — WER 7,38% и CER 2,63%. Для применения с другими типами речи качество может отличаться. Модель распространяется по лицензии Apache 2.0.

NorMistral-7b-warm-instruct — инструкционно дообученная языковая модель, разработанная командой NorwAI/норвежского проекта NorMistral. Она предназначена для диалогового взаимодействия, генерации текста, ответов на вопросы, следования инструкциям и задач программирования преимущественно на норвежских языках. Модель основана на NorMistral-7b-warm и содержит около 7 миллиардов параметров. Это текстовая авторегрессионная модель семейства Mistral с поддержкой Bokmål и Nynorsk; в карточке также заявлен норвежский язык. Дообучение выполнено на открытых наборах данных Aya, OASST, OIG, No Robots, Dolly и Glaive code assistant. Контекстное окно при дообучении составляет 4096 токенов, что вдвое больше, чем у базовой модели. Для диалогов используется ChatML-подобный шаблон. Сильными сторонами модели являются специализация на норвежском языке, открытость для коммерческого применения и поддержка многоходовых диалогов. При этом выпущенные веса обозначены как рабочая версия, модель прошла только этап supervised fine-tuning без оптимизации предпочтений, а качество и поведение могут измениться в будущих версиях. Для использования рекомендуется корректно применять шаблон чата и параметры генерации, указанные авторами. Модель распространяется по лицензии Apache-2.0.

Карточка модели mayflowergmbh/occiglot-7b-it-en-instruct-hf на Hugging Face совпадает с карточкой occiglot/occiglot-7b-it-en-instruct, поэтому описание составлено по ней. Occiglot-7B-it-en-Instruct — генеративная языковая модель Occiglot Research Collective, дообученная следовать инструкциям и поддерживать диалог. Это плотный decoder-only трансформер Mistral с 7,1 млрд параметров; модель принимает текст и имеет контекст до 32 768 токенов. Карточка описывает поддержку английского и итальянского языков, а также кода; обучение включало многоязычные и программные инструкции, а взаимодействие рассчитано на шаблон ChatML. Модель подходит для диалоговых ответов, выполнения текстовых инструкций, генерации текста и помощи с кодом на английском и итальянском. Это ранний выпуск исследовательского проекта, обученный на дополнительных инструкционных данных; приведённые оценки названы предварительными, а неанглоязычные результаты ограничены особенностями тестовых наборов. Модель не прошла safety alignment и может выдавать проблемный контент. Лицензия — Apache 2.0.

omniASR-LLM-7B — форк модели Meta AI из семейства Omnilingual ASR, подготовленный для интеграции с vLLM. Согласно README, веса идентичны оригинальной facebook/omniASR-LLM-7B: изменена только упаковка, добавлены конфигурация Hugging Face, настройки токенизатора и таблица языковых идентификаторов. Это плотная модель класса OmniAsrForConditionalGeneration с весами в формате safetensors. Модель предназначена для автоматического распознавания речи на множестве языков; семейство заявляет поддержку более 1600 языков. Форк позволяет запускать распознавание через vLLM. README не приводит точного числа параметров именно этой 7B-версии. Репозиторий распространяется по лицензии Apache 2.0.

Moondream Parakeet Redux — компактная модель автоматического распознавания речи, созданная на основе Parakeet-TDT-0.6B-v3 от NVIDIA. Она сохраняет исходную архитектуру и токенизатор, но веса энкодера представлены значениями −1, 0 и +1 (1,58 бита); размер весов — 178 МБ. Для запуска README рекомендует Photon, который использует AVX-512 VNNI на x86, NEON на ARM и Metal на Apple-устройствах. Модель предназначена для преобразования речи в текст, включая многоязычные записи и длинные аудио. Встроенная голова определения речевой активности помогает Photon разделять длинные записи на фрагменты до 30 секунд. В опубликованных сравнениях Redux близка к исходной модели на английском, показывает лучшие результаты на FLEURS и длинных выступлениях, но сильнее теряет точность при фоновом шуме. Заявленные скорости зависят от оборудования и среды Photon. В карточке указана лицензия CC-BY-4.0. Модель поддерживает 25 языков, включая русский; метаданные перечисляют языковые коды для 23 из них.

FluidInference/parakeet-tdt-0.6b-v3-ov — версия NVIDIA Parakeet TDT V3, оптимизированная FluidInference для OpenVINO. Это модель автоматического распознавания речи на базе FastConformer-RNNT; в README указано 1,1 млрд параметров и конвейер из четырёх моделей. Она предназначена для транскрибации аудио на процессорах и NPU Intel, поддерживает 24 европейских языка и обрабатывает речь фрагментами по 10 секунд с перекрытием в 3 секунды. Среди возможностей — сохранение состояния LSTM между фрагментами, удаление повторяющихся токенов и временные метки для токенов. В тестах README приведены средний WER 3,7% на LibriSpeech test-clean и 17,0% на многоязычном FLEURS; результаты зависят от языка и оборудования. Лицензия CC BY 4.0. В метаданных базовой моделью указана nvidia/parakeet-tdt-0.6b-v3, однако README называет базовой моделью nvidia/parakeet-tdt-1.1b, а также расходится с метаданными по размеру и списку языков.

QARI-OCR v0.3 — специализированная мультимодальная модель NAMAA-Space для распознавания арабского текста на изображениях документов и сохранения их структуры. Она дообучена на основе Qwen2-VL-2B-Instruct; архитектура — Qwen2-VL, размер — 1,5 млрд параметров. Модель принимает изображения и текстовые запросы, а распознанный текст может сохранять структуру документа с помощью тегов HTML или Markdown. Модель предназначена для OCR документов с заголовками, основным текстом и сложной версткой. В карточке отмечены поддержка огласовок и работа с 12 арабскими шрифтами, а также начальные возможности распознавания рукописного текста и устойчивость к изображениям низкого разрешения и ухудшенного качества. По данным README, CER составляет 0,300, WER — 0,485, BLEU — 0,545; для версии v0.2 указана более высокая точность распознавания обычного текста. Модель обрабатывает арабский язык, использует библиотеку Transformers и имеет контекст длиной до 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

unsloth/Qwen3-0.6B-GGUF — GGUF-версия языковой модели Qwen3-0.6B, разработанной командой Qwen от Alibaba Cloud и подготовленной Unsloth. Это авторегрессионная causal language model с 0,6 млрд параметров, из которых 0,44 млрд приходятся не на embedding, и 28 слоями. Модель предназначена для локального запуска и интеграции с llama.cpp, Ollama и совместимыми интерфейсами, а также для дообучения и экспорта в различные форматы. Модель поддерживает переключение между режимами thinking и non-thinking: первый ориентирован на сложные задачи рассуждения, математику и программирование, второй — на более эффективный общий диалог. Заявлены возможности instruction following, многошагового диалога, генерации кода, творческого письма, ролевого взаимодействия и работы с внешними инструментами. Контекстное окно составляет 32 768 токенов, используется Grouped Query Attention с 16 головами для Q и 8 для KV. Qwen3 заявляет поддержку более 100 языков и диалектов, однако в метаданных этой карточки указан язык en. К сильным сторонам относятся компактный размер, поддержка двух режимов рассуждения, задачи агентного взаимодействия и мультиязычность. Ограничения, конкретные результаты бенчмарков, требования к оборудованию и показатели производительности для этой версии в README не приведены; из-за малого размера модели её качество следует проверять на целевых задачах. Карточка указывает лицензию Apache-2.0.

lmstudio-community/Qwen3-14B-MLX-8bit — это 8-битная версия модели Qwen3-14B, разработанная сообществом lmstudio-community и преобразованная в формат MLX из исходной модели Qwen/Qwen3-14B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе в сценариях локального инференса на совместимом оборудовании Apple MLX. В README указаны архитектура Qwen3-14B, размер 14B параметров, формат MLX и 8-битное представление весов. Модель поддерживает диалоговый режим через chat template, если он доступен в токенизаторе. Данные о языках, размере контекста, поддерживаемых модальностях, производительности и конкретных требованиях к оборудованию не приведены. Ограничения также отдельно не описаны; практические характеристики зависят от исходной модели, реализации MLX и используемой системы. Модель распространяется по лицензии Apache-2.0. Для использования требуется библиотека mlx-lm; README приводит пример загрузки модели и генерации текста через Python API.

mlx-community/Qwen3-235B-A22B-8bit — языковая модель для генерации текста, разработанная на основе Qwen/Qwen3-235B-A22B и конвертированная сообществом mlx-community в формат MLX. Модель предназначена для запуска и генерации ответов в экосистеме MLX с использованием библиотеки mlx-lm, включая диалоговые сценарии через chat template. Из README известно, что модель имеет 8-битное представление и относится к семейству Qwen3-235B-A22B. Архитектура, точное число параметров, поддерживаемые языки, модальности и максимальная длина контекста в предоставленных данных не указаны. Для работы требуется библиотека mlx-lm; формат MLX ориентирован на совместимое с этой экосистемой выполнение. Модель распространяется по лицензии Apache-2.0. README не содержит сведений о результатах тестирования, сильных сторонах и ограничениях качества, поэтому их оценка по имеющимся данным невозможна.

unsloth/Qwen3.5-0.8B-GGUF — модель семейства Qwen3.5 на базе Qwen/Qwen3.5-0.8B, представленная в репозитории Unsloth. Это мультимодальная причинная языковая модель с vision encoder, предназначенная для локального запуска, прототипирования, исследовательских и разработческих задач, а также предметно-ориентированного дообучения. Модель может применяться для работы с текстом и изображениями, рассуждений, программирования, визуального понимания и агентских сценариев. Модель содержит около 0,8 млрд параметров, 24 слоя, скрытое измерение 1024 и нативное контекстное окно до 262 144 токенов. В архитектуре сочетаются Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Артефакты совместимы с экосистемой Hugging Face Transformers, vLLM, SGLang и KTransformers, а Unsloth также заявляет возможность локального дообучения. К сильным сторонам относятся мультимодальность, большое контекстное окно, компактный размер и заявленная высокая эффективность инференса, что делает модель подходящей для локального использования и экспериментов при ограниченных ресурсах. Ограничением является небольшой масштаб в 0,8 млрд параметров: модель прежде всего ориентирована на прототипирование, специализированное дообучение и исследования, поэтому её возможности могут уступать более крупным моделям в сложных универсальных задачах. Лицензия — Apache 2.0.

onnx-community/Qwen3.5-0.8B-ONNX — это ONNX-версия постобученной мультимодальной модели Qwen3.5-0.8B, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, генерации ответов, визуального понимания, рассуждений, программирования, агентских сценариев, прототипирования, исследовательских задач и специализированного дообучения. Веса и конфигурация совместимы с Hugging Face Transformers.js и ONNX Runtime. Модель представляет собой авторегрессионную языковую модель с vision encoder и содержит около 0,8 млрд параметров. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; языковая часть включает 24 слоя, скрытое измерение 1024 и нативный контекст до 262 144 токенов. Заявлена поддержка 201 языка и диалекта. Благодаря небольшому размеру модель ориентирована на относительно эффективный запуск и разработку, но по возможностям и качеству уступает более крупным моделям, а заявленные мультимодальные и языковые характеристики требуют проверки на конкретных задачах. Модель распространяется по лицензии Apache-2.0. README не содержит полного описания ограничений, требований к аппаратному обеспечению и подробных результатов именно для всех поддерживаемых сценариев.

Sayankotor/qwen35-122b-a10b-k4e2 — это квантованный чекпойнт модели Qwen/Qwen3.5-122B-A10B, опубликованный пользователем Sayankotor. Он предназначен для генерации текста и диалогов. Модель построена на архитектуре MoE с гибридными DeltaNet и полным вниманием; в README указаны 256 маршрутизируемых экспертов на слой. Основная часть весов и общие экспертные MLP квантованы до 4 бит, маршрутизируемые эксперты — до 2 бит, а ряд компонентов, включая зрительную башню, сохранён в исходной точности. Размер уменьшен примерно с 234 до 34 ГБ. Чекпойнт рассчитан на запуск в условиях ограниченной видеопамяти, когда приемлема существенно более низкая скорость: README сообщает примерно о 18-кратном замедлении относительно bf16 на описанном тесте. Приведены результаты perplexity на WikiText-2 и C4 при контексте 4096 токенов; это не устанавливает максимальную длину контекста. Для загрузки требуются поставляемый в репозитории пользовательский код модели и дополнительные зависимости. Метаданные указывают лицензию «other», поэтому конкретные условия использования следует сверять с карточкой и файлами лицензии базовой модели.

trymirai/Qwen3.5-4B-M — это средний по размеру 4-битный вариант модели Qwen3.5-4B, подготовленный Mirai Labs для эффективного локального запуска на компьютерах Apple с Apple silicon. Модель предназначена для генерации текста и унаследовала архитектуру, назначение, языки, модальности и другие базовые свойства оригинальной Qwen3.5-4B, однако в представленном README их подробные характеристики не указаны. Квантизация выполнена с использованием 4-битного асимметричного целочисленного представления, 4-битных zero points, масштабов bfloat16 и размера группы 32. Для уменьшения выбросов активаций и весов применяются блочно-диагональные Random Hadamard Transforms; после посттренировочной квантизации использовалась дистилляция с учётом квантизации. По заявлению разработчиков, чекпойнт находится на компромиссном фронте между размером и KL-дивергенцией, то есть сочетает уменьшенный размер с сохранением качества. Основное преимущество модели — возможность более эффективного локального вывода на Apple silicon при меньших требованиях к памяти по сравнению с исходной моделью. Ограничение состоит в том, что в README заявлена поддержка только Apple silicon; характеристики производительности и качества для других платформ не приведены. Для запуска предлагается пакет mirai для macOS или сборка из исходного кода. Модель распространяется по лицензии Apache-2.0.

MLX-версия языковой модели Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16, разработанная на основе модели AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16 и конвертированная в формат MLX с помощью mlx-lm 0.31.2. Модель предназначена для генерации и продолжения текста, диалоговых приложений и локального запуска на устройствах, поддерживающих MLX. Модель имеет около 27 млрд параметров и представлена в 8-битном формате MLX; исходная модель использует BF16. В метаданных указаны архитектурные компоненты hybrid attention, Mamba и gated-deltanet, а также поддержка английского, китайского и мультиязычного текста. Длина контекста в README не указана. Для работы требуется библиотека mlx-lm и совместимое с MLX окружение. К сильным сторонам относятся крупный размер, оптимизация для экосистемы MLX и возможность локального использования. Ограничения включают отсутствие данных о качестве на конкретных тестах, производительности, точном наборе поддерживаемых языков и размере контекста. Модель помечена как abliterated и uncensored, поэтому её ответы могут иметь меньше встроенных ограничений безопасности; это следует учитывать при практическом применении. Лицензия — Apache 2.0.

Qwen3.6-35B-A3B-Uncensored-Genesis-NVFP4-GGUF — квантизированная NVFP4-версия мультимодальной модели Qwen3.6-35B-A3B-Uncensored-Genesis. Квантизацию выполнил jan1k с использованием advanced-gguf-quantizer, форка llama.cpp; исходная модель основана на разработках HauhauCS и LuffyTheFox. Это версия Genesis без переноса Hermes-файнтюнинга. Модель предназначена для генерации текста и обработки изображений вместе с текстовыми запросами, при этом для мультимодальной работы требуется отдельный mmproj-файл. Архитектура — MoE qwen35moe: 35 млрд параметров всего, около 3 млрд активных, 40 слоёв и контекст до 262 144 токенов. Указаны английский, китайский и мультиязычный режимы. Рекомендуемый файл v4 занимает около 20 ГБ и использует встроенные UE4M3-масштабы, что обеспечивает совместимость с LM Studio, Pelican и другими средами, поддерживающими этот формат. Сильные стороны модели — большой контекст, мультимодальность, MoE-архитектура с относительно небольшим числом активных параметров и оптимизация NVFP4 для современных GPU. Наилучшая производительность ожидается на видеокартах Blackwell, а на Ampere используется fallback-реализация. Для запуска рекомендуется llama.cpp, максимальная выгрузка на GPU, F16 для K/V-кэша и 8 активных экспертов. Это специализированная квантизированная сборка, поэтому совместимость зависит от поддержки NVFP4 конкретным runtime; версия v2/v3 может выдавать некорректный результат в средах, не поддерживающих отдельные scale-тензоры. Модель распространяется по лицензии Apache-2.0.

igorvibes/Qwen3.8-27B-UD-Q4_K_XL-AWQ-MTP-mlx — это квантованная версия базовой модели Qwen/Qwen3.8-27B, подготовленная для запуска через MLX на компьютерах Apple Silicon. Модель предназначена для генерации текста и локального инференса, включая сценарии, где важны уменьшенный размер файлов и возможность использования Apple GPU. Архитектура относится к семейству Qwen 3.5; указаны 27,78 млрд параметров, 64 слоя, скрытый размер 5120 и промежуточный размер 17408. Из 64 слоёв 48 используют GatedDeltaNet; остальные относятся к стандартным механизмам внимания, однако полное описание архитектуры в README отсутствует. Модель использует смешанную affine-квантизацию MLX с базовым классом 4-bit и размером группы 64, но её фактическая средняя точность составляет 6,02 бита на вес. Размер на диске — 20,89 ГБ без учёта дополнительной памяти под KV-cache. Применено AWQ activation-aware pre-scaling с calibration imatrix, а 15 тензоров MTP сохранены внутри основных shards в формате BF16 без квантизации. MTP-компонент предназначен для multi-token prediction, но отдельной директории или sidecar-файла drafter нет. К сильным сторонам относятся сохранение более высокой точности для чувствительных компонентов за счёт смешанной разрядности, AWQ-калибровка и адаптация к MLX. Ограничения включают значительный объём оперативной памяти, необходимость учитывать запас под KV-cache и несовместимость формата с vLLM и autoawq: это стандартный формат affine-квантизации MLX, а не AutoAWQ или GPTQ. Языки, длина контекста и лицензия в предоставленном README не указаны.

albucino/Qwen3.8-Flash-Next-W4A16-FP8PLE — локальная сборка модели семейства Qwen3.8-Flash-Next для генерации текста. В README не указан отдельный разработчик этой сборки; она объединяет компоненты из репозиториев Intel и RadixArk, а также компактный модуль MTP3 для speculative decoding. Модель рассчитана на запуск через специальный runtime на базе vLLM, а не через стандартный Transformers checkpoint. Сборка использует W4A16-квантизацию AutoRound с INT4 и group-128 для целевых экспертных и линейных весов, BF16 для чувствительных слоёв, FP8 E4M3FN для таблицы n-gram/PLE объёмом 51,2 млрд параметров и дополнительный INT4-модуль MTP с group-32. Поддерживается контекст до 262 144 токенов, текстовая модальность и запуск на двух RTX 3090 по 24 ГБ с 128 ГБ оперативной памяти, включая offload экспертов в CPU и NVMe-backed swap. Заявленные характеристики производительности являются экспериментальными и зависят от runtime и конфигурации. Основные преимущества — очень длинный контекст, возможность локального запуска крупной модели на потребительских GPU, prefix caching, экспертный offload и ускорение декодирования с помощью MTP3. Ограничения включают необходимость специального pinned runtime и пользовательского vLLM overlay, значительные требования к оперативной памяти и быстрому NVMe, риск CUDA и host OOM, а также экспериментальный статус части оптимизаций. Модель распространяется по лицензии qwen-community-1.0; её условия следует уточнять в файле LICENSE.