I.6Перевод и языковая адаптация

mattbucci/Qwen3.8-27B-AWQ — квантованная версия модели Qwen3.8-27B, разработанной Qwen и опубликованной mattbucci. Модель предназначена для задач генерации текста, рассуждений, вызова инструментов, анализа изображений и понимания видео, прежде всего в сценариях серверного инференса через SGLang. Она рассчитана на однопользовательскую работу с длинным контекстом до 262 144 токенов при конфигурации с двумя видеокартами RTX 3090. Модель использует 4-битное квантование AWQ/GPTQ в формате W4A16 с размером группы 128 и симметричными весами INT4. Веса занимают около 18,7 ГБ; архитектура включает 64 слоя, из которых 48 используют Gated DeltaNet, а 16 — полное внимание. Башня обработки изображений, lm_head и отдельные параметры Gated DeltaNet сохранены в BF16. Проверены текстовые, математические, программные, визуальные и видео-сценарии; в указанных тестах модель показала высокие результаты на MMLU и HumanEval, а также успешно работала с контекстом свыше 250 тысяч токенов. Сильные стороны модели — поддержка нескольких модальностей, длинного контекста, рассуждений и инструментов при существенно меньшем объёме памяти по сравнению с полноразмерной моделью. Ограничения включают отсутствие MTP и недоступность MTP-ускоренного speculative decoding, снижение доступного контекста при параллельной обработке нескольких запросов, а также относительно низкий результат LAB-Bench, поэтому модель следует отдельно проверять для научных задач и специализированного протокольного QA. Квантование и валидация выполнялись на архитектуре Ampere с AWQ_Marlin; другие GPU не тестировались разработчиком. Лицензия — Apache-2.0, унаследованная от базовой модели.

barrydeen/Qwen3.8-27B-AWQ-4bit — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen и подготовленной пользователем barrydeen. Модель предназначена для генерации текста и обработки изображений с текстом, включая диалоговые сценарии, работу с кодом, арифметикой, инструментами и рассуждениями. Модель имеет гибридную архитектуру Qwen3_5ForConditionalGeneration с 27 млрд параметров. Из 64 декодерных слоёв 16 используют полноценное внимание, а 48 — Gated DeltaNet. Линейные слои квантизированы методом AWQ в формате W4A16 с асимметричной схемой и размером группы 128; чувствительные компоненты, включая vision tower, Gated DeltaNet и MTP head, сохранены в BF16. Размер модели составляет около 27,8 ГБ вместо 55,6 ГБ в BF16. Заявлена поддержка контекста до 131 072 токенов при использовании vLLM, а также MTP-спекулятивного декодирования. Сильные стороны модели — существенное снижение требований к памяти при сохранении чувствительных компонентов в исходной точности, поддержка мультимодальности, инструментальных вызовов и высокая измеренная скорость генерации 85–95 токенов в секунду на двух RTX 3090. Ограничения включают отсутствие формального набора бенчмарков, калибровку только на текстовых данных и последовательностях длиной до 1024 токенов, поэтому качество на более длинных контекстах и мультимодальных данных отдельно не подтверждено. Для MTP требуется тензорный, а не конвейерный параллелизм. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwopus3.6-27B-v2-AWQ-4bit — это квантизированная версия Jackrong/Qwopus3.6-27B-v2, дообученной на базе Qwen 3.6 27B с дистилляцией рассуждений Claude Opus. Квантизацию выполнил mconcat. Модель предназначена для генерации текста, решения математических и логических задач, программирования, анализа, творческого письма, работы с общими знаниями и вызова инструментов. В README также сохранены метаданные мультимодального процессора и vision-компонентов. Модель использует гибридную архитектуру DeltaNet и softmax attention, а также однос-layer MTP head для speculative decoding. Основные веса представлены в формате AutoAWQ INT4 (W4A16) с размером группы 128, при этом ряд компонентов, включая vision tower, мультимодальный проектор, MTP head, нормы и крайние слои трансформера, сохранён в BF16. Размер чекпойнта составляет около 26 ГБ вместо примерно 54 ГБ у BF16-версии. Заявлены языки English, Chinese, Korean и Japanese; в конфигурации запуска указан максимальный контекст 16384 токена. К сильным сторонам относятся существенное уменьшение размера модели, сохранение качества исходной BF16-версии на приведённых тестах и ускорение генерации с MTP speculative decoding. На одном NVIDIA B300 SXM6 заявлена скорость до 251 токена в секунду при batch size 1 и ускорение 2,19 раза относительно режима без MTP. Ограничения включают зависимость от совместимого окружения vLLM версии 0.21.0 или выше, необходимость trust_remote_code для указанного запуска и аппаратную специфику приведённых показателей производительности. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

llmfan46/gemma-4-12B-it-uncensored-heretic-NVFP4-GGUF — квантизированная в формате GGUF версия Gemma 4 12B Instruct, доработанная в варианте uncensored/heretic. Карточка описывает семейство Gemma 4 как мультимодальное; эта сборка предназначена для диалогового использования через llama.cpp, LM Studio, Ollama и другие инструменты с поддержкой GGUF. Архитектура семейства сочетает локальное скользящее и глобальное внимание. Для 12B указано контекстное окно до 256K токенов. Модель предназначена для диалога, рассуждений, генерации и исправления кода, суммаризации, ответов на вопросы по тексту и анализа изображений, видео и аудио. Семейство поддерживает более 35 языков; для версии 12B заявлены распознавание речи и перевод речи в текст на нескольких языках. Сборка имеет метку uncensored, однако карточка не описывает отдельные процедуры её дообучения или снятия ограничений. Указана лицензия Apache-2.0. Качество ответов зависит от формулировки запроса и обучающих данных; возможны фактические ошибки, предвзятость и трудности с нюансами языка или сложными открытыми задачами. Заявленные возможности семейства не подтверждают отдельно поведение именно этой GGUF-сборки во всех режимах.

Inkling-Small-GGUF — квантованная версия Inkling-Small, разработанного Thinking Machines и опубликованная в формате GGUF с использованием подходов Unsloth. Это мультимодальная авторегрессионная модель с открытыми весами, предназначенная для исследований, дообучения и интеграции в сторонние продукты. Модель принимает текст, изображения и аудио, а генерирует текст. Она рассчитана на диалоговые сценарии, следование инструкциям, создание AI-агентов и систем с использованием инструментов, разработку кодовых ассистентов, чат-ботов и решений с retrieval-augmented generation. Поддерживаются английский и другие языки с общими мультиязычными возможностями, а также различные языки программирования. Изображения должны быть пиксельными; рекомендуемый размер каждой стороны составляет от 40 до 4096 пикселей. Аудио подаётся в формате WAV с частотой 16 кГц, предпочтительно длительностью менее двух минут. Архитектура представляет собой 42-слойный decoder-only transformer со sparse Mixture-of-Experts: всего 276 млрд параметров, из которых для каждого токена активно около 12 млрд. Каждый токен направляется к 6 из 256 экспертов, дополнительно используются 2 общих эксперта; механизм внимания сочетает локальные и глобальные слои. Изображения обрабатываются иерархическим patch encoder, аудио — через дискретное токенизирование, после чего все модальности переводятся в общее скрытое пространство. Поддерживаются числовые форматы BF16 и NVFP4. Ограничения включают отсутствие заявленного в карточке размера контекстного окна и зависимость качества и требований к ресурсам от выбранного уровня квантования и среды запуска. Модель распространяется по лицензии Apache-2.0. Для локального запуска заявлена совместимость с SGLang, vLLM, TokenSpeed, Unsloth и Hugging Face; также доступны API и сторонние провайдеры инференса.

Klear-46B-A2.5B-Instruct — инструктивная версия разреженной языковой модели семейства Klear, разработанная командой Kwai-Klear компании Kuaishou и дообученная с помощью DPO на базе Kwai-Klear/Klear-46B-A2.5B-Base. Архитектура MoE содержит 46 млрд параметров, из которых при генерации активны около 2,5 млрд; в каждом слое задействуются 8 экспертов и один общий эксперт. Модель принимает текст и генерирует текст в диалоговом формате, поддерживает китайский и английский языки и контекст до 65 536 токенов. Модель предназначена для диалогов, следования инструкциям и генерации текста, включая задачи общего характера, программирование и рассуждения. Разреженная активация экспертов рассчитана на повышение эффективности инференса по сравнению с плотной моделью сопоставимого общего размера. Для запуска README указывает Transformers версии 4.56.0 или новее с trust_remote_code=True, а для vLLM — форк разработчиков. Модель распространяется по лицензии Apache-2.0.

Ministral-8B-Instruct-2410 — инструктивно дообученная языковая модель компании Mistral AI для локального запуска, вычислений на устройствах и периферийных системах. Это плотный трансформер семейства Mistral с примерно 8 млрд параметров; модель поддерживает диалог и вызов функций. В карточке заявлено окно контекста до 128 тыс. токенов, но метаданные каталога указывают 32 768 токенов, а README уточняет, что vLLM ограничивает контекст 32 тыс. токенов; полный размер окна доступен при использовании Mistral Inference. Модель рассчитана на генерацию ответов по инструкциям, диалог, программирование, математические задачи и вызов функций. Она обучена на значительной доле многоязычных и программных данных; заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Рекомендуемая библиотека для инференса — vLLM. Модель распространяется по Mistral Research License; для коммерческого использования README предлагает обратиться к Mistral AI за коммерческой лицензией. Для запуска на одном GPU требуется 24 ГБ видеопамяти. Качество ответов и многоязычные возможности зависят от языка и задачи.

Phi-4-mini-instruct — компактная языковая модель Microsoft семейства Phi-4 с архитектурой Phi-3 и 3,8 млрд параметров. Она обучена на синтетических данных и отфильтрованных общедоступных веб-материалах, а затем дообучена с учителем и оптимизирована по предпочтениям для следования инструкциям и повышения безопасности. Метаданные указывают контекст 4096 токенов; в README заявлен контекст до 128K токенов. Модель предназначена для диалоговых и генеративных приложений общего назначения, особенно при ограниченных вычислительных ресурсах или требованиях к низкой задержке. Среди заявленных сильных сторон — рассуждения, в особенности математические и логические задачи, следование инструкциям, работа с кодом и интерфейс вызова инструментов. Поддерживается многоязычная работа, включая русский и английский; качество может различаться между языками. Модель принимает текст и генерирует текст. Она выпущена под лицензией MIT. README предупреждает о возможных ошибках и вредных ответах, уязвимости к длительным многоходовым jailbreak-атакам и галлюцинациях имён функций или URL при вызове инструментов; для конкретных сценариев рекомендуется оценивать точность, безопасность и справедливость.

Qwen3.5-9B-GGUF — это квантизированная в формате GGUF версия модели Qwen3.5-9B, подготовленная ByteShape с использованием технологии ShapeLearn. ShapeLearn подбирает тип данных отдельно для каждого тензора, чтобы сохранить высокое качество при малой разрядности. Модель имеет около 9 миллиардов параметров и поддерживает работу с текстом и изображениями, включая сценарии vision-language. Она предназначена для локального запуска и задач генерации текста, программирования, рассуждений, следования инструкциям и function calling; в README также указаны оценки на BFCL-V3, LiveCodeBench V6, HumanEval, GSM8K, IFEVAL и MMLU. Репозиторий предлагает варианты для GPU и CPU с разными компромиссами между размером, скоростью и качеством: от 2.81 до 5.10 bits per weight и примерно от 3.15 до 5.72 ГБ. Для запуска рекомендуются llama.cpp и LM Studio; llama.cpp автоматически загружает vision projector. Ollama на момент публикации README эту модель не поддерживает. Доступны оптимизированные варианты для различных аппаратных платформ, однако конкретный размер контекста, список поддерживаемых языков и подробные результаты тестов в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Brainwaves-1M-qx86-hi-mlx — экспериментальная объединённая модель, разработанная независимой AI-лабораторией NightmediaAI (Монтана, США). Она создана на основе нескольких моделей семейств Qwen3.6 и Qwen3.8, включая Wichtel-Qwen3.6-27B, Qwen3.8-27B-heretic-ara и варианты Cold Fusion и GAIN. Модель содержит около 27 миллиардов параметров и распространяется в формате MLX с квантизацией qx86-hi. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, исследовательских и математических задач, а также творческого письма, сюжетной генерации и ролевых сценариев. В метаданных указаны английский, китайский, японский и испанский языки. Заявлена поддержка контекстных окон до 1 миллиона токенов; конфигурацию RoPE можно изменить на 512 тысяч, 1 миллион или вернуть к стандартным 256 тысячам токенов. Вариант qx64-hi также предоставлен для экспериментальной работы с контекстом до 2 миллионов токенов. По приведённым тестам модель показывает лучшие результаты по ряду бенчмарков и меньшую perplexity по сравнению с базовой Qwen3.8-27B. Для конфигурации qx86-hi указаны пиковое потребление памяти около 33 ГБ и скорость около 171 токена в секунду, однако фактические показатели зависят от оборудования и настроек. Это экспериментальный merge, поэтому поведение различных квантизаций может отличаться, а заявленные сверхдлинные контексты требуют дополнительной проверки. Лицензия — Apache-2.0.

btbtyler09/Qwen3.8-Flash-Next-GPTQ-4bit — это GPTQ-квантизированная 4-битная версия Qwen/Qwen3.8-Flash-Next, разработанного командой Qwen. Модель представляет собой предварительную реализацию архитектуры Qwen4: разреженную мультимодальную MoE-модель, поддерживающую текст и изображения. Она предназначена для генерации и анализа текста, работы с кодом, обработки длинного контекста и мультимодальных сценариев, включая использование через Transformers и совместимые средства инференса, например vLLM. В составе модели 125 млрд параметров, из которых около 6 млрд активируются на один токен, а также 51 млрд параметров n-gram embedding table и 4 млрд параметров MTP-модуля; общий размер чекпойнта составляет около 180 млрд параметров. Архитектура включает 48 MoE-слоёв: 36 слоёв с линейным вниманием Gated DeltaNet и 12 слоёв с полным разреженным вниманием, 512 маршрутизируемых экспертов на слой, 4 параллельных residual-потока, vision encoder на базе 27-блочного ViT и однос layer MTP-модуль для speculative decoding. Нативный контекст составляет 262 144 токена и может быть расширен до 1 млн токенов с YaRN. Ключевые компоненты модели используют BF16, а эксперты и проекции полного внимания квантизированы в INT4 с group size 32. Главное преимущество чекпойнта — существенное сокращение объёма GPU-памяти: примерно до 80 ГБ для GPU-резидентной части вместо около 250 ГБ у исходной BF16-модели. При этом на тесте wikitext-2 ухудшение perplexity относительно BF16 составило 0,58%, а для Python-кода — 0,02%; однако качество и поведение в других сценариях могут отличаться. Для работы требуется около 188 ГБ общего хранилища или памяти, включая 102 ГБ BF16-таблицы n-gram, размещаемой в оперативной памяти, поэтому модель остаётся ресурсоёмкой и рассчитана на серверную инфраструктуру, например четыре GPU по 32 ГБ. Модель распространяется по лицензии qwen-community-1.0; в README она указана как license: other. Полные условия следует уточнять в файле LICENSE репозитория.

Apodex-1.1-mini MLX — MLX-конверсия модели Apodex-1.1-mini от Apodex AI, предназначенная для исследовательских задач, работы с данными, файлами, кодом и инструментами. Это текстовая модель для генерации текста, оптимизированная для запуска на устройствах Apple silicon с библиотекой mlx-lm. Заявлены поддерживаемые языки — английский и китайский. Модель построена на архитектуре Qwen3.5 MoE и содержит 35,95 млрд параметров. Релиз использует аффинное 4-битное квантование с размером группы 64; веса маршрутизатора MoE и общих экспертов сохранены в 8-битном формате. Размер MLX-весов составляет 19,5 ГБ, поэтому для работы требуется дополнительная unified memory под выполнение модели и KV-кэш, особенно при длинном контексте. В этой версии отсутствуют обработка изображений и native MTP. Модель распространяется по лицензии Apache-2.0.

DBRX Instruct — большая языковая модель для генерации текста, разработанная Databricks. Представленная карточка содержит GGUF-квантизации модели dbrx-instruct с использованием importance matrix (imatrix), предназначенные для запуска через llama.cpp и совместимых инструментов. Модель основана на decoder-only Transformer и архитектуре fine-grained Mixture-of-Experts (MoE): всего 132 млрд параметров, из которых около 36 млрд активируются для каждого входа. Она использует 16 экспертов по 12 млрд параметров, выбирая 4 эксперта на токен, а также RoPE, GLU и grouped query attention (GQA). Модель обучена предсказывать следующий токен на 12 трлн токенов текста и кода; заявленная длина контекста — 32 768 токенов, число слоёв — 40. Токенизатор основан на GPT-4 tokenizer из репозитория tiktoken. Предусмотрен диалоговый шаблон с ролями system, user и assistant. Модель предназначена для генерации текста, диалоговых сценариев, написания материалов и работы с кодом. Квантизации позволяют уменьшить требования к памяти; например, вариант IQ4_XS имеет размер около 65,29 ГиБ, а в README приведены результаты perplexity на wiki.test. Ограничения включают значительные аппаратные требования из-за общего размера модели, зависимость от совместимой версии llama.cpp и чувствительность некоторых вариантов квантизации IQ3. Для запуска указан commit llama.cpp 4bd0f93e, а для работы на Metal может потребоваться дополнительное исправление. Лицензия указана как Databricks Open Model License; тип лицензии в карточке обозначен как other. Файлы квантизации опубликованы пользователем phymbert и предназначены также для тестирования imatrix-квантизации.

GigaChat3-10B-A1.8B — диалоговая модель семейства GigaChat, представленная авторами семейства. Это дообученная методом SFT версия GigaChat3-10B-A1.8B-base. В карточке описана разреженная MoE-архитектура с 10 млрд общих и 1,8 млрд активных параметров; модель использует Multi-head Latent Attention и Multi-Token Prediction. В репозитории ai-sage/GigaChat3-10B-A1.8B-bf16 хранятся веса в формате safetensors с точностью bf16. Модель предназначена для диалогов и генерации текста, в том числе ответов на вопросы, задач по математике и программированию. Заявлены контекст до 256 тысяч токенов и обучение на 20 трлн токенов; авторы сообщают о включении данных на десяти языках, а метаданные карточки отмечают русский и английский. MLA снижает требования к памяти KV-кэша, а MTP рассчитан на ускорение генерации при поддерживаемом инференсе. Лицензия репозитория — MIT. Опубликованные результаты бенчмарков и скорости получены в конкретных условиях измерения, поэтому они не гарантируют аналогичного качества и производительности для любого оборудования и сценария.

GLM-5.3-Flash-GGUF-Finetuning — GGUF-квантованная версия модели GLM-5.3-Flash, связанная с экосистемой Unsloth и основанная на модели zai-org/GLM-5.3-Flash. Исходную модель разработала команда GLM-5; README также содержит ссылки на материалы Z.ai. Модель предназначена для генерации текста, программирования, агентских сценариев и задач, требующих работы с длинным контекстом. Она поддерживает английский и китайский языки. GLM-5.3-Flash — нативно мультимодальная модель с гибридной архитектурой, объединяющей sparse attention и linear attention. Объём модели составляет 320 млрд параметров, из которых 18 млрд активируются при обработке запроса. Для повышения эффективности масштабирования используется Manifold-Constrained Hyper-Connections, а обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. Заявлена поддержка длинного контекста; в оценках использовались контексты до 300 000 и 1 млн токенов, однако точное штатное ограничение для данной GGUF-версии не указано. К сильным сторонам относятся сочетание высокой заявленной производительности, экономичности инференса, мультимодальности, возможностей программирования и агентской работы, а также снижение стоимости обработки длинного контекста. Ограничения конкретной квантованной сборки, включая точный уровень квантования, требования к оборудованию и возможную потерю качества, в README не описаны. Лицензия указана как MIT; для запуска рекомендуются совместимые версии llama.cpp или Unsloth Desktop.

casperhansen/llama-3-8b-instruct-awq — квантизированная AWQ-версия Meta Llama 3 8B Instruct, опубликованная пользователем casperhansen на Hugging Face на основе модели Meta. Это авторегрессионная языковая модель для генерации текста и кода, прежде всего для диалоговых ассистентов, следования инструкциям и локального инференса. Модель принимает текст и генерирует текст; мультимодальность не заявлена. Модель содержит около 8 млрд параметров и использует оптимизированную Transformer-архитектуру Llama с Grouped-Query Attention. В репозитории указана 4-битная AWQ-квантизация с group size 128, а максимальная длина контекста в конфигурации составляет 8192 токена. Исходная Meta Llama 3 8B Instruct предназначена главным образом для английского языка, коммерческого и исследовательского применения. Квантизация ориентирована на более экономичное по памяти развертывание, однако может снижать точность по сравнению с полной точностью; стандартные ограничения языковых моделей, включая ошибки и остаточные риски безопасности, сохраняются. Использование регулируется кастомной Meta Llama 3 Community License и Acceptable Use Policy, условия которых необходимо соблюдать при применении и распространении модели или производных работ.

unsloth/llama-3-8b-Instruct-bnb-4bit — 4-битно квантованная версия инструкционно дообученной языковой модели Llama 3 8B, разработанной Meta и опубликованной в формате, подготовленном Unsloth. Модель предназначена для диалоговых сценариев, генерации и обработки текста, а также генерации кода; поддерживает только текстовые входы и выдаёт текст или код. Архитектура модели — авторегрессионный оптимизированный Transformer с Grouped-Query Attention (GQA), объёмом около 8 млрд параметров и контекстом до 8 тысяч токенов. Указанный язык — английский. Инструкционная версия обучалась с применением supervised fine-tuning (SFT) и reinforcement learning from human feedback (RLHF) для повышения полезности и безопасности. Квантование в формате bnb 4bit снижает требования к памяти и делает модель более подходящей для локального запуска и дообучения, однако README не содержит точных показателей качества именно этой квантованной версии. Модель ориентирована на ресурсоограниченное развёртывание, чат-ботов, ассистентов, генерацию текста и кода, а также эксперименты и дообучение. Ограничения включают текстовую модальность, контекст до 8 тысяч токенов, статичный характер обучения на офлайн-данных и дату отсечения знаний — март 2023 года. Используется собственная коммерческая лицензия Meta Llama 3; её условия необходимо проверить в официальном тексте лицензии.

Open-Instruct ShareGPT 13B — языковая модель Allen Institute for AI, представляющая собой дообученную для следования инструкциям версию LLaMA примерно с 12,9 млрд параметров. Обучение проводилось на очищенном наборе диалогов ShareGPT, подготовленном аналогично данным Vicuna; модель относится к плотной архитектуре LLaMA для генерации текста и рассчитана на контекст до 2048 токенов. Модель подходит для ответов на запросы в формате инструкций и диалогов, а также для задач общего назначения: ответов на вопросы, рассуждений и генерации кода. В README приведены результаты оценки на MMLU, GSM, BBH, TyDiQA и Codex-Eval. Для качества генерации важно соблюдать указанный в карточке формат ввода и переводы строк. Репозиторий содержит diff весов, поэтому для использования требуется доступ к исходной модели LLaMA в формате Hugging Face. Условия использования определяются лицензией AI model license и исходной лицензией LLaMA.

DreamFast/Qwen-2.5-7b-apostate — разговорная языковая модель на базе Qwen2.5-7B-Instruct, изменённая сообществом с помощью Apostate. Веса представлены в формате safetensors с точностью bfloat16; модель содержит около 7,1 млрд параметров и использует плотную архитектуру Qwen2. Контекстная длина этой версии — 32 768 токенов. Модель предназначена для диалогов и генерации текста, в том числе ответов на инструкции, кода и структурированных данных. Её ключевое отличие — ослабленное поведение отказа: по описанию авторов, направление отказа удалено ортогональной проекцией в большинстве слоёв. README сообщает о высокой доле выполнения запросов из HarmBench и сохранении результатов на ряде тестов базовой модели; эти показатели получены в оценке авторов и не гарантируют такое же поведение в других сценариях. Поддерживаются английский и, согласно описанию семейства Qwen2.5, многоязычные сценарии, включая русский. Модель распространяется по лицензии Apache-2.0. Она может выдавать ответы на вредоносные запросы, поэтому требует контроля применения и выходных данных.

mlx-community/Qwen3.8-27B-OptiQ-4bit — квантованная MLX-версия модели Qwen3.8-27B, разработанной Qwen, с оптимизацией mlx-optiq для локального запуска на компьютерах Apple Silicon. Модель поддерживает работу с текстом и изображениями и предназначена для генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и других сценариев мультимодального помощника. В режиме text-only её можно загружать через mlx-lm, а для image+text и расширенных возможностей требуется mlx-optiq. Модель использует гибридную архитектуру: три четверти из 64 блоков применяют linear attention, остальные — full attention. Квантование выполнено в смешанной точности: 237 чувствительных к потере качества слоёв представлены в 8-bit, а 261 менее чувствительный слой — в 4-bit; размер группы — 64. Vision tower сохранён в формате bf16 и поставляется отдельным файлом размером около 0,9 ГБ. Общий размер модели на диске составляет примерно 18,9–19 ГБ. Данные о размере контекстного окна и поддерживаемых языках в карточке не указаны. К сильным сторонам относятся сочетание мультимодальности, локальный запуск без облака и PyTorch, а также экономия памяти за счёт квантования при сохранении высокой производительности в тестах: 84,1% на MMLU, 96,1% на GSM8K, 92,1% на HumanEval и 93,5% на BFCL-V3 simple. Ограничения включают зависимость от экосистемы MLX и Apple Silicon для целевого сценария, необходимость mlx-optiq для обработки изображений и расширенного сервера, а также возможное снижение качества по сравнению с полноразмерной моделью из-за квантования. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next GGUF — это квантизированная версия официальной модели Qwen/Qwen3.8-Flash-Next, подготовленная BatiAI в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста, программирования, работы с инструментами и структурированного вывода, включая JSON. Заявлена поддержка английского, корейского и китайского языков. Модель использует MoE-архитектуру qwen4exp: около 176,9 млрд параметров, из которых примерно 4,9 млрд активируются на каждом токене; всего используется 512 экспертов с выбором top-10. Доступны варианты квантизации IQ3_XXS, IQ4_XS, Q4_K_M и Q6_K размером примерно от 79 до 141 ГиБ. Вариант IQ4_XS показал скорость генерации 11,7 токена в секунду на CPU и 32,74 токена в секунду на Mac Studio M2 Ultra с 192 ГиБ памяти. Для запуска требуется актуальная версия llama.cpp с поддержкой qwen4exp; старые версии, а также ранние сборки Ollama и LM Studio могут не загружать модель. Сильными сторонами являются высокая скорость для модели такого размера, проверенная генерация на корейском языке, поддержка вызова инструментов, программирования, длинных текстов и структурированного вывода. При этом модель ненадёжна в арифметике: в тестах она допустила ошибки в двух нетривиальных выражениях, поэтому вычисления, особенно связанные с деньгами и количествами, следует передавать калькулятору или проверять отдельно. Для работы требуется значительный объём памяти. Лицензия указана как qwen-community-license-1.0; применяются условия лицензии Qwen.

Qwen3-VL-30B-A3B-Thinking-GGUF — это GGUF-версия мультимодальной vision-language модели Qwen3-VL-30B-A3B-Thinking, разработанной командой Qwen. Репозиторий содержит веса языковой модели и отдельного vision encoder в форматах FP16, Q8_0 и Q4_K_M для языковой части и FP16 и Q8_0 для vision encoder. Модель предназначена для совместного понимания изображений, видео и текста, визуального и математического рассуждения, OCR, анализа пространственных отношений, обработки длинных документов и видео, а также взаимодействия с графическими интерфейсами и инструментами. Заявлены возможности генерации кода и разметки по изображениям и видео, включая Draw.io, HTML, CSS и JavaScript. Поддерживаются нативный контекст до 256K токенов с возможностью расширения до 1M и OCR на 32 языках, однако конкретный полный список языков в README не приведён. Архитектурные улучшения включают Interleaved-MRoPE для моделирования времени, ширины и высоты, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками для анализа событий в видео. GGUF-файлы совместимы с llama.cpp, Ollama и другими GGUF-инструментами, работают на CPU, NVIDIA GPU, Apple Silicon и Intel GPU; точность компонентов можно выбирать отдельно в зависимости от ресурсов. Ограничения — значительные требования к памяти и производительности, зависящие от выбранной точности, а также отсутствие в README детальных числовых результатов тестов и полного перечня поддерживаемых языков. Модель распространяется по лицензии Apache-2.0.

GLM-4.6V-Flash-GGUF — мультимодальная модель семейства GLM-V, разработанная Z.ai (zai-org) и представленная в формате GGUF компанией Unsloth. Это облегчённая версия GLM-4.6V с 9 млрд параметров, ориентированная на локальное развёртывание и приложения с низкой задержкой. Модель поддерживает китайский и английский языки, работает с текстом и изображениями, а также предназначена для обработки скриншотов, страниц документов, таблиц, графиков и других визуальных данных. Модель рассчитана на визуальное понимание, мультимодальное рассуждение, анализ длинных и сложных документов, распознавание структуры и содержимого изображений, а также на сценарии мультимодальных агентов. Она поддерживает контекст до 128K токенов, нативный Function Calling с передачей изображений и документов инструментам, интерливинг текстового и визуального контента, генерацию HTML/CSS по скриншотам интерфейсов и визуальное редактирование по инструкциям на естественном языке. К сильным сторонам относятся сочетание визуального восприятия, рассуждения и вызова инструментов, поддержка длинного мультимодального контекста и оптимизация для локального использования. Ограничения включают меньший размер и, вероятно, более ограниченные возможности по сравнению с облачной версией GLM-4.6V на 106 млрд параметров; конкретные требования к оборудованию и характеристики квантования для данного GGUF в README не указаны. Лицензия модели — MIT.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-NVFP4 — мультимодальная версия GLM-5.3-Flash с архитектурой от Zhipu AI / ZAI, некорректированными в сторону отказов весами от dealignai и упаковкой NVFP4 от Solstice-AI. Модель предназначена для диалогов, рассуждений, программирования, математических задач, анализа изображений и понимания видео. Заявлена поддержка контекста до 1 048 576 токенов. Это foundation-модель общим размером 320 млрд параметров на основе MoE с 288 маршрутизируемыми экспертами и примерно 18 млрд активных параметров на токен. Используется смешанная точность W4A16: веса маршрутизируемых экспертов представлены в 4-битном формате NVFP4, а attention-слои, общие эксперты и активации сохраняются в BF16/FP16. Мультимодальный модуль включает 24-слойный ViT и проектор с размерностью 10 240; заявлена обработка изображений высокого разрешения и временных последовательностей видео. В комплект также входит DFlash 2 для speculative decoding. К сильным сторонам относятся большой контекст, нативные возможности работы с изображениями и видео, сниженные требования к памяти благодаря квантизации и потенциальное ускорение генерации с DFlash 2. Модель позиционируется для NVIDIA Blackwell, Hopper, Ada Lovelace и Ampere, включая B200, H100/H200, RTX 4090/L40S и A100. Ограничениями являются высокая общая размерность модели, зависимость производительности от совместимого ПО и GPU, а также отсутствие встроенного отказного поведения: это может быть полезно для исследовательских и специализированных сценариев, но повышает риски небезопасного применения. Приведённые в карточке результаты бенчмарков следует считать заявленными авторами модели. В карточке указана лицензия MIT; отдельно отмечены атрибуция базовой архитектуры Zhipu AI / ZAI, калибровка dealignai и упаковка Solstice-AI.

Llama3.1-SuperDeepFuse-CrashCourse12K — мультиязычная языковая модель для диалогов и выполнения инструкций, разработанная на базе agentlans/Llama3.1-SuperDeepFuse и дообученная на 12 тысячах примеров из agentlans/crash-course. В метаданных указаны 7,5 млрд параметров, архитектура Llama с плотной моделью LlamaForCausalLM, контекст до 131 072 токенов и формат safetensors. README описывает дообучение методом LoRA с 4-битной квантизацией во время обучения. Модель предназначена для генерации ответов, следования инструкциям, рассуждений, решения математических задач и программирования. Карточка указывает на мультиязычную поддержку; конкретные языки не перечислены. README приводит результаты оценивания на IFEval и BBH и предупреждает, что ответы могут быть ошибочными и требуют проверки в критически важных сценариях. Лицензия — llama3.1, с условиями использования Llama 3.1.

QuantFactory/Meta-Llama-3-8B-GGUF — это GGUF-квантизированная версия Meta Llama 3 8B, разработанная Meta и опубликованная QuantFactory. Модель предназначена для генерации текста и кода, включая текстовые приложения и диалоговые сценарии. Она принимает только текстовые входные данные и генерирует текст или программный код. Модель представляет собой авторегрессионную языковую модель на основе оптимизированной архитектуры Transformer с Grouped-Query Attention (GQA). Она содержит 8 млрд параметров, имеет контекстное окно 8 тысяч токенов и обучалась на новом сочетании общедоступных онлайн-данных объёмом более 15 трлн токенов. В README указан английский язык. Квантизация в формате GGUF может повысить эффективность локального вывода, однако конкретные параметры квантизации и требования к ресурсам не указаны. Сильными сторонами модели являются компактный для семейства Llama 3 размер, поддержка генерации текста и кода, а также оптимизация GQA для масштабируемости инференса. Ограничения включают текстовую модальность, статичность обученной версии и дату отсечения знаний — март 2023 года. Для instruction-tuned вариантов Llama 3 заявлены оптимизация диалогового взаимодействия, полезности и безопасности, но README не уточняет, является ли данный GGUF-файл предварительно обученной или instruction-tuned версией. Использование регулируется специальной коммерческой лицензией Llama 3 от Meta.

Natsumura Assistant 1.0 — разговорная модель общего назначения из серии Natsumura, разработанная Tohur. Это плотная авторегрессионная модель семейства Llama 3.1 с 7,5 млрд параметров и контекстом до 131 072 токенов; она предназначена для диалогов и помощи с широким кругом текстовых задач. Модель дообучена на основе meta-llama/Meta-Llama-3.1-8B-Instruct с использованием наборов Natsumura Identity, Dolphin, Dolphin Coder, OpenHermes 2.5 Uncensored и UltraChat Uncensored. Карточка характеризует её как uncensored и отмечает высокую готовность следовать запросам. Модель принимает текст и генерирует текст; заявлена лицензия Llama 3.1 Community License.

Карточка модели Openintelligent123/Phi-4-mini-instruct на Hugging Face совпадает с карточкой microsoft/Phi-4-mini-instruct, поэтому описание составлено по ней. Phi-4-mini-instruct — компактная языковая модель Microsoft семейства Phi-4 с архитектурой Phi-3 и 3,8 млрд параметров. Она обучена на синтетических данных и отфильтрованных общедоступных веб-материалах, а затем дообучена с учителем и оптимизирована по предпочтениям для следования инструкциям и повышения безопасности. Метаданные указывают контекст 4096 токенов; в README заявлен контекст до 128K токенов. Модель предназначена для диалоговых и генеративных приложений общего назначения, особенно при ограниченных вычислительных ресурсах или требованиях к низкой задержке. Среди заявленных сильных сторон — рассуждения, в особенности математические и логические задачи, следование инструкциям, работа с кодом и интерфейс вызова инструментов. Поддерживается многоязычная работа, включая русский и английский; качество может различаться между языками. Модель принимает текст и генерирует текст. Она выпущена под лицензией MIT. README предупреждает о возможных ошибках и вредных ответах, уязвимости к длительным многоходовым jailbreak-атакам и галлюцинациях имён функций или URL при вызове инструментов; для конкретных сценариев рекомендуется оценивать точность, безопасность и справедливость.

Qwen2.5-14B — базовая языковая модель серии Qwen2.5, разработанной командой Qwen. Это предварительно обученная плотная авторегрессионная модель на архитектуре Transformer с RoPE, SwiGLU, RMSNorm и смещениями в проекциях QKV; в ней 14 млрд параметров, 48 слоёв, 40 голов Q и 8 голов KV. Модель принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для дообучения и дальнейшей адаптации под генерацию текста, включая диалоги, следование инструкциям, программирование, математику и структурированные данные. Серия поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий и японский. В карточке этой базовой версии отмечены английский язык и интерфейс для вызова инструментов. Сильные стороны серии — работа с длинным контекстом, улучшенное следование инструкциям, генерация длинных текстов и структурированных результатов, в том числе JSON. Это базовая версия, поэтому авторы не рекомендуют использовать её для диалогов без дополнительного постобучения. Модель распространяется по лицензии Apache 2.0.

AtomicChat/Qwen3.5-9B-MLX-4bit — 4-битная MLX-квантизированная версия базовой модели Qwen/Qwen3.5-9B, подготовленная компанией Atomic Chat на основе оригинальных весов с использованием матрицы важности для повышения близости к полноточной модели. Модель предназначена для локального и полностью офлайн-использования на устройствах Apple Silicon через MLX и поддерживает генерацию текста, а также работу с изображениями. Она может применяться для диалогов, рассуждений, программирования, агентских сценариев и визуального понимания. Модель содержит около 9,7 млрд параметров, имеет 32 слоя, контекст до 262 144 токенов, словарь размером 248 320 токенов и архитектуру Qwen3_5ForConditionalGeneration с 16 attention heads и 4 KV heads. В README она описана как мультимодальная модель с ранним объединением текстовых и визуальных токенов; также заявлена эффективная гибридная архитектура с Gated Delta Networks и разреженным Mixture-of-Experts, хотя в сводных характеристиках указана dense decoder. Квантизация уменьшает требования к памяти и ускоряет локальный инференс, но может приводить к некоторой потере качества относительно полноточной версии. Языки явно не перечислены. Модель распространяется под лицензией Apache 2.0; квантизацию выполнила Atomic Chat.