II.4Отладка, тестирование и качество ПО

DAXZEIT/GRM-2.6-Plus-0628-MTP-reasoning-i1-GGUF — это набор квантованных GGUF-сборок модели OrionLLM/GRM-2.6-Plus-0628, предназначенной для агентных сценариев, рассуждений, работы с инструментами и задач «изображение—текст». Базовая модель имеет около 27 млрд параметров, архитектуру на основе Qwen3.5/3.6 с MTP-слоем и гибридными gated DeltaNet-рекуррентными слоями. Для работы с изображениями требуется мультимодальный проектор mmproj. В README продемонстрирована конфигурация с контекстом до 262 144 токенов. Сборки используют reasoning-domain importance matrix, оптимизированную для задач рассуждения, а также повышенную точность для ключевого тензора ssm_out во всех DeltaNet-слоях. Доступны варианты квантования от IQ2_M до Q6_K размером примерно от 10,1 до 21,3 ГиБ; более высокая разрядность обычно обеспечивает меньшие отклонения от исходных bf16-весов и лучшее совпадение предсказаний, но требует больше памяти. Встроенный шаблон чата исправляет обработку вызовов инструментов внутри рассуждений и поддерживает агентные циклы. Модель подходит для локального запуска через llama.cpp, включая speculative decoding с MTP, обработки текста и изображений, а также приложений с большим контекстом. Ограничения связаны с потерями точности из-за квантования, требованиями к видеопамяти и необходимостью корректно настроить llama.cpp, мультимодальный проектор и параметры контекста. Поддерживаемые языки в README не указаны. Лицензия — Apache-2.0.

Карточка модели kakaocorp/kanana-2-30b-a3b-thinking-2601 на Hugging Face совпадает с карточкой kakaocorp/kanana-2-30b-a3b-instruct-2601, поэтому описание составлено по ней. Kanana-2-30B-A3B-Instruct-2601 — инструктивная языковая модель компании Kakao для диалогов и сценариев агентного ИИ. Она предназначена для следования сложным инструкциям, логических рассуждений и вызова инструментов; модель можно развернуть, например, через vLLM или SGLang с поддержкой выбора инструментов. Модель основана на архитектуре DeepSeek V3 с механизмом внимания MLA и разреженной смесью экспертов (MoE): всего 30 млрд параметров, из которых активируются около 3 млрд. Контекст составляет до 32 768 токенов. Семейство поддерживает корейский, английский, японский, китайский, тайский и вьетнамский языки. README указывает лицензию как отличную от стандартных вариантов, поэтому перед использованием следует проверить условия на странице репозитория Hugging Face. Для обработки контекста свыше 32 768 токенов требуется отдельно настроить YaRN; такая настройка может повлиять на качество коротких текстов. Метаданные указывают 2,9 млрд параметров, что расходится с описанием серии в README (30 млрд всего и около 3 млрд активных).

Карточка модели crusoeai/Llama-3.3-70B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.3-70B-Instruct, поэтому описание составлено по ней. Meta Llama 3.3 70B Instruct — мультиязычная генеративная языковая модель Meta для диалогов и следования инструкциям. Это авторегрессионный трансформер на 70 млрд параметров, дообученный с помощью supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей. Модель принимает и выдаёт текст, поддерживает контекст до 128 тысяч токенов и оптимизирована для диалоговых сценариев. Модель подходит для создания ассистентов, ответов на вопросы, написания и преобразования текстов, а также генерации синтетических данных. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; русский среди них не указан. Для инференса описана библиотека Transformers, а контрольные точки можно использовать с 8- и 4-битной загрузкой через bitsandbytes для снижения требований к памяти. Модель статична и обучена на офлайн-данных с отсечкой знаний в декабре 2023 года. Она не принимает изображения, аудио или видео; качество и безопасность ответов требуют оценки и мер защиты в конкретном приложении. Использование регулируется пользовательским соглашением Llama 3.3 Community License, включая его ограничения и Acceptable Use Policy.

Llama-3.3-70B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Llama 3.3 70B, разработанной Meta и подготовленной в формате GGUF сообществом lmstudio-community; в метаданных также указан quantized_by: bartowski. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие задачи обработки естественного языка. Она относится к семейству текстовых моделей и содержит около 70 миллиардов параметров. Сведения о конкретном варианте квантизации, размере контекста, поддерживаемых языках, точных модальностях и требованиях к аппаратному обеспечению в представленном README отсутствуют. Крупный размер модели потенциально обеспечивает высокое качество рассуждений и генерации, однако обычно требует значительных вычислительных ресурсов; влияние выбранной квантизации на качество и производительность здесь не уточняется. Модель распространяется по Llama 3.3 Community License от Meta. При распространении материалов или производных продуктов необходимо предоставлять текст лицензии, указывать «Built with Llama» и соблюдать применимую политику допустимого использования; для некоторых очень крупных коммерческих сервисов предусмотрены дополнительные лицензионные условия.

Megrez-3B-Instruct —由无问芯穹（Infinigence AI）自主训练的指令微调大语言模型，面向对话、文本生成和端侧部署。模型采用带有 GQA 的 Llama-2 架构，约 2.6B 参数，支持最长 32K token 的上下文，并针对常见硬件优化了推理速度。模型支持中文和英文，适用于问答、写作、摘要、代码与数学推理等场景；还可配合 InfiniWebSearch 部署方案，根据对话内容决定是否调用网页搜索并总结带来源的信息。 README приводит результаты оценок на языковых, диалоговых, длинноконтекстных, кодовых и математических тестах, включая успешное прохождение заявленного 32K-теста поиска фрагмента в длинном контексте. Как и другие компактные языковые модели, Megrez может ошибаться в фактах, математике и рассуждениях; для ответов, требующих актуальных сведений, авторы рекомендуют подключать веб-поиск, а для точных задач — снижать temperature и проверять результаты. Лицензия репозитория — Apache-2.0.

bartowski/Meta-Llama-3.1-70B-Instruct-GGUF — это квантованная версия инструкционной модели Meta-Llama-3.1-70B-Instruct, разработанной Meta и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текстов и другие задачи обработки естественного языка. Из доступных данных известно, что модель относится к семейству Llama 3.1, содержит около 70 миллиардов параметров согласно идентификатору базовой модели и работает с текстом. Заявлены языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Формат GGUF обычно ориентирован на локальный инференс, однако конкретный уровень квантования, требования к памяти, размер контекста и точные характеристики производительности в README не указаны. Сильными сторонами модели являются большой размер, инструкционная настройка, поддержка нескольких языков и совместимость с экосистемой GGUF. Ограничениями могут быть высокие требования к вычислительным ресурсам, а также возможная потеря качества по сравнению с полной точностью из-за квантования; степень этого влияния зависит от конкретной версии квантования и не указана. Модель распространяется на условиях Llama 3.1 Community License от Meta. Лицензия предусматривает требования к атрибуции, маркировке продуктов, соблюдению Acceptable Use Policy и особые коммерческие условия для организаций с более чем 700 миллионами ежемесячных активных пользователей.

SillyTilly/mistralai_Mistral-Nemo-Instruct-2407 — разговорная instruct-модель, созданная на основе Mistral-Nemo-Base-2407 совместно Mistral AI и NVIDIA. Это трансформер Mistral с плотной архитектурой и 12,1 млрд параметров, дообученный следовать инструкциям и вести диалог. Модель предназначена для генерации ответов, выполнения инструкций и вызова функций. Она обучалась на многоязычных данных и коде; карточка заявляет окно контекста 128 тыс. токенов, тогда как метаданные указывают 1 024 000 нативных токенов. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский языки. Модель задумана как замена Mistral 7B и может применяться в чат-ботах и текстовых помощниках. Модель выпущена по лицензии Apache 2.0. В карточке она названа демонстрацией возможностей дообучения базовой модели; указано, что у неё нет встроенных механизмов модерации, поэтому её ответы могут требовать отдельной проверки и фильтрации.

MaziyarPanahi/Mistral-Large-Instruct-2411-GGUF — это набор файлов модели в формате GGUF для Mistral-Large-Instruct-2411, разработанной компанией mistralai и преобразованной в GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях и сервисах, совместимых с GGUF. Формат GGUF поддерживается llama.cpp и рядом библиотек и интерфейсов, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, candle и ctransformers. Это позволяет запускать модель локально, в том числе с аппаратным ускорением и через OpenAI-совместимые серверы, в зависимости от выбранного инструмента. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Сведения об архитектуре, количестве параметров, поддерживаемых языках, размере контекста, точных характеристиках вариантов квантования и лицензии в README не указаны. Поэтому пригодность конкретного варианта для определённых задач и аппаратной конфигурации следует оценивать отдельно.

IsValorum/Nex-N2.5-mini-APEX-I-MiniPlus-GGUF — это квантизированная GGUF-версия модели Nex-N2.5-mini, разработанной Nex-AGI и дополнительно оптимизированной IsValorum. Модель основана на архитектуре qwen35moe с 35,1 млрд параметров и использует многомодельную экспертную архитектуру MoE. В комплект входят основная модель размером около 14,56 ГБ с квантизацией 3,36 BPW и отдельный vision-проектор mmproj в формате Q8_0 размером около 610 МБ. Модель предназначена для рассуждений, вызова функций и инструментов, автономного взаимодействия с компьютером, обработки изображений и анализа графического интерфейса. Заявлены мультимодальные возможности, высокоточное визуальное сопоставление и поддержка высокоразрешённых изображений. В README перечислена поддержка английского, китайского, испанского, французского, немецкого, португальского, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Также заявлена работа с контекстом до 256K токенов, однако подробные параметры этой поддержки в представленном фрагменте не приведены. Главные особенности квантизации — сохранение выходного слоя в Q6_K, маршрутизаторов экспертов в F32 и использование разных уровней точности для внимания и экспертных блоков. Это должно повышать стабильность синтаксиса, маршрутизации экспертов и рассуждений по сравнению с более агрессивными низкобитными вариантами, сохраняя умеренные требования к памяти и производительность на CPU. Ограничения связаны с потерями, неизбежными для квантизированной модели, потребностью примерно в 14 ГБ памяти для основной модели и тем, что это предыдущая, или legacy, версия MiniPlus. Для использования требуется совместимый рантайм GGUF, например llama.cpp. Лицензия — Apache-2.0.

Qevacot-7B — объединённая языковая модель семейства Qwen2.5, созданная автором репозитория bunnycore с помощью mergekit и метода TIES. В основу слияния взята Qwen/Qwen2.5-7B; также объединены EVA-Qwen2.5-7B-v0.1, T.E-8.1, Qwen2.5-7B-Instruct, Qwen2.5-7B-Instruct-abliterated-v2, Qwen2.5-7B-HyperMix и CoT-2.5. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 131 072 токенов. Она предназначена для генерации текста и диалогов; метаданные также указывают интерфейс для вызова инструментов. Доступна в формате safetensors для Transformers. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает о специальной предметной области или поддерживаемых языках, поэтому область применения следует считать общей, а языковые возможности — неуточнёнными.

Qwen2.5-14B-Instruct-MLX-8bit — квантованная 8-битная версия языковой модели Qwen2.5-14B-Instruct, адаптированная для MLX и Apple Silicon Mac. Исходную модель разработала команда Qwen, а MLX-квантизацию предоставил bartowski на основе инструментов mlx-examples. Модель предназначена для генерации текста, диалоговых сценариев и задач, требующих понимания и генерации структурированных данных. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Она обучена на большом наборе данных и заявлена как поддерживающая более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Архитектура и точное число параметров исходной модели обозначены в идентификаторе как 14B; сведения о конкретной архитектуре в README не приведены. К сильным сторонам относятся широкий языковой охват, длинный контекст, возможности работы со структурированными данными и локальный запуск на совместимых Mac с Apple Silicon. Ограничения включают зависимость от MLX и совместимого оборудования, а также типичные для генеративных моделей риски неточностей, вредного или неподходящего содержания. Модель распространяется по лицензии Apache-2.0.

Карточка модели mastema007/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

AtomicChat/Qwen2.5-7B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct, подготовленная Atomic Chat из оригинальных весов Qwen. Модель предназначена для генерации текста, диалоговых приложений и локального офлайн-использования через совместимые инструменты, включая llama.cpp, Ollama, LM Studio и Jan. Модель имеет 7,6 млрд параметров, 28 слоёв и архитектуру плотного декодера Qwen2ForCausalLM с гибридным вниманием: sliding-window attention и глобальным вниманием. Заявленная длина контекста составляет 32 768 токенов, размер словаря — 152 064 токена. Поддерживается только текстовый ввод и вывод; заявлена многоязычная работа более чем с 29 языками, включая китайский, английский, французский, испанский, немецкий, русский, японский, корейский, вьетнамский, тайский и арабский. Репозиторий содержит варианты GGUF-квантизации Q4_K_M, UD-Q4_K_XL, Q5_K_M, Q6_K и Q8_0. Квантизация с importance matrix помогает сохранить качество исходной модели при уменьшении размера; Q4_K_M рекомендуется как компромисс между размером, скоростью и качеством, а Q8_0 обеспечивает практически исходную точность, но требует около 8,1 ГБ. Ограничения связаны с потерями качества у низкобитных вариантов и необходимостью применять шаблон чата Qwen2.5; в llama.cpp следует использовать параметр --jinja. Исходная модель распространяется по лицензии Apache 2.0; квантизация выполнена Atomic Chat.

Qwen3-30B-A3B-Thinking-2507-FP8 — текстовая авторегрессионная модель семейства Qwen3, разработанная командой Qwen и адаптированная для запуска на аппаратной платформе FuriosaAI RNGD с помощью Furiosa-LLM. Это thinking-вариант, работающий только в режиме рассуждений: перед итоговым ответом модель формирует цепочку рассуждений, которую совместимый сервер может возвращать отдельно. Модель предназначена для генерации текста, следования инструкциям, решения задач, многоязычного общения и вызова инструментов. Архитектура — Mixture-of-Experts (MoE) на базе Qwen3: около 30,5 млрд общих параметров, из которых примерно 3,3 млрд активируются для каждого токена. Поддерживаются ввод и вывод в текстовом формате, вызов функций через parser Hermes и OpenAI-совместимый API Furiosa-LLM. Веса статически квантованы в FP8, активации используют динамическую FP8-квантизацию, а KV-кэш хранится в 16-битной точности. Ключевое преимущество модели — сочетание возможностей рассуждения, следования инструкциям, многоязычности и использования инструментов при сниженной вычислительной нагрузке на токен благодаря MoE-архитектуре и FP8-квантизации. Ограничения включают работу только в режиме рассуждений, необходимость совместимого стека Furiosa-LLM и аппаратуры FuriosaAI RNGD для описанной конфигурации, а также отсутствие в README сведений о поддерживаемых языках и размере контекста. Для запуска на RNGD требуется тензорный параллелизм на 32 PE, соответствующий четырём картам RNGD. Модель распространяется по лицензии Apache 2.0.

Qwen3-32B-quantized.w4a16 — языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на основе Qwen3-32B от Qwen. Она предназначена для рассуждений, function calling, мультиязычного следования инструкциям, перевода и создания специализированных экспертных решений после дообучения. Модель использует архитектуру Qwen3ForCausalLM, принимает текстовые входы и генерирует текст. Веса линейных операторов в трансформерных блоках сжаты до INT4 с применением GPTQ, симметричной поканально-групповой схемы и размером группы 128; остальные характеристики базовой модели, включая точный набор языков и исходный размер контекста, в README не указаны. Квантование уменьшает размер на диске и требования к памяти GPU примерно на 75% по сравнению с представлением весов в 16 бит. Для развёртывания рекомендуется использовать vLLM, включая режим совместимого с OpenAI API сервера. К сильным сторонам относятся существенное снижение потребления памяти и возможность эффективного запуска крупной модели на ограниченных GPU-ресурсах при сохранении назначения базовой модели. Ограничения связаны с потерями качества, возможными при квантовании, а также с тем, что README не содержит численных результатов оценки и подробностей о производительности. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

FadedRedStar/Qwen3.5-4B-heretic-GGUF — это квантованные GGUF-веса мультимодальной модели Qwen3.5-4B-heretic. Исходную модель разработала команда Qwen компании Alibaba, а квантованием занимался FadedRedStar. Модель основана на плотном трансформере Qwen3.5 с примерно 4 млрд параметров, встроенным vision-энкодером раннего слияния и поддержкой текстовых и графических входов. Заявлены контекстное окно до 262 144 токенов с возможностью расширения примерно до 1 млн токенов, поддержка 201 языка и диалекта, формата запросов ChatML и вызова инструментов. Модель предназначена для мультимодального рассуждения, генерации текста, программирования, работы с инструментами и агентских сценариев. Репозиторий содержит варианты Q4_K_M, Q5_K_M и Q8_0, а также отдельные vision-проекторы и файлы для speculative decoding; запуск мультимодального режима предполагает использование mmproj-файла, например через llama.cpp. Вариант Q4_K_M ориентирован на баланс размера и качества, Q5_K_M — на более высокую точность, а Q8_0 — на близкое к исходному качество при большем потреблении памяти. Суффикс heretic означает постобработку с помощью Heretic v1.2.0 и метода Multi-directional refusal suppression, выполненную автором исходной heretic-модели coder3101. Это снижает частоту отказов, однако заявленные метрики являются самотчётными и не подтверждены независимым тестированием; после такой модификации поведение и безопасность модели могут отличаться от оригинальной Qwen3.5-4B. Для 4- и 5-битных вариантов рекомендуется importance-matrix-калибровка, тогда как данный репозиторий особенно ориентирован на почти без потерь Q8_0. Модель распространяется по лицензии Apache-2.0.

FadedRedStar/Qwen3.5-4B-heretic-imatrix-GGUF — это квантизированная GGUF-версия мультимодальной модели Qwen3.5-4B-heretic. Базовая модель разработана командой Qwen компании Alibaba, исходные веса подготовлены coder3101, а GGUF-квантизацию с importance matrix выполнил FadedRedStar. Модель предназначена для мультимодального рассуждения, генерации текста, программирования, вызова инструментов и агентских сценариев, включая работу с изображениями при использовании vision-проектора. Модель представляет собой плотный transformer примерно на 4 млрд параметров с интегрированным vision encoder и поддержкой раннего объединения модальностей. Заявлены контекстное окно до 262 144 токенов с возможностью расширения примерно до 1 млн, поддержка 201 языка и диалекта, tool calling и формат запросов ChatML. Основные варианты весов используют квантизации IQ4_NL, Q4_K_M и Q5_K_M, оптимизированные с помощью importance matrix; vision-тензоры доступны в Q8_0 и BF16. Предусмотрены дополнительные MTP-файлы для speculative decoding. Сильной стороной модели является сочетание мультимодальности, большого контекстного окна и относительно низких требований к ресурсам, а importance matrix должна улучшать сохранение качества при низкой разрядности. Существенное ограничение — модель прошла abliteration с подавлением направлений отказа, поэтому её поведение в части отказов отличается от исходной Qwen3.5-4B и может быть менее безопасным. Приведённые показатели отказов и расхождения KL являются самоотчётными и не подтверждены независимым тестированием. Для запуска требуются совместимые с GGUF инструменты, например llama.cpp, а точные возможности зависят от выбранной квантизации и vision-проектора. В метаданных указана лицензия Apache-2.0.

webhie/Qwen3.6-27B-int4-AutoRound — это квантизированная версия мультимодальной модели Qwen3.6-27B, разработанной командой Alibaba/Qwen. Квантизация выполнена с помощью Intel AutoRound по пресету auto-round-best, оптимизированному для сохранения максимальной точности при INT4. Модель предназначена для генерации текста, диалоговых сценариев, программирования, работы с изображениями и задач, поддерживающих vision-ввод. README не содержит сведений о языках модели, но указывает pipeline image-text-to-text и библиотеку Transformers. Используется схема W4A16: веса представлены в 4-битном формате, активации — в FP16; group size равен 128, квантизация симметричная. Базовая модель имеет 27 млрд параметров, а размер квантизированной версии составляет около 18 ГБ вместо примерно 54 ГБ в BF16. Веса vision-энкодера MoonViT сохраняются в исходной точности BF16/FP16. Сохранённая MTP-голова Multi-Token Prediction поддерживает speculative decoding в vLLM; заявлены принятие черновых токенов на уровне около 85–90% и примерно двукратное ускорение генерации, однако эти показатели измерены на RTX 5090 и зависят от конфигурации. К сильным сторонам относятся уменьшенное примерно втрое потребление памяти, поддержка изображений без дополнительной обработки, совместимость с vLLM и сохранение MTP для ускоренной генерации. Ограничения включают необходимость совместимой версии vLLM для MTP, наличие специальных требований к окружению и зависимость производительности от оборудования. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-oQ8e-fp16-mtp — это 8-битная MLX-квантизированная версия модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем evsinlb. Модель предназначена для генерации текста, диалогов, рассуждений и агентских сценариев с вызовом инструментов. Она поддерживает режим thinking с сохранением цепочек рассуждений в многошаговом диалоге, а также визуальные компоненты, поэтому не является текстовой версией без vision-модулей. Архитектура основана на гибриде Gated DeltaNet и Gated Attention; заявлены нативная работа с изображениями и контекст до 262 144 токенов. Квантизация выполнена в формате MLX safetensors с эффективной точностью 8,6 bpw, размером группы 64 и калибровкой imatrix на 1024 образцах. Веса multi-token prediction сохранены, что обеспечивает поддержку MTP и Lightning MTP после квантизации. Неквантизированные параметры имеют тип float16; размер весов составляет около 27,5 GiB. Модель ориентирована прежде всего на Apple Silicon, при этом для M3 и M4 рекомендуется родственная версия с bf16 из соображений численной безопасности. Сильными сторонами являются большой контекст, сохранение reasoning-трасс, стабильный многошаговый tool use и возможность экспериментального ускорения обработки длинных промптов через ANE в oMLX 0.6.3. На M2 Ultra прирост prompt processing составлял до 35,7% на промптах длиной 4096 токенов и 19,5% на 65 536 токенах, однако требуется около 16 ГБ дополнительной оперативной памяти, а короткие промпты преимуществ не дают. Thinking увеличивает время работы примерно на 25–35%, а decode при включённом ANE существенно не ускоряется. Для использования необходимы совместимые MLX/oMLX-окружение и аппаратные ресурсы, достаточные для размещения модели и KV-кэша. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-квантизованная версия плотной языковой модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие отказного поведения; при этом README предупреждает, что для критически важных длинноконтекстных агентских задач более безопасным выбором может быть Balanced-вариант, если он доступен. Архитектура включает 64 слоя, скрытый размер 5120, размер FFN 17 408, словарь из 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Модель сохраняет встроенный MTP/NextN и поддерживает ускорение HauhauCS FastMTP через отдельный sidecar-файл. Заявлены нативный контекст 262 144 токена и расширение до 1 000 000 токенов. Для мультимодального ввода используется отдельный vision projector в формате BF16; текстовые кванты доступны в вариантах от Q2 до Q8, включая пользовательские K_P-квантизации. Сильные стороны модели — сочетание большого контекстного окна, текстовых, reasoning-, агентских и мультимодальных возможностей, а также варианты квантизации для запуска в средах, совместимых с GGUF, включая llama.cpp и LM Studio. Ограничения связаны с тем, что Aggressive-профиль намеренно снижает склонность к отказам, что может быть нежелательно для задач с повышенными требованиями к безопасности и надёжности. Модель распространяется по лицензии Apache-2.0.

Карточка модели RatanK/23B0059-Week05-Track1-40-Submission01 на Hugging Face совпадает с карточкой Qwen/Qwen3.5-4B, поэтому описание составлено по ней. Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.

FuseCyberMix-Qwen-2.5-7B-Instruct — объединённая инструктивная языковая модель, созданная с помощью mergekit линейным слиянием FuseAI/FuseChat-Qwen-2.5-7B-Instruct, Qwen/Qwen2.5-7B-Instruct и fblgit/cybertron-v4-qw7B-UNAMGS. Модель разработана автором репозитория bunnycore и построена на архитектуре Qwen2 с 7,1 млрд параметров; доступна в формате safetensors и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, написание и преобразование текста, код и структурированные ответы. В метаданных также отмечен интерфейс вызова инструментов. Поддерживаемые языки отдельно не указаны. Это слияние моделей, а не отдельное дообучение; README сообщает о линейном методе слияния, нормализация отключена, использована маска int8, выходной тип задан как bfloat16. Лицензия в предоставленных данных отсутствует. Качество и ограничения конкретного слияния не описаны; практическое качество ответов и корректность вызовов инструментов требуют проверки в целевом приложении.

unsloth/gemma-3-4b-it-GGUF — GGUF-версия инструкционно дообученной модели Gemma 3 4B IT, разработанной Google DeepMind и опубликованной Unsloth. Модель предназначена для диалогов, генерации и понимания текста, ответов на вопросы, суммаризации, рассуждений и анализа изображений. Она подходит для локального запуска на ноутбуках, настольных компьютерах и в собственной облачной инфраструктуре, включая сценарии с ограниченными ресурсами. Модель мультимодальная: принимает текст и изображения, а генерирует текст. Для изображений используется нормализация до 896×896 пикселей и кодирование каждого изображения в 256 токенов. Для варианта 4B заявлено контекстное окно до 128 000 токенов и максимальный объём генерируемого ответа до 8192 токенов. Поддерживается более 140 языков, хотя в метаданных карточки явно указан английский. Относительно небольшой размер облегчает развёртывание, а формат GGUF ориентирован на эффективный локальный запуск. Ограничения включают зависимость качества от языка, задачи и доступных вычислительных ресурсов, а также возможные ошибки в ответах и интерпретации изображений. В README не приведены точные требования к оборудованию и параметры квантования конкретного файла. Модель распространяется по лицензии Gemma; условия использования представлены в отдельных Terms of Use Google.

mlx-community/gemma-4-12B-it-qat-OptiQ-4bit — 12-миллиардная унифицированная модель Gemma-4, разработанная Google и представленная в MLX-совместимой квантизованной сборке сообществом mlx-community. Квантизация выполнена инструментарием mlx-optiq поверх QAT-базы google/gemma-4-12B-it-qat-q4_0-unquantized: чувствительные компоненты используют 8-битную точность, остальные — 4-битную. Модель предназначена для локального запуска на Apple Silicon без PyTorch и облачной инфраструктуры. Модель поддерживает генерацию текста, а также сценарии image-text-to-text с отдельной vision-башней в формате bf16. Заявлены задачи рассуждения, программирования, следования инструкциям, агентского взаимодействия и вызова инструментов. Всего квантизовано 328 компонентов, размер группы — 64, эффективная разрядность — 5,25 бит на вес, объём на диске составляет около 8,3 ГБ. Смешанная точность превосходит равномерную 4-битную квантизацию той же QAT-базы на 1,37 пункта Capability Score; особенно заметен прирост в длинном контексте HashHop. При этом в BFCL результат немного ниже, чем у равномерной 4-битной версии. Для работы требуется MLX и актуальная версия mlx-lm из основного репозитория, а для регистрации типа gemma4_unified — mlx-optiq. Поддерживаются языковые и мультимодальные сценарии через optiq; также возможен speculative decoding с указанной моделью-drafter. Лицензия — Apache-2.0.

GLM-5.2-JANGTQ4 — версия модели zai-org/GLM-5.2, подготовленная автором репозитория bearzi для запуска через MLX на компьютерах Apple с чипами Apple silicon. Это языковая модель с архитектурой GLM MoE DSA и 30,4 млрд параметров, предназначенная для генерации текста и диалогов; базовая GLM-5.2 также рассчитана на программирование и длительные задачи. Контекст модели составляет до 1 048 576 токенов. Профиль JANGTQ4 использует смешанную точность: внимание и общие эксперты хранятся в FP16, а маршрутизируемые эксперты квантизированы до 4 бит методом JANG TurboQuant. Для загрузки требуются jang-tools или vMLX; обычные MLX, LM Studio и Ollama не поддерживаются. Для токенизатора нужны tiktoken, blobfile и разрешение удалённого кода Transformers. Репозиторий распространяется по лицензии MIT.

InternLM2.5-7B-Chat — диалоговая языковая модель семейства InternLM2.5, разработанная командой InternLM. Это плотная авторегрессионная модель архитектуры InternLM2 с 7,4 млрд параметров, предназначенная для практических сценариев общения и генерации текста. В README заявлены сильные способности к математическим рассуждениям, работе с длинными контекстами и выбору, вызову и проверке результатов инструментов; метаданные указывают контекстное окно 32 768 токенов. Модель подходит для диалоговых ассистентов, ответов на вопросы, рассуждений и агентных сценариев с инструментами. Карточка приводит результаты OpenCompass и примеры использования через Transformers, vLLM и LMDeploy. В README также заявлена работа с контекстом до миллиона единиц текста при использовании LMDeploy, однако это выходит за пределы длины контекста, указанной в метаданных модели. Основной язык карточки — китайский; модель также предназначена для англоязычных сценариев. Лицензия обозначена как other, поэтому конкретные условия следует проверять в репозитории. Модель может генерировать предвзятые, дискриминационные или иные вредоносные ответы.

JiRack DeltaNet 27B — текстовая генеративная модель разработчика CMSManhattan, основанная на архитектуре семейства Qwen3.5 и адаптированная для эффективного инференса на CPU. Модель имеет 22,3 млрд параметров, использует гибридную архитектуру DeltaNet с attention и SSM, поддерживает контекст до 262 144 токенов. Доступны веса Safetensors и варианты GGUF с разными уровнями квантования; заявлена поддержка Ollama и llama.cpp. Модель предназначена для диалогов, программирования, вызова инструментов и использования как экспертной модели в RAG-системах. В README также заявлены сценарии маршрутизации запросов, мультимодальных задач и робототехники, однако метаданные указывают только text-generation, а само описание не содержит подтверждённых деталей о работе с изображениями, видео или аудио. Заявлена поддержка языков от английского и русского до китайского, японского, корейского и ряда европейских и азиатских языков. Метаданные указывают лицензию MIT для модели. README отдельно сообщает, что Docker-образы, предварительно собранные квантизации для Ollama и интерфейсы JiRack могут распространяться на коммерческих условиях; условия их использования следует проверять отдельно. Заявления о качестве и скорости не сопровождаются результатами сравнительных оценок.

Карточка модели kakaocorp/kanana-2-30b-a3b-base-2601 на Hugging Face совпадает с карточкой kakaocorp/kanana-2-30b-a3b-instruct-2601, поэтому описание составлено по ней. Kanana-2-30B-A3B-Instruct-2601 — инструктивная языковая модель компании Kakao для диалогов и сценариев агентного ИИ. Она предназначена для следования сложным инструкциям, логических рассуждений и вызова инструментов; модель можно развернуть, например, через vLLM или SGLang с поддержкой выбора инструментов. Модель основана на архитектуре DeepSeek V3 с механизмом внимания MLA и разреженной смесью экспертов (MoE): всего 30 млрд параметров, из которых активируются около 3 млрд. Контекст составляет до 32 768 токенов. Семейство поддерживает корейский, английский, японский, китайский, тайский и вьетнамский языки. README указывает лицензию как отличную от стандартных вариантов, поэтому перед использованием следует проверить условия на странице репозитория Hugging Face. Для обработки контекста свыше 32 768 токенов требуется отдельно настроить YaRN; такая настройка может повлиять на качество коротких текстов. Метаданные указывают 2,9 млрд параметров, что расходится с описанием серии в README (30 млрд всего и около 3 млрд активных).

Saxo/Linkbricks-Horizon-AI-Japanese-Superb-V6-70B — языковая модель Linkbricks, дообученная директором по данным Юнсоном Джи (Saxo) на базе V5. Модель семейства Llama с плотной архитектурой содержит 69,5 млрд параметров и принимает контекст длиной до 131 072 токенов. Веса доступны в формате Safetensors по лицензии Apache-2.0. Модель предназначена для генерации текста и диалогов, а также для многоязычных задач на японском, корейском, китайском и английском языках. В карточке заявлены усиленная работа с отзывами и публикациями в социальных сетях, программированием, письмом, математикой и логическими задачами, а также интерфейс вызова функций и инструментов. Обучение включало японский SFT и DPO, многоязычные данные и корпус японских новостей и Википедии.

Meta Llama 3.1 70B Instruct — крупная текстовая языковая модель Meta для диалоговых сценариев. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention; версия Instruct прошла supervised fine-tuning и обучение с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, рассчитана на многоязычный диалог и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель предназначена для создания чат-ассистентов, ответов на вопросы и других задач генерации естественного языка. Её также можно применять для создания синтетических данных и улучшения других моделей. Модель относится к семейству Llama 3.1 размером 70 млрд параметров; в репозитории используются веса Safetensors, библиотека Transformers, а для экономии памяти доступны варианты запуска с 8- и 4-битным представлением. Карточка сообщает о сильных результатах семейства на распространённых отраслевых тестах, но не приводит здесь конкретных показателей для этой версии. Модель статична и обучена на офлайн-данных; качество и безопасность ответов требуют проверки в целевом применении, а карточка не рекомендует диалог на неподдерживаемых языках без дообучения и дополнительных системных мер. Условия использования задаёт пользовательская Llama 3.1 Community License с Acceptable Use Policy; лицензия допускает коммерческое и исследовательское применение при соблюдении этих условий.