I.6Перевод и языковая адаптация

Карточка модели a-ibrahim-pwc/Qwen3-Next-80B-A3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-Next-80B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Next-80B-A3B-Instruct — языковая модель от команды Qwen, предназначенная для диалогов, генерации текста и сценариев с вызовом инструментов. Это причинная модель семейства Qwen3-Next с разреженной архитектурой смеси экспертов (MoE), гибридной обработкой контекста через Gated DeltaNet и Gated Attention и поддержкой ускорения вывода с помощью Multi-Token Prediction. В модели 80 млрд параметров, из которых активируются около 3 млрд на токен; при этом метаданные Hugging Face указывают размер 2,3 млрд параметров. Модель рассчитана на инструкции в обычном, нетщательном режиме и поддерживает контекст до 262 144 токенов; в README описано расширение контекста примерно до миллиона токенов с YaRN. Подходит для длинных диалогов и документов, генерации ответов и агентных сценариев с инструментами. Карточка сообщает о результатах на ряде бенчмарков, но не приводит полный набор таблиц в предоставленном тексте. Лицензия Apache-2.0.

Qwen3-VL-235B-A22B-Instruct-AWQ — квантованная версия мультимодальной instruct-модели Qwen3-VL-235B-A22B-Instruct, разработанной командой Qwen. Модель предназначена для генерации текста по текстовым и визуальным запросам, анализа изображений и видео, OCR, визуального рассуждения, решения STEM- и математических задач, пространственного анализа, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. Модель построена на архитектуре Mixture-of-Experts (MoE) с общим размером 235B параметров и 22B активных параметров. Она поддерживает текст, изображения и видео, заявлена с нативным контекстом 256K токенов и возможностью расширения до 1M. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных измерений, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа событий в видео. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. К сильным сторонам относятся расширенное понимание изображений и видео, распознавание текста в сложных условиях, пространственное и временное рассуждение, а также возможность использования в агентных сценариях и визуальном программировании. Ограничения связаны с крупным размером и высокими требованиями к вычислительным ресурсам: опубликованный набор файлов занимает около 117 GB, а пример запуска рассчитан на 8 GPU с tensor parallelism и expert parallelism. Репозиторий распространяется по лицензии Apache-2.0; для инференса рекомендуется vLLM версии 0.11.0 или выше.

HarimxChoi/WarpQuant-Qwen3.8-27B-R16E4H4-Text — текстовая версия Qwen3.8-27B, подготовленная с применением WarpQuant. Репозиторий содержит причинную языковую модель, токенизатор и шаблон чата; по метаданным это плотная архитектура семейства Qwen, предназначенная для генерации текста и диалогов. Указано 22,3 млрд параметров в метаданных и около 26,9 млрд текстовых параметров в README. Контекст — до 262 144 токенов. Ключи проекций квантованы до 3 бит с вращением Адамара и восстановлением отдельных слабых столбцов; эмбеддинги токенов и выходная голова используют групповой INT4. В первой публикации восстановленные тензоры хранятся в BF16 для запуска через Transformers, поэтому фактический размер файлов больше аналитического упакованного представления. README приводит результаты сравнений на языковых и тестовых наборах и сообщает о совпадении последних токенных логитов с исходной моделью на проверенном промпте. Модель рассчитана на текстовую генерацию, чат, рассуждения и задачи вроде ответов на вопросы и программирования. В отличие от исходной мультимодальной версии, в этой сборке отсутствуют модуль обработки изображений и слой MTP. Лицензия — Apache-2.0.

Vontra/DeepSeek-V4-Flash-0731-MXFP4-MLX — это MLX-конверсия модели DeepSeek-V4-Flash-0731 от DeepSeek, распространяемая Vontra. Модель предназначена для генерации текста и запуска локальных LLM-приложений на устройствах Apple с MLX, включая диалоги, программирование и работу с длинным контекстом. Исходная модель имеет 305 млрд параметров, из которых около 13 млрд активируются для одного токена, и использует архитектуру Mixture-of-Experts. В данной версии эксперты представлены в формате MXFP4, attention — в MXFP8, а выходная голова сохраняется в формате bfloat16. Поддерживается текстовая модальность; сведения о полном наборе языков и максимальной длине контекста в README не указаны, однако приведены измерения на контексте 23 тысячи токенов. Конверсия заявлена как побитово идентичная исходному checkpoint: значения весов после деквантизации совпадают с оригиналом, а размер составляет около 167,1 ГБ. Модель сохраняет DSpark MTP-головы, что позволяет использовать нативное speculative decoding в oMLX 0.5.4rc2 и повысить скорость генерации примерно до 41,7 токена в секунду на Mac Studio с M3 Ultra против 26,1 токена в секунду без спекуляции. Для работы требуется значительный объём памяти и совместимое окружение MLX/oMLX; заявленные показатели зависят от оборудования, настроек и кэширования промптов. Лицензия — MIT.

Granite-3.1-1B-A400M-Instruct — языковая модель IBM Granite Team для выполнения инструкций и создания диалоговых ассистентов. Это дообученная на Granite-3.1-1B-A400M-Base модель с архитектурой GraniteMoE; README также описывает этапы supervised fine-tuning, выравнивания с помощью reinforcement learning и слияния моделей. В метаданных указано 163,6 млн параметров и контекст до 131 072 токенов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова функций, а также для многоязычного диалога и работы с длинными документами и встречами. README перечисляет английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Производительность на других языках может уступать английской; ответы могут быть неточными, предвзятыми или небезопасными. Лицензия — Apache 2.0.

edwardcapriolo/granite-4.0-h-tiny-JQ4 — квантованная версия Granite-4.0-H-Tiny, модели IBM для диалогов и выполнения инструкций. Репозиторий преобразован Deliverance Q.O.D.: выбранные веса представлены в формате Q4, размер модели уменьшен с 12,9 до 4,2 ГБ. Метаданные указывают 500,2 млн параметров, архитектуру MoE на базе decoder-only трансформера и контекст до 131 072 токенов; модель предназначена для генерации текста и поддерживает чат. Модель подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, программирования, вызова инструментов и многоязычного диалога, в том числе в бизнес-приложениях. В README заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. К архитектурным компонентам исходной модели относятся GQA, Mamba2 и общие эксперты MoE. Квантование предназначено для уменьшения размера и ускорения локального вывода, но карточка не приводит сравнительных результатов качества для этого варианта. Для неанглийских языков качество может быть ниже, чем для английского; ответы могут быть неточными, предвзятыми или небезопасными, поэтому модель следует проверять для конкретного применения. Лицензия — Apache 2.0.

Это версия Phi-3 Medium-4k-Instruct от Microsoft, преобразованная в формат ONNX и оптимизированная для запуска через ONNX Runtime на CPU. Модель представляет собой плотную авторегрессионную языковую модель семейства Phi-3 примерно с 13,8 млрд параметров и контекстом до 4096 токенов. Вариант рассчитан на диалог и выполнение инструкций; исходная модель прошла supervised fine-tuning и direct preference optimization. Модель подходит для генерации ответов и текста, задач на понимание языка, рассуждения, математику и код. В README заявлена скорость около 20 токенов в секунду на Intel Core i9-10920X и минимальная конфигурация с 16 ГБ оперативной памяти. Репозиторий содержит CPU-вариант ONNX с квантизацией INT4 методом RTN. Лицензия — MIT.

unsloth/Phi-4-mini-instruct-unsloth-bnb-4bit — это квантованная 4-битная версия Phi-4-mini-instruct, разработанной Microsoft, с исправлениями и оптимизациями от Unsloth. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, решения математических задач, программирования и других задач обработки естественного языка. В README заявлена поддержка мультиязычных сценариев и контекста до 128K токенов. Модель построена на данных, включающих синтетические примеры и отфильтрованные общедоступные веб-источники, с акцентом на качественные данные для рассуждений. Для Phi-4-mini-instruct указано применение supervised fine-tuning и direct preference optimization, направленных на точное следование инструкциям и повышение безопасности. Версия Unsloth исправляет обработку padding и EOS-токенов, шаблон чата и unk_token, а также использует селективное динамическое 4-битное квантование, призванное лучше сохранять точность по сравнению со стандартным 4-битным форматом. К сильным сторонам относятся небольшой размер относительно более крупных моделей семейства Phi-4, длинный контекст, поддержка диалогов, кода и математики, а также сниженные требования к памяти благодаря квантованию. Ограничения включают возможную потерю качества из-за 4-битного представления, отсутствие в предоставленных данных точных сведений о размере модели и перечне поддерживаемых языков, а также текстовую, а не мультимодальную специализацию. В карточке указана лицензия MIT, унаследованная от microsoft/Phi-4-mini-instruct.

Qwen2.5-7B — базовая языковая модель серии Qwen2.5, разработанной командой Qwen. Это предобученная плотная авторегрессионная модель на 7,1 млрд параметров; в карточке указаны архитектура Qwen2ForCausalLM, RoPE, SwiGLU, RMSNorm и контекст до 131 072 токенов. Модель распространяется в формате Safetensors и под лицензией Apache-2.0. Модель предназначена для дальнейшей адаптации и использования как основа для генерации текста, кода и структурированных ответов. Серия поддерживает более 29 языков, включая русский и английский, и заявляет улучшения в математике, программировании, следовании инструкциям и работе с таблицами и JSON. У этой версии базовые веса предобучения: разработчик не рекомендует использовать её непосредственно для диалогов; для чат-сценариев требуется постобучение, например SFT или RLHF.

apolo13x/Qwen3.5-27B-quantized.w4a16 — квантованная версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen и опубликованной пользователем apolo13x. Модель принимает текст и изображения, а генерирует текст, поэтому предназначена для диалоговых сценариев, анализа визуального и текстового контента, а также общих задач рассуждения и следования инструкциям. Веса сжаты до формата INT4 W4A16 с использованием GPTQ и инструмента llm-compressor. Для калибровки использовано 512 образцов из датасета HuggingFaceH4/ultrachat_200k. Размер модели уменьшен с 51,8 до 17,3 ГБ, примерно в 3 раза, при заявленном среднем восстановлении точности 100,3% относительно исходной модели. В README не указаны точное количество контекстных токенов и поддерживаемые языки. Модель демонстрирует высокие результаты в GPQA Diamond, IFEval и MMLU-Redux: средняя оценка составила 90,05% против 89,76% у исходной Qwen3.5-27B. Ключевые ограничения связаны с 4-битным квантованием и зависимостью от совместимой инфраструктуры; на 27 февраля 2026 года заявлена поддержка в nightly-версии vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Q4_0_ROCMFP4_STRIX_LEAN — квантизированная версия базовой модели Qwen/Qwen3.8-27B, подготовленная pugant в формате GGUF для llama.cpp. Это плотная гибридная модель с 48 слоями gated-delta-net и 16 слоями полного внимания, нативным контекстом до 262 тысяч токенов и поддержкой MTP для спекулятивного декодирования. В метаданных указаны английский и мультиязычный режимы, а основное назначение — генерация текста, включая программный код, структурированные ответы и задачи RAG. Модель использует квантизацию Q4_0_ROCMFP4_STRIX_LEAN с эффективной точностью около 4,34 BPW и размером примерно 13,82 ГиБ. Она оптимизирована для AMD Strix Halo с графикой RDNA 3.5 и ROCmFPX, поддерживает ROCm и Vulkan-бэкенды, а встроенный MTP-слой может заметно ускорять декодирование на предсказуемом и структурированном контенте. Наиболее высокое ускорение ожидается при генерации кода, детерминированных и структурированных данных; для обычной прозы эффект ограничен. Главное ограничение — модель несовместима со стандартной сборкой llama.cpp и требует форка ROCmFPX с пользовательскими типами тензоров. Она протестирована на Radeon 8060S в составе AMD Ryzen AI Max+ 395, поэтому работоспособность и производительность на другом оборудовании не гарантируются. Лицензия — Apache-2.0.

Qwen3.8-9B-Distill-MTPLX-Q6G64 — локальная MLX-версия модели empero-ai/Qwen3.8-9B-Distill, подготовленная pooyakn73 с использованием MTPLX для нативного multi-token prediction и speculative decoding на Apple Silicon. Это мультимодальная модель архитектуры Qwen3-Next с поддержкой текста и изображений, предназначенная для локальной генерации текста, программного кода и анализа изображений с ускоренным декодированием. Модель содержит около 9 млрд параметров, контекстное окно 262 144 токена и занимает около 8,7 ГБ на диске. Основная часть параметров квантизирована до 6 бит с group size 64 и affine-квантизацией, тогда как MTP draft head и vision tower сохранены в bf16. Такая конфигурация позволяет использовать speculative decoding без потери корректности, а на Apple M5 Pro демонстрирует до 74,9 токена в секунду при оптимальной глубине спекуляции 2. Vision tower восстановлен и сохранён, поскольку стандартный путь конвертации MLX мог его исключать. Сильные стороны модели — сочетание мультимодальности, большого контекстного окна, компактного размера и высокой скорости локального вывода на Apple Silicon. В тесте HumanEval она показала pass@1 81,10% при настройке reasoning effort xhigh, однако более крупные модели в приведённом сравнении достигли около 96% и выше, поэтому модель может уступать им в сложных задачах рассуждения и генерации кода. Указанные показатели скорости и качества зависят от оборудования, настроек декодирования и длины генерации. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-30B-A3B-Instruct-1M-GGUF — мультимодальная vision-language модель семейства Qwen3-VL, разработанная командой Qwen и представленная в формате GGUF с оптимизациями Unsloth Dynamic 2.0. Это instruct-версия, предназначенная для диалога, анализа изображений и видео, генерации текста по визуальному контексту, OCR, визуального рассуждения, решения STEM- и математических задач, а также взаимодействия с графическими интерфейсами и инструментами. Модель использует MoE-архитектуру: в названии указано 30B параметров, из которых 3B активируются для отдельного запроса. Она поддерживает текст и визуальные данные, включая изображения и видео. Заявлен нативный контекст 256K токенов с возможностью расширения до 1M, что позволяет работать с книгами, длинными документами и многочасовыми видео. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных представлений, DeepStack для объединения признаков ViT, а также выравнивание текста с временными метками для локализации событий в видео. OCR поддерживает 32 языка. Сильные стороны модели — объединённое понимание текста и визуального контекста, распознавание объектов и документов, пространственное и временное рассуждение, генерация кода и разметки по изображениям и видео, а также потенциальная работа визуального агента с GUI. README не содержит точных результатов тестов, сведений о конкретных языках общего текстового общения, размерах файлов и параметрах отдельных квантований, поэтому характеристики производительности и требования к ресурсам оценить нельзя. Для llama.cpp рекомендуется использовать параметр --jinja из-за исправлений chat template. Модель распространяется по лицензии Apache-2.0.

Rombos-LLM-V2.5-Qwen-72b — плотная авторегрессионная языковая модель на архитектуре Qwen2, разработанная Rombodawg. По карточке, это непрерывно дообученная и объединённая методом TIES версия Qwen2.5-72B; метаданные связывают её с Qwen/Qwen2.5-72B-Instruct. Модель содержит 71,5 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текстов, а также может выдавать структурированные ответы и поддерживать интерфейс вызова инструментов. Автор сообщает о более высокой производительности по сравнению с исходной instruct- и базовой моделями; в карточке приведены результаты отдельных тестов, но готовые сводные данные и подробное описание методики оценки ограничены. В метаданных указана лицензия «other», поэтому условия использования следует сверить с полной лицензией репозитория. Для запуска требуется значительный объём вычислительной памяти из-за размера модели; README не приводит конкретных требований к оборудованию. Модель опубликована в формате safetensors.

NoxNotreve/Ternary-Bonsai-2-27B-gguf — компактная GGUF-версия Bonsai 2 27B, разработанная проектом Prism ML на основе Qwen3.8-27B. Это авторегрессионная языковая модель для генерации текста, рассуждений, программирования и агентских сценариев с вызовом инструментов. Она предназначена для локального запуска через llama.cpp на CPU, GPU с CUDA или устройствах Apple с Metal, включая стандартные ноутбуки и одноплатформенные конфигурации. Модель содержит около 27,36 млрд параметров и использует гибридную архитектуру с примерно 75% линейного и 25% полного внимания, SwiGLU, RoPE и RMSNorm. Заявленная длина контекста составляет 262 тысячи токенов. Языковая часть, включая эмбеддинги, проекции внимания, MLP и выходную голову, представлена в троичном формате со значениями −1, 0 и +1, групповым масштабированием FP16 и эффективной плотностью около 1,72 бита на параметр. Доступны упаковки PTQ1_0 размером около 5,95 ГБ и PQ2_0 размером около 7,21 ГБ. Для обработки изображений предусмотрена отдельная vision tower в формате Q8_0, поэтому модель поддерживает текстовый режим и опциональный мультимодальный ввод при наличии соответствующего пакета. Сильные стороны модели — существенно меньший размер по сравнению с FP16, сохранение возможностей рассуждения, математики, программирования и агентского поведения в сверхнизкой разрядности, а также пригодность для локального использования. Согласно README, она сохраняет 98,2% показателей FP16 на наборе из 14 тестов, однако эти результаты зависят от методики оценки и совместимых низкоразрядных ядер. Для работы требуются версии llama.cpp с поддержкой кастомных троичных ядер; стандартные реализации могут не загрузить файл или не обеспечить заявленную производительность. Модель распространяется по лицензии Apache 2.0.

YOYO-AI разработала ZYH-LLM-Qwen2.5-14B-V4 — объединённую плотную авторегрессионную языковую модель семейства Qwen2.5 с 14 млрд параметров. По README, при слиянии увеличили долю моделей, дистиллированных из R1, сохранив ориентацию на следование инструкциям и общие языковые способности. В состав слияния входят несколько моделей на базе Qwen2.5, включая DeepSeek-R1-Distill-Qwen-14B и варианты SuperNova-Medius, Virtuoso-Small-v2 и Blossom-V6-14B. Модель предназначена для диалогов, генерации текста и структурированных ответов; метаданные также отмечают интерфейс вызова инструментов. Заявленный контекст составляет 1 010 000 токенов. В карточке указаны английский и китайский языки. README приводит результаты Open LLM Leaderboard, включая IFEval и BBH. Модель распространяется под лицензией Apache-2.0.

Карточка модели ewgenni/AliceAI-Foundation-80B-A3B-Base на Hugging Face совпадает с карточкой yandex/AliceAI-Foundation-80B-A3B-Base, поэтому описание составлено по ней. AliceAI-Foundation-80B-A3B-Base — базовая авторегрессионная языковая модель, разработанная Yandex и обученная с нуля. Это предобученная модель с гибридной архитектурой и смесью экспертов: всего 80 млрд параметров, из которых на каждом токене активируются около 3 млрд. Архитектура включает 48 слоёв, 512 экспертов и механизмы KDA и Gated Attention; контекст — до 262 144 токенов. Модель предназначена для генерации текста и дальнейшей адаптации под задачи рассуждений, математики, программирования, работы с фактами и взаимодействия с инструментами. По данным карточки, особенно сильна в фактологических задачах на русском языке; доступны русскоязычные бенчмарки WikiWebFacts и HardMultiQA. Это базовая модель, поэтому для диалогового применения и следования инструкциям может потребоваться дообучение и подходящий шаблон сообщений. Веса опубликованы в формате Safetensors и доступны по лицензии Apache 2.0. В README описан запуск через Transformers и vLLM; для выполнения KDA-слоёв на GPU требуется совместимая версия flash-linear-attention. Заявленные в README 80 млрд общих параметров расходятся с метаданными Hugging Face, где указано 3,1 млрд параметров.

Falcon3-1B-Instruct — компактная инструктивная языковая модель семейства Falcon3, разработанная Technology Innovation Institute. Она дообучена на базе tiiuae/Falcon3-1B-Base и предназначена для диалогов и генерации текста по инструкциям. Модель имеет плотную архитектуру Transformer с причинным декодером и 1,4 млрд параметров. В ней 18 блоков декодера, Grouped Query Attention, SwiGLU и RMSNorm; контекстное окно — до 8192 токенов. Модель принимает и генерирует текст на английском, французском, испанском и португальском языках. Модель обучалась на данных для STEM, диалогов, программирования, безопасности и вызова функций. В карточке заявлены сильные результаты в рассуждениях, понимании языка, следовании инструкциям, математике и задачах с кодом. Лицензия — TII Falcon-LLM License 2.0; перед использованием следует учитывать её условия.

RedHatAI/gemma-4-26B-A4B-it-NVFP4 — квантизированная версия мультимодальной модели google/gemma-4-26B-A4B-it, разработанная RedHatAI на базе модели Google. Она предназначена для генерации текста, диалоговых и текстовых задач, обработки изображений с выдачей текстового ответа, а также вызова инструментов и function calling. Модель поддерживает режим рассуждений и ориентирована на развёртывание через vLLM. Архитектура модели обозначена как Gemma4ForConditionalGeneration. На вход она принимает текст и изображения, на выходе генерирует текст. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат NVFP4/FP4: для весов используется размер группы 16, для активаций — локальное масштабирование по группам. Vision tower, эмбеддинги, выходная голова и маршрутизаторы MoE сохранены в исходной точности. Квантизация сокращает число бит на параметр с 16 до 4 и примерно на 75% уменьшает размер модели на диске и требования к GPU-памяти. В документации для vLLM указан максимальный контекст 32768 токенов. Сильные стороны модели — мультимодальность, поддержка рассуждений и вызова инструментов, а также сниженные требования к памяти по сравнению с неквантизированной версией. Квантизация может приводить к некоторому снижению качества относительно исходной модели; README приводит результаты сравнительных оценок, но не содержит полного описания языков и всех ограничений. Для вызова инструментов и режима рассуждений требуются соответствующие настройки vLLM и парсеры Gemma 4. Модель распространяется по лицензии Apache 2.0.

GLM-5.3-Flash-NVFP4 — квантованная версия мультимодальной модели GLM-5.3-Flash, разработанной Z.ai. Данный вариант подготовлен сообществом пользователем vcruz305 на основе zai-org/GLM-5.3-Flash-BF16 с использованием NVIDIA ModelOpt NVFP4. Модель предназначена для генерации текста, работы с мультимодальными данными, программирования и агентских сценариев. Заявлены поддерживаемые языки английский и китайский. Модель имеет архитектуру Mixture-of-Experts с 320 млрд общих и 18 млрд активных параметров, сочетает разреженное и линейное внимание и использует Manifold-Constrained Hyper-Connections. Эксперты слоёв 3–44 представлены в формате NVFP4, а слой MTP/NextN сохраняет точность BF16. Это снижает требования к памяти и стоимость инференса, сохраняя возможности исходной модели, однако качество и производительность именно этой квантованной сборки отдельно не подтверждены: приведённые в README результаты относятся к официальной версии Z.ai. Для локального развёртывания указана совместимость с SGLang, vLLM, TokenSpeed и KTransformers. Лицензия — MIT.

Nex-N2.5-mini-GGUF — это квантизированное представление модели Nex-N2.5-mini, разработанной Nex-AGI и преобразованной в формат GGUF с использованием llama.cpp. Модель предназначена для генерации текста, программирования, агентских сценариев, вызова инструментов, работы с компьютером и мультимодальных задач. Поддерживаются английский и китайский языки. Исходная модель заявлена с контекстным окном до 262 144 токенов и может использоваться в текстовом режиме или с дополнительным vision-проектором mmproj-Nex-N2.5-mini-F16.gguf для мультимодальной обработки. Репозиторий содержит варианты квантизации от Q8_0 до IQ1_S и TQ1_0, поэтому можно выбирать между качеством, размером файлов и требованиями к памяти. Размеры файлов составляют примерно от 7,48 до 36,90 ГБ, а проектор занимает 899 МБ. Сильными сторонами являются поддержка длинного контекста, инструментов и мультимодальных сценариев, а также возможность локального запуска через llama.cpp и OpenAI-совместимый сервер. Ограничения связаны с необходимостью значительного объёма памяти, возможной потерей качества при агрессивной квантизации и зависимостью корректной работы вызова инструментов от возможностей конкретного runtime и его интеграции. Приведённые в README результаты тестов относятся к исходному семейству Nex-N2.5, а не непосредственно к этой GGUF-конверсии. Модель распространяется по лицензии Apache-2.0.

Open-Instruct GPT-4 Alpaca 13B — языковая модель семейства LLaMA с 12,9 млрд параметров, разработанная командой AllenAI. Она дообучена на наборе GPT-4 Alpaca для следования инструкциям и генерации текста. Модель предназначена для диалоговых запросов, ответов на вопросы, рассуждений и других задач, задаваемых в текстовом формате; для результатов, соответствующих обучению, следует использовать предусмотренный формат инструкций. Контекст модели — 2048 токенов. В README приведены результаты оценки на наборах задач общего назначения, включая MMLU, GSM, BBH и Codex-Eval. Репозиторий содержит разницу весов, поэтому для использования требуется доступ к исходной модели LLaMA в формате Hugging Face и её объединение с этой разницей. Условия использования определяются лицензией AI model license вместе с исходной лицензией LLaMA.

bartowski/Phi-3-medium-4k-instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Phi-3-medium-4k-instruct, разработанной Microsoft. Модель предназначена для генерации текста и кода, диалоговых сценариев, ответов на пользовательские инструкции и локального запуска через llama.cpp или совместимые приложения, включая LM Studio. В README указана поддержка multilingual-сценариев, однако конкретный перечень языков не приведён. Модель работает с текстом и имеет контекст длиной 4K токенов, что следует из её названия и исходной модели. Доступны варианты от F32 до Q2_K и IQ-квантизаций с размером файлов примерно от 4,72 до 55,84 ГБ. Квантизации подготовлены bartowski с использованием llama.cpp и imatrix; обновление llama.cpp также учитывает исправление rope scaling. Более высокие варианты обычно обеспечивают лучшее качество, а низкобитные требуют меньше оперативной памяти, но могут заметно уступать по точности. Основные ограничения связаны с ограниченным контекстом 4K токенов, отсутствием заявленной поддержки изображений или других немультимодальных входов и возможной потерей качества при сильной квантизации. Формат prompt требует специальных маркеров ролей <|user|>, <|end|> и <|assistant|>. Для модели указана лицензия MIT.

Карточка модели rayss868123/Qwen3-4B-Instruct-2507-heretic на Hugging Face совпадает с карточкой heretic-org/Qwen3-4B-Instruct-2507-heretic, поэтому описание составлено по ней. Qwen3-4B-Instruct-2507-heretic — производная диалоговая модель на базе Qwen3-4B-Instruct-2507, созданная с помощью abliteration для заметного снижения частоты отказов. По приведённому в карточке тесту отказов стало 5 из 100 запросов против 100 из 100 у исходной модели; это измерение относится к конкретному тесту и не гарантирует поведение на других запросах. Модель плотная, с архитектурой Qwen3ForCausalLM и примерно 3,7 млрд параметров, принимает текст и генерирует текст. Поддерживает контекст до 262 144 токенов и рассчитана на диалоги и режим без пошагового рассуждения. Модель подходит для ответов на вопросы, следования инструкциям, написания и анализа текстов, решения задач, программирования и использования инструментов. В карточке базовой модели заявлена поддержка нескольких языков, но конкретные языки для этой версии не перечислены. Версия опубликована в формате safetensors и предназначена для запуска через Transformers. Лицензия — Apache-2.0.

unsloth/Qwen3.5-35B-A3B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen; конвертацию, квантизацию и публикацию сборки выполнила Unsloth. Модель предназначена для локального запуска и совместима с llama.cpp, а исходная модель также поддерживается Transformers, vLLM, SGLang и KTransformers. Архитектура относится к MoE-линейке Qwen3.5; обозначение A3B указывает на модель с общим размером около 35 млрд параметров и примерно 3 млрд активных параметров на токен, однако точные характеристики в представленном README не приведены. Модель ориентирована на диалоговые сценарии, генерацию текста и кода, работу с длинным контекстом, вызов инструментов и использование developer role. Доступна поддержка мультимодальных задач с изображениями, но при использовании MTP некоторые возможности ограничены: режим не поддерживает параллельные последовательности с параметром -np > 1 и работу с --mmproj. MTP speculative decoding может ускорять генерацию примерно в 1,5–2 раза при использовании совместимой ветки или версии llama.cpp. Доступно включение и отключение режима рассуждений. К сильным сторонам относятся улучшенные послеобучение и квантизация, заявленные улучшения качества диалогов, программирования, длинного контекста и tool calling, а также возможность эффективного локального запуска в разных вариантах GGUF. Ограничения включают зависимость от совместимого программного обеспечения и специальных настроек для MTP, а также отсутствие в README точных сведений о поддерживаемых языках, максимальной длине контекста и полном наборе мультимодальных возможностей. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-9B, разработанная ByteShape с использованием метода ShapeLearn. ShapeLearn подбирает тип данных отдельно для каждого тензора, чтобы сохранять высокое качество при низкой разрядности. Модель предназначена для локального запуска через llama.cpp или LM Studio и поддерживает работу с изображениями; для vision-сценариев llama.cpp автоматически загружает vision projector. Модель ориентирована на текстовые и мультимодальные задачи, включая генерацию текста, рассуждения, программирование, решение математических задач, следование инструкциям и function calling. Доступны варианты для GPU и CPU с разрядностью от 2,81 до 5,10 bits per weight и размером примерно от 3,15 до 5,72 ГБ. GPU-варианты используют сочетание KQ- и IQ-квантизации, а CPU-варианты — преимущественно KQ-квантизацию; это позволяет выбирать баланс между скоростью, требованиями к памяти и качеством. Сильными сторонами являются малый размер, возможность запуска на широком спектре оборудования, включая Raspberry Pi, поддержка изображений и несколько вариантов квантизации. Ограничения связаны с потерями качества, возможными при низкой разрядности, зависимостью производительности от оборудования и отсутствием поддержки этой модели в Ollama на момент публикации README. README не указывает языки и размер контекстного окна. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3-VL-2B-Instruct-AWQ-4bit — это 4-битная AWQ-квантизованная версия мультимодальной instruct-модели Qwen3-VL-2B-Instruct, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, а также заявлена для понимания видео, визуального рассуждения и взаимодействия с графическими интерфейсами. Она может использоваться для описания изображений, визуального и текстового анализа, OCR, STEM- и математических задач, генерации кода и выполнения агентных сценариев с инструментами. Модель относится к плотной архитектуре и имеет 2 млрд параметров в базовой версии; применённая 4-битная AWQ-квантизация снижает требования к памяти и может упростить локальное развёртывание, потенциально ценой некоторого снижения точности по сравнению с полной версией. В README указаны контекст до 256K токенов с возможностью расширения до 1M, поддержка видео с временной индексацией и OCR на 32 языках, однако конкретный список языков для данной сборки не приведён. Среди архитектурных компонентов упомянуты Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Сильные стороны модели — сочетание текстового и визуального понимания, анализ пространственных отношений, работа с длинным контекстом, документами и видео, а также поддержка визуального управления интерфейсами. Ограничения включают возможные потери качества из-за 4-битной квантизации и отсутствие в представленном README детальных результатов тестирования именно этой AWQ-сборки. Модель распространяется по лицензии Apache-2.0.

jondurbin/bagel-20b-v04-llama — языковая модель для диалогов и генерации текста, созданная как версия Bagel-20B-v04 с архитектурой Llama. В README указано, что Bagel-20B-v04 дообучена на базе internlm2-20b; метаданные также указывают internlm/internlm2-20b в качестве базовой модели. Модель содержит 19,3 млрд параметров, имеет контекст до 32 768 токенов и распространяется в формате safetensors. Модель предназначена для ответов на вопросы, следования инструкциям, написания и пересказа текстов, решения задач по математике и естественным наукам, программирования, ролевого общения и вызова функций. В обучении использовались данные для диалогов, чтения с пониманием, контекстных ответов, суммаризации, Python и SQL, а также многоязычные материалы. Поддерживаются несколько форматов промптов; шаблон по умолчанию использует формат Llama 2. Карточка указывает лицензию «other», не раскрывая в предоставленных данных её точные условия. Обучающие данные охватывают разные стили и задачи, включая ролевые диалоги и токсичные примеры; ответы требуют проверки, особенно для фактических, программных и чувствительных запросов. Модель является дообученной версией InternLM2-20B.

suayptalha/Falcon3-Jessi-v0.4-7B-Slerp — языковая модель на 7,1 млрд параметров, полученная слиянием SLERP моделей neopolita/jessi-v0.4-falcon3-7b-instruct и tiiuae/Falcon3-7B-Instruct. Она предназначена для диалогов и генерации текста по инструкциям, включая задачи рассуждения, понимания языка, программирования и математики. Модель использует архитектуру LlamaForCausalLM, сохранена в формате safetensors и поддерживает контекст до 32 768 токенов. Заявлена поддержка английского, французского, испанского и португальского языков. В README приведены результаты оценки на Open LLM Leaderboard, включая IFEval и BBH, а также утверждение о высоком рейтинге модели на момент публикации. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели и у исходных моделей.

Llama-3.1-Storm-8B — языковая модель команды Ashvini Kumar Jindal, Pawan Kumar Rajpoot, Ankur Parikh и Akshita Sukhlecha. Это плотная авторегрессионная модель семейства Llama на 7,5 млрд параметров, предназначенная для диалога, следования инструкциям, ответов на вопросы, рассуждений и вызова функций. Контекст составляет до 131 072 токенов. Модель дообучена на основе Llama-3.1-8B-Instruct: авторы отобрали около миллиона примеров с упором на образовательную ценность и сложность, провели целевое дообучение с заморозкой половины слоёв, а затем объединили результат методом SLERP с Llama-Spark. В карточке сообщается об улучшениях относительно Llama-3.1-8B-Instruct на ряде бенчмарков; это заявление авторов, и оно не гарантирует аналогичных результатов на прикладных данных. Модель рассчитана на общее применение, в том числе на локальный запуск при ограниченных вычислительных ресурсах; поддерживает работу через Transformers и vLLM, а также сценарии function calling при использовании соответствующего формата запроса. В метаданных указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Чекпойнт представлен в safetensors и использует формат bfloat16 для рекомендованного запуска. Лицензия — Llama 3.1; перед использованием следует учитывать её условия. Авторы отмечают, что отдельного этапа выравнивания модель не проходила.