II.3Рефакторинг, миграция и модернизация

unsloth/Llama-3.1-Nemotron-Nano-8B-v1-GGUF — GGUF-версия модели Llama-3.1-Nemotron-Nano-8B-v1, разработанной NVIDIA и подготовленной Unsloth. Это языковая reasoning-модель на базе Meta Llama 3.1 8B Instruct, предназначенная для диалогов, следования инструкциям, генерации кода, математических и логических задач, RAG-систем, tool calling и AI-агентов. Модель рассчитана прежде всего на английский язык и языки программирования, также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель представляет собой плотный decoder-only Transformer с архитектурой Llama 3.1 и примерно 8 млрд параметров. Она поддерживает текстовый ввод и вывод, контекст до 131 072 токенов, а также режимы с рассуждением и без него, переключаемые системным промптом. Постобучение включало supervised fine-tuning для математики, кода, рассуждений и tool calling, а также этапы reinforcement learning и оптимизации предпочтений. GGUF-формат и заявленная эффективность позволяют использовать модель локально, в том числе на одной RTX GPU; рекомендуемые аппаратные платформы исходной модели — NVIDIA Hopper и Ampere. Сильными сторонами являются сочетание качества рассуждений, чат-возможностей и вычислительной эффективности, а также поддержка длинного контекста и агентских сценариев. Ограничения включают преимущественную ориентацию на английский язык и языки программирования, зависимость поведения от корректной настройки режима рассуждения и устаревание части знаний: дата среза предобучающих данных Meta Llama 3.1 указана как 2023 год. Использование регулируется NVIDIA Open Model License; дополнительно указано соглашение Meta Llama 3.1 Community License Agreement. Модель заявлена как пригодная для коммерческого использования.

Muse-Glimmer-30B-AWQ-INT4 — квантованная примерно до 4-битной точности версия Muse Glimmer-30B, разработанной Meta Superintelligence Lab и дистиллированной из Muse Spark. Это причинно-следственная языковая модель с отдельным энкодером восприятия, предназначенная для локального запуска на потребительском оборудовании без облачной инфраструктуры и доступа к сети. Модель ориентирована на автономные агентские задачи: многошаговое рассуждение, вызов инструментов, написание и отладку кода, выполнение многоэтапных запросов и восстановление после ошибок инструментов. Архитектура включает плотный causal Transformer примерно на 29,6 млрд параметров и perception encoder примерно на 1,8 млрд параметров. Используются 52 слоя, чередование локального и глобального внимания, GQA, SwiGLU и RoPE; контекст составляет 131 072 токена или более. Модель принимает текст и изображения, а генерирует текст, поддерживая анализ скриншотов, графиков и документов. Заявлена работа более чем со 100 языками; среди явно перечисленных — английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский. Заявленный размер файла — 24,02 ГБ. К сильным сторонам относятся мультимодальность, длительное поддержание планов, точное использование инструментов, совместимость с агентскими оркестраторами и настраиваемая интенсивность рассуждений. К ограничениям относятся необходимость значительных аппаратных ресурсов и возможные потери качества из-за квантования, хотя для близких 4-битных конфигураций заявлено минимальное снижение результатов на агентских задачах. Модель распространяется по лицензии Apache 2.0.

Ocean-Horizon-3.7B — плотная авторегрессионная языковая модель с декодерной архитектурой от OceanLabs. В метаданных указано 4,1 млрд параметров, тогда как в названии и README модель обозначена как 3,7B. Она работает через Transformers и имеет нативное контекстное окно 524 288 токенов. Модель предназначена для генерации текста, программирования, математических и научных рассуждений, агентных сценариев и анализа длинных документов. Карточка заявляет настраиваемую глубину рассуждений, специальные токены для них и встроенный вызов инструментов с представлением JSON, XML или Markdown. В README описан многоэтапный процесс обучения, включающий предобучение, расширение контекста, обучение на задачах рассуждения и настройку по инструкциям. Базовая модель не указана. Лицензия Apache-2.0 разрешает исследовательское и коммерческое использование. Заявления о высокой производительности приведены без численных результатов бенчмарков в доступной части карточки.

qwp4w3hyb/Qwen2-72B-Instruct-iMat-GGUF — это квантованная GGUF-версия инструкционно дообученной языковой модели Qwen2-72B-Instruct, разработанной командой Qwen/Tongyi Qianwen. Модель предназначена для диалогов, генерации и понимания текста, решения задач рассуждения, программирования, математики и работы с многоязычными запросами. Модель основана на архитектуре Transformer с активацией SwiGLU, смещениями в QKV внимания, group query attention и токенизатором, адаптированным к естественным языкам и коду. Размер модели — 72 миллиарда параметров. Указана поддержка контекста до 131 072 токенов с применением YARN для обработки длинных текстов. Модель работает в текстовой модальности; в карточке явно указан английский язык, при этом оригинальная модель заявляет многоязычные возможности. Доступен широкий набор квантований от Q8_0 до IQ1_S, выполненных с использованием importance matrix для снижения потерь точности при квантовании. Сильные стороны модели — большой размер, расширенный контекст, широкий выбор уровней квантования и заявленная конкурентоспособность в понимании и генерации текста, кодировании, математике и рассуждениях. Ограничения включают высокие требования к вычислительным ресурсам для крупных вариантов квантования и возможное снижение точности у более агрессивных вариантов. Для развёртывания длинного контекста рекомендуется vLLM с настройкой YARN. Лицензия указана как other; в качестве лицензионного соглашения приведена Tongyi Qianwen.

Карточка модели textclf/Qwen3.5-397B-A17B-TQ-4bit на Hugging Face совпадает с карточкой Qwen/Qwen3.5-397B-A17B, поэтому описание составлено по ней. Qwen3.5-397B-A17B — мультимодальная модель семейства Qwen от Alibaba, предназначенная для диалогов, рассуждений, работы с изображениями и видео, программирования и использования инструментов. Это постобученная причинная языковая модель с визуальным энкодером, гибридной архитектурой Gated Delta Networks и разреженной Mixture-of-Experts: всего 397 млрд параметров, из которых активируются 17 млрд. В модели 60 слоёв и 512 экспертов; одновременно задействуются 10 маршрутизируемых и один общий эксперт. Модель принимает текст, изображения и видео, а её основными результатами являются текстовые ответы и вызовы инструментов. Она поддерживает 201 язык и диалект. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. По умолчанию включён режим рассуждений; доступны интеграции с Transformers, vLLM, SGLang и KTransformers. Модель подходит для мультимодальных помощников, анализа визуального содержимого, сложных вопросов, программирования и агентных сценариев с вызовом инструментов. Эффективность вывода и пропускная способность зависят от используемого фреймворка и его версии. Веса и конфигурации опубликованы в формате Transformers/Safetensors под лицензией Apache-2.0.

Qwen3.6-27B-Claude-Opus-DeepSeek-Distilled-Imatrix-MTP-1M-GGUF — квантованная модель в формате GGUF на базе Qwen3.6-27B, опубликованная Brian6145. Она предназначена для локального запуска, агентных сценариев, ReAct-рассуждений, использования инструментов, структурированного вывода, многошагового выполнения задач, анализа кода и работы с длинными документами. Модель поддерживает английский и китайский языки и относится к задачам генерации текста. Вариант дообучен методом дистилляции с использованием Claude Opus, DeepSeek и математико-логических моделей: заявлены улучшения систематичности рассуждений, оркестрации инструментов, завершения задач и математической логики. Контекстное окно расширено с 262 144 до 1 048 576 токенов с помощью YaRN, что позволяет обрабатывать книги, большие кодовые базы и длительные диалоги. В репозитории также заявлена поддержка speculative decoding через MTP; конкретный размер квантования для этой карточки не указан. В качестве сильных сторон заявлены агентное поведение, вызов инструментов, следование инструкциям, структурированный вывод и результаты на внутренних тестах, включая GPQA-Diamond — 83,84% и MMLU-500 — 91,80%. Рекомендуемые параметры генерации — temperature 0,6 и top_p 0,95; отклонение от них, согласно README, может ухудшать стабильность и качество вызова инструментов. Производительность зависит от оборудования и конфигурации инференса. Модель распространяется по лицензии Apache-2.0.

palmfuture/Qwen3.6-27B-GPTQ-Int4 — это GPTQ-квантизованная до Int4 версия открытой модели Qwen3.6-27B, разработанной командой Qwen и подготовленной пользователем palmfuture. Модель представляет собой каузальную языковую модель с визуальным энкодером и предназначена для генерации текста и кода, выполнения инструкций, математического рассуждения, анализа изображений, агентского программирования и работы с большими контекстами. Заявлена поддержка английского, тайского, китайского и других многоязычных сценариев. Исходная модель содержит около 27 млрд параметров, 64 слоя и гибридную архитектуру Gated DeltaNet/Mamba и gated attention, дополненную MTP для многотокенного предсказания и ускорения спекулятивного декодирования. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. В данной версии основные линейные слои квантизованы в Int4 с uniform group_size=32, тогда как нормализации, эмбеддинги, языковая голова, визуальный энкодер и MTP-слои сохранены в формате bfloat16. Указана совместимость с Transformers, vLLM и SGLang; MTP-параметры проверены на vLLM 0.21.0. К преимуществам относятся существенное снижение требований к памяти по сравнению с полноразмерной версией, заявленная 100%-ная успешность GPTQ-квантизации без RTN fallback и сохранение поддержки мультимодального ввода. Ограничения включают возможное ухудшение качества из-за 4-битной квантизации, а также необходимость совместимого программного окружения и нескольких GPU для практического запуска; точные требования к инференсу в README не указаны. Лицензия — Apache-2.0.

ddalcu/Qwen3.8-Flash-Next-MLX-Serve-mixed-4-8bit — это квантованный пакет модели Qwen/Qwen3.8-Flash-Next, подготовленный для mlx-serve. Модель основана на экспериментальной архитектуре Qwen4 с разреженным вниманием, Mixture-of-Experts, GDN, n-gram embedding и встроенной MTP-головой. Пакет также содержит vision tower для обработки изображений и видео. Модель предназначена для генерации текста, включая работу с кодом, длинными контекстами, диалогами, изображениями и видео, а также для сценариев с инструментами через XML-формат вызовов Qwen3.8. Заявлен нативный контекст до 262 000 токенов. Разреженное внимание после первых 2048 токенов выбирает наиболее релевантные блоки, благодаря чему стоимость внимания не растёт линейно с длиной контекста. Механизм MTP может ускорять декодирование, особенно на коде, но включается отдельно и не используется для запросов с изображениями. Полный состав оценивается в 180B параметров: 125B основной части, 51B n-gram embedding и 4B MTP-головы. Эксперты MoE хранятся в 4-bit, большинство остальных компонентов — в 8-bit, а отдельные параметры и vision tower — в bf16. Пакет рассчитан на Mac с 128 GB памяти и занимает около 75 GB резидентной памяти без учёта KV-кэша. Ограничения mlx-serve включают обработку только одного запроса одновременно, отсутствие пакетированного декодирования и возможное замедление холодного prefill длинных запросов из-за чтения n-gram-таблицы с SSD. Модель использует лицензию qwen-community-1.0; дополнительные условия следует уточнять в файле LICENSE.

Salience-27B-R6-i1-GGUF — набор GGUF-квантизаций модели Salience-27B-R6, разработанный vectionlabs на базе Qwen3.8. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и вызова инструментов; заявлена поддержка мультимодальных задач с обработкой изображений через отдельный vision encoder mmproj. Основной язык — английский. Это плотная модель примерно на 27 млрд параметров с гибридной архитектурой: 48 из 64 слоёв используют линейное внимание с рекуррентным состоянием, а остальные — обычное внимание. Для запуска рекомендуется llama.cpp; пример конфигурации использует контекст до 32 768 токенов, шаблон чата jinja и reasoning-формат deepseek. Квантизации используют importance matrix и распределение битов по тензорам, что особенно направлено на сохранение качества вызова инструментов и агентского поведения. Доступны варианты от IQ2_XXS и IQ2_M до Q6_K; размер файлов составляет примерно 8,2–21 ГБ. Сильными сторонами являются поддержка рассуждений, кода, инструментов, длинного контекста и изображений, а также возможность запуска на системах с ограниченной памятью благодаря широкому выбору квантизаций. При этом низкие уровни IQ2 и Q2 не рекомендуются: качество заметно снижается, а ошибки могут сильнее накапливаться при увеличении длины контекста. Для обработки изображений требуется отдельный файл vision encoder; без jinja-шаблона возможны некорректные вызовы инструментов. Модель и квантизации распространяются по лицензии Apache-2.0.

SIQ-1-35B — дообученная и дистиллированная модель семейства Qwen, разработанная AlexWortega на базе Qwen/Qwen3.6-35B-A3B. Это текстовая MoE-модель для генерации текста с 35 млрд параметров суммарно и примерно 3 млрд активных параметров на каждом токене. Модель ориентирована на английский язык и поддерживает гибридный режим рассуждений: пошаговое мышление с блоком <think> или прямую генерацию ответа. Модель предназначена для универсальных агентных сценариев, включая автономное ML-исследование, написание и отладку кода, использование инструментов, планирование действий и сложное рассуждение. В README заявлены сильные результаты на GPQA-Diamond, IFEval, агентном кодинге и задачах autoresearch; также отмечается сниженный расход токенов по сравнению с рядом более крупных моделей. Режим reasoning effort позволяет регулировать длину рассуждений, а отключение мышления подходит для быстрых ответов и задач с высокой пропускной способностью. Приведённые результаты зависят от квантизации, формата вычислений, настроек генерации и тестового стенда; часть сравнений выполнена на Q4_K_M GGUF, а результаты autoresearch не сопоставимы с официальными рейтингами из-за ограничений оборудования. Контекстное окно и мультимодальные возможности в README не указаны, поэтому модель следует рассматривать как текстовую. Модель распространяется по лицензии Apache-2.0.

Solar Open 2 — открытая по весам большая языковая модель компании Upstage для агентных сценариев, офисной продуктивности, работы с документами и программирования. В карточке модель обозначена как 250B-A15B: архитектура Hybrid-Attention Mixture-of-Experts содержит около 250 млрд параметров, из которых на каждом токене активируется около 15 млрд. Метаданные указывают архитектуру SolarOpen2ForCausalLM, формат safetensors и поддержку text-generation; модель также описана как чат-модель. Гибридная архитектура чередует слои линейного и softmax-внимания и рассчитана на эффективный инференс при длинном контексте. Заявленная длина контекста — до 1 048 576 токенов. Модель предназначена для многошагового рассуждения, вызова инструментов и выполнения задач; в README указаны английский, корейский и японский языки. Для локального запуска приведены требования к нескольким GPU с большим объёмом памяти, а для продакшен-сервинга рекомендован vLLM. В README не приведены конкретные условия лицензии: метаданные обозначают её как other, поэтому перед использованием следует проверить полный текст лицензии в карточке модели. Производительность и доступность зависят от аппаратной конфигурации, длины контекста и настроек сервинга; заявленные результаты бенчмарков не гарантируют качество на конкретных задачах.

Эта версия DeepSeek-R1 размещена Unsloth и основана на модели deepseek-ai/DeepSeek-R1. Это языковая модель семейства DeepSeek V3 с архитектурой DeepseekV3ForCausalLM; в метаданных указано 37,6 млрд параметров и контекст до 163 840 токенов. Карточка исходной модели описывает обучение с контролируемой настройкой и масштабным обучением с подкреплением, направленным на развитие рассуждений и выравнивание с предпочтениями людей. Модель предназначена для генерации текста в диалоге и решения сложных задач на рассуждение, в том числе по математике, программированию и логике. Среди описанных возможностей — самопроверка, рефлексия и построение длинных цепочек рассуждений. Метаданные отмечают поддержку чата и интерфейса вызова инструментов; основной указанный язык — английский. Репозиторий содержит веса safetensors; README также упоминает отдельные варианты DeepSeek-R1 в GGUF и форматах с 4-битной квантизацией. Лицензия — MIT. Размер этой версии и длина контекста по метаданным отличаются от таблицы в README исходной модели, поэтому здесь приведены значения метаданных Hugging Face для данного репозитория.

DeepSeek-V2.5-GGUF — квантованная в формате GGUF версия модели DeepSeek-V2.5, разработанной командой DeepSeek-AI. Квантование подготовлено bartowski на основе llama.cpp b3658 и предназначено для локального запуска, в том числе через LM Studio. Модель объединяет возможности инструкционной и кодовой версий DeepSeek и ориентирована на диалоговые сценарии, генерацию текста, программирование и широкий круг универсальных задач. Заявлена поддержка контекстного окна до 163 840 токенов. Используется архитектура MoE: по описанию, модель сочетает вычислительные возможности уровня 200B параметров со скоростью модели уровня 21B, однако точные размеры и характеристики квантования в README не указаны. К сильным сторонам относятся большой контекст, развитые чатовые и кодовые возможности, а также удобство локального использования в формате GGUF. Ограничения включают возможные неточности, вредный или неподходящий контент, а также зависимость качества и производительности от конкретной квантовки и оборудования. Языки и поддержка мультимодальных входов не указаны. Модель распространяется по лицензии DeepSeek; подробные условия приведены по ссылке, указанной в README.

coder3101/gemma-4-26B-A4B-it-qat-q4_0-unquantized-heretic — производная мультимодальная модель Gemma 4, созданная coder3101 на основе google/gemma-4-26B-A4B-it-qat-q4_0-unquantized. Это диалоговая модель с архитектурой Gemma4ForConditionalGeneration и поддержкой анализа изображений; она принимает текст и изображения и выдаёт текст. Базовое семейство Gemma 4 разработано Google DeepMind. Модель предназначена для диалогов, рассуждений, программирования и понимания изображений. Возможные сценарии включают ответы на вопросы по изображениям, извлечение данных из документов, распознавание текста и объектов на изображениях, анализ диаграмм и интерфейсов, генерацию и исправление кода, составление резюме и работу с инструментами. В карточке базового семейства заявлена поддержка более 35 языков и контекст до 256 тысяч токенов для варианта 26B A4B; аудиовозможности указаны только для других размеров Gemma 4, а README описывает видео для семейства в целом, поэтому эти возможности не приписываются данной модели. Модель помечена как uncensored/decensored/abliterated, что указывает на изменение поведения относительно базовой модели, но подробности обучения и конкретные эффекты не раскрыты. Возможны фактические ошибки, смещения и трудности с нюансами языка; ответы следует проверять, особенно в сложных или критичных задачах. Лицензия — Apache-2.0.

QuantTrio/gemma-4-31B-it-AWQ — это квантизированная версия инструкционно дообученной мультимодальной модели google/gemma-4-31B-it, разработанной Google DeepMind. Репозиторий QuantTrio содержит AWQ-квантизацию, выполненную методом data-free quantization без калибровочного датасета. Модель принимает текст и изображения и генерирует текст, поэтому предназначена для диалогов, анализа изображений, генерации текста, программирования, рассуждений и агентских сценариев с вызовом инструментов. Базовая модель относится к плотной архитектуре Gemma 4 и содержит около 30,7 млрд параметров, 60 слоёв и словарь размером 262 тысячи токенов. Она использует гибридный механизм внимания с чередованием локального sliding-window attention и глобального внимания; размер локального окна составляет 1024 токена. Заявленное контекстное окно — до 256 тысяч токенов. Для мультимодальной обработки используется визуальный энкодер примерно на 550 млн параметров; аудио для версии 31B не заявлено. Семейство Gemma 4 поддерживает более 140 языков, однако отдельные характеристики языкового покрытия именно этой сборки в README не уточняются. К сильным сторонам относятся большой контекст, поддержка изображений, возможности рассуждения, кодирования, native function calling и оптимизация для эффективного серверного развёртывания через vLLM. AWQ-квантизация уменьшает размер модели: указанный размер файлов составляет около 20 GiB, что может снизить требования к видеопамяти по сравнению с полной точностью. Ограничениями являются возможная потеря качества из-за квантизации, необходимость совместимых версий vLLM и Transformers, CUDA 12.8 и конфигурации с tensor parallelism; фактические требования зависят от выбранных параметров запуска и оборудования. Модель распространяется по лицензии Apache 2.0 с дополнительными условиями лицензии Gemma 4, ссылка на которую указана в README.

coder3101/gemma-4-31B-it-heretic — дообученная версия Gemma 4 31B IT, основанная на google/gemma-4-31B-it. Модель создана сообществом coder3101; по меткам heretic, uncensored, decensored и abliterated она позиционируется как версия с ослабленными ограничениями на ответы. Архитектура — плотная мультимодальная Gemma4ForConditionalGeneration; репозиторий содержит веса Safetensors и предназначен для работы через Transformers. Модель принимает текст и изображения и генерирует текст. Подходит для диалогов, ответов на вопросы по изображениям и документам, распознавания текста на изображениях, анализа диаграмм, написания и исправления кода, суммаризации и задач с длинным контекстом. В README семейства заявлена поддержка более 35 языков и контекст до 256K токенов для версии 31B; аудиообработка описана только для меньших вариантов Gemma 4, поэтому к этой модели её не относим. Гибридное чередование локального и глобального внимания рассчитано на эффективную обработку длинных последовательностей. Модель может ошибаться в фактах, упускать языковые нюансы и отражать смещения обучающих данных; ослабленные ограничения могут повышать риск нежелательных ответов. Лицензия — Apache-2.0.

Карточка модели OsGo/gemma-4-E2B-it-qat-q4_0-unquantized на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

Llama-3.3-Nemotron-Super-49B-v1 — языковая модель NVIDIA, созданная на основе Meta Llama-3.3-70B-Instruct и оптимизированная методом Neural Architecture Search. Это плотный decoder-only Transformer с нестандартными блоками: в части блоков пропущено внимание или оно заменено линейным слоем, а соотношение размеров слоёв FFN различается. В метаданных указано 87 млрд параметров; модель принимает текстовый контекст до 131 072 токенов и выдаёт текст. Модель предназначена для рассуждений, диалогов и следования инструкциям, включая задачи с кодом и математикой, работу с RAG и вызов инструментов в агентных системах. Она прошла многоэтапное дообучение с SFT и обучением с подкреплением; итоговый чекпойнт объединяет SFT- и RPO-чекпойнты. Оптимизация архитектуры нацелена на снижение потребления памяти и повышение пропускной способности при небольшом снижении качества; модель рассчитана, в частности, на высокую нагрузку на одном GPU NVIDIA H200. Основной язык — английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского. Модель предназначена для коммерческого использования, однако в метаданных лицензия обозначена как other, поэтому перед внедрением следует проверить условия лицензии на странице модели. Конкретные показатели качества и ограничения по задачам в предоставленной карточке не приведены.

Meta-Llama-3.1-405B-Instruct-FP8-dynamic — квантизированная версия Meta-Llama-3.1-405B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая instruction-tuned модель архитектуры Meta-Llama 3.1 с входом и выходом в виде текста, предназначенная прежде всего для ассистентских диалогов, генерации текста, решения задач с открытым ответом, математического рассуждения и программирования. Модель ориентирована на коммерческое и исследовательское использование. Весы и активации линейных слоёв трансформера квантизированы в FP8. Для весов применяется симметричная поканальная квантизация, а активации квантизуются динамически на уровне токенов. Это примерно вдвое уменьшает размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением; заявлено, что модель может запускаться на одном узле с 8 GPU H100 вместо нескольких узлов. Для инференса она подготовлена для vLLM и поддерживает совместимый с OpenAI режим сервинга. В README указаны языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, однако в ограничениях отдельно сказано, что использование на языках, отличных от английского, находится вне заявленной области применения. В качестве ограничения также следует учитывать необходимость мощной GPU-инфраструктуры и возможные потери качества, связанные с квантизацией, хотя на приведённых бенчмарках модель продемонстрировала близкие к исходной модели результаты. Лицензия — llama3.1; дата выпуска — 22 августа 2024 года, версия 1.1.

Meta-Llama-3-70B-Instruct-iMat-GGUF — квантизированная GGUF-версия 70-миллиардной инструкционно настроенной языковой модели Meta Llama 3, разработанной Meta. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также коммерческих и исследовательских сценариев на английском языке. Инструкционная настройка выполнена с применением supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности. Модель принимает только текст и генерирует текст или код. Она построена на авторегрессионной оптимизированной архитектуре Transformer с Grouped-Query Attention, имеет контекст длиной 8k токенов и обучалась на более чем 15 триллионах токенов общедоступных онлайн-данных; дата отсечения знаний — декабрь 2023 года. Данная сборка квантизирована с использованием importance matrix, включает варианты K и IQ, а также исправленный токен завершения для инструкционного режима. Для корректной работы требуется совместимый рантайм, например llama.cpp, актуальный chat template llama3 и правильная загрузка всех частей файлов, если модель разделена. Сильные стороны модели — большой размер, диалоговая специализация, поддержка генерации кода и улучшенная точность квантизации за счёт importance matrix. Ограничения включают английскую ориентацию, текстовую модальность, контекст 8k токенов, статичность обучающего набора и зависимость результатов от выбранного кванта и совместимости токенизатора. Указана кастомная коммерческая лицензия Llama 3; её условия определяются Llama 3 Community License и Acceptable Use Policy.

MiMo-V2.6-Pro-RL — флагманская модель серии MiMo-V2.6 от Xiaomi, обученная с помощью масштабного обучения с подкреплением и последующей дистилляции на основе траекторий учителей и самой модели. Это разреженная MoE-модель с 1,02 трлн параметров, из которых активируются 42 млрд; в метаданных репозитория указано 27,7 млрд параметров. Модель принимает текст, изображения, видео и аудио, а контекстное окно составляет до 1 млн токенов. Модель предназначена для генерации текста в диалоге, агентных сценариев с вызовом инструментов, программирования и анализа мультимодальных данных. В обучении смешивались задачи кодирования, работы агентов, визуальные задачи и кибербезопасность; групповая оценка траекторий направляет модель к более качественным решениям. Архитектура включает MiMo ViT для изображений, аудиокодировщик и пятислойный спекулятивный декодер. Карточка приводит результаты на отдельных бенчмарках, но не гарантирует качество для конкретных задач. Для работы с длинным контекстом и мультимодальными входами требуются ресурсы для крупной модели; опубликованный репозиторий содержит веса в формате safetensors FP8. Лицензия — MIT.

Next 32B — плотная языковая модель с архитектурой Qwen3 для генерации текста, диалога и выполнения инструкций. В карточке она представлена как разработка Lamapi; модель содержит 29,7 млрд параметров, использует формат safetensors и имеет контекстное окно 40 960 токенов. Модель предназначена для многошаговых рассуждений, анализа сложных запросов и стратегического планирования. Среди заявленных сценариев — генерация кода, работа с длинными документами, исследовательские задачи и агентные системы. README особо выделяет турецкий и английский языки; в метаданных карточки также перечислены немецкий, испанский, французский, русский, китайский, японский и корейский. Модель принимает текст и генерирует текст. README заявляет высокие результаты в рассуждениях и пригодность для корпоративных сценариев, однако не приводит проверяемых результатов бенчмарков; эти заявления следует считать заявлениями разработчика. Для запуска крупной модели потребуется существенная память GPU: в README приведены рекомендации от 24 ГБ для 4-битной квантизации и от 48 ГБ для 8-битной или FP16. Лицензия — MIT.

NVIDIA-Nemotron-3-Ultra-550B-A55B-FP8-block — большая языковая модель для генерации текста, рассуждений, решения сложных задач, математики и науки, генерации кода, следования инструкциям и вызова инструментов. Модель разработана Red Hat на основе NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16; в карточке также указан NVIDIA как провайдер. Входом и выходом служит текст, поддерживаются сценарии text-to-text, text-generation, reasoning и tool-calling. Архитектура модели обозначена как NemotronHForCausalLM. Она содержит 550 млрд общих параметров, из которых активно используется 55 млрд. Весовые коэффициенты и активации линейных операторов внутри transformer-блоков квантизированы в FP8: для весов применяется per-block quantization, для активаций — динамическая per-token quantization. Это уменьшает размер модели на диске и требования к памяти GPU примерно на 50% по сравнению с исходным форматом BF16. Заявлена поддержка контекста до 262 144 токенов при развертывании с vLLM. Языки модели в README не указаны. К сильным сторонам относятся сочетание большого общего числа параметров с меньшим числом активных параметров, поддержка сложных рассуждений, программирования и вызова инструментов, а также сниженные требования к хранению и памяти благодаря FP8-квантизации. Для работы рекомендуются vLLM и llm-compressor; карточка валидирована на RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0. Ограничения включают значительные аппаратные требования даже после квантизации, зависимость корректной работы tool-calling и reasoning от специальных парсеров, а также отсутствие в README подробных результатов бенчмарков и информации о поддерживаемых языках. Модель распространяется по лицензии NVIDIA Open Model License; использование, нарушающее применимое законодательство и нормы экспортного контроля, исключено.

unsloth/Qwen2.5-14B-bnb-4bit — 4-битная версия базовой языковой модели Qwen2.5-14B, подготовленная Unsloth на основе Qwen/Qwen2.5-14B, разработанной командой Qwen. Модель предназначена для задач генерации и продолжения текста, а также для последующего дообучения, включая SFT, RLHF и continued pretraining. Для диалоговых сценариев базовую модель использовать не рекомендуется без дополнительного постобучения. Это авторегрессионная текстовая модель с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Она содержит 14,7 млрд параметров, из которых 13,1 млрд не относятся к эмбеддингам, включает 48 слоёв и использует GQA с 40 головами для Q и 8 для KV. Контекстное окно составляет 131 072 токена. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Модель ориентирована только на работу с текстом; сведения о других модальностях отсутствуют. К сильным сторонам относятся улучшенные по сравнению с Qwen2 возможности в программировании и математике, следование инструкциям, обработка структурированных данных и генерация структурированных ответов, включая JSON, а также поддержка длинного контекста. 4-битное представление снижает требования к памяти и удобно для локального запуска и дообучения, однако может приводить к потере точности по сравнению с полной версией. Модель распространяется по лицензии Apache-2.0.

Карточка модели inference-optimization/Qwen3-30B-A3B-Thinking-2507-REAP-25-nonuniform на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B-Thinking-2507, поэтому описание составлено по ней. Qwen3-30B-A3B-Thinking-2507 — причинная языковая модель семейства Qwen3 от команды Qwen. Это модель типа Mixture of Experts с 30,5 млрд параметров, из которых при генерации активируются около 3,3 млрд; в архитектуре 128 экспертов, одновременно используются 8. Она предназначена для диалогов и сложных задач рассуждения, включая математику, науку, программирование, следование инструкциям и работу с инструментами. Модель поддерживает только режим рассуждения и имеет нативное контекстное окно 262 144 токена. В README отмечены улучшения в глубине рассуждений, общих возможностях и обработке длинного контекста. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют. Модель распространяется под лицензией Apache-2.0. Длинные рассуждения могут приводить к большому объёму вывода, а для высоких нагрузок на контекст требуются значительные вычислительные ресурсы; README рекомендует актуальную версию Transformers и описывает запуск через vLLM или SGLang.

RedHatAI/Qwen3.5-397B-A17B-FP8-dynamic — мультимодальная причинная языковая модель архитектуры Qwen3_5MoeForCausalLM, разработанная RedHatAI на основе Qwen/Qwen3.5-397B-A17B от Alibaba Cloud. Модель принимает текст и изображения, а генерирует текст. Она предназначена для рассуждений, работы с визуально-языковыми запросами, вызова инструментов и решения широкого круга задач обработки текста и кода. Модель содержит 397 млрд параметров и использует FP8-квантизацию весов и активаций. Квантизируются линейные операторы в трансформерных блоках, тогда как визуальный энкодер, механизм линейного внимания Gated DeltaNet, маршрутизаторы MoE, общие эксперты и эмбеддинги сохраняются в исходной точности. Это уменьшает размер на диске и потребление GPU-памяти примерно на 50% по сравнению с 16-битной версией. Поддерживаются текстовый режим, мультимодальная обработка изображений, вызов инструментов и multi-token prediction для speculative decoding. Модель оптимизирована для инференса с vLLM и валидирована с vLLM 0.18.0, RHOAI 3.4 и RHAIIS 3.4. FP8-квантизация снижает требования к ресурсам, однако модель остаётся очень крупной и требует мног GPU-инфраструктуры; в README приведена конфигурация с tensor parallelism на 4 устройствах. Данные о поддерживаемых языках, размере контекста и численных результатах бенчмарков в представленном описании отсутствуют. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-99B — текстовая версия модели Qwen3.5-122B-A10B, подготовленная 0xSero методом REAP (Routing-Enhanced Activation Pruning). Из модели с архитектурой MoE удалено 20% наименее активных экспертов; итоговый чекпойнт содержит 99 млрд параметров и распространяется в формате BF16. В метаданных указаны Transformers и возможность диалогового взаимодействия. Модель предназначена для генерации текста и диалогов, включая программирование, ответы на вопросы и рассуждения. README приводит результаты бенчмарков для генерации кода и общих задач на знания и рассуждения; согласно карточке, после удаления экспертов сохранено в среднем 97,9% измеренных возможностей. Это текстовый чекпойнт: для запуска в vLLM README рекомендует флаг --language-model-only и задаёт контекст до 8192 токенов в примере команды. Базовая модель Qwen3.5-122B-A10B мультимодальна, но данная версия не предназначена для обработки изображений. Модель опубликована под лицензией other; конкретные условия использования следует проверять в сведениях о лицензии репозитория. Для обслуживания требуется значительный объём вычислительных ресурсов; README приводит конфигурацию vLLM с четырьмя GPU и экспертным параллелизмом. Бенчмарки в карточке не гарантируют аналогичных результатов на произвольных задачах.

Qwen3.5-9B — мультимодальная модель Qwen, разработанная командой Qwen и представленная в формате Hugging Face Transformers. Это дообученная версия Qwen/Qwen3.5-9B-Base: причинная языковая модель с визуальным энкодером, 9 млрд параметров и гибридной архитектурой с Gated Delta Networks и разреженными Mixture-of-Experts. Модель принимает текст и изображения и генерирует текст; поддерживает чат и вызов инструментов. Модель предназначена для диалога, рассуждений, программирования, визуального понимания и агентных сценариев с использованием инструментов. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000; в режиме по умолчанию перед ответом генерируется содержимое рассуждений. В карточке заявлена поддержка 201 языка и диалекта, но список языков в предоставленных данных опущен. В README заявлены высокая эффективность гибридной архитектуры и улучшенные результаты на задачах рассуждения, кода и визуального понимания; независимых оценок в предоставленном тексте недостаточно для проверки этих утверждений. Для длинного контекста могут потребоваться значительные ресурсы, а совместимость и пропускная способность зависят от версии и конфигурации сервера. Лицензия — Apache-2.0.

Qwen3.5-9B-Opus-OpenClaw-Distilled-GGUF — дообученная модель, разработанная ykarout на базе Qwen3.5-9B и производных CoPaw-Flash-9B. Она объединяет агентные возможности OpenClaw и CoPaw с дистиллированным стилем структурированного рассуждения, вдохновлённым Claude Opus. Обучение выполнялось с использованием Unsloth и TRL методом LoRA SFT на унифицированных наборах рассуждений, включая Opus-4.6 reasoning datasets. Модель предназначена для аналитических вопросов и ответов, помощи в программировании, планирования рабочих процессов, многошаговой декомпозиции задач, логически сложных диалогов и сценариев, связанных с инструментами, терминалом и агентными средами. Она ориентирована на стиль «сначала рассуждение, затем ответ» и сохраняет формат с блоком <think> перед итоговым ответом. Модель относится к семейству Qwen3.5, имеет размер около 9 миллиардов параметров и поставляется в формате GGUF для локального запуска. Для LM Studio и llama.cpp заявлена поддержка текста и изображений, а специальная vision-merged версия предназначена для использования с Ollama. Заявленные языки включают английский, арабский, испанский, латынь, турецкий, немецкий, чешский и китайский. К сильным сторонам относятся агентное поведение, планирование, инструментальная направленность, структурированное рассуждение и совместимость с локальными средами развёртывания. Ограничения заключаются в том, что точные характеристики контекстного окна и полный состав мультимодальных возможностей в README не указаны; кроме того, описанная процедура обучения была text-only, поэтому качество работы с изображениями может зависеть от конкретного GGUF-файла и среды запуска. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR опубликовал GGUF-квантизацию MXFP4 MoE мультимодальной модели Qwen3.6-35B-A3B-Fast. В ней 35 млрд параметров, из которых на каждом токене активны около 3 млрд; архитектура сочетает 40-слойный декодер с Gated DeltaNet и полным attention, а для изображений и видео использует 27-слойный энкодер на основе SigLIP. Модель поддерживает чат, анализ изображений и видео, вызов инструментов и сценарии агентного программирования. Заявленное родное окно контекста — 262 тыс. токенов, с расширением свыше 1 млн через YaRN. Эксперты хранятся в 4-битном формате MXFP4, а attention, эмбеддинги и нормализации — в Q8_0; файл визуального энкодера доступен в F16. Репозиторий рассчитан на запуск через llama.cpp: README указывает минимум 24 ГБ видеопамяти для частичной выгрузки и рекомендует 32 ГБ и более для полной выгрузки на GPU. Карточка указывает Apache-2.0. Описание скорости и результатов бенчмарков приведено автором карточки; оно не гарантирует такую же производительность на любом оборудовании.