II.3Рефакторинг, миграция и модернизация

Mistral-Nemo-Instruct-2407-GGUF — это набор квантованных версий инструкционной языковой модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы и локальный запуск через llama.cpp или совместимые приложения, например LM Studio. В репозитории представлены варианты с точностью от F16 до различных форматов Q8, Q6, Q5, Q4 и Q3, с размером файлов примерно от 5,7 до 24,5 ГБ. Квантование выполнено с использованием imatrix и llama.cpp; для общения рекомендуется шаблон prompt <s>[INST]{prompt}[/INST>. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Данные о числе параметров, архитектуре исходной модели, размере контекста и мультимодальности в README не указаны; по описанию это текстовая модель без заявленной поддержки изображений или других модальностей. Сильная сторона набора — широкий выбор квантований для баланса качества, объёма файлов и требований к оперативной памяти: варианты Q5 и Q6 отмечены как высококачественные, а Q3 подходят для систем с ограниченной памятью. Некоторые варианты оптимизированы для ARM-процессоров и требуют соответствующих инструкций; они не рекомендуются для Mac или Windows. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнила команда LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и использования в инструкционно-ориентированных сценариях, включая локальные приложения и диалоговые системы, совместимые с MLX и LM Studio. В исходных данных указано, что базовая модель имеет обозначение 30B-A3B, однако дополнительные сведения об архитектуре, поддерживаемых языках, размере контекста, модальностях и производительности отсутствуют. Ключевое преимущество этой версии — уменьшенный размер представления благодаря 4-битному квантованию и оптимизация для Apple Silicon, что делает её подходящей для локального инференса при ограниченных ресурсах. При этом квантование может снижать точность по сравнению с исходной моделью, а фактические требования к памяти и качество зависят от конкретного устройства и сценария. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-0.8B-Claude-Opus-Distill-Heretic-UNCENSORED — компактная текстовая модель Ghost (ghost-actual), созданная дообучением Qwen/Qwen3.5-0.8B с дистилляцией рассуждений Claude Opus и последующим снижением частоты отказов методом abliteration с помощью Heretic. Она предназначена для диалогов, генерации структурированных ответов и кода, а также для работы на устройствах с ограниченными ресурсами. В метаданных указаны 581,4 млн параметров, архитектура Qwen3.5 для причинной генерации текста, поддержка чата и контекст до 262 144 токенов; README также заявляет нативную поддержку изображений и анализа видео, однако метаданные относят модель к текстовой генерации. Карточка приводит результаты тестов отказов 2 из 100 и KL-дивергенцию 0,0100, а также заявляет производительность на OCRBench 74,5. Эти показатели приведены автором модели и не являются независимой оценкой. Формат репозитория — safetensors; автор заявляет возможность запуска в BF16 примерно на 1,5 ГБ памяти и приводит настройки генерации. Лицензия в предоставленных данных не указана. Снижение числа отказов означает, что модель может отвечать на запросы, которые модели с более строгими ограничениями отклонили бы; ответы следует проверять, особенно при использовании в чувствительных сценариях.

btbtyler09/Qwen3.6-27B-GPTQ-8bit — это 8-битная GPTQ-квантизованная версия модели Qwen/Qwen3.6-27B, разработанной командой Qwen. Модель представляет собой плотную мультимодальную систему примерно с 27 млрд параметров, предназначенную для генерации и понимания текста, работы с изображениями и ускоренного вывода с использованием MTP (Multi-Token Prediction). Контрольная точка опубликована с лицензией Apache-2.0. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания, чередующихся в соотношении 3:1. Размер скрытого представления составляет 5120, размер промежуточного слоя — 17408, максимальная длина контекста — 262 144 токена. В состав входят полноразмерный 27-блочный ViT-энкодер для обработки изображений и MTP-модуль для speculative decoding. Языки и специализированные языковые возможности отдельно не указаны. Линейные модули текстового декодера квантизованы в INT8 с помощью GPTQ, тогда как vision-энкодер, MTP, эмбеддинги, нормы и выходная голова сохранены в BF16 или FP16. Размер модели составляет около 32 ГБ вместо примерно 50 ГБ в BF16. По заявленным измерениям, ухудшение perplexity на wikitext-2-raw-v1 составляет всего 0,07%, что указывает на близкое к исходному качество. Модель подходит для мультимодального сервинга и длинного контекста, однако для запуска рекомендуется vLLM; прямое использование через GPTQModel и transformers на момент публикации не поддерживается, а для некоторых версий vLLM может потребоваться исправление ошибки разбора конфигурации.

Карточка модели darkneighbor667/Qwen3.6-34B-80L-Fable-5-Heretic на Hugging Face совпадает с карточкой hiebo/Qwen3.6-34B-80L-Fable-5-Heretic, поэтому описание составлено по ней. Qwen3.6-34B-80L-Fable-5-Heretic — мультимодальная модель семейства Qwen от hiebo, дообученная на основе Qwen/Qwen3.6-27B. По карточке, модель расширена с 64 до 80 слоёв и примерно 34 млрд параметров, обучена методом дистилляции на 4 665 агентных трассах Fable-5 с применением QLoRA, а затем объединена с головами MTP для спекулятивного декодирования. Архитектура — Qwen3_5ForConditionalGeneration; заявлены чередование линейного и полного внимания, чат и работа с изображениями. Модель предназначена для диалоговых сценариев с рассуждениями и использованием инструментов, а также для задач, где нужно совместно обрабатывать текст и изображения. В README указаны запуск через Transformers и vLLM и максимальная длина контекста 256K; конфигурация запуска по умолчанию задаёт 4096 токенов. Карточка заявляет ускорение генерации с MTP, но приводит показатель принятия токенов и ускорение только для vLLM. Модель опубликована в формате safetensors; README описывает BF16-веса. Лицензия в предоставленных данных не указана.

FreedomAISVR/Qwen3.6-35B-A3B-MXFP4-MOE-NoMTP-GGUF — квантизированная сборка базовой модели Qwen3.6-35B-A3B от команды Alibaba Qwen. Это модель Mixture-of-Experts с 35 млрд параметров и примерно 3 млрд активных параметров на токен; сборка в формате GGUF удаляет головы Multi-Token Prediction и использует MXFP4 для экспертных весов и Q8_0 для остальных тензоров. Размер файла — около 19,8 ГБ. Модель предназначена для генерации текста и диалогов, включая сценарии с длинным контекстом, использованием инструментов и многоязычными запросами. В README заявлены контекст до 131 тыс. токенов и поддержка более 100 языков; метаданные перечисляют 19 языков, в том числе русский, английский и китайский. В проверенной конфигурации с llama.cpp указаны RTX 5060 Ti с 16 ГБ VRAM и флаг --cpu-moe, который размещает экспертные веса в системной памяти. Квантизация снижает требования к видеопамяти, сохраняя более высокую точность для постоянно используемых неэкспертных тензоров. Для работы нужны llama.cpp с поддержкой CUDA и совместимое оборудование; производительность зависит от аппаратной конфигурации. Базовая модель распространяется по лицензии Apache 2.0; отдельная лицензия производной сборки в предоставленных данных не указана.

btbtyler09/Qwen3.8-27B-GPTQ-4bit — это квантизированный вариант Qwen/Qwen3.8-27B, разработанный сообществом Qwen и подготовленный пользователем btbtyler09. Модель представляет собой плотную мультимодальную модель примерно на 27 млрд параметров с поддержкой текста и изображений, предназначенную для генерации и понимания текста, анализа изображений, обслуживания через vLLM и ускоренного декодирования с помощью модуля MTP. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания, скрытое представление размером 5120 и промежуточный размер 17408. Максимальная длина контекста составляет 262 144 токена. В состав входят 27-блочный визуальный ViT-энкодер и однослойная голова Multi-Token Prediction. Текстовый декодер квантизирован в INT4 методом GPTQ с компенсацией ошибок FOEM и размером группы 32, а визуальный энкодер, MTP, эмбеддинги, нормы и LM head сохранены в BF16 или FP16. Итоговый размер — около 21 ГБ вместо примерно 56 ГБ у исходной BF16-модели. Основное преимущество — существенно меньшие требования к памяти при сохранении близкого к исходной модели качества: на wikitext-2-raw-v1 ухудшение perplexity составляет 0,81%. Модель поддерживает мультимодальные запросы и совместима с ядрами GPTQ в vLLM, однако для полноценного запуска требуется значительный объём видеопамяти и подходящая конфигурация GPU. Квантизация может снижать качество на отдельных задачах, а в некоторых версиях vLLM возможна ошибка разбора конфигурации, требующая исправления. Лицензия — Apache 2.0; поддерживаемые языки README не указывает.

Qwen3.8-27B-Omnimerge-v6-MTP-GGUF — квантизированная GGUF-версия модели, опубликованная автором ManniX-ITA. Она создана на основе ManniX-ITA/Qwen3.8-27B-Omnimerge-v6, представляющей собой объединение методом task arithmetic трёх дообученных моделей Qwen3.6 на базе Qwen3.8-27B. В метаданных указана архитектура Qwen3.5, размер модели — около 27,78 млрд параметров, основной заявленный язык — английский. Модель предназначена для текстовой генерации, рассуждений и мультимодальных сценариев с обработкой изображений. В комплекте сохранена MTP-голова для self-speculative decoding, а также опубликован F16 vision projector; это позволяет использовать модель с изображениями через llama.cpp. Доступны 19 вариантов квантизации от F16 и Q8_0 до Q2_K и IQ2_S, что даёт возможность выбирать между качеством, скоростью и требованиями к памяти. Для MTP требуется сборка llama.cpp с поддержкой соответствующего механизма; в приведённых измерениях вариант Q4_K_M достигал примерно двукратного ускорения генерации при настройке с тремя черновыми токенами. Сильными сторонами являются широкий выбор квантизаций, поддержка изображений, reasoning-возможности, воспроизводимые imatrix-варианты и сохранённая MTP-голова. Ограничения включают зависимость расширенных возможностей от совместимого llama.cpp, значительные требования к памяти для крупных вариантов, а также то, что MTP может приводить к отличиям вывода от обычной генерации при близких значениях вероятностей; эквивалентность качества в README не измерялась. Для длительных рассуждений рекомендуется выделять достаточный reasoning budget. Модель распространяется по лицензии Apache-2.0.

Ma7ee7/Qwen3.8_4B_Distilled_GGUF — набор квантованных версий модели Ma7ee7/Qwen3.8_4B_Distilled, созданной независимым разработчиком на основе Qwen3-4B-Thinking-2507. Модель обучена методом sequence-level knowledge distillation на ответах и рассуждениях, сгенерированных моделью qwen3.8-max-preview, и не является официальным релизом Qwen или Alibaba. Распространяется в формате GGUF для запуска через llama.cpp, LM Studio, Ollama, Jan и другие совместимые приложения. Это decoder-only causal language model архитектуры Qwen3 примерно с 4 миллиардами параметров. Она предназначена для генерации текста, диалогов и задач, требующих рассуждений; режим thinking включён. Основным языком указан английский. В README приведены параметры контекста до 32 768 токенов, однако заявленные возможности могут зависеть от используемого приложения и квантования. Доступны варианты Q4_K_M, Q5_K_M и Q8_0: Q4_K_M рекомендуется как баланс качества, скорости и потребления памяти, Q5_K_M обеспечивает более высокую точность, а Q8_0 — наибольшую точность при максимальных требованиях к памяти. Модель компактнее исходной учительской системы и удобна для локального запуска, но не должна рассматриваться как эквивалент qwen3.8-max-preview: её возможности ограничены размером студенческой модели и потерями от квантования. В карточке указана лицензия Apache-2.0.

nvidia/Qwen3-8B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3-8B, разработанной Alibaba и подготовленной с использованием NVIDIA TensorRT Model Optimizer. Модель предназначена для генерации текста и может применяться в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Модель построена на архитектуре Transformers и содержит около 8,2 млрд параметров. Она работает с текстовыми входами и генерирует текстовые последовательности, поддерживает контекст длиной до 131K токенов. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат FP4, что ориентировано на эффективный инференс. Поддерживается TensorRT-LLM; модель оптимизирована для систем с GPU NVIDIA, включая микроархитектуру Blackwell, и предпочтительно используется в Linux. Сильной стороной модели является готовая предварительная квантизация для развертывания и потенциально более эффективный инференс на совместимом оборудовании по сравнению с CPU-сценариями. Ограничения включают зависимость от экосистемы NVIDIA и TensorRT-LLM, а также отсутствие в README подробных сведений о языках, результатах оценки качества и характеристиках исходного обучения. Для калибровки использовался датасет cnn_dailymail; наборы данных обучения и тестирования не раскрыты. Модель распространяется по лицензии Apache 2.0 и заявлена как пригодная для коммерческого и некоммерческого использования.

Hagwell/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen; репозиторий Hagwell распространяет модель в формате, предназначенном для локального запуска. Модель основана на архитектуре, которая заявлена как фундамент для будущего Qwen4, и поддерживает обработку текста и изображений благодаря языковой модели с vision encoder. Модель предназначена для генерации и понимания текста, работы с изображениями, задач с длинным контекстом и агентных сценариев. Она имеет 125 млрд параметров, из которых активируется около 6 млрд, а также включает 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Архитектура содержит 48 слоёв, комбинацию Gated DeltaNet и Qwen Sparse Attention, MoE с 512 экспертами, из которых маршрутизируются 10 экспертов и один общий, а также механизмы Gated Residual и n-gram embedding. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 000 000 токенов. К сильным сторонам относятся высокая эффективность активации параметров, поддержка длинного контекста, оптимизация sparse attention на уровне блоков и возможность локального запуска через llama.cpp или Unsloth Desktop. Ограничения включают экспериментальный статус архитектуры, высокие требования к памяти для полной модели, а также отсутствие в предоставленных данных сведений о поддерживаемых языках, подробных результатах тестирования и качестве на конкретных прикладных задачах. Модель распространяется по лицензии qwen-community-1.0; для использования следует ознакомиться с файлом LICENSE.

SZYBKIMARCIN955/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной модели Qwen3.8-Flash-Next, разработанной командой Qwen. Модель представляет собой авторегрессионную языковую модель с vision encoder, предназначенную для текстовых и визуально-текстовых задач, включая работу с длинным контекстом и агентские сценарии. Это открытая предварительная версия архитектуры, которая должна стать основой Qwen4. Архитектура сочетает Gated DeltaNet и Qwen Sparse Attention на уровне микроблоков, Mixture of Experts, Gated Residual и n-граммные embeddings. Всего заявлено 125B параметров, из которых 6B активируются при обработке, дополнительно используются 51B параметров n-граммных embeddings и 4B для multi-token prediction. Модель содержит 48 слоёв, 512 экспертов, активирует 10 маршрутизируемых и 1 общий эксперт, поддерживает контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Языки в README не указаны. Ключевые преимущества модели — высокая эффективность при длинном контексте, сниженная задержка благодаря разреженному вниманию и относительно небольшое число активируемых параметров при большом общем размере. Ограничения связаны с экспериментальным статусом архитектуры, высокими требованиями к памяти и вычислительным ресурсам, а также отсутствием в предоставленных данных подробных результатов тестирования и описания поддерживаемых языков. Для запуска рекомендуется llama.cpp или Unsloth Desktop. Модель распространяется по лицензии qwen-community-1.0; формат GGUF предназначен для локального инференса совместимыми инструментами.

taurusduan/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной модели Qwen3.8-Flash-Next, разработанной командой Qwen; репозиторий также содержит материалы Unsloth для запуска и квантования. Модель предназначена для генерации текста, задач с длинным контекстом и мультимодальных сценариев, включая обработку изображений, и может использоваться через llama.cpp или Unsloth Desktop. В README не указано точное назначение данного варианта квантования или его конкретные уровни квантования. Это причинная языковая модель с vision encoder и архитектурой, включающей Hybrid Attention с Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts, Gated Residual и n-gram embedding. Всего заявлено 125 млрд параметров, из которых активируется 6 млрд, а также 51 млрд параметров n-gram embedding и 4 млрд для MTP. Модель содержит 48 слоёв, 512 экспертов, из которых активируются 10 маршрутизируемых и один общий, поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддержка языков и точные характеристики GGUF-файлов в README не указаны. К сильным сторонам относятся высокая вычислительная эффективность за счёт разреженного внимания и MoE, ориентация на длинный контекст, мультимодальность и возможность ускорения инференса с помощью MTP. Ограничения связаны с экспериментальным статусом архитектуры, отсутствием в README результатов бенчмарков и подробностей о качестве конкретной квантованной сборки. Лицензия указана как qwen-community-1.0; ссылка на текст лицензии ведёт к файлу LICENSE.

trohrbaugh/Qwen3.8-Flash-Next-heretic-2 — производная версия Qwen3.8-Flash-Next, представленная как разговорная модель с открытыми весами. Это причинная языковая модель с визуальным энкодером и поддержкой обработки изображений вместе с текстом; метаданные относят её к архитектуре Qwen4Exp. Модель содержит 125 млрд параметров, из которых активируются 6 млрд, а также 51 млрд параметров n-граммных эмбеддингов и 4 млрд параметров MTP. В README указаны гибридное внимание с Qwen Sparse Attention и Gated DeltaNet, MoE с 512 экспертами и нативный контекст 262 144 токена с расширением до 1 млн. Модель предназначена для диалогов, визуально-языковых запросов и агентных сценариев с длинным контекстом, включая работу с изображениями, документами и программными задачами. README описывает базовую Qwen3.8-Flash-Next и её тестирование в агентных и визуальных бенчмарках, но не приводит отдельной оценки именно этой производной версии. Теги heretic, uncensored, decensored и abliterated указывают на модификацию ограничений поведения, однако конкретная методика изменений не описана. В репозитории указаны веса Safetensors и библиотека Transformers. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой и лицензией базовой модели перед применением.

lmstudio-community/Qwen3-Next-80B-A3B-Instruct-MLX-5bit — это 5-битная квантованная версия инструкционной языковой модели Qwen3-Next-80B-A3B-Instruct, разработанной Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon через MLX. Она относится к классу моделей генерации текста и предназначена для диалогов, следования инструкциям и других задач, где требуется создание текстового ответа. В основе лежит модель с заявленным размером 80B и обозначением A3B; README не содержит дополнительных сведений об архитектуре, фактическом числе активируемых параметров, максимальном контексте, поддерживаемых языках или мультимодальных возможностях. Ключевое преимущество этой версии — снижение требований к памяти по сравнению с полной точностью и адаптация к экосистеме Apple Silicon. Ограничения включают возможные потери качества из-за 5-битного квантования, зависимость производительности от оборудования Apple Silicon и стандартные риски генеративных моделей: ответы могут быть неточными, вредными или неуместными. Модель распространяется по лицензии Apache-2.0.

Reflection Llama-3.1 70B — языковая модель, созданная Matt Shumer на основе Meta Llama 3.1 70B Instruct с применением метода Reflection-Tuning. Она предназначена для диалогов и генерации текста, в том числе для задач, требующих пошагового рассуждения и исправления ошибок. Модель имеет плотную архитектуру LlamaForCausalLM, содержит около 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Во время генерации модель разделяет ход рассуждения и итоговый ответ специальными токенами; для диалогов используется шаблон Llama 3.1. Карточка описывает обучение на синтетических данных Glaive и рекомендует системный запрос, задающий формат рассуждений и ответа. Доступны веса в формате safetensors; лицензия — Llama 3.1 Community License. Метаданные указывают интерфейс вызова инструментов, но README не приводит оценок его качества. Модель унаследовала языковые возможности базовой модели; конкретный набор языков в предоставленных данных не перечислен.

c4ai-command-r-08-2024-GGUF — это квантизированная версия языковой модели c4ai-command-r-08-2024, разработанной CohereForAI и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp. В карточке указано, что она поддерживает английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский и арабский языки. Модель относится к классу text-generation; сведения о размере, архитектуре и длине контекста в представленном README не указаны. Квантизация может снизить требования к ресурсам по сравнению с исходной моделью и упростить локальное развертывание, однако потенциально сопровождается потерей качества относительно полной версии. Доступ к исходной модели регулируется лицензией CC BY-NC 4.0 и дополнительным лицензионным соглашением Cohere; использование разрешено только в некоммерческих целях. Для доступа также предусмотрена форма с подтверждением согласия с условиями лицензии.

DoubleBagel-57B-v1.0 — объединённая языковая модель семейства Llama, созданная с помощью mergekit из предварительно обученной модели jondurbin_bagel-34b-v0.2. Модель содержит 56,2 млрд параметров, использует архитектуру LlamaForCausalLM и рассчитана на генерацию текста и диалоговое взаимодействие с контекстом до 200 000 токенов. Модель можно применять для диалогов и генерации текста с длинным контекстом. Веса опубликованы в формате safetensors, библиотека для работы — Transformers. Лицензия — Apache-2.0.

FastLlama-3.2-1B-Instruct-GGUF — набор GGUF-квантизаций модели FastLlama-3.2-1B-Instruct, подготовленный bartowski на базе модели suayptalha. Квантизация выполнена с использованием llama.cpp и метода imatrix. Это текстовая instruction-модель для генерации ответов и работы с пользовательскими запросами. Модель предназначена для диалоговых сценариев, генерации и обработки текста, а также задач, связанных с математикой, наукой, химией, биологией и программным кодом. В метаданных заявлена поддержка английского, немецкого, испанского, французского, итальянского, португальского, хинди и тайского языков. Размер базовой модели — 1B параметров; модальность — текстовая. Точный размер контекста в README не указан. Основное преимущество — наличие большого набора вариантов с разным соотношением качества, размера и требований к памяти: от F32 и F16 до Q2–Q8 и IQ-квантизаций. В README рекомендуются, в частности, Q4_K_M как вариант общего назначения, а также Q5 и Q6 для более высокого качества; малые варианты подходят для систем с ограниченным объёмом RAM, но могут заметно уступать по качеству. Для корректной работы следует использовать указанный формат prompt и совместимый inference-инструмент, например llama.cpp или LM Studio. Модель распространяется по лицензии Apache-2.0.

Tech2wild/GLM-5.3-Int4-Int8Mix — это смешанная квантованная версия GLM-5.3, разработанной zai-org. Модель основана на архитектуре glm5_next и представляет собой MoE-модель общим размером 743 млрд параметров, из которых около 40 млрд активируются для одного запроса. Она предназначена для генерации текста и запуска через Transformers и vLLM в формате compressed-tensors, прежде всего на конфигурации из четырёх NVIDIA DGX Spark с графическими процессорами GB10. Квантование выполнено без калибровочных данных по схеме статического симметричного weight-only mixed precision с размером группы 128. Основная масса MoE-экспертов использует W4A16, а плотные слои и attention — W8A16; маршрутизаторы, компоненты sparse attention, выходная голова и ряд служебных блоков сохранены в полной точности. Исходная модель поддерживает контекст до 1 млн токенов, однако в приведённой конфигурации заявлен запуск с длиной до 131 072 токенов и возможность расширения примерно до 600 000 токенов с Decode Context Parallel. Модель ориентирована на длинноконтекстную генерацию, многопоточную подачу запросов и speculative decoding с совместимым DFlash2-драфтером. Ключевое преимущество — уменьшенный объём весов около 378 ГБ, что позволяет обслуживать модель на четырёх DGX Spark с запасом памяти под KV-кэш; заявлена производительность до 46,03 токена в секунду при шести одновременных потоках. Ограничения включают очень высокие требования к памяти и необходимость tensor parallelism, а для GB10/sm121 — специальных kernel overlays для sparse MLA и FP8 KV. Четырёхбитное квантование даёт заметную численную погрешность, поэтому сохранение критичных компонентов в BF16 важно для качества. Лицензия указана как glm-5.3; подробные условия доступны по ссылке на лицензию базовой модели zai-org/GLM-5.3.

Gemma 3 27B IT — мультимодальная instruction-tuned модель Google, представленная в формате GGUF и квантизированная bartowski с использованием llama.cpp и imatrix. Модель предназначена для диалогов, следования инструкциям и задач, работающих с текстом и изображениями. Для работы с изображениями требуется отдельный файл MMPROJ и сборка llama.cpp с поддержкой Gemma 3 vision. Модель содержит 27 миллиардов параметров; доступны варианты от BF16 и Q8_0 до более компактных Q3- и IQ-квантизаций. Размер файлов варьируется примерно от 13,44 до 54,03 ГБ, а MMPROJ-файлов — от 858 МБ до 1,69 ГБ. Квантизации Q5 и Q6 обозначены как высококачественные, а Q4_K_M — как вариант, подходящий для большинства сценариев; более компактные варианты экономят оперативную память ценой снижения качества. README не содержит сведений о поддерживаемых языках и размере контекстного окна. Модель можно запускать локально через LM Studio, llama.cpp и совместимые проекты. Использование мультимодальных возможностей требует совместимого vision-компонента и правильного chat-шаблона Gemma. Доступ регулируется лицензией Google Gemma; для загрузки на Hugging Face необходимо принять условия этой лицензии. Конкретные ограничения производительности зависят от выбранной квантизации и доступной памяти.

Granite-4.2-30B (NVFP4) — вариант модели Granite-4.2-30B, разработанный IBM и опубликованный в формате для библиотеки Transformers. Репозиторий содержит NVFP4-версию базовой модели ibm-granite/granite-4.2-30b, однако README не раскрывает её архитектуру, размер контекста, языки, модальности и конкретные сценарии применения. Модель предназначена для задач обработки естественного языка и использования в совместимых приложениях на базе Transformers. Ключевая характеристика данного варианта — представление NVFP4, которое может быть ориентировано на более эффективное хранение и выполнение модели, но README не содержит измерений производительности, требований к оборудованию или описания ограничений этого формата. Модель распространяется по лицензии Apache-2.0.

QuantFactory/granite-7b-instruct-GGUF — квантизированная версия instruct-модели IBM Granite-7B-Instruct, созданная с использованием llama.cpp. Базовая модель — ibm/granite-7b-base; исходная модель разработана IBM Research и обучена с применением метода LAB (Large-scale Alignment for chatBots), использующего синтетические данные от Mixtral-8x7B-Instruct в качестве учителя. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и других текстовых сценариях. Указанный язык — английский. Модель содержит около 7 млрд параметров; формат GGUF и квантизация ориентированы на более эффективный запуск с совместимыми инструментами и меньшими требованиями к памяти. В карточке не указаны размер контекстного окна, конкретный вариант квантизации, поддерживаемые модальности помимо текста и точные требования к аппаратному обеспечению. К сильным сторонам относятся использование структурированной таксономии задач, синтетической генерации данных, поэтапного обучения и replay buffer для добавления знаний и навыков с уменьшением риска катастрофического забывания. В приведённых тестах Granite-7b-lab получил средний результат 6,69 на MTBench и 51,91 на MMLU (5-shot), однако эти показатели относятся к исходной LAB-модели и не обязательно напрямую характеризуют данный квантизированный вариант. Модель распространяется по лицензии Apache-2.0.

Hermes 2 Pro — диалоговая языковая модель Nous Research, созданная совместно с Interstellarninja и Fireworks.AI на основе дообучения Meta Llama 3 70B. Модель с плотной архитектурой Llama содержит 69,5 млрд параметров, принимает текст и генерирует текст; родной размер контекста — 8192 токена. Для диалога используется формат ChatML. Модель предназначена для общения, выполнения инструкций, вызова функций и формирования структурированных ответов в JSON по заданной схеме. По данным разработчиков, обучение включало обновлённый набор OpenHermes 2.5, а также специально подготовленные данные для вызова функций и JSON Mode. Для использования этих возможностей нужны соответствующие системные инструкции и обработка вызовов инструментов в приложении. В метаданных указан английский язык. Модель наследует возможности базовой Llama 3 70B для генерации текста и кода, однако карточка отдельно не описывает языковую поддержку сверх английского. Доступна в формате safetensors; лицензия в предоставленных данных не указана.

Infinity-Instruct-3M-0625-Qwen2-7B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), созданная дообучением Qwen2-7B на наборах инструкций Infinity-Instruct-3M и Infinity-Instruct-0625 с supervised instruction tuning, без RLHF. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров; она принимает текст и ведёт диалог по шаблону Qwen2-7B-Instruct. Заявленная длина контекста — 131 072 токена. Модель предназначена для выполнения инструкций, ответов на вопросы и многоходового диалога; авторы сообщают о результатах на AlpacaEval 2.0 и MT-Bench, включая вопросы по коду, математике и повседневные диалоги. Поддерживаемый язык в метаданных — английский. Модель распространяется по лицензии Apache-2.0, однако карточка проекта ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение. Авторы также предупреждают, что точность ответов не гарантируется.

Модель KARAKURI Inc. karakuri-lm-8x7b-instruct-v0.1 — диалоговая языковая модель на архитектуре Mixtral Mixture of Experts, дообученная на базе tokyotech-llm/Swallow-MX-8x7b-NVE-v0.1. Она предназначена для генерации ответов и инструкций на английском и японском языках, включая сценарии вызова инструментов и работы с RAG. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В шаблоне диалога предусмотрены девять управляемых атрибутов ответа: полезность, корректность, связность, сложность, многословность, качество, токсичность, юмор и креативность. Модель дообучали примерно на 1 млрд токенов данных, в том числе на наборах для диалогов, программирования, вызова функций, математики, SQL и RAG. Репозиторий использует формат safetensors и библиотеку Transformers. Известное ограничение: модель может пытаться вызывать инструменты, которые не предоставлены приложением; такие вызовы следует отфильтровывать при постобработке. Лицензия — Apache 2.0.

T145/KRONOS-8B-V5 — объединённая языковая модель, созданная автором репозитория методом TIES с помощью mergekit. В качестве основы использована unsloth/Meta-Llama-3.1-8B; в объединение также вошли mukaj/Llama-3.1-Hawkish-8B, T145/KRONOS-8B-V1-P2, T145/KRONOS-8B-V1-P3 и unsloth/Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, рассчитанная на генерацию текста и диалоги. Она принимает текст и генерирует текст, поддерживает интерфейс вызова инструментов и контекст до 131 072 токенов. Карточка приводит результаты Open LLM Leaderboard, включая среднее значение 25,43 и IFEval 54,05; они характеризуют оценивание, но сами по себе не гарантируют качество в конкретных задачах. Лицензия в предоставленных данных не указана. Как и другие генеративные языковые модели, она может выдавать неточные или неподходящие ответы; результаты оценивания ограничены указанными тестами.

Llama-3.1-Swallow-70B-v0.1 — языковая модель команды Swallow из лабораторий Okazaki и YOKOTA Токийского технологического института и AIST. Она создана продолжительным предварительным обучением Meta Llama 3.1 на примерно 200 миллиардах токенов японских и английских текстов, включая веб-материалы, Википедию, математику и код. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров и контекстом 8192 токена. Модель рассчитана на генерацию текста на японском и английском языках: ответы на вопросы, суммаризацию, машинный перевод, рассуждения, понимание текста и генерацию кода. README сообщает об улучшении японских языковых возможностей при сохранении возможностей английской исходной модели; оценка проводилась на японских и англоязычных бенчмарках. Это базовая версия, не Instruct-вариант, поэтому она не настроена для следования инструкциям и не гарантирует соответствия ответов намерениям пользователя или требованиям безопасности. Распространяется по лицензии Llama 3.1.

NVIDIA Llama 3.3 70B Instruct NVFP4 — FP4-квантизованная версия инструктивной языковой модели Meta Llama 3.3 70B Instruct. Это авторегрессионная плотная модель на архитектуре Transformer/Llama 3.3 с 69,5 млрд параметров, принимающая текст и генерирующая текст. Контекст — до 128 тысяч токенов; модель поддерживает диалоговый режим и интерфейс вызова инструментов. Модель предназначена для диалоговых ассистентов и генерации текста. Квантизация весов и активаций линейных операторов в блоках Transformer выполнена с помощью NVIDIA TensorRT Model Optimizer; по данным карточки, она уменьшает требования к дисковому пространству и памяти GPU примерно в 3,3 раза. Для инференса указан TensorRT-LLM, аппаратная совместимость — NVIDIA Blackwell. Модель основана на Meta Llama 3.3 70B Instruct и подходит для коммерческого и некоммерческого использования в соответствии с условиями лицензии Llama 3.3. В README не приведены конкретные языки и результаты бенчмарков, поэтому языковой охват и сохранение качества после квантизации по этим данным оценить нельзя.

Llama-4-Scout-17B-16E-Instruct-GGUF — квантизированная версия инструкционной модели Llama 4 Scout, разработанной Meta. Вариант опубликован в формате GGUF сообществом lmstudio-community и квантизирован bartowski. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые сценарии, ответы на вопросы, создание и преобразование текста, а также локальный запуск в совместимом программном обеспечении. Из доступных данных известно, что базовая модель называется Llama-4-Scout-17B-16E-Instruct; обозначение указывает на конфигурацию 17B-16E, однако точные сведения об архитектуре, размере активной части модели, контекстном окне, поддерживаемых языках и модальностях в README не приведены. Формат GGUF удобен для локального вывода и может снизить требования к ресурсам, но квантизация способна повлиять на качество по сравнению с исходными весами; конкретный уровень квантизации также не указан. Модель распространяется по Llama 4 Community License от Meta с требованиями к атрибуции, маркировке «Built with Llama», соблюдению Acceptable Use Policy и специальными коммерческими условиями для продуктов с более чем 700 миллионами активных пользователей в месяц.