II.3Рефакторинг, миграция и модернизация

gemma-2-27b-it-IMat-GGUF — это GGUF-квантизированная версия модели Gemma 2 27B Instruction Tuned, разработанной Google. Версия подготовлена пользователем legraphista с помощью llama.cpp и предназначена для локального запуска задач генерации текста и диалогового взаимодействия в совместимых средах, включая llama.cpp. Модель основана на исходной версии google/gemma-2-27b-it с исходным форматом BF16. Доступны варианты от BF16 и FP16 до квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и ряда IQ-вариантов размером примерно от 10,45 до 54,46 ГБ. Для ряда вариантов применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера. README не содержит достоверных сведений о поддерживаемых языках, длине контекста, модальностях помимо текста или конкретных результатах тестирования. Основное преимущество сборки — широкий выбор уровней квантизации для подбора компромисса между качеством, требованиями к памяти и скоростью локального вывода. Ограничения связаны с большими требованиями к ресурсам даже у компактных вариантов, а качество низкобитных версий может отличаться от исходной модели. Для доступа и использования действует лицензия Gemma от Google; на Hugging Face требуется принять условия лицензии.

unsloth/gemma-2-9b-bnb-4bit — это квантизированная 4-битная версия языковой модели Gemma 2 с 9 млрд параметров, разработанная на базе google/gemma-2-9b и подготовленная Unsloth с использованием bitsandbytes. Модель предназначена для задач генерации и дополнения текста, диалоговых приложений, а также дообучения на собственных наборах данных с помощью Transformers и инструментов Unsloth. Из доступных данных известно, что модель работает с текстом и поддерживает английский язык. Она распространяется в формате 4-bit и ориентирована на снижение требований к памяти при запуске и дообучении; для Gemma 2 (9B) заявлены экономия памяти до 58% и ускорение до 2,4 раза в соответствующем сценарии Unsloth. README не содержит сведений о длине контекста, точной архитектуре, качестве на конкретных бенчмарках или поддержке других языков и модальностей. К сильным сторонам относятся уменьшенный объём памяти и совместимость с экосистемой Transformers, а также возможность последующего экспорта в GGUF и vLLM. Ограничения связаны с 4-битной квантизацией, которая может влиять на точность и не обязательно подходит для всех задач. Модель распространяется по лицензии Gemma; условия её использования следует уточнять в документации Google.

unsloth/gemma-2-it-GGUF — это набор GGUF-квантованных вариантов инструкционной модели Gemma 2, подготовленный Unsloth на основе модели Google. README указывает, что доступны популярные варианты квантования, а исходная модель относится к семейству Gemma 2 и представлена как минимум в версиях на 2B и 9B параметров. Модель предназначена для диалоговых сценариев, генерации и завершения текста, а также для последующего дообучения на пользовательских датасетах и экспорта в GGUF или vLLM. Заявлен английский язык; другие языки и мультимодальные возможности не указаны. Ключевая особенность — 4-битное квантование с использованием bitsandbytes, снижающее требования к памяти и позволяющее запускать и дообучать модель на более доступном оборудовании. Для Gemma 2 README приводит ориентиры дообучения на GPU Tesla T4: для версии 9B заявлены примерно двукратное ускорение и снижение потребления памяти на 63%, однако эти показатели относятся к описанным сценариям и не гарантируют аналогичную производительность при инференсе. Архитектура, размер контекста, точные параметры GGUF-вариантов и системные требования не приведены. Лицензия указана как gemma. Ограничения, связанные с качеством ответов, безопасностью, поддерживаемыми языками и конкретными режимами квантования, в README подробно не описаны; перед использованием следует проверить условия лицензии Google Gemma и характеристики выбранного файла.

GLM-4.7-Flash-FP8 — это FP8-квантизированная версия модели GLM-4.7-Flash, разработанной zai-org. Модель предназначена для задач генерации текста и инференса через библиотеку Transformers и сервер vLLM; в README также указана поддержка архитектуры glm4_moe_lite, что указывает на использование MoE-подхода. Сведения о поддерживаемых языках и модальностях отсутствуют. Квантизация выполнена методом FP8 E4M3 с масштабами, встроенными в тензоры. Размер исходной модели в формате BF16 составляет около 62 ГБ, квантизированной версии — около 30 ГБ. В формате BF16 сохранены lm_head, embed_tokens, layernorms и веса маршрутизатора. В README приведён контекст длиной 8192 токена: на двух видеокартах RTX 3090 по 24 ГБ модель потребляла около 14,7 ГБ VRAM на GPU и достигала пропускной способности 19,4 токена в секунду при использовании vLLM 0.13.0 и tensor parallelism на двух GPU. Основное преимущество модели — существенно меньший объём хранения и потребление видеопамяти по сравнению с версией BF16 при сохранении ключевых компонентов в BF16. На GPU с аппаратной поддержкой FP8, включая RTX 40xx и более новые Ada Lovelace, ожидается более высокая производительность; RTX 3090 использует Marlin kernel для распаковки весов. Для запуска требуются vLLM версии 0.13.0 или новее и Transformers 5.0 или новее. Ограничения включают зависимость от совместимого оборудования и программного стека, а также отсутствие в README подробностей о качестве, результатах бенчмарков, языковой поддержке и максимальном контексте базовой модели. Лицензия — MIT.

K2-Horizon-0.9B-NVFP4-GGUF — квантизированная версия компактной плотной языковой модели семейства K2-Horizon; автор репозитория WhiskyAKM. Модель с архитектурой decoder-only и 0,9 млрд параметров предназначена для диалоговой генерации текста и рассуждений, включая задачи по математике, программированию, науке и STEM. В README указано окно контекста до 128K токенов (131 072) с масштабированием RoPE YaRN; модель оценивалась на бенчмарках математики, кода, науки и использования инструментов. Репозиторий содержит веса GGUF в формате NVFP4, рассчитанные на запуск в llama.cpp и совместимых движках; заявлена оптимизация для NVIDIA Blackwell. Базовая модель IFM/K2-Horizon-0.9B обучалась с дистилляцией знаний от нескольких специализированных моделей-преподавателей. Репозиторий распространяется по лицензии Apache-2.0. Квантизация до 4 бит может влиять на качество ответов; результаты бенчмарков относятся к исходному описанию семейства и сами по себе не гарантируют аналогичное качество этой сборки.

Kimi-K2.6-RAM-447GB-GGUF — это смешанно-точная GGUF-квантизация модели moonshotai/Kimi-K2.6, опубликованная baa-ai и созданная с использованием конвейера RAM (Resource-Aware Mixed-precision). Модель предназначена для генерации текста и локального запуска через llama.cpp, в том числе на системах с 512 ГБ оперативной памяти или на конфигурациях с двумя модулями по 256 ГБ. В основе лежит архитектура DeepSeek-V3 decoder (kimi_k2) с 61 слоем, 1,03 трлн параметров, скрытым размером 7168, MLA-attention и MoE-структурой из 384 маршрутизируемых экспертов, из которых для каждого токена активируются 8. Экспертные веса квантизированы в Q3_K, а веса attention распределены между Q5_K и Q8_0 на основе чувствительности отдельных тензоров к ошибкам квантования. Размер файла составляет 447 ГБ. Ключевое преимущество варианта — ориентация на более высокое качество по сравнению с менее ресурсоёмкими сборками благодаря неравномерному распределению разрядности для attention-тензоров. Ограничениями являются чрезвычайно высокие требования к оперативной памяти и отсутствие imatrix: его не использовали, поскольку промежуточный файл Q8_0 объёмом 1,1 ТБ превышал доступную память. Экспертные веса исходной модели INT4 были предварительно деквантизированы и повторно квантизированы в GGUF. В карточке указана лицензия modified-MIT с типом license: other. Поддерживаемые языки и мультимодальные возможности в README не описаны.

Ling-3.0-tiny-GGUF — это конвертация модели Ling-3.0-tiny в формат GGUF для запуска через llama.cpp. Базовую модель разработала команда inclusionAI, а данный вариант опубликован пользователем bloomer010. Модель предназначена для генерации текста, диалоговых сценариев и агентских задач, включая вызов инструментов и раздельный режим рассуждений. Архитектура использует mixture-of-experts: всего 7,9 млрд параметров, из которых 1,3 млрд активируются на каждом токене. Модель содержит 24 слоя, включая 18 KDA- и 6 MLA-слоёв, 128 маршрутизируемых экспертов с 8 активными экспертами на токен и одного общего эксперта. Поддерживаются Q-LoRA с рангом 256 и KV-LoRA с рангом 512, контекст до 131 072 токенов, а также режим рассуждений, включённый по умолчанию. Информация о поддерживаемых языках и мультимодальности в README не указана. Доступны варианты квантования от BF16 до сильно сжатых IQ- и Q-форматов, что позволяет выбирать между качеством и требованиями к памяти; рекомендуемый UD-Q8_K_XL обеспечивает качество, близкое к полной точности. Модель протестирована на CPU и CUDA, включая RTX 4070 и RTX 3060. Ограничения включают возможное преждевременное завершение ответа внутри блока рассуждений и проблемы с агентским использованием и tool calling в llama.cpp без поддержки двух указанных изменений. Для MXFP4_MOE рекомендуется GPU с нативной поддержкой MXFP4, иначе возможна более низкая скорость. Распространяется по лицензии MIT.

Llama-3.1-Tulu-3-70B-SFT-GGUF — это набор GGUF-квантизированных версий языковой модели Llama-3.1-Tulu-3-70B-SFT, разработанной AllenAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях с поддержкой GGUF, например LM Studio. Модель содержит 70 миллиардов параметров и основана на архитектуре Llama 3.1; заявленный язык — английский. В репозитории представлены варианты квантизации от Q8_0 до IQ1_M, различающиеся размером файлов, требованиями к памяти и качеством вывода. Наиболее качественными считаются Q8_0, Q6_K и Q5_K, а Q4_K_M обозначен как подходящий вариант по умолчанию для большинства сценариев. Модели в формате GGUF поддерживают запуск через llama.cpp, однако для версий с низкой точностью возможна заметная потеря качества. Размеры файлов варьируются примерно от 16,75 до 74,98 ГБ, а сведения о размере контекста и мультимодальности не указаны. Для использования требуется достаточно оперативной или видеопамяти в зависимости от выбранной квантизации и конфигурации запуска. Для модели указана лицензия llama3.1.

Llama-3.1-Tulu-3-8B-GGUF — набор GGUF-квантизаций языковой модели Llama-3.1-Tulu-3-8B, разработанной Allen Institute for AI (AI2) и опубликованной в формате для локального запуска. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев; указанный в карточке pipeline — text-generation. Для работы рекомендуется формат приглашений с ролями system, user и assistant, а запуск возможен, в частности, через LM Studio или совместимые инструменты llama.cpp. Модель содержит около 8 млрд параметров, поддерживает английский язык и поставляется в вариантах от исходных весов F16 до более компактных Q2–Q8-квантизаций. Размер файлов составляет примерно от 3,5 до 16,1 ГБ; варианты отличаются компромиссом между качеством и требованиями к памяти. Наиболее сбалансированным для большинства сценариев README называет Q4_K_M, а Q5 и Q6 — высококачественными вариантами. Более сильное сжатие уменьшает потребление памяти, но снижает качество, а отдельные варианты оптимизированы для ARM и имеют ограничения по аппаратной совместимости. Длина контекста и мультимодальные возможности в карточке не указаны. Лицензия обозначена как llama3.1; перед использованием следует учитывать условия лицензии базовой модели.

Llama-3.2-3B-Instruct-bf16 — компактная инструкционная языковая модель семейства Llama 3.2, разработанная Meta и представленная в формате mlx-community. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы, следование инструкциям, создание и преобразование текста. В идентификаторе указано около 3 млрд параметров и формат чисел bfloat16; README также указывает совместимость с Transformers и использование экосистемы MLX. Модель работает с текстом и не заявлена как мультимодальная. Поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Размер контекста и точные архитектурные характеристики в README не указаны. К сильным сторонам относятся относительно небольшой размер, инструкционная настройка и многоязычная поддержка, что делает модель подходящей для локального запуска и прикладных текстовых задач при наличии совместимого оборудования. При этом в предоставленных данных нет результатов оценивания, сведений о фактическом качестве по языкам, ограничениях безопасности, производительности или рекомендуемых ресурсах, поэтому их нельзя оценить точнее. Модель распространяется по Llama 3.2 Community License от Meta. Лицензия разрешает использование, копирование, модификацию и распространение на установленных условиях, включая соблюдение Acceptable Use Policy, указание «Built with Llama», сохранение лицензионного уведомления и дополнительные требования для продуктов с более чем 700 млн ежемесячных активных пользователей.

Llama3.2-DeepHermes-3-3B-Preview-Reasoning-MAX-NEO-Imatrix-GGUF — это GGUF-квантизированная текстовая генеративная модель, основанная на NousResearch/DeepHermes-3-Llama-3-3B-Preview. Сборка подготовлена David_AU с использованием собственной технологии Neo Imatrix и «MAXED»-квантизации, при которой embedding- и output-тензоры сохраняются в формате BF16. Модель предназначена для локального запуска и ориентирована на рассуждения, следование инструкциям, диалог, решение задач, генерацию идей и текста, творческое письмо и ролевые сценарии. Указана лицензия Apache-2.0. Модель имеет размер около 3B параметров и поддерживает контекст до 128k токенов. Она работает только с текстом; сведения о поддерживаемых языках в README не приведены. Доступны варианты квантизации от IQ1_S до Q8_0, отличающиеся размером, скоростью и качеством. Более высокие кванты обычно лучше сохраняют способности к рассуждению, а варианты IQ4XS, IQ4NL и Q4 рекомендуются для творческих задач; для общего применения рекомендуются Q5, Q6 и Q8. Для reasoning-сценариев рекомендуется использовать как минимум IQ3. Сильные стороны модели — компактный размер, высокая скорость локального вывода, улучшенное следование инструкциям и потенциально более высокое качество благодаря Neo Imatrix и сохранению части тензоров в BF16. При этом качество рассуждений напрямую зависит от выбранного кванта: самые компактные варианты заметно уступают более крупным, а README не содержит независимых бенчмарков, подробных данных об обучении или гарантии заявленного превосходства над более крупными моделями. Для комфортной работы рекомендуется окно контекста не менее 8k токенов, особенно для вариантов IQ4 и ниже.

Это версия Meta-Llama-3.1-8B-Instruct в формате GGUF, подготовленная mlx-community и опубликованная MaziyarPanahi. Модель предназначена для диалоговой генерации текста и выполнения инструкций; её можно запускать локально с помощью llama.cpp и совместимых приложений. Каталог указывает на 8 млрд параметров у базовой модели и плотную архитектуру семейства Mistral. Репозиторий содержит файлы GGUF в формате BF16. README перечисляет llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другие совместимые средства запуска. Лицензия и конкретные ограничения применения в предоставленных данных не описаны.

Карточка модели Ayush-1722/Meta-Llama-3-8B-Instruct-Summarize-v0.2-24K-LoRANET-Merged на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

Это сжатая инструкционная языковая модель meta-llama/Llama-3.2-3B-Instruct, разработанная Meta. Модель предназначена для диалоговых сценариев и генерации ответов на пользовательские запросы; в качестве базовой модели указана Llama-3.2-3B-Instruct. В README также указан датасет HuggingFaceH4/ultrachat_200k и библиотека Transformers. Модель использует схему сжатия W4A16: веса представлены в формате 4 бит, а активации — в формате 16 бит. Сжатие выполнено с помощью llmcompressor на 512 образцах из секции train_sft датасета ultrachat_200k с chat-препроцессингом. Максимальная длина последовательности при подготовке указана как 131072 токена. Такие характеристики могут снизить требования к памяти и упростить запуск по сравнению с полноразмерной версией, однако README не содержит результатов сравнительной оценки, сведений о поддерживаемых языках, точных ограничениях качества или лицензии. Архитектура и модальности отдельно не описаны; по представленным данным модель следует считать текстовой.

MiniCPM-2B-dpo-fp16 — текстовая авторегрессионная модель семейства MiniCPM, разработанная ModelBest совместно с лабораторией обработки естественного языка Университета Цинхуа. Это версия MiniCPM-2B, оптимизированная методом DPO по человеческим предпочтениям; репозиторий содержит веса PyTorch в формате FP16. В метаданных указаны 2,7 млрд параметров и контекст до 4096 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, рассуждения, математические задачи и программирование. Она поддерживает китайский и английский языки и рассчитана на запуск в сценариях с ограниченными ресурсами по сравнению с более крупными языковыми моделями. Разработчики сообщают о сильных результатах DPO-версии на MTBench, однако это не гарантирует точности в конкретных задачах. Модель может галлюцинировать, особенно при длинных ответах, чувствительна к формулировке запроса и может давать разные результаты при повторных запусках; точность запомненных знаний ограничена. README разрешает научное использование и ограниченное коммерческое использование; перед применением следует проверить условия лицензии репозитория.

Карточка модели openbmb/MiniCPM-2B-sft-fp32-llama-format на Hugging Face совпадает с карточкой openbmb/MiniCPM-2B-sft-fp32, поэтому описание составлено по ней. MiniCPM-2B-sft-fp32 — версия языковой модели MiniCPM-2B после instruction fine-tuning (SFT), представленная в формате FP32. Её разработали ModelBest и лаборатория обработки естественного языка Университета Цинхуа. Модель построена на архитектуре MiniCPMForCausalLM, содержит 2,7 млрд параметров и предназначена для генерации текста и диалоговых ответов на английском и китайском языках. Максимальная длина контекста — 4096 токенов. Модель подходит для диалоговых систем, ответов на вопросы, а также генерации текстов, кода и решений математических задач. Разработчики отмечают её компактный размер и возможность развёртывания на устройствах с ограниченными ресурсами после квантизации; этот репозиторий содержит веса FP32. В карточке указана лицензия other, а README сообщает об открытых весах для академических исследований и ограниченного коммерческого использования. Известные ограничения — склонность к галлюцинациям, зависимость ответов от формулировки запроса и вариативность результатов при повторных попытках; знания модели могут быть неточными. Качество генерации в Transformers, по сообщению авторов, может быть ниже, чем при использовании vLLM.

MiniMax-M3-GGUF — это квантизированная в формате GGUF версия модели MiniMax-M3, разработанной компанией MiniMaxAI и подготовленная пользователем bartowski с использованием llama.cpp. Модель относится к архитектурам MoE и содержит около 427 млрд параметров. Доступны варианты квантизации от Q2 до Q8, включая imatrix-квантизации, с размером файлов примерно от 146 до 454 ГБ. Модель предназначена для работы с текстом, а также с изображениями при использовании дополнительного файла mmproj. По заявленным тегам, её предполагаемые сценарии включают мультимодальные задачи, программирование, агентные приложения и обработку видео, однако подробные результаты тестирования и точные поддерживаемые видеосценарии не указаны. Формат GGUF ориентирован на запуск через llama.cpp и совместимые инструменты. В README не указаны размер контекстного окна, список поддерживаемых языков и детальные характеристики архитектуры. К сильным сторонам относятся очень большой размер базовой модели, поддержка мультимодального ввода и широкий выбор вариантов квантизации с разным соотношением качества и требований к памяти. Основные ограничения — исключительно высокие требования к дисковому пространству и оперативной или видеопамяти, а также возможное снижение качества при выборе низкобитных вариантов. Модель не поддерживает MTP. Лицензия обозначена как minimax-community; также указано общее обозначение лицензии other, поэтому условия использования следует уточнять в файле LICENSE исходного репозитория.

unsloth/mistral-7b-instruct-v0.3-bnb-4bit — 4-битная квантованная версия Mistral-7B-Instruct-v0.3, опубликованная в экосистеме Unsloth и предназначенная для использования через Transformers. Модель ориентирована на выполнение инструкций и диалоговые сценарии, включая conversational-формат ShareGPT, а также на генерацию и продолжение текста. Модель основана на Mistral-7B-Instruct-v0.3 и содержит около 7 миллиардов параметров; суффикс bnb-4bit указывает на 4-битное представление с использованием BitsAndBytes. В карточке указана поддержка английского языка и библиотеки Transformers. Снижение точности представления уменьшает требования к памяти и может облегчать локальный запуск и дообучение, однако README не содержит точных требований к оборудованию, значения контекстного окна, результатов тестирования или сведений о других модальностях. Модель подходит для чат-ботов, ассистентов, генерации текста и экспериментов с дообучением. Возможные ограничения связаны с английской языковой специализацией и компромиссом между экономией памяти и качеством, характерным для квантованных моделей. Лицензия — Apache-2.0.

Mistral-7B-Instruct-v0.3-heretic — языковая генеративная модель, созданная пользователем saidutta69 на основе Mistral-7B-Instruct-v0.3 от Mistral AI. Модель обработана инструментом Heretic v1.4.0 методом направленной абляции: изменения внесены в отдельные веса attention и MLP без дообучения. Заявленный размер — 7,2 млрд параметров; основная заявленная поддерживаемая языковая версия — английский язык. Модель предназначена для генерации текста, диалоговых систем, локальных агентов, ролевых сценариев, function calling и исследований механизмов выравнивания и отказов моделей. Доступны полноточные веса BF16 и квантизированные варианты GGUF Q4_K_M, Q5_K_M, Q6_K и Q8_0, что позволяет запускать её на бытовых видеокартах, CPU и устройствах Apple Silicon. Согласно README, подавление отказов существенно снизило их частоту по сравнению с базовой моделью, при этом автор заявляет о сохранении исходных знаний и возможностей следования инструкциям. Ключевое ограничение — намеренное удаление защитных ограничителей: модель может выполнять запросы, которые базовая версия отклоняет, включая потенциально опасные. Она сохраняет фактические ограничения и предвзятости исходной модели, а отсутствие встроенной фильтрации делает её неподходящей для незащищённых публичных сервисов без дополнительной модерации. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

MistralTrinity-7B-slerp — языковая модель для генерации текста и диалоговых ответов, созданная объединением Mistral-7B-Instruct-v0.2 и trinity-v1 с помощью LazyMergekit. При слиянии применён метод SLERP; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель принимает текст и выдаёт текст, поддерживает диалоговый режим. Модель подходит для ответов на инструкции, ведения диалога и генерации текста с длинным контекстом. В README не приведены результаты оценки качества или сведения о целевых языках, поэтому конкретные сильные стороны по сравнению с исходными моделями и языковое покрытие определить нельзя. Распространяется по лицензии Apache-2.0.

AMD Mixtral-8x7B-Instruct-v0.1-w4a16-llmcompressor — это квантизированная версия языковой модели Mixtral-8x7B-Instruct-v0.1 от Mistral AI, подготовленная AMD для оптимизированного CPU-инференса. Модель реализует архитектуру MixtralForCausalLM, принимает текст и генерирует текст, ориентирована на задачи диалоговой генерации и общего следования инструкциям на английском языке. Модель использует разреженную Mixture-of-Experts-архитектуру Mixtral-8x7B и 4-битное квантизирование весов W4A16 методом GPTQ. Веса хранятся в формате INT4 с симметричным групповым квантизированием и размером группы 128, а активации остаются в BF16. Маршрутизатор MoE и lm_head сохранены в BF16. Объём весов уменьшен примерно с 87,0 до 22,8 GiB, то есть примерно на 74%. Данные о максимальной длине контекста в README не указаны; для калибровки использовалась длина последовательности до 2048 токенов. Основной сценарий использования — инференс на процессорах AMD EPYC под Linux с применением vLLM, ZenDNN и ZenTorch. По приведённой оценке на GSM8K модель сохранила 98,83% результата BF16-базовой версии: 0,6331 против 0,6406. Ограничения включают зависимость от совместимого программного стека и аппаратной платформы, а также возможное снижение качества из-за квантизации. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия языковой модели Qwen3-14B-abliterated, разработанной mlabonne. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 6,66 до 29,54 ГБ; варианты с более высокой точностью обычно требуют больше памяти, но лучше сохраняют качество, тогда как компактные варианты подходят для систем с ограниченным объёмом RAM. Для общения используется шаблон prompt формата ChatML с ролями system, user и assistant. README не содержит сведений о точной архитектуре, размере контекста, поддерживаемых языках или мультимодальности, поэтому эти характеристики нельзя достоверно указать. Сильной стороной являются разнообразие форматов GGUF и возможность локального запуска; ограничениями выступают неизбежные потери качества при сильной квантизации и зависимость от совместимого программного обеспечения. Указана лицензия Apache-2.0.

NousResearch_Hermes-4-14B-GGUF — набор квантованных версий языковой модели Hermes-4-14B, разработанной NousResearch и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от исходных весов BF16 размером около 29,54 ГБ до квантований Q2 и IQ3 размером примерно 6,38–15,70 ГБ. В README рекомендуются варианты Q4–Q6 как компромисс между качеством и требованиями к памяти; версии с более низкой разрядностью подходят для систем с ограниченным объёмом RAM, но могут заметно уступать по качеству. Для модели доступны только текстовые сценарии, сведения о поддерживаемых языках, длине контекста, архитектурных деталях и формате промптов в этом README не указаны. Основные преимущества — широкий выбор размеров файлов, возможность локального запуска и применение imatrix-калибровки при квантовании. Ограничения связаны с потерями качества в низкоразрядных вариантах, зависимостью от совместимого ПО и отсутствием в предоставленных данных информации о лицензии оригинальной модели и квантованных файлов.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это набор квантованных GGUF-версий языковой модели NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, разработанной NVIDIA. Квантование выполнил NANI-Nithin с использованием инструментов llama.cpp и автоматизированного конвейера на Modal. Модель предназначена для генерации текста и локального инференса на CPU или GPU. Она использует архитектуру Mixture-of-Experts (MoE) с конфигурацией A3B и поддерживает английский язык. Доступны варианты F16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, Q4_0, Q3_K_L, Q3_K_M, Q3_K_S и Q2_K с разным соотношением качества, размера и требований к памяти. В README размер контекста и точные требования к RAM или VRAM не указаны. Сильная сторона модели — возможность запуска в популярных GGUF-совместимых средах, включая llama.cpp, Ollama и LM Studio, а также выбор уровня квантования. Q4_K_M рекомендуется как наиболее сбалансированный вариант по скорости, размеру и качеству. Более сильное сжатие уменьшает требования к памяти, но приводит к заметному снижению качества; для MoE-модели необходимо заранее проверить доступные RAM и VRAM. Модель распространяется по лицензии Apache-2.0.

OpenHermes-2.5-Mistral-7B-AWQ — это 4-битная AWQ-квантизованная версия языковой модели OpenHermes 2.5 Mistral 7B. Исходную модель разработала Teknium, а квантизацию выполнил TheBloke. Модель основана на архитектуре Mistral и предназначена для генерации текста, диалоговых сценариев и выполнения инструкций на английском языке. Модель содержит около 7 млрд параметров, использует формат взаимодействия ChatML и рассчитана на контекст длиной до 4096 токенов. Доступная сборка имеет групповой размер AWQ 128, обучающий набор для калибровки wikitext и размер около 4,15 ГБ. Квантизация снижает требования к памяти и предназначена прежде всего для быстрого GPU-инференса через AutoAWQ, vLLM, Text Generation Inference или text-generation-webui. К сильным сторонам относятся компактный размер, высокая скорость инференса и возможность запуска на совместимом пользовательском оборудовании. Ограничения включают поддержку только английского языка в заявленных метаданных, зависимость от совместимого AWQ-инструментария и потенциальные потери качества по сравнению с исходной моделью в формате FP16, характерные для квантизованных моделей. Модель распространяется по лицензии Apache-2.0.

bartowski/open-thoughts_OpenThinker2-32B-GGUF — это набор квантованных GGUF-версий модели OpenThinker2-32B, разработанной open-thoughts. Квантование выполнено bartowski с использованием llama.cpp release b5035 и метода imatrix на основе датасета OpenThoughts2-1M. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio, а также для непосредственного использования через llama.cpp и производные проекты. Модель содержит 32 миллиарда параметров и распространяется в вариантах от BF16 до различных уровней квантования Q8, Q6, Q5, Q4 и Q3, включая форматы IQ. Размер файлов составляет примерно от 14,39 до 65,54 ГБ. Более высокие уровни квантования обеспечивают качество, близкое к исходной модели, но требуют больше памяти; варианты Q4_K_M и IQ4_XS предлагают компромисс между качеством и требованиями к ресурсам. Поддерживаемые модальности, языки и размер контекста в README не указаны. Для работы рекомендуется использовать формат prompt с ролями system, user и assistant через специальные токены ChatML. Сильными сторонами являются локальный запуск, широкий выбор квантований и совместимость с экосистемой llama.cpp. Ограничения включают необходимость значительных объёмов оперативной или видеопамяти для крупных вариантов, возможное снижение качества у низкобитных квантований и отсутствие в предоставленных данных результатов оценки. Модель и квантованные файлы распространяются по лицензии Apache-2.0.

Phi-4-mini-instruct-INT8-INT4 — квантизированная версия модели Microsoft Phi-4-mini-instruct, подготовленная командой PyTorch с использованием torchao. Это авторегрессионная текстовая модель для генерации текста, диалогов, а также задач, связанных с программированием и математикой. В карточке указана поддержка multilingual-сценариев, однако конкретный перечень языков не приведён. Модель использует 8-битные эмбеддинги и динамические 8-битные активации вместе с 4-битными весами линейных слоёв (INT8-INT4). Такой вариант ориентирован на запуск на мобильных устройствах через ExecuTorch. Для iPhone 15 Pro заявлена скорость около 17,3 токена в секунду и потребление примерно 3206 МБ памяти. Предоставленный файл model.pte экспортирован с максимальной длиной последовательности и контекста 1024 токена; изменить это значение можно повторным экспортом. Сильной стороной модели является снижение требований к памяти и возможность локального мобильного развертывания при сохранении назначения исходной instruct-модели. Ограничение текущей поставки — регрессия поддержки токенизатора Phi-4 в официальных демонстрационных мобильных приложениях ExecuTorch, поэтому в них модель пока не запускается; при использовании собственного приложения и runner загрузка файла .pte возможна. Модель распространяется по лицензии MIT.

lmstudio-community/Phi-4-mini-reasoning-MLX-4bit — это 4-битная версия модели Phi-4-mini-reasoning, разработанной Microsoft и преобразованной сообществом lmstudio-community в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста, включая задачи обработки естественного языка, математики и программного кода. В README приведён пример решения квадратного уравнения, что указывает на сценарии, связанные с рассуждениями и решением математических задач. Модель поддерживает текстовую модальность; в метаданных указан английский язык. Точные сведения об архитектуре, количестве параметров и размере контекста в README отсутствуют. Для использования требуется библиотека mlx-lm и совместимое с MLX окружение, а загрузка выполняется через интерфейс mlx_lm. 4-битное представление снижает требования к памяти, но может влиять на точность по сравнению с исходной моделью. Лицензия — MIT.

Phi-4-reasoning-plus-w4a16-llmcompressor — это квантизованная версия языковой модели Phi-4-reasoning-plus, разработанной Microsoft. Модель предназначена для генерации текста и работы с текстовыми запросами, включая задачи рассуждения; исходная архитектура представлена как Phi3ForCausalLM. Модель поддерживает английский язык. Чекпойнт подготовлен компанией AMD для инференса на процессорах AMD EPYC под Linux. Используется 4-битная квантизация весов без квантизации активаций (W4A16): веса представлены в формате INT4, симметрично и группами по 128 параметров, а активации сохраняются в BF16. Для запуска рекомендован стек vLLM 0.26.0, LLM Compressor 0.12.0, ZenDNN 6.1.0, ZenTorch 2.11.0.3 и PyTorch 2.11.0. Ключевое преимущество модели — существенное сокращение размера весов при сохранении качества: на тесте GSM8K она показала 0,8688 против 0,8704 у исходной BF16-модели, то есть восстановила 99,82% результата базовой версии. Ограничения включают ориентацию на CPU AMD EPYC, зависимость от совместимых версий программного стека и возможную потерю точности из-за агрессивной 4-битной квантизации. В README указана лицензия MIT; также отмечено, что модель распространяется на условиях лицензии исходной модели.

Qwen3.6-27B-Architect-Polaris2-Fable-B-F451-Tess — плотная мультимодальная модель семейства Qwen3, созданная независимой лабораторией Nightmedia. Это слияние NuSLERP нескольких моделей, включая Tess-4-27B и варианты Qwen3.5/3.6 с диалоговой, творческой и инструкционной настройкой. Модель предназначена для диалогов, рассуждений, программирования и творческого письма, а также принимает изображения для визуальных запросов. В карточке заявлен переключатель режима рассуждений через шаблон чата; опубликованные результаты включают тесты на понимание и оценки скорости и потребления памяти для нескольких вариантов квантования. В метаданных указаны 27B в имени семейства и поддержка английского, китайского, японского и испанского языков. Модель распространяется в формате safetensors под лицензией Apache-2.0. Длина контекста в предоставленных данных не подтверждена. Это экспериментальная сборка-слияние; результаты тестов из карточки не гарантируют качество в конкретных сценариях.