II.3Рефакторинг, миграция и модернизация

ThomasBaruzier/Qwen2.5-72B-Instruct-GGUF — набор GGUF-квантизаций 72-миллиардной инструкционно настроенной языковой модели Qwen2.5-72B-Instruct. Квантизации подготовлены ThomasBaruzier с использованием llama.cpp и метода imatrix, а для калибровки применён файл Bartowski. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций в локальных приложениях, совместимых с llama.cpp. Это текстовая autoregressive-модель без заявленной поддержки изображений или других модальностей. В README указана поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Представлено множество вариантов квантизации от IQ1_S до Q8_0 с размером файлов примерно от 21,6 до 78,5 ГБ; варианты позволяют выбирать компромисс между требованиями к памяти, скоростью и сохранением качества. В таблице README для доступных вариантов приведены значения perplexity и accuracy, причём более низкая perplexity соответствует лучшему результату. Сильной стороной набора является широкий выбор квантизаций и наличие измерений качества для их сравнения. Ограничения включают существенные требования к оперативной или видеопамяти даже у наиболее сжатых вариантов, возможную потерю качества из-за квантизации и отсутствие данных о размере контекстного окна, архитектурных деталях и производительности на конкретном оборудовании. Модель распространяется по лицензии Qwen; точные условия следует уточнять в лицензии базовой модели Qwen/Qwen2.5-72B-Instruct.

Qwen-2.5-7B-Deep-Stock-v4 — объединённая языковая модель, созданная сообществом bunnycore с помощью mergekit и метода Model Stock. В качестве основы использована Qwen/Qwen2.5-7B-Instruct; в объединение также вошли FuseQwQen-7B, Qwen-2.5-7B-R1-Stock и Qwen-2.5-7B-Deep-Stock-v1. Модель построена на архитектуре Qwen2 с плотной причинной языковой сетью на 7,1 млрд параметров. Модель предназначена для генерации текста и диалогов, а также поддерживает интерфейс вызова инструментов. Её контекст составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. В README приведены результаты оценок IFEval и BBH, но они не дают полной картины качества для всех задач. Сведения о лицензии в доступных данных отсутствуют.

graelo/Qwen2.5-7B-Instruct-1M-AWQ — это 4-битная GEMM-квантизованная версия модели Qwen/Qwen2.5-7B-Instruct-1M, разработанной командой Qwen. Модель относится к классу instruction-tuned языковых моделей с примерно 7 миллиардами параметров и предназначена для выполнения инструкций и генерации текста. Из идентификатора базовой модели следует поддержка контекста до 1 миллиона токенов, однако сведения о языках, модальностях и точной архитектуре в README не приведены. Квантизация до 4 бит может снизить требования к памяти и сделать запуск модели более доступным, но потенциально сопровождается потерей качества по сравнению с исходной версией и требует совместимого программного обеспечения для формата AWQ/GEMM. README не содержит результатов тестирования, подробностей о производительности или рекомендуемых сценариях использования. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-235B-A22B-Instruct-2507-8bit — это 8-битная версия модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.26.0. Модель предназначена для генерации текста и работы в диалоговом формате через chat template, если он доступен в токенизаторе. Модель ориентирована на задачи инструкционного следования и текстовой генерации, включая ответы на пользовательские запросы и другие сценарии, поддерживаемые исходной моделью Qwen3. Из доступных данных известны размерная маркировка 235B-A22B и 8-битное представление, однако сведения об архитектуре, фактически активируемом числе параметров, языках, максимальном контексте, производительности и системных требованиях не приведены. Лицензия — Apache 2.0. README не содержит результатов тестирования и подробностей об ограничениях или рекомендуемых сценариях эксплуатации.

Qwen3-235B-A22B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнила команда LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста и выполнения задач по инструкциям. README не содержит подробностей о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности или специализированных сценариях применения. Известно, что квантование снижает требования к памяти по сравнению с исходной моделью, а формат MLX ориентирован на эффективное выполнение на Apple Silicon. К ограничениям относятся возможные ошибки, неточности, вредоносные или неподходящие ответы, характерные для генеративных моделей, а также зависимость производительности от оборудования Apple Silicon. Модель распространяется по лицензии Apache-2.0. LM Studio не является создателем исходной модели и не гарантирует её точность, безопасность или соответствие конкретным требованиям.

Qwen3-30B-A3B-Instruct-2507-GGUF — это набор файлов модели в формате GGUF для оригинальной модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантизацию и публикацию набора выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в локальных приложениях и сервисах, поддерживающих GGUF. Доступны варианты квантизации с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат совместим с llama.cpp и рядом инструментов, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, candle и другие. Архитектура, число активных параметров, модальности, языки и размер контекста в README не указаны. Сильная сторона модели — возможность локального запуска и выбора уровня квантизации в зависимости от доступного оборудования. Ограничения связаны с тем, что качество и производительность конкретного варианта зависят от выбранной разрядности и совместимого программного окружения. Лицензия в предоставленных данных не указана.

Qwen3-30B-A3B-Thinking-2507-MLX-4bit — это 4-битная квантованная версия языковой модели Qwen3-30B-A3B-Thinking-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm и оптимизировано для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и локального запуска в сценариях, где важны совместимость с экосистемой Apple и сниженное потребление памяти по сравнению с полноразмерной версией. Архитектура, поддерживаемые языки, размер контекстного окна, модальности и специализированные задачи в README не указаны. Известно, что модель относится к семейству Qwen3 и имеет конфигурацию 30B-A3B, а 4-битное представление обеспечивает более эффективное развертывание, потенциально с компромиссом между требованиями к ресурсам и точностью. Модель распространяется по лицензии Apache-2.0. Следует учитывать, что квантованная версия может наследовать ограничения исходной модели, включая вероятность неточных, вредных или неподходящих ответов.

MaziyarPanahi/Qwen3-32B-GGUF — это набор квантованных файлов модели Qwen3-32B в формате GGUF. Исходную модель разработала команда Qwen, а конвертацию и публикацию квантованных вариантов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые приложения и библиотеки. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством вывода. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов; возможны ускорение на GPU и предоставление OpenAI-совместимого API в зависимости от используемого ПО. Карточка не содержит подробностей об архитектуре, количестве параметров исходной модели, поддерживаемых языках, размере контекста, мультимодальности, результатах оценки или конкретных ограничениях качества. Условия лицензирования в README также не указаны, поэтому их следует уточнить на странице исходной модели Qwen/Qwen3-32B и публикации квантованных файлов.

Qwen3-4B-INT8-INT4 — квантизированная версия языковой модели Qwen3-4B, разработанной Alibaba Cloud и обработанной командой PyTorch с использованием torchao. Это авторегрессионная модель для генерации текста, диалогов, работы с кодом и математическими задачами; заявлена поддержка многоязычных сценариев. Модель предназначена для локального и мобильного развертывания, в частности через ExecuTorch. Ключевая особенность — схема квантизации INT8-INT4: эмбеддинги используют 8-битные веса, динамические активации представлены в 8 битах, а линейные слои используют 4-битные веса. Размер базовой модели — 4 млрд параметров. Предоставляемый файл model.pte экспортирован с максимальной длиной последовательности и контекстом 1024 токена; этот параметр можно изменить повторным экспортом. На iPhone 15 Pro заявлена скорость около 14,8 токена в секунду при использовании примерно 3379 МБ памяти. Сильные стороны модели — уменьшенные требования к памяти и возможность запуска на мобильных устройствах при сохранении назначения исходной Qwen3-4B для диалогов, генерации текста, кода и решения математических задач. Ограничениями являются возможная потеря качества из-за квантизации, ограничение предоставленной сборки контекстом 1024 токена и зависимость мобильного запуска от ExecuTorch и совместимого устройства. В README приведена лицензия MIT; подробные результаты бенчмарков отсутствуют.

enacimie/Qwen3-4B-Q4_K_M-GGUF — это квантизированная версия модели Qwen3-4B, преобразованная в формат GGUF с использованием llama.cpp через сервис GGUF-my-repo. Исходная модель разработана командой Qwen, а данный репозиторий предназначен для запуска в экосистеме llama.cpp. Модель относится к классу text-generation и работает с текстовыми входными и выходными данными. Ключевая характеристика этой версии — квантизация Q4_K_M, уменьшающая требования к памяти по сравнению с полноразмерной моделью. Размер базовой модели составляет 4B параметров. Модель можно использовать локально через llama-cli или llama-server, в том числе для генерации текста и развёртывания локального сервера inference. В README приведён пример контекста длиной 2048 токенов, однако максимальный размер контекста, поддерживаемые языки и подробности архитектуры не указаны. Лицензия — Apache-2.0.

Qwen3.5-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GPTQ-int4 — квантизированная версия модели Jackrong/Qwen3.5-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled, основанная на Qwen3.5-35B-A3B. Модель предназначена для генерации текста, задач рассуждения и мультимодального понимания изображений с текстом. Указанные языки — английский и китайский. Это MoE-модель с 35 млрд общих параметров, из которых около 3 млрд активируются для каждого токена; используется 256 экспертов, 8 из которых активны одновременно. Квантование выполнено методом GPTQ в формате INT4 W4A16 с размером группы 128. Vision encoder и MTP-модуль сохранены без квантизации, поэтому модель поддерживает анализ изображений, хотя исходное дообучение было сосредоточено на текстовых задачах рассуждения. Для запуска в INT4 требуется примерно 22 ГБ видеопамяти; в примере конфигурации указан контекст до 4096 токенов. Сильные стороны модели — снижение требований к памяти благодаря INT4-квантизации, сохранение мультимодальных возможностей и высокая вычислительная эффективность MoE-архитектуры. Ограничения включают возможную потерю качества из-за квантизации и отсутствие подробных данных о фактических результатах, тренировочном наборе и полном наборе поддерживаемых возможностей. Модель распространяется по лицензии Apache 2.0.

Avesed/Qwen3.6-27B-INT8-W8A8 — квантованная версия базовой модели Qwen/Qwen3.6-27B, разработанной командой Qwen и подготовленной Avesed. Это плотная гибридная модель с архитектурой, объединяющей линейное внимание GatedDeltaNet и периодическое полноформатное внимание. Модель имеет vision tower и MTP head, однако в карточке указаны языки English и Chinese, а назначение обозначено как text-generation. Модель предназначена для генерации текста и задач, поддерживаемых базовой Qwen3.6-27B, включая сценарии, где важны рассуждения и работа с длинными последовательностями; точный размер контекста в README не указан. Ключевая особенность — INT8-квантизация по схеме W8A8: веса квантуются в симметричный INT8 по каналам, а активации — динамически по токенам. Большинство MLP-слоёв, полное внимание и выходная проекция GatedDeltaNet квантуются, тогда как чувствительные к качеству компоненты сохраняются в формате bf16. По заявлению автора, INT8 W8A8 обеспечивает почти отсутствие потерь качества и уменьшает требования к памяти по сравнению с полноразмерной моделью. Для запуска рекомендуется vLLM с INT8 W8A8 CUTLASS path и tensor parallelism; указана совместимость с GPU Ampere sm_80 и sm_86. Ограничения включают зависимость от подходящего программного стека и оборудования, а также отсутствие в README точных данных о контексте, производительности и качестве на конкретных наборах задач. Модель распространяется по лицензии Apache-2.0.

uzairkhn/Qwen3.8-27B-FP4 — дообученная и 4-битно квантованная версия causal language model Qwen/Qwen3.8-27B. Квантование FP4 выполнено с использованием библиотеки bitsandbytes разработчиком uzairkhanux; исходную модель разработала команда Qwen. Модель предназначена для генерации текста, диалогового взаимодействия, zero-shot и few-shot prompting, а также инференса в прикладных сценариях, где важны сниженные требования к видеопамяти. Это трансформерная авторегрессионная модель размером 27B параметров, доступная в формате FP4. По данным карточки, её потребление памяти снижено примерно с 54 ГБ для исходных 16-битных весов до около 14 ГБ, что позволяет запускать её на одной GPU с 16 ГБ VRAM или конфигурациях вроде двух NVIDIA T4. Модель поддерживает несколько языков, включая английский и китайский, а также другие языки, поддерживаемые базовой моделью. Для загрузки рекомендуется экосистема Hugging Face Transformers и bitsandbytes с возможностью выгрузки части весов в оперативную память. Главное преимущество модели — существенное уменьшение требований к памяти при сохранении возможностей исходной большой языковой модели. Ограничения связаны с потерями качества из-за lossy-квантования: по сравнению с исходными 16-битными или BF16-весами возможно ухудшение сложного рассуждения. Использование CPU offloading снижает скорость генерации, поэтому модель плохо подходит для чувствительных к задержкам производственных систем без оборудования с большим объёмом VRAM. Модель может наследовать предвзятости и ошибки исходных и дообучающих данных; перед применением нужны тестирование и защитные механизмы. Лицензия определяется лицензией базовой модели Qwen/Qwen3.8-27B.

Это GGUF-квантизация модели Qwen3.8-Flash-Next, разработанной командой Qwen и дополнительно подготовленной пользователем pugant для AMD Strix Halo с унифицированной памятью. Модель предназначена для генерации текста и запуска локальных LLM-сценариев на системах с Radeon 8060S и архитектурой gfx1151; при использовании совместимого runtime также заявлена поддержка vision через отдельный mmproj-модуль. Модель использует архитектуру qwen4exp и имеет около 180 млрд параметров в общей структуре: 125 млрд базовой части, около 6 млрд активных параметров, 51 млрд параметров PLE n-gram table и 4 млрд параметров MTP. Репозиторий содержит две сборки: ROCmFP4 STRIX_LEAN для систем с 128 ГБ памяти и смешанную ROCmFP2 STRIX_LEAN с 2-битными, FP4 и Q3-компонентами для систем с 64 ГБ. Поддерживаются английский и другие языки; заявлен контекст до 131 тыс. токенов. Сильные стороны модели — высокая эффективность по памяти для крупной MoE-подобной конфигурации, оптимизация под AMD Strix Halo, поддержка внешнего speculative-драфтера и возможность дискового размещения PLE-таблицы. Сборка ROCmFP4 обеспечивает более высокое качество, тогда как ROCmFP2 позволяет уложиться примерно в 56 ГБ оперативной памяти, но имеет заметный компромисс по качеству на отдельных тестах и больший дисковый объём. Для работы требуются специализированные форки ROCmFPX и совместимый runtime; стандартный llama.cpp эту квантизацию не загружает. Лицензия указана как qwen-community-1.0.

Qwen3-Next-80B-A3B-Instruct-MLX-6bit — это 6-битная версия инструкционной языковой модели Qwen3-Next-80B-A3B-Instruct, разработанной командой Qwen. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и других текстовых сценариях. Данная версия преобразована и квантизирована в формате MLX командой LM Studio с использованием mlx_lm и оптимизирована для работы на устройствах с Apple Silicon. В названии указаны размер исходной модели 80B и конфигурация A3B, однако в README не приведены дополнительные сведения об архитектуре, поддерживаемых языках, размере контекста, модальностях или результатах тестирования. Квантизация до 6 бит может снизить требования к памяти и сделать модель практичнее для локального запуска на совместимых устройствах, но потенциально влияет на точность по сравнению с полной версией. Модель распространяется по лицензии Apache 2.0.

bartowski/Qwen_Qwen3.5-4B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-4B, разработанной Qwen. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска в совместимых инструментах, включая llama.cpp, LM Studio, KoboldCpp, Jan AI и Text Generation WebUI. В метаданных указана задача image-text-to-text, однако подробные сведения о поддерживаемых модальностях, языках и максимальном контексте в README не приведены. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, а также IQ-квантизации. Размер файлов составляет примерно от 2,4 до 8,67 ГБ. В README варианты Q6 и Q5 описаны как обеспечивающие очень высокое или высокое качество, а Q4_K_M рекомендован как сбалансированный вариант для большинства сценариев. Более компактные варианты экономят оперативную память, но снижают качество; часть форматов предназначена для ARM- и AVX-совместимого CPU-инференса. Поддерживаются MTP-слои при использовании актуальной версии llama.cpp и параметра draft-mtp. Преимущество модели — возможность локального запуска с выбором компромисса между качеством, размером и требованиями к памяти. Ограничения зависят от выбранного уровня квантизации и совместимости используемого инструмента; для недавно поддерживаемых моделей может потребоваться обновление программного обеспечения. Распространение указано по лицензии Apache-2.0.

ukisai_Swift-Qwen3.8-27b-GGUF — это квантизированная версия модели Swift-Qwen3.8-27b, разработанной ukisai и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для задач генерации текста, рассуждений и эффективного по токенам решения задач. В README также заявлена поддержка обработки изображений вместе с текстом при использовании файла mmproj, поэтому модель может применяться в мультимодальных сценариях image-text-to-text. Модель поддерживает speculative decoding через MTP и использует imatrix-квантизацию. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ3, а также популярные Q4 и Q5; размер файлов варьируется примерно от 12,8 до 54,66 ГБ. В качестве универсального компромисса между качеством и размером рекомендуется вариант Q4_K_M объёмом 17,44 ГБ, тогда как Q6 и Q8 ориентированы на максимально высокое качество. Сведения о поддерживаемых языках и размере контекста в README не указаны. Сильными сторонами модели являются крупный размер, поддержка рассуждений, мультимодальный ввод, speculative decoding и широкий выбор уровней квантизации для различного объёма памяти. Ограничения включают значительные требования к дисковому пространству и памяти, возможное снижение качества в компактных вариантах, необходимость совместимого runtime llama.cpp, а для работы с изображениями — отдельного mmproj-файла. Модель распространяется по лицензии Swift Open License 1.0; в метаданных также указано, что доступ к ней является gated.

XORTRON.CriminalComputing.Config.LARGE.XPRT2 — текстовая чат-модель на архитектуре MistralForCausalLM, созданная Darkhn на основе дообучения mistralai/Mistral-Medium-3.5-128B. По карточке, в модели применена abliteration: в приведённом сравнении она отказала в 9 из 100 случаев, тогда как исходная модель — в 98 из 100. Это указывает на снижение частоты отказов, но не гарантирует ответ на любой запрос. Модель предназначена для генерации текста в диалоговом формате; метаданные также отмечают интерфейс вызова инструментов. Она содержит 123,4 млрд параметров, принимает только текст и поддерживает контекст до 262 144 токенов. Вес опубликован в формате safetensors с точностью BF16. Указана лицензия Apache-2.0.

Bagel DPO 8x7B v0.2 — экспериментальная модель-ассистент, созданная jondurbin дообучением Mixtral 8x7B v0.1: сначала применялось обучение на инструкциях (SFT), затем оптимизация предпочтений DPO. Это языковая модель архитектуры Mixtral с разреженной экспертной структурой MoE, примерно 7,1 млрд параметров и контекстом до 32 768 токенов; поддерживает диалоговую генерацию текста. Для обучения использовались данные по вопросам и ответам, математике, программированию, чтению, диалогам, ролевым сценариям и другим задачам. Модель рассчитана на общие запросы к ассистенту, написание текстов, ответы на вопросы и помощь с кодом. В карточке приведены ограниченные результаты сравнительных проверок, но автор не проводил комплексную оценку. Автор отмечает, что модель унаследовала от базовой Mixtral склонность отказывать в части запросов, несмотря на использование данных для снижения цензурирования. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0.

Bielik-11B-v2.6-Instruct — генеративная языковая модель с 11 млрд параметров, разработанная SpeakLeash совместно с HPC-центром ACK Cyfronet AGH. Это дообученная в формате инструкций версия Bielik-11B-v2 с архитектурой причинного декодера и шаблоном диалога ChatML. Модель работает с текстом и особенно хорошо ориентирована на польский язык; также заявлена поддержка английского. Модель предназначена для диалогов и выполнения текстовых инструкций, включая задачи по математике, программированию и STEM. При обучении использовались польские корпуса и более 20 млн инструкций, а для выравнивания ответов — обучение на предпочтениях и задачи с проверяемыми критериями. Лицензия — Apache 2.0. Разработчики предупреждают, что модель может выдавать фактически неверные, предвзятые или оскорбительные ответы и не имеет механизмов модерации. Её ответы требуют проверки, особенно в сценариях, где важны точность и безопасность.

BigQwen2.5-Echo-47B-Instruct-GGUF — набор GGUF-квантизаций модели BigQwen2.5-Echo-47B-Instruct, опубликованный пользователем bartowski и основанный на модели mlabonne. Квантизации подготовлены с помощью llama.cpp и imatrix; модель предназначена для генерации текста и работы в локальных средах инференса, включая LM Studio. Указанный язык — английский, формат взаимодействия использует шаблон Qwen с ролями system, user и assistant. Модель имеет размер 47B параметров, однако сведения о точной архитектуре, длине контекста и мультимодальных возможностях в README не указаны. Доступны варианты от F16 размером около 94,79 ГБ до низкобитных Q3 и Q4, а также Q5, Q6 и Q8; наиболее качественными и рекомендуемыми названы некоторые варианты Q6_K, Q5 и Q4. Квантизации позволяют выбирать баланс между качеством, размером файла и требованиями к памяти; отдельные варианты оптимизированы для ARM-процессоров. Ограничениями являются значительные требования к памяти для старших вариантов и возможное снижение качества у низкобитных квантизаций. Для запуска требуется совместимое программное обеспечение, например llama.cpp или LM Studio. Лицензия указана как other с названием tongyi-qianwen; в качестве текста лицензии приведена ссылка на лицензию Qwen2-72B-Instruct.

DeepSeek-R1-0528-Qwen3-8B-GGUF — квантизированная версия языковой модели DeepSeek-R1-0528-Qwen3-8B, разработанной deepseek-ai. Квантизацию выполнил bartowski с использованием llama.cpp версии b5524 и метода imatrix. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. Это текстовая модель размером 8B параметров, представленная в формате GGUF. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ, с размером файлов примерно от 3,9 до 16,39 ГБ. Более высокие уровни квантизации обычно лучше сохраняют качество, а варианты Q3 и ниже ориентированы на устройства с ограниченным объёмом оперативной памяти. Для работы рекомендуется использовать указанный шаблон prompt format; контекстное окно, поддерживаемые языки и дополнительные модальности в README не указаны. Сильные стороны модели — возможность локального запуска, широкий выбор вариантов квантизации и компромисс между качеством, размером и требованиями к памяти. Ограничения зависят от выбранного варианта: более сильная квантизация может снижать качество генерации, а для запуска требуются совместимые инструменты и достаточно оперативной или видеопамяти. Лицензия модели указана как MIT.

MaziyarPanahi/DeepSeek-R1-0528-Qwen3-8B-GGUF — это набор файлов модели в формате GGUF для базовой модели deepseek-ai/DeepSeek-R1-0528-Qwen3-8B. Исходную модель разработала deepseek-ai, а квантированную версию подготовил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты. GGUF — формат, созданный командой llama.cpp и пришедший на смену GGML. Доступны варианты квантования с разной разрядностью: 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством работы. Поддерживаются llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, Faraday.dev, candle и ctransformers. К сильным сторонам относятся возможность локального использования, широкий выбор уровней квантования, GPU-ускорение в ряде клиентов и совместимость с OpenAI-совместимыми серверными интерфейсами некоторых библиотек. README не содержит сведений о точной архитектуре, размере параметров, поддерживаемых языках, длине контекста, мультимодальности, результатах тестирования или лицензии, поэтому эти характеристики нельзя достоверно определить.

G9v3-39A5B-GGUF — это неофициальная конверсия предварительной языковой модели G9v3-39A5B, разработанной AI9Stars, в формат GGUF. Конверсию выполнил linuxid10t для запуска через llama.cpp. Модель предназначена для генерации текста, диалогов, задач с длинным контекстом и сценариев с вызовом инструментов; заявлена поддержка режимов Think и No-Think. Поддерживаемые языки — английский и китайский. Модель использует архитектуру G9v3ForCausalLM со sparse Mixture-of-Experts: около 39 млрд параметров всего и примерно 5 млрд активных на один токен. Она содержит 38 слоёв, включая один плотный и 37 MoE-слоёв, 320 маршрутизируемых экспертов, из которых выбираются 32, а также одного общего эксперта. Максимальный контекст составляет 131 072 токена. Доступны варианты BF16, Q8_0, Q4_K_M и IQ4_XS; квантованные версии уменьшают требования к памяти, но могут снижать точность по сравнению с BF16. Основное ограничение — модель является preview-релизом, а поддержка архитектуры G9v3 ещё не включена в стандартные сборки llama.cpp: требуется специальная ветка с поддержкой G9v3. Рекомендуемый объём оперативной памяти составляет не менее 96 ГиБ для BF16, 48 ГиБ для Q8_0 и 32 ГиБ для Q4_K_M или IQ4_XS, причём фактические требования зависят от размера контекста и настроек запуска. Репозиторий распространяется по лицензии Apache-2.0.

MaziyarPanahi/gemma-3-12b-it-GGUF — это набор файлов модели в формате GGUF для Google Gemma 3 12B IT. Исходную модель разработала Google, а квантованные варианты подготовил MaziyarPanahi. Модель предназначена для генерации текста и использования в сценариях взаимодействия с инструкциями. Главная особенность репозитория — представление модели в формате GGUF, совместимом с llama.cpp и рядом локальных приложений и библиотек, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие. Доступны варианты с квантованием от 2 до 8 бит, что позволяет выбирать между меньшим потреблением памяти и сохранением качества, однако конкретные характеристики каждого варианта в README не приведены. К сильным сторонам относятся поддержка распространённого формата для локального запуска, возможность GPU-ускорения и широкий выбор уровней квантования. Ограничения связаны с потерями качества, возможными при агрессивном квантовании, а также с отсутствием в предоставленных данных сведений о поддерживаемых языках, размере контекста, модальностях и точных требованиях к оборудованию. Лицензия в README не указана.

Hermes-2-Pro-Llama-3-8B-GGUF — квантизированная GGUF-версия языковой модели Hermes-2-Pro-Llama-3-8B, разработанной NousResearch и преобразованной в GGUF компанией Second State Inc. Это текстовая модель для генерации ответов в диалогах и использования инструментов, совместимая с форматом ChatML и запуском через LlamaEdge. В README указан английский язык. Модель относится к семейству Llama и содержит 8 млрд параметров. Доступны варианты квантизации от 2 до 8 бит, а также версия f16 размером 16,1 ГБ. Рекомендуемые варианты Q4_K_M, Q5_K_M и Q5_K_S обеспечивают компромисс между размером и сохранением качества; наиболее компактные варианты требуют меньшего объёма памяти, но сопровождаются более заметной потерей качества. Указанный размер контекста — 4096 токенов. Для работы требуется LlamaEdge версии 0.11.3 или новее и соответствующий шаблон prompt: chatml для диалогов или chatml-tool для использования инструментов. README не содержит сведений о лицензии исходной модели или этой сборки, поэтому условия распространения и коммерческого использования по представленным данным определить нельзя.

Hermes-2-Pro-Mistral-10.7B — языковая модель Nous Research, созданная методом Depth Up-Scaling из Hermes-2-Pro-Mistral-7B на базе Mistral. Это плотная авторегрессионная модель на 10,6 млрд параметров с контекстом до 32 768 токенов; веса представлены в формате safetensors и доступны по лицензии Apache-2.0. Модель предназначена для диалогов и следования инструкциям, а также может использоваться как основа для дальнейшего дообучения или как замена версии на 7 млрд параметров. Она поддерживает формат ChatML и обучалась для вызова функций и выдачи структурированных ответов в JSON. В карточке сообщается о результатах оценки 90% для вызова функций и 84% для структурированного вывода JSON. Карточка указывает английский язык. Описанные вызов функций и JSON-режим требуют соответствующего формата запросов и обработки ответов в приложении. Конкретные ограничения качества и сравнительные результаты для других задач в карточке не приведены.

duyntnet/Llama-3.2-3B-Instruct-imatrix-GGUF — набор квантизированных версий инструкционно дообученной языковой модели Llama 3.2 3B Instruct, разработанной Meta. Репозиторий распространяет модель в формате GGUF с использованием imatrix и предназначен для локального запуска через llama.cpp, KoboldCPP, text-generation-webui или Ollama. Модель представляет собой авторегрессионную текстовую модель на оптимизированной архитектуре Transformer с примерно 3 млрд параметров. Она работает по схеме «текст на входе — текст на выходе» и поддерживает английский язык; исходная модель описывается как мультиязычная, однако для этой конкретной публикации в карточке указан только английский. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning from human feedback и ориентирована на диалоги, агентный поиск и извлечение информации, суммирование и другие задачи генерации текста. К сильным сторонам относятся компактный размер, возможность локального запуска и совместимость с распространёнными инструментами инференса. Ограничения включают текстовую модальность, отсутствие в README сведений о размере контекста, конкретных параметрах квантизации и результатах бенчмарков. Лицензия указана как other; дополнительные условия использования в карточке не приведены.

Llama-3-SauerkrautLM-8b-Instruct-GGUF — это инструкционная языковая модель семейства Llama 3 в формате GGUF, опубликованная пользователем или организацией bartowski. По названию и указанным метаданным модель имеет размер 8 миллиардов параметров и ориентирована на диалоговое взаимодействие и выполнение инструкций. В карточке заявлена поддержка немецкого и английского языков, а также указано обучение методом DPO в два этапа. Модель предназначена для генерации текста, ответов на инструкции и других сценариев использования локальной LLM, совместимой с инструментами инференса, поддерживающими формат GGUF. Ключевыми особенностями являются принадлежность к семейству Llama 3, инструкционная настройка и оптимизация предпочтений методом DPO. Сведения о точной архитектуре, длине контекста, модальностях, конкретных вариантах квантования, производительности и ограничениях в README не приведены, поэтому их необходимо уточнять отдельно. Использование регулируется Meta Llama 3 Community License. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ на установленных условиях, включая соблюдение Acceptable Use Policy, сохранение уведомления об атрибуции и отображение фразы «Built with Meta Llama 3» при распространении материалов или продуктов на их основе. Для производных моделей также требуется включать «Llama 3» в начало названия; для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

QuantFactory/Meta-Llama-3.1-8B-GGUF — это квантованная версия большой языковой модели Llama 3.1 с 8 млрд параметров, представленная в формате GGUF. Базовую модель разработала Meta, а QuantFactory подготовила её распространение в квантованном формате. Модель предназначена для генерации текста и может использоваться в локальных приложениях, чат-ботах, ассистентах, системах обработки естественного языка и других сценариях, где требуется текстовая генерация. Модель поддерживает текстовую модальность. В карточке заявлены языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Дополнительные сведения об архитектуре, размере контекстного окна, конкретном методе и уровне квантования, производительности, формате инструкционного дообучения и системных требованиях не указаны, поэтому её характеристики в этих аспектах требуют проверки по файлам модели. Главные преимущества — компактность по сравнению с полноразмерной версией, возможность запуска через совместимые инструменты для GGUF и многоязычная текстовая генерация. Ограничения включают возможные потери качества из-за квантования, зависимость результатов от выбранного варианта квантования и отсутствие заявленных возможностей работы с изображениями или другими модальностями. Модель распространяется по лицензии Llama 3.1 Community License от Meta; при использовании и распространении необходимо соблюдать её условия, включая требования к атрибуции, маркировке «Built with Llama», Acceptable Use Policy и специальные коммерческие ограничения.