II.2Создание и понимание программного кода

WizardLM 7B Uncensored — это языковая модель для диалогового взаимодействия, созданная Eric Hartford на базе WizardLM-7B-Uncensored. Данный репозиторий содержит её GPTQ-квантизированные файлы, подготовленные TheBloke, и предназначен главным образом для локального запуска на совместимом оборудовании. Модель использует архитектуру Llama и имеет 7 миллиардов параметров. Она ориентирована на ответы на вопросы и выполнение инструкций в формате чата; в README приведён шаблон Vicuna с ролями пользователя и ассистента. Модель работает с текстом, сведения о поддерживаемых языках и исходном размере контекста не указаны. Для GPTQ-файлов доступны различные варианты квантизации; в частности, 4-битные сборки имеют размер около 3,89–4,00 ГБ, используют group size 128 и совместимы с ExLlama. Указанная длина последовательности 2048 относится к процессу квантизации и не заявлена как ограничение контекста модели. К сильным сторонам относятся сниженное потребление видеопамяти благодаря GPTQ-квантизации и наличие вариантов, позволяющих выбирать компромисс между размером, совместимостью и точностью. Ограничения включают возможную потерю точности из-за квантизации, зависимость от поддерживаемого программного обеспечения и отсутствие в README подробных оценок качества, перечня языков и описания модальностей помимо текста. Модель обозначена как uncensored, поэтому её поведение и защитные ограничения могут отличаться от стандартных инструкционных чат-моделей. Лицензия указана как other; конкретные условия использования в README не раскрыты.

bartowski/xai-org_grok-2-GGUF — это набор квантизированных версий текстовой генеративной модели Grok-2, разработанной xAI. Квантизацию выполнил bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска задач генерации текста через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты квантизации от Q8_0 до IQ1_M, что позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. Размеры опубликованных файлов составляют примерно от 68,52 до 286,39 ГБ; наиболее качественными и рекомендуемыми в README названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS. Более компактные варианты требуют меньше оперативной памяти, но заметно уступают по качеству и могут быть непригодны для сложных задач. Модель предназначена для текстовой генерации; сведения об архитектуре, поддерживаемых языках, размере контекстного окна и формате промпта в README не указаны. Для запуска требуется совместимое программное обеспечение и значительный объём памяти, особенно для старших вариантов квантизации. Лицензия в предоставленных данных не указана.

featherless-ai-quants/xkbang-FineLlama-3.1-8B-GGUF — набор GGUF-квантизаций модели xkbang/FineLlama-3.1-8B, подготовленный и опубликованный командой Featherless AI Quants. Модель относится к классу генеративных текстовых моделей и предназначена для задач text-generation, включая локальный или ресурсоэффективный запуск совместимых Llama-моделей. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Заявленный размер базовой модели — 8B параметров; размеры файлов варьируются примерно от 3 до 8,1 ГБ в зависимости от уровня квантизации. Более компактные варианты требуют меньше памяти, но могут сильнее снижать качество, тогда как Q6_K и Q8_0 ориентированы на лучшее сохранение исходных характеристик при повышенных требованиях к ресурсам. В README не указаны поддерживаемые языки, размер контекстного окна, точная архитектура, результаты тестирования, системные требования и лицензия. Поэтому сильные стороны модели можно связывать главным образом с наличием нескольких вариантов GGUF для выбора компромисса между качеством и потреблением памяти; ограничения и условия коммерческого или иного использования требуют проверки в документации базовой модели xkbang/FineLlama-3.1-8B и соответствующих файлов лицензии.

MaziyarPanahi/xLAM-8x22b-r-GGUF — это квантованная версия языковой модели Salesforce/xLAM-8x22b-r, подготовленная в формате GGUF разработчиком MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые приложения и библиотеки, включая llama.cpp, llama-cpp-python, LM Studio и text-generation-webui. Ключевая характеристика репозитория — наличие файлов в вариантах квантования от 2 до 8 бит, что позволяет выбирать компромисс между размером модели, требованиями к памяти и качеством генерации. Исходная модель обозначена как xLAM-8x22b-r, однако в README не указаны точная архитектура, количество параметров, длина контекста, поддерживаемые языки и дополнительные модальности; по приведённым данным модель относится к текстовой генерации. Сильная сторона модели — возможность более экономичного локального развертывания и совместимость с широким набором инструментов, включая варианты с GPU-ускорением и OpenAI-совместимым API. Ограничения связаны с отсутствием подробных сведений о качестве, бенчмарках, назначении исходной модели и системных требованиях. Лицензия в README не указана.

Agente-Llama-3.1-Asistant-16bit-v2-GGUF — это набор файлов модели в формате GGUF, созданный пользователем mradermacher на основе Agnuxo/Agente-Llama-3.1-Asistant-16bit-v2. Модель предназначена для локального запуска задач генерации текста, включая сценарии автономных агентов, локального ИИ и научных исследований. Указаны английский и испанский языки. Библиотека Transformers и исходная модель обозначены в метаданных, однако подробности архитектуры и точный размер базовой модели не приведены. Репозиторий содержит варианты квантования от Q2_K размером около 3,3 ГБ до f16 размером около 16,2 ГБ. Доступны форматы Q2_K, Q3, Q4, Q5, Q6, Q8_0 и IQ, причём Q4_K_S и Q4_K_M рекомендованы как быстрые варианты, Q6_K заявлен как вариант с очень хорошим качеством, а Q8_0 — как быстрый вариант с наилучшим качеством среди перечисленных. Версия f16 имеет точность 16 бит и может быть избыточной по требованиям к ресурсам. Мультимодальность, размер контекста, аппаратные требования и результаты оценивания не указаны. Преимущество модели — наличие множества уровней квантования для выбора баланса между качеством, скоростью и объёмом памяти, что подходит для локального использования. Ограничения связаны с отсутствием подробных сведений о базовой архитектуре, обучении, качестве в прикладных задачах и поддерживаемых сценариях агента; характеристики также зависят от выбранного варианта квантования. Распространение указано по лицензии Apache-2.0.

bartowski/arcee-ai_Arcee-Blitz-GGUF — набор GGUF-квантизаций модели Arcee-Blitz, разработанной arcee-ai. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp; в README приведён формат промпта с системной инструкцией и пользовательским запросом. Доступны варианты квантования от Q2_K и IQ2_M до Q8_0, размер файлов составляет примерно от 8,89 до 25,05 ГБ. Более качественными и рекомендуемыми указаны варианты Q4_K_M, Q5_K_M, Q6_K и Q6_K_L, тогда как низкоразрядные варианты экономят оперативную память за счёт снижения качества. README не содержит достоверных сведений о точной архитектуре, числе параметров, поддерживаемых языках, модальностях и размере контекстного окна. Основные преимущества — широкий выбор уровней квантования, возможность локального запуска и оптимизация imatrix. Ограничения связаны с компромиссом между качеством и требованиями к памяти, а также с тем, что характеристики исходной модели и результаты бенчмарков в карточке не приведены. Указанная лицензия — Apache-2.0.

Argos 2B — дообученная и объединённая с адаптером модель Fabrix AI на базе Qwen3.5-2B, предназначенная для диалогового поиска знаний Fabrix/RDAF, цитирования документации и подготовки наборов пользовательских виджетов для дашбордов. Модель обучалась методом supervised fine-tuning на базе знаний и рецептах виджетов, а затем была настроена с помощью Direct Preference Optimization (DPO), в частности для соблюдения формата ссылок на карточки базы знаний и порядка зависимостей виджетов. Это плотная модель архитектуры Qwen3.5ForConditionalGeneration с 2,3 млрд параметров, опубликованная в формате safetensors с 16-битными весами. Метаданные указывают поддержку чата и интерфейса вызова инструментов; языковая карточка указывает английский. Для примеров оценки в README заявлены 100% точности формата карточек на 22 примерах и 59,1% точного совпадения цитат на предпочтительных парах; это результаты описанных авторами оценок, а не гарантия качества в других сценариях. Лицензия — Apache-2.0.

Ava-1.0-12B-GGUF — набор квантизованных версий языковой модели Ava-1.0-12B, разработанной Spestly и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio и совместимые инструменты на базе llama.cpp. Модель содержит 12 миллиардов параметров. Доступны варианты с точностью от F16 до Q2_K и IQ-квантований, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Наиболее качественными считаются F16, Q8_0, Q6_K_L и Q6_K, а Q4_K_M указан как подходящий вариант по умолчанию для большинства сценариев. Квантизация выполнялась с использованием imatrix и датасета nvidia/HelpSteer2; также заявлено исправление токенизатора. README не содержит сведений об архитектуре исходной модели, поддерживаемых языках, размере контекста, мультимодальности, рекомендованном шаблоне запросов или результатах бенчмарков. Поэтому сильные стороны модели можно оценивать главным образом по доступному выбору квантизаций и возможности локального использования, а качество генерации зависит от выбранного варианта. Модель распространяется по лицензии Apache-2.0.

Behemoth-123B-v1.2-GGUF — набор GGUF-квантизаций текстовой генеративной модели Behemoth-123B-v1.2, разработанной TheDrummer и квантованной пользователем bartowski. Модель предназначена для генерации текста и локального инференса через llama.cpp, в том числе в LM Studio. Для работы рекомендуется использовать шаблон prompt: <s> [INST] {prompt}[/INST]. Модель имеет 123 млрд параметров; в README не указаны точная архитектура, поддерживаемые языки, размер контекста и дополнительные модальности, поэтому она описывается только как текстовая. Доступны варианты квантования от Q8_0 до IQ2_XXS размером примерно от 130,28 до 32,43 ГБ. Более высокие разрядности обеспечивают лучшее качество, но требуют больше памяти; низкоразрядные варианты экономичнее, однако могут заметно уступать в качестве. Для большинства сценариев автор рекомендует Q4_K_M, а также Q5_K_M, Q5_K_S и Q6_K. Отдельные варианты оптимизированы для ARM или AVX, некоторые не предназначены для Mac или GPU. Ключевые ограничения — значительные требования к памяти даже у компактных квантов и неизбежная потеря качества при сильном сжатии. Используется формат GGUF и инструменты llama.cpp версии b4222; часть файлов разбита на несколько частей. В метаданных указана лицензия other, без дополнительных условий лицензирования в README.

Это общественная конверсия BetterWright-4b в формат GGUF с тремя вариантами квантования: Q4_K_M, Q5_K_M и Q8_0. Модель разработана для управления браузером через BetterWright и Playwright; исходные веса — полно-параметрическое дообучение Spark-X2.5-4B от XHToken. Конверсия не меняет поведение базовой модели. Модель принимает текстовые запросы и выдаёт текстовые ответы и вызовы инструментов для многошаговых действий в браузере, например перехода по страницам. В GGUF встроены токенизатор и шаблон чата; архитектура — spark2_5, словарь содержит 131 072 токена. README сообщает о работе с контекстом до 262 тысяч токенов, но при такой длине кэш KV требует значительной памяти. Для запуска требуется llama.cpp со сборкой, поддерживающей Spark2_5ForCausalLM, а для браузерных действий — среда BetterWright. Q5_K_M рекомендован как вариант общего назначения, Q8_0 лучше сохраняет точность аргументов инструментов, а Q4_K_M подходит для ограниченной памяти, но может сильнее отклоняться при генерации длинного браузерного кода. Проверка подтверждает загрузку и корректный вызов инструмента, но не сравнивает качество квантов; результаты бенчмарков относятся к исходным BF16-весам. Репозиторий распространяется по лицензии Apache-2.0 и является общественной, неофициальной конверсией исходной модели.

CantoneseLLM-v2.0-30B-A3B-Thinking — разговорная языковая модель от hon9kon9ize на архитектуре Qwen3 MoE, предназначенная для ответов и рассуждений на гонконгском кантонском диалекте. Модель создана на основе Qwen3-30B-A3B и Qwen3-30B-A3B-Thinking-2507: разработчик описывает многоэтапный процесс, включавший продолжение предобучения, слияние, дообучение с учителем, DPO и два этапа RLVR. В карточке указано 2,6 млрд параметров; README указывает 30,5 млрд общих и 3,3 млрд активируемых параметров. Контекст модели — 40 960 токенов, хотя обучение проводилось на последовательностях длиной до 16 384 токенов. Модель подходит для диалогов на кантонском, рассуждений и ответов на математические, академические и профессиональные вопросы, а также для генерации текста и кода. В сравнении с базовыми и промежуточными версиями она нацелена на то, чтобы вести ход рассуждений на кантонском, а не переходить на письменный китайский. В метаданных также указаны китайский и английский языки. Среди ограничений разработчик отмечает короткие цепочки рассуждений, возможное чрезмерное предпочтение кантонского при запросе на письменный китайский, склонность игнорировать требования отвечать только выбранной буквой, непроверенное поведение на длинном контексте и риск галлюцинаций. Данные предпочтений оценивались моделью, а число экспериментов на каждом этапе было ограничено одним запуском. Лицензия — Apache-2.0.

CroissantLLM Base — базовая языковая модель инициативы CroissantLLM, разработанная для исследовательского и промышленного сообщества. Это плотная модель семейства Llama с 1,3 млрд параметров, обученная на 3 трлн токенов на английском и французском языках; для предобучения использовалось соотношение данных 1:1 и собственный токенизатор. Контекст модели — 2048 токенов. Модель предназначена для генерации текста и работы с few-shot prompting. Она не настроена для диалога; авторы рекомендуют Chat-версию для интерактивного общения. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Среди сильных сторон — двуязычное обучение и возможность запуска на потребительском оборудовании; размер 1,3 млрд параметров ограничивает её возможности по сравнению с более крупными языковыми моделями.

DCPythia-6.9B — предварительно обученная языковая модель Caiyun AI на 6,9 млрд параметров, обученная на корпусе The Pile на 300 млрд токенов. Она использует плотную архитектуру DCPythia с Dynamically Composable Multi-Head Attention (DCMHA), которая динамически сочетает головы внимания; авторы исследуют её масштабирование и сравнивают модель с Pythia-6.9B. Модель предназначена для генерации текста и может служить базой для экспериментов и приложений, которым нужна языковая модель общего назначения. В карточке приведён пример ускорения инференса с помощью torch.compile. Указанная лицензия — MIT. Карточка не приводит контекстное окно или результаты оценок, поэтому качество для конкретных сценариев по ней определить нельзя.

Репозиторий ONNX Runtime содержит оптимизированные версии DeepSeek-R1-Distill-Qwen-1.5B и DeepSeek-R1-Distill-Qwen-7B для ускоренного инференса. Модели представлены в формате ONNX и предназначены для генерации текста; их можно запускать через ONNX Runtime на CPU и GPU, включая серверы, настольные компьютеры и мобильные CPU. Разработчик — ONNX Runtime. В репозитории есть конфигурации с квантизацией int4 методом RTN, а также варианты с разной точностью для целевых устройств. README приводит примеры более высокой скорости генерации на отдельных конфигурациях, но отмечает, что оптимизации могут немного менять ответы относительно базовой модели. Указана лицензия MIT. Подробности о задачах и языках базовых моделей приведены в карточках DeepSeek-R1-Distill-Qwen-1.5B и DeepSeek-R1-Distill-Qwen-7B; Python, C и C++ в README перечислены как языки программирования, а не естественные языки.

inferencerlabs/DeepSeek-V4-Flash-MLX-Q2.8-INF — квантизированная версия модели DeepSeek-V4-Flash, разработанная inferencerlabs на базе исходной модели DeepSeek. Сборка предназначена для генерации текста и запуска локального вывода на системах Apple с использованием библиотеки MLX и модифицированного варианта MLX. Модель сжата методом Q2.8-INF — data-agnostic подходом, настроенным на общую точность при ограничении памяти до 128 ГиБ. В README указано, что на M3 Ultra с 512 ГиБ памяти и приложением Inferencer скорость текстового вывода составляла около 30 токенов в секунду при последовательности длиной примерно 2000 токенов; потребление памяти достигало около 95,49 ГиБ. Ключевое преимущество сборки — возможность запуска в пределах 128 ГиБ RAM при сохранении связности ответов. Из-за сильного уровня сжатия общая точность модели снижена. README не содержит достоверных сведений об архитектуре, количестве параметров, поддерживаемых языках, максимальном контексте и мультимодальных возможностях. Лицензия также не указана, поэтому условия распространения и коммерческого использования необходимо уточнять отдельно для данной сборки и базовой модели.

DeltaP2S-Gemma2-9B-P2S-CodeGemma7B-Code-S13-a025 — объединённый чекпойнт, созданный пакетом экспериментов Delta-P2S. В README указан путь к обучающей базе CodeGemma 7B, преобразуемой в Gemma 2 9B; метаданные определяют архитектуру как плотную Gemma 2 с классом Gemma2ForCausalLM и размером 9 млрд параметров. Модель предназначена для генерации текста. Она работает через Transformers, хранится в формате safetensors и имеет контекстное окно 8192 токена. README не уточняет конкретные прикладные сценарии, языки, качество или условия лицензии, поэтому их нельзя определить по доступным сведениям.

Это плотная авторегрессионная модель семейства Gemma для генерации текста, представленная как объединённый чекпойнт эксперимента Delta-P2S. В README указана обучающая база CodeGemma 2B → Gemma 7B; в метаданных размер модели указан как 8,2 млрд параметров, архитектура — GemmaForCausalLM, формат весов — safetensors, библиотека — Transformers, контекст — до 8192 токенов. Модель предназначена для генерации текста. Название обучающей конфигурации указывает на эксперимент с переходом от CodeGemma 2B к Gemma 7B, однако README не описывает конкретные преимущества, качество на задачах программирования или инструкции по применению. Лицензия в предоставленных данных не указана.

DevQuasar/dphn.Dolphin-Mistral-24B-Venice-Edition-GGUF — это квантизированная версия текстовой генеративной модели dphn/Dolphin-Mistral-24B-Venice-Edition. В README указано, что модель разработана на основе исходной модели dphn, а квантизация опубликована под идентификатором DevQuasar. Модель предназначена для генерации текста. Подробные сведения о поддерживаемых сценариях, языках, размере контекста, используемой архитектуре, конкретных вариантах квантизации и требованиях к оборудованию в README отсутствуют. Известно только, что базовая модель имеет обозначение Mistral-24B, однако точные характеристики и модальности не уточнены. К потенциальным преимуществам относятся уменьшенный размер и требования к ресурсам по сравнению с полной версией благодаря квантизации. Ограничения, качество на отдельных задачах и совместимость с конкретными программными средствами не описаны. Лицензия в представленном README не указана.

Это набор GGUF-квантизованных файлов модели DrNicefellow/Mistral-1-from-Mixtral-8x7B-v0.1, подготовленный и опубликованный командой featherless-ai-quants. Модель предназначена для генерации текста и локального или совместимого с GGUF инференса; конкретные прикладные сценарии, метод обучения и архитектурные подробности в README не описаны. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 2,9 до 7,3 ГБ. Квантизация позволяет выбирать компромисс между размером файла, требованиями к ресурсам и предполагаемым качеством генерации, однако точные характеристики производительности не приведены. Модальность — текстовая; поддерживаемые языки, размер контекста, число параметров, сильные стороны и ограничения базовой модели не указаны. README не содержит сведений о лицензии ни базовой модели, ни квантизованных файлов, поэтому условия использования необходимо уточнять в документации исходной модели и репозитория.

SirSahOl подготовил конверсию Gemma 3 1B IT для запуска через MLX на устройствах Apple Silicon. Это плотная языковая модель с архитектурой Gemma3ForCausalLM и примерно 1 млрд параметров, предназначенная для диалогов и генерации текста. Модель принимает текст и использует контекст до 32 768 токенов. Веса представлены в формате MLX и хранятся как safetensors в 16-битной точности без дополнительной квантизации. README указывает, что для запуска нужно учитывать объём объединённой памяти устройства; основная целевая среда — GPU Apple Silicon. Модель унаследована от google/gemma-3-1b-it и распространяется по лицензии Gemma.

Gemma 3 1B IT GGUF — квантизированная версия языковой модели Google gemma-3-1b-it, подготовленная MaziyarPanahi в формате GGUF. Модель предназначена для генерации текста и локального использования через совместимые инструменты, включая llama.cpp, llama-cpp-python, LM Studio и другие приложения для запуска LLM. Ключевая характеристика этой версии — поддержка уровней квантизации от 2 до 8 бит, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. Модель относится к текстовым моделям; сведения о поддерживаемых языках, длине контекста и мультимодальности в README не указаны. GGUF удобен для локального запуска на различных платформах, включая сценарии с GPU-ускорением, серверным режимом и OpenAI-совместимым API. Ограничения включают небольшой размер базовой модели — 1 миллиард параметров — и возможное снижение качества при использовании более агрессивной квантизации. Лицензия в README не указана.

Aldaris/gemma-3-4b-it-Q4_K_M-GGUF — это GGUF-конверсия модели google/gemma-3-4b-it, разработанной Google. Модель предназначена для запуска и инференса через llama.cpp, в том числе в режиме командной строки или локального сервера. Метаданные классифицируют её как модель image-text-to-text, однако подробные сведения о поддерживаемых языках и работе с изображениями в README не приведены. Модель основана на Gemma 3 с размером около 4 миллиардов параметров и ориентирована на instruction-tuned сценарии: генерацию ответов по инструкциям и работу в прикладных диалоговых задачах. Формат Q4_K_M — 4-битная квантизация GGUF, которая обычно снижает требования к памяти и делает модель удобнее для локального запуска, но может уступать исходной версии по точности. В качестве примера использования указан контекст длиной 2048 токенов; другие характеристики контекстного окна не уточняются. Конверсию в GGUF выполнили с помощью llama.cpp через пространство GGUF-my-repo. Для доступа к модели требуется принять лицензию Google Gemma на Hugging Face; конкретные условия лицензии необходимо проверять в оригинальной карточке модели. README не содержит результатов тестирования, подробного описания архитектуры, перечня языков, требований к оборудованию или известных ограничений качества.

Это пакет слоёв GGUF для модели GLM-5.2-Q2_K-MTP-Q8, подготовленный Mesh LLM для распределённого инференса на локальном кластере. Он основан на meshllm/GLM-5.2-Q2_K-MTP-Q8-GGUF и разделяет исходную модель на артефакты по слоям для запуска на нескольких машинах. Пакет предназначен для локального приватного чата и генерации текста, когда полная модель не помещается на одном компьютере, а также для обслуживания запросов через локальный API, совместимый с OpenAI Chat Completions. Для запуска требуется Mesh LLM; README приводит команду запуска распределённого сервера. Формат пакета — layer-package с весами GGUF; метаданные классифицируют задачу как text-generation и возможность как chat. Архитектурные детали исходной модели, её размер, контекст, языки и условия лицензии в предоставленных материалах не раскрыты; README отсылает к карточке исходной модели за этими сведениями.

GLM-5.3-UD-Q4_K_XL-layers — пакет GGUF-слоёв модели GLM-5.3 для распределённого запуска в Mesh LLM. Пакет создан на основе unsloth/GLM-5.3-GGUF и разбивает исходную GGUF-модель на отдельные артефакты по слоям, чтобы распределять вычисления между несколькими локальными компьютерами. Модель предназначена для локального диалогового использования, в том числе через совместимый с OpenAI API интерфейс Mesh LLM. Такой запуск подходит, когда полный файл модели не помещается на одном компьютере или требуется выполнять инференс на собственном оборудовании. Репозиторий содержит вариант UD-Q4_K_XL в формате GGUF; сведения об архитектуре, контекстном окне и поддерживаемых языках следует смотреть в карточке исходной модели. Лицензия указана как other, поэтому перед использованием нужно проверить условия исходной модели unsloth/GLM-5.3-GGUF.

Granite 4.0 H Micro 4bit — компактная языковая модель, разработанная IBM и преобразованная сообществом mlx-community в формат MLX. Исходная модель — ibm-granite/granite-4.0-h-micro, а конвертация выполнена с использованием mlx-lm версии 0.28.2. Модель предназначена для генерации текста и запуска средствами MLX на совместимом оборудовании. Модель подходит для сценариев локальной генерации текста, диалоговых приложений и экспериментов с языковыми моделями через библиотеку mlx-lm. В README указана 4-битная версия, что обычно ориентировано на снижение требований к памяти, однако точные параметры архитектуры, количество параметров, поддерживаемые языки, размер контекста и перечень модальностей не приведены. Заявлена только текстовая модальность. К сильным сторонам относятся компактное 4-битное представление, интеграция с MLX и возможность использования через стандартные функции загрузки и генерации mlx-lm. Ограничения связаны с отсутствием в предоставленных данных подробных характеристик качества, производительности, языковой поддержки и контекстного окна; также применимость зависит от наличия совместимого окружения MLX. Модель распространяется по лицензии Apache 2.0.

ibm-granite/granite-4.1-3b-GGUF — это семейство версий модели IBM Granite 4.1 с примерно 3 млрд параметров, преобразованных из формата .safetensors в GGUF. Модель разработана IBM и предназначена для генерации текста; формат GGUF ориентирован на использование в совместимых локальных инструментах вывода, а наличие различных вариантов квантования позволяет выбирать компромисс между качеством, скоростью работы и потреблением памяти. В предоставленной карточке не указаны точная архитектура, поддерживаемые языки и модальности, размер контекста, результаты оценки, требования к ресурсам и конкретные сценарии применения. Поэтому сильные стороны можно определить только как преимущества формата GGUF и доступность нескольких уровней квантования, а ограничения — как зависимость качества и производительности от выбранного варианта квантования и используемого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

Модель felippeburk/Huihui-Qwen3.8-27B-Abliterated-NVFP4-MTP-GGUF — это GGUF-конверсия NVFP4-квантированной модели Huihui-Qwen3.8-27B с дополнительными MTP-слоями для спекулятивного декодирования. Автор репозитория felippeburk подготовил её для запуска через llama.cpp на видеокартах Blackwell; исходные веса и квантование взяты из sakamakismile/Huihui-Qwen3.8-27B-abliterated-NVFP4. В основе лежит дообученная, abliterated-версия Qwen3.8-27B. Модель предназначена для диалоговой генерации текста и может использовать режим рассуждений. MTP draft layers поддерживают спекулятивное декодирование в llama.cpp. Возможности работы с изображениями доступны при подключении отдельного vision-проектора mmproj; сам репозиторий содержит GGUF-файл модели. В README указана проверка на GPU RTX 5090 и рекомендуемый контекст сервера 192K. Модель описана как uncensored и ориентирована на ответы с ослабленными ограничениями отказа. README предупреждает, что при reasoning_effort выше medium фаза рассуждений может не завершиться в пределах бюджета, а малый max_tokens может привести к ответу без финального вывода. Лицензия репозитория — Apache-2.0; исходная тонкая настройка и NVFP4-квантование атрибутированы sakamakismile.

K2-Horizon-7B-GGUF — набор GGUF-квантизаций базовой модели IFM/K2-Horizon-7B, подготовленный пользователем NANI-Nithin. Модель разработана MBZUAI IFM и представляет собой плотный causal decoder примерно на 7 млрд параметров без MoE, с архитектурой K2HorizonForCausalLM и типом модели k2_horizon. Указан английский язык. Модель предназначена для генерации текста и локального запуска через llama.cpp. Доступны варианты с точностью от 16 до примерно 1,125 бит на вес, включая стандартные K-квантизации и IQ-квантизации с использованием importance matrix. Вариант Q4_K_M отмечен как рекомендуемый для общего использования, а Q8_0 — как близкий к исходному качеству. Размер BF16-варианта составляет около 18,01 ГБ. README не сообщает размер контекста, дополнительные модальности или результаты оценки качества. Для запуска требуется форк MBZUAI-IFM/llama.cpp с веткой model/K2Horizon либо версия upstream llama.cpp после добавления поддержки этой архитектуры; стандартная версия llama.cpp на сентябрь 2026 года её не поддерживает. Веса распространяются на тех же условиях, что и исходная IFM/K2-Horizon-7B; в метаданных указана лицензия Apache 2.0, однако за полными условиями рекомендуется обращаться к исходному репозиторию.

legraphista/K2-IMat-GGUF — это набор квантованных версий языковой модели LLM360/K2 в формате GGUF, подготовленный пользователем legraphista с помощью llama.cpp b3051. Модель предназначена для генерации текста и запуска через совместимые инструменты, включая llama.cpp. Указан английский язык и текстовая модальность. В основе лежит исходная версия LLM360/K2 в формате FP16. Доступны варианты от FP16 и Q8_0 до 1–4-битных форматов, включая Q6_K, Q5_K, Q4_K, Q3_K, Q2_K, IQ4, IQ3, IQ2 и IQ1. Размеры файлов составляют примерно от 14,21 до 130,58 ГБ; часть вариантов поставляется разделёнными файлами. Для ряда низкобитных версий применена IMatrix-квантизация, использующая предоставленный калибровочный датасет, что предназначено для улучшения сохранения качества при уменьшении размера модели. README не содержит сведений об архитектуре, числе параметров, размере контекста, мультимодальности, фактических показателях качества или системных требованиях, поэтому эти характеристики нельзя надёжно определить. Лицензия указана как Apache-2.0. Основные ограничения связаны с компромиссом между размером, требованиями к памяти и качеством: более компактные низкобитные варианты удобнее для локального запуска, но могут сильнее отличаться от исходной FP16-модели; параметры и производительность зависят от выбранного типа квантизации и оборудования.

L3.1-Ablaze-Vulca-v0.1-8B-GGUF — это набор GGUF-квантизаций текстовой генеративной модели L3.1-Ablaze-Vulca-v0.1-8B, разработанной kromeurus. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска и генерации текста, в том числе через LM Studio, с применением формата запросов на основе специальных токенов ролей system, user и assistant. Модель имеет размер 8B параметров и относится к объединённым моделям, о чём свидетельствуют метаданные mergekit и merge. Доступны варианты от F16 до низкобитных Q2 и IQ-квантизаций размером примерно от 2,95 до 16,07 ГБ. Рекомендуемые варианты Q4–Q6 обеспечивают баланс качества и требований к памяти, а Q8_0 и F16 сохраняют более высокое качество ценой большего размера; низкобитные варианты подходят для систем с ограниченной оперативной памятью, но могут заметно уступать по качеству. В README не указаны поддерживаемые языки, максимальная длина контекста, точная архитектура исходной модели, результаты оценивания и мультимодальные возможности, поэтому эти характеристики нельзя надёжно определить. Лицензия модели также не указана; перед использованием необходимо проверить условия лицензирования исходной модели kromeurus/L3.1-Ablaze-Vulca-v0.1-8B и производного репозитория.