II.2Создание и понимание программного кода

MaziyarPanahi/gemma-3-12b-it-GGUF — это набор файлов модели в формате GGUF для Google Gemma 3 12B IT. Исходную модель разработала Google, а квантованные варианты подготовил MaziyarPanahi. Модель предназначена для генерации текста и использования в сценариях взаимодействия с инструкциями. Главная особенность репозитория — представление модели в формате GGUF, совместимом с llama.cpp и рядом локальных приложений и библиотек, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие. Доступны варианты с квантованием от 2 до 8 бит, что позволяет выбирать между меньшим потреблением памяти и сохранением качества, однако конкретные характеристики каждого варианта в README не приведены. К сильным сторонам относятся поддержка распространённого формата для локального запуска, возможность GPU-ускорения и широкий выбор уровней квантования. Ограничения связаны с потерями качества, возможными при агрессивном квантовании, а также с отсутствием в предоставленных данных сведений о поддерживаемых языках, размере контекста, модальностях и точных требованиях к оборудованию. Лицензия в README не указана.

gpt-oss-120b-MLX-8bit — это 8-битная квантованная версия языковой модели gpt-oss-120b, разработанной OpenAI. Квантование выполнено командой LM Studio с использованием MLX — фреймворка Apple Machine Learning Research для работы с моделями на устройствах Apple Silicon. Модель предназначена для генерации текста и локального использования в сценариях, поддерживаемых базовой моделью gpt-oss-120b. Она опубликована в формате, оптимизированном для Apple Silicon, и относится к моделям text-generation. В доступных данных не указаны архитектура, точный размер в параметрах исходной модели, поддерживаемые языки, длина контекста или мультимодальные возможности. Ключевая особенность модели — 8-битное квантование, которое может снизить требования к памяти и повысить удобство локального запуска по сравнению с полноразмерной версией, однако потенциально связано с компромиссом между эффективностью и точностью. Качество и поведение модели наследуют ограничения исходной gpt-oss-120b; README также предупреждает о возможных неточных, вредных или неподходящих результатах. Лицензия модели — Apache 2.0.

Карточка модели Asefalus/gpt-oss-20b-heretic на Hugging Face совпадает с карточкой p-e-w/gpt-oss-20b-heretic, поэтому описание составлено по ней. p-e-w/gpt-oss-20b-heretic — текстовая разговорная модель на архитектуре GPT-OSS, созданная на основе openai/gpt-oss-20b с помощью abliteration, направленной на снижение отказов. В карточке приведено сравнение: в тесте на 100 запросах модель отказала в 58 случаях против 100 у исходной модели; KL-дивергенция составила 0,96. README также описывает базовую модель как MoE с 21 млрд параметров и 3,6 млрд активных параметров, контекстом 131 072 токена и форматом Harmony; метаданные репозитория при этом указывают 1,6 млрд параметров. Модель предназначена для диалога, генерации текста и локальных или специализированных сценариев. Базовая модель поддерживает настраиваемый уровень рассуждений, вызов функций и агентные сценарии; в этом репозитории заявлено снижение числа отказов, но приведённый тест не гарантирует поведение на других запросах. Для корректной работы следует использовать формат Harmony. Лицензия — Apache-2.0.

ibm-granite/granite-4.1-8b-GGUF — это версия модели IBM Granite 4.1 с 8 млрд параметров, преобразованная в формат GGUF. Модель разработана IBM и предназначена для задач генерации текста; репозиторий содержит варианты с различными уровнями квантования, созданные на основе модели ibm-granite/granite-4.1-8b в формате Safetensors. Формат GGUF удобен для локального запуска и совместим с программными средствами, поддерживающими этот формат, однако конкретные требования к памяти, производительность и качество зависят от выбранной квантованной версии. В предоставленной карточке не указаны архитектурные детали, поддерживаемые языки, размер контекста, дополнительные модальности и специализированные сценарии применения, поэтому эти характеристики нельзя достоверно определить по имеющимся данным. Модель распространяется по лицензии Apache 2.0. Для подробной информации о возможностях, ограничениях и базовых характеристиках следует обратиться к полной карточке базовой модели ibm-granite/granite-4.1-8b.

duyntnet/Hermes-2-Pro-Llama-3-8B-imatrix-GGUF — набор квантованных версий языковой модели Hermes 2 Pro Llama 3 8B, разработанной Nous Research. Модель предназначена для генерации текста и ведения многошагового диалога на английском языке, а также поддерживает сценарии, в которых требуется вызов функций или инструментов. Модель основана на архитектуре Llama 3 с размером 8B параметров и распространяется в формате GGUF с использованием imatrix-квантования. Для взаимодействия применяется формат ChatML с ролями system, user, assistant и tool, что позволяет задавать системные инструкции, управлять стилем ответов и интегрировать модель с совместимыми API. Поддержка function calling предполагает передачу описаний инструментов в JSON внутри специальной структуры и генерацию вызовов в формате tool_call. К сильным сторонам относятся структурированный многораундовый диалог, управляемость через системные сообщения и специализированная поддержка вызова функций. Ограничения включают ориентацию на английский язык, отсутствие в README сведений о длине контекста, конкретных параметрах квантования, производительности и качестве на отдельных задачах; результаты также могут зависеть от выбранной квантованной версии. Лицензия указана как other, без дополнительных условий в предоставленном README.

solidrust/Hermes-3-Llama-3.1-8B-AWQ — это 4-битная AWQ-квантизированная версия текстовой авторегрессионной модели Hermes-3-Llama-3.1-8B, разработанной NousResearch. Квантизацию выполнил Suparious. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск через Transformers, AutoAWQ, vLLM, Text Generation WebUI и Hugging Face Text Generation Inference. Модель основана на архитектуре Llama 3.1 с заявленным размером 8B параметров. Она работает в режиме text generation и использует диалоговый шаблон с ролями system, user и assistant. В README не указаны точный размер контекста, поддерживаемые языки и дополнительные модальности, поэтому эти характеристики нельзя подтвердить. Ключевое преимущество версии — 4-битная AWQ-квантизация, рассчитанная на снижение требований к памяти и ускорение инференса при сопоставимом с распространёнными настройками GPTQ качестве. Ограничения включают необходимость совместимого окружения: заявлена поддержка Linux и Windows с GPU NVIDIA; для macOS рекомендуется использовать модели в формате GGUF. Лицензия в README не указана.

DevQuasar/huihui-ai.Qwen2.5-7B-Instruct-abliterated-SFT-GGUF — это квантованная версия модели huihui-ai/Qwen2.5-7B-Instruct-abliterated-SFT. Репозиторий опубликован под идентификатором DevQuasar; исходный README не содержит более подробной информации о разработчиках квантованной версии. Модель предназначена для генерации текста и использования в сценариях, поддерживающих формат GGUF. Из доступных данных известно, что модель относится к семейству Qwen2.5 и имеет размер 7B параметров в базовой версии, а также ориентирована на instruction-following благодаря основе Instruct. Квантование может снизить требования к памяти и упростить локальный запуск, однако конкретный тип квантования, доступные варианты файлов, поддерживаемые языки, размер контекста, архитектурные детали, показатели качества и совместимые инструменты в README не указаны. Лицензия и явные ограничения использования также не приведены.

Issue Writer — это дообученная на базе Gemma 4 E4B Instruct модель для преобразования исходного описания продукта в структурированную запись для системы отслеживания задач. Она формирует один JSON-объект и предназначена для сценариев, где нужно оформлять сообщения в задачи с фиксированной схемой на английском или турецком языке. Модель основана на плотной архитектуре Gemma4 и использует объединённые с базовыми весами LoRA-параметры: обучение с рангом 32 и alpha 64 затрагивало текстовые слои внимания и MLP. Обучение проведено на 13 000 примерах, поровну на английском и турецком; в README рекомендуется использовать заданный системный промпт и жадное декодирование, чтобы сохранять корректный JSON. Формат репозитория — safetensors, лицензия Apache-2.0. На кратких или неполных исходных данных модель должна заполнять поля assumptions и clarifying_questions, однако README предупреждает, что пустые значения могут означать, что модель молча додумала недостающие сведения. Размер контекста в карточке не указан; пример запуска vLLM задаёт ограничение в 8192 токена.

Mungert/Jan-v2-VL-high-GGUF — это GGUF-квантизированная версия мультимодальной модели Jan-v2-VL-high, разработанной командой Jan на базе Qwen/Qwen3-VL-8B-Thinking. Модель содержит около 8 млрд параметров, обрабатывает текст и изображения и предназначена прежде всего для многошаговых задач в реальных программных средах, включая управление браузерами и настольными приложениями. Она может использовать скриншоты, вызовы инструментов и промежуточное состояние для выполнения длинных последовательностей действий с минимальным накоплением ошибок. Вариант high ориентирован на более глубокое рассуждение и допускает большее время обработки по сравнению с вариантами low и med. GGUF-файлы подготовлены с использованием llama.cpp; автор применяет избирательное повышение точности отдельных важных слоёв сверх стандартной конфигурации IMatrix, что должно улучшать точность при заданном уровне квантования, но увеличивает размер файла. Модель поддерживает сценарии локального запуска через Jan App и llama.cpp; для исходной модели также указана интеграция с vLLM. В качестве сильных сторон заявлены стабильное выполнение длинных цепочек действий, визуальное заземление и сохранение качества на стандартных текстовых и визуальных задачах относительно базовой Qwen3-VL-8B-Thinking. Ограничениями являются повышенные требования к задержке и размеру файла у варианта high, а также отсутствие в карточке точных сведений о размере контекста, конкретных поддерживаемых языках помимо заявленного английского и системных требованиях. Указана лицензия Apache 2.0.

bartowski/kalomaze_Qwen3-16B-A3B-GGUF — набор GGUF-квантизаций базовой модели kalomaze/Qwen3-16B-A3B. Квантизации подготовлены bartowski с использованием llama.cpp b5255 и метода imatrix. Модель предназначена для генерации текста и локального инференса через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты от BF16 размером 32,08 ГБ до компактных низкобитных форматов. Доступны Q8_0, Q6_K_L, Q6_K, Q5, Q4, IQ4, Q3 и Q2-варианты с разным соотношением качества, размера и требований к памяти. Наиболее качественными и рекомендуемыми обозначены Q6_K_L, Q6_K, Q5_K и Q4_K; Q4_K_M указан как вариант по умолчанию для большинства сценариев, а низкобитные Q3 и Q2 обеспечивают экономию памяти ценой снижения качества. Модель поддерживает текстовую генерацию; сведения о языках, размере контекста и точной архитектуре в представленном README не указаны. Для работы следует использовать шаблон запросов с маркерами <|im_start|> и <|im_end|>. Распространение выполняется по лицензии Apache-2.0.

MLX-квантизированная версия языковой модели Kimi-K2.6, разработанной Moonshot AI (исходная модель — moonshotai/Kimi-K2.6) и преобразованной сообществом mlx-community с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста и локального запуска на компьютерах Apple, прежде всего на Mac Studio с чипом M3 Ultra и 512 ГБ памяти, через библиотеку MLX и инструмент mlx-lm. Ключевая особенность — схема динамической смешанной квантизации DQ3_K_M. Большинство тензоров сохраняется в 8-битном представлении, а экспертные тензоры — в смешанном 3- и 4-битном формате с отдельными участками повышенного качества. Такой подход рассчитан на качество, близкое к 4-битной квантизации, при меньшем размере, чем у стандартной 4-битной версии, чтобы сохранить память для контекстного окна. За это приходится платить небольшим снижением скорости генерации. README не сообщает точный размер модели, архитектуру, максимальную длину контекста, поддерживаемые языки и набор специализированных задач. Для использования требуется установить mlx-lm; запуск предусматривает параметр trust-remote-code. Модель распространяется по лицензии modified-MIT, обозначенной как other. Условия лицензии следует проверять по исходной карточке модели, поскольку README не приводит её полный текст.

L3.3-70B-Euryale-v2.3-GGUF — это квантизированная версия языковой модели L3.3-70B-Euryale-v2.3, разработанной Sao10K и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp или совместимые приложения, включая LM Studio. Доступно множество вариантов квантизации с разным балансом между качеством и размером — от Q8_0 размером около 75 ГБ до более компактных вариантов Q2 и IQ3. Модель относится к классу text-generation и содержит 70B параметров согласно идентификатору базовой модели. Квантизация выполнена с использованием imatrix и специального набора данных; для некоторых вариантов предусмотрена оптимизация под ARM, AVX или определённые аппаратные возможности. В README не указаны точная архитектура, максимальная длина контекста, поддерживаемые языки, мультимодальность и результаты бенчмарков. Сильной стороной модели является широкий выбор квантизаций: Q6_K и Q5 считаются высококачественными, а Q4-варианты предлагают более доступный размер для большинства сценариев локального запуска. Ограничениями являются значительные требования к памяти даже у компактных вариантов, а также возможное снижение качества при агрессивной квантизации. Для отдельных ARM-оптимизированных файлов требуются конкретные аппаратные инструкции; некоторые варианты не рекомендуется использовать на Mac. Указанная лицензия — Llama 3.

Lamarck-14B-v0.7-GGUF — это квантизированная версия текстовой генеративной модели Lamarck-14B-v0.7, разработанной sometimesanotion и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через совместимые среды, включая llama.cpp и LM Studio. Указан английский язык, а рекомендуемый формат промпта использует шаблон с ролями system, user и assistant. Модель имеет размер 14B параметров; точные сведения об архитектуре и размере контекста в README не приведены. Доступны варианты от F16 до низкобитных Q2 и IQ-квантизаций: более крупные варианты обеспечивают качество, близкое к исходной модели, а компактные снижают требования к оперативной памяти, но заметнее теряют в качестве. Для большинства сценариев рекомендуются Q4_K_M, Q5- и Q6-варианты; отдельные форматы оптимизированы для CPU и Apple Silicon. Квантизации созданы с использованием imatrix и llama.cpp. Модель распространяется по лицензии Apache-2.0; конкретные ограничения исходной модели следует проверять отдельно.

Abiray/LFM2.5-2.6B-Heretic-Abliterated-GGUF — набор GGUF-квантизаций модели LFM2.5-2.6B, разработанной Liquid AI, с изменениями Heretic (abliterated). Модель предназначена для локального запуска, агентских сценариев, многошагового выполнения инструкций и вызова инструментов. Версия Heretic снижает склонность исходной модели к отказам на ограниченные, спорные и явные запросы, сохраняя заявленные возможности базовой модели. Модель имеет плотную архитектуру LFM2.5 с 30 слоями: 22 блока коротких свёрток с двойным управлением и 8 слоёв GQA. Она содержит около 2,69 млрд параметров, поддерживает контекст до 131 072 токенов, словарь размером 128 000 токенов и нативный вызов инструментов. Заявлена поддержка английского, арабского, китайского, французского, немецкого, итальянского, японского, корейского, португальского, испанского, вьетнамского, тайского, индонезийского, хинди, русского и польского языков. Доступны квантизации от Q3_K_M до Q8_0 размером примерно от 1,37 до 2,87 ГБ. Q4_K_M позиционируется как оптимальный вариант для мобильных и периферийных устройств, а Q8_0 — как вариант с минимальными потерями качества для сложных задач и интенсивного использования инструментов. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству. Abliteration уменьшает защитные отказы, однако README не приводит независимой оценки безопасности, качества или стабильности поведения модели. Модель распространяется по лицензии Apache-2.0. Предусмотрен полностью офлайн-запуск на CPU или GPU через llama.cpp; для корректного диалогового режима рекомендуется использовать соответствующий шаблон чата.

Ling-3.0-flash-GGUF — это GGUF-квантизированная версия языковой модели Ling-3.0-flash, разработанной inclusionAI и подготовленной для распространения bartowski. Модель предназначена для генерации текста и запуска через llama.cpp; поддерживает спекулятивное декодирование MTP и входные данные в текстовой модальности. Модель содержит 127 млрд параметров. Доступны варианты от BF16 и Q8_0 до компактных квантов Q2 и IQ2; размер файлов составляет примерно от 43,64 до 255,09 ГБ. Для большинства сценариев README рекомендует Q4_K_M как компромисс между качеством и размером, а Q5 и Q6 — когда важнее качество. Квантизация выполнена с использованием imatrix, однако измерения perplexity и KLD не предоставлены. Архитектура, поддерживаемые языки и размер контекстного окна в представленных данных не указаны. Сильными сторонами являются большой объём параметров, широкий выбор уровней квантизации и совместимость с экосистемой llama.cpp. Ограничениями выступают значительные требования к дисковому пространству и ресурсам, особенно для высококачественных вариантов; низкобитные кванты экономят память, но могут заметно снижать качество. Лицензия — MIT.

David6995/Llama-3.2-3B-base — базовая языковая модель семейства Llama 3.2, представленная как общий чекпойнт для специализированных моделей по отдельным областям. Это плотная авторегрессионная архитектура LlamaForCausalLM с 3,2 млрд параметров; репозиторий содержит веса BF16, конфигурацию и токенизатор в формате safetensors. Модель предназначена для генерации текста и может служить основой для дообучения доменных экспертов и диалоговых приложений. Заявленное окно контекста составляет 131 072 токена. Метаданные указывают поддержку чата и интерфейс вызова инструментов, однако README не описывает конкретные сценарии, качество или языковой охват модели. Использование регулируется лицензией Llama 3.2 и связанными с ней условиями и политиками.

QuantFactory/Llama-3-8B-WizardLM-196K-GGUF — это квантизированная версия модели Llama-3-8B-WizardLM-196K, созданная QuantFactory с использованием llama.cpp. Исходная модель основана на Meta Llama 3 8B и дообучена с применением Axolotl на наборе данных Leon-Leee/Wizardlm_Evol_Instruct_v2_196K_backuped. Модель предназначена для генерации текста и выполнения инструкций в сценариях, совместимых с causal language model. Архитектура модели — LlamaForCausalLM, размер — около 8 миллиардов параметров. В конфигурации обучения использовалась максимальная длина последовательности 8192 токена, однако точный поддерживаемый контекст квантизированной версии в README не указан. Данные о языках и мультимодальности отсутствуют; по описанию это текстовая, а не мультимодальная модель. Среди характеристик указаны дообучение в течение двух эпох и итоговая validation loss 0.6077, но результаты независимых тестов не приведены. Квантизация в формате GGUF может снизить требования к памяти и упростить локальный запуск через совместимые инструменты llama.cpp, однако конкретный уровень квантизации, размер файлов и требования к оборудованию не указаны. Ограничениями являются отсутствие подробных сведений о языковой специализации, фактическом размере контекста, точности на прикладных бенчмарках и возможных рисках поведения. Лицензия обозначена как llama3; условия её применения следует уточнять по лицензии исходной модели Meta Llama 3.

TheBloke/LLaMA-7b-GGUF — это квантизированная версия языковой модели LLaMA 7B, разработанной Meta. Репозиторий подготовлен TheBloke и содержит файлы в формате GGUF для запуска модели через llama.cpp и совместимые приложения. Модель предназначена для генерации и продолжения текста, диалоговых и других сценариев инференса с использованием произвольного текстового запроса. Доступны варианты квантизации от 2 до 8 бит, рассчитанные на запуск с использованием CPU и GPU; конкретные требования к памяти зависят от выбранного файла. Формат GGUF поддерживается llama.cpp, text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и рядом других инструментов. Ключевые характеристики — архитектура LLaMA, размер 7 миллиардов параметров и текстовая модальность. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Квантизация снижает требования к памяти и упрощает локальный запуск, однако низкобитные варианты могут заметно ухудшать качество, особенно самые компактные версии. Модель не является мультимодальной, а её точные ограничения по качеству и применению зависят от выбранного метода квантизации. В метаданных указана лицензия other; конкретные условия лицензии в README не приведены, поэтому перед использованием необходимо проверить лицензионные условия оригинальной модели Meta.

MegaBeam-Mistral-7B-512k-GGUF — набор GGUF-квантизаций модели MegaBeam-Mistral-7B-512k, разработанной aws-prototyping и подготовленной для llama.cpp пользователем bartowski. Модель предназначена для генерации текста и локального запуска, в частности через llama.cpp и LM Studio. Она относится к семейству Mistral и имеет размер 7B параметров; поддерживает контекст до 512 тысяч токенов. Данные о языках и мультимодальности не указаны, поэтому модель следует рассматривать как текстовую. Доступны варианты от F16 до низкобитных Q2 и IQ-квантизаций, размером примерно от 2,50 до 14,48 ГБ. Более высокие разрядности обеспечивают лучшее сохранение качества, а низкие снижают требования к памяти ценой качества; в README рекомендуются, среди прочих, варианты Q4_K_M, Q5 и Q6. Квантизации созданы с использованием imatrix и llama.cpp b3600. Модель не поддерживает системный промпт и требует формата приглашения «<s> [INST] {prompt} [/INST]». В обновлённой версии заявлены улучшения пользовательского опыта и исправление проблем с повторениями. Распространяется по лицензии Apache-2.0. README не содержит результатов бенчмарков или подробного описания качества, поэтому фактические возможности модели в конкретных задачах требуют самостоятельной проверки.

Это преобразованная в формат MLX версия модели Meta-Llama-3.1-8B-Instruct-abliterated, подготовленная сообществом mlx-community на основе mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated. Модель относится к семейству Llama, имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров; поддерживает диалоговую генерацию текста и контекст до 131 072 токенов. Модель предназначена для генерации ответов в чате и других текстовых сценариев. В названии и тегах она обозначена как abliterated и uncensored. README указывает на преобразование исходной модели в MLX с помощью mlx-lm 0.16.1. Репозиторий распространяется по лицензии Llama 3.1; при использовании необходимо соблюдать её условия. Языковая поддержка в предоставленных данных не определена.

NyxKrage/Microsoft_Phi-4 — это повторная публикация модели Microsoft Phi-4, разработанная Microsoft; README утверждает, что её веса идентичны Microsoft/Phi-4. Это плотная авторегрессионная языковая модель семейства Phi-3 с 14,1 млрд параметров и контекстом до 16 384 токенов. Репозиторий содержит веса в формате safetensors и поддерживает диалоговое применение. Модель предназначена для генерации текста общего назначения, включая рассуждения и логические задачи, а также для использования в сценариях с ограничениями по памяти, вычислениям и задержке. Она рассчитана прежде всего на английский язык и не предназначена для многоязычного применения. Модель может генерировать недостоверные или оскорбительные ответы, воспроизводить стереотипы и требует проверки результатов, особенно в чувствительных и высокорисковых сценариях; возможности генерации кода ограничены преимущественно Python и распространёнными библиотеками. В README указана лицензия other, поэтому конкретные условия следует сверять с лицензионными сведениями репозитория. Карточка описывает оценку безопасности и рекомендует проверять точность и безопасность для конкретного применения.

unsloth/MiniMax-M2.5-GGUF — это GGUF-версия языковой модели MiniMax-M2.5, подготовленная Unsloth на основе модели MiniMaxAI/MiniMax-M2.5. Она предназначена для локального запуска и генерации текста, включая использование через совместимые инструменты и библиотеки экосистемы Transformers. В README указано, что модель относится к классу text-generation и распространяется в формате GGUF с применением метода квантования Unsloth Dynamic 2.0. Заявляется, что этот метод обеспечивает высокую точность по сравнению с другими вариантами квантования. Архитектура, количество параметров, поддерживаемые языки, размер контекста и дополнительные модальности в предоставленных данных не указаны; по доступной информации модель является текстовой и не описана как мультимодальная. Основные преимущества — возможность локального запуска и наличие оптимизированных квантованных вариантов, потенциально снижающих требования к ресурсам по сравнению с полноразмерной моделью. Ограничения, результаты тестирования и рекомендуемые аппаратные требования в README не приведены. Лицензия обозначена как modified-MIT; подробные условия следует проверять в файле лицензии MiniMax-AI по указанной в карточке ссылке.

legraphista/Mistral-7B-v0.3-IMat-GGUF — это набор GGUF-квантизованных версий базовой модели mistralai/Mistral-7B-v0.3. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp. Квантизацию выполнил legraphista с использованием llama.cpp b3003 и метода IMatrix на основе калибровочного набора данных. Модель имеет около 7 миллиардов параметров и поставляется в вариантах от BF16 и F16 до различных уровней Q- и IQ-квантизации размером примерно от 1,76 до 14,50 ГБ. IMatrix применена к ряду вариантов Q4 и ниже, что может помогать сохранять качество при уменьшении размера. Более компактные файлы удобны для запуска на ограниченных по памяти устройствах, однако сильная квантизация может снижать точность и качество генерации. В README не указаны поддерживаемые языки, длина контекста, точная архитектура и результаты бенчмарков. Распространение заявлено по лицензии Apache-2.0.

Magistral-Small-2507-GGUF — это набор квантованных версий языковой модели Magistral-Small-2507, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые приложения. Доступны варианты от исходных BF16-весов размером около 47,15 ГБ до квантований Q8_0, Q6, Q5, Q4, Q3 и IQ3/IQ4 размером примерно от 9,91 до 25,05 ГБ. Более высокие уровни квантования обычно обеспечивают лучшее качество, а более компактные варианты снижают требования к оперативной памяти. В README не указаны архитектурные параметры, размер модели в миллиардах параметров, поддерживаемые языки, длина контекста, мультимодальность и лицензия. Сильной стороной набора является широкий выбор компромиссов между качеством, размером файлов и требованиями к ресурсам; варианты Q6 и Q5 отмечены как близкие к исходному качеству, а Q4_K_M рекомендован как стандартный вариант для большинства сценариев. Ограничения зависят от выбранного квантования: компактные Q3-варианты могут заметно уступать по качеству, а для крупных версий требуется значительный объём памяти. Условия лицензирования в предоставленных данных не указаны.

Mistral-Evolved-11b-v0.1-GGUF — это набор квантизированных версий языковой модели Mistral-Evolved-11b-v0.1, разработанной Replete-AI и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, включая сценарии, где важны автономная работа и снижение требований к оперативной памяти по сравнению с полноразмерной моделью. В набор входят варианты квантования от Q2_K до Q8_0 размером примерно от 4,16 до 11,86 ГБ. Версия Q6_K обозначена как рекомендуемая и обеспечивает очень высокое качество, близкое к исходной модели; Q8_0 предлагает максимальное доступное качество, а варианты Q3 и Q2 требуют меньше памяти, но заметно уступают по качеству. README не содержит сведений об архитектуре, длине контекста, поддерживаемых языках, точном числе параметров, дополнительных модальностях или результатах оценки, поэтому модель следует рассматривать как текстовую. Преимуществами являются широкий выбор уровней квантования, совместимость с llama.cpp и возможность подобрать баланс между качеством и потреблением памяти. Ограничения связаны с потерей качества при низких уровнях квантования, а также с отсутствием подробной информации о возможностях и бенчмарках исходной модели. Репозиторий распространяется по лицензии Apache-2.0; квантование выполнено с использованием llama.cpp release b2440.

Mistral-Nemo-Instruct-2407-imatrix-GGUF — набор GGUF-квантизаций инструкционной языковой модели Mistral Nemo, опубликованный пользователем duyntnet на Hugging Face. Квантизации основаны на исходной модели mistralai/Mistral-Nemo-Instruct-2407 и предназначены для локального запуска и генерации текста. Модель относится к задачам text-generation и поддерживает диалоговое взаимодействие, следование инструкциям и function calling. Для работы указаны llama.cpp, JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All; исходная модель также может использоваться через mistral_inference, Transformers и NVIDIA NeMo. В README явно указан английский язык, однако дополнительные языковые возможности не описаны. Архитектура, точный размер, длина контекста, перечень модальностей и параметры квантизаций не приведены. Ключевое преимущество этого репозитория — возможность запускать квантизированные варианты модели в совместимых локальных инструментах, потенциально снижая требования к ресурсам по сравнению с полноразмерной версией. Ограничения связаны с отсутствием подробностей о конкретных уровнях квантизации и их качестве, а также с тем, что README не содержит результатов тестирования или оценки производительности. Лицензия указана как other; её конкретные условия в предоставленных данных не раскрыты.

Mistral-Small-4-119B-2603-OptiQ-2bit — это MLX-квантизированная версия модели Mistral-Small-4-119B-2603, разработанной Mistral AI и опубликованной сообществом mlx-community. Квантизация выполнена с помощью mlx-optiq — инструментария для локального запуска моделей на Apple Silicon. Модель предназначена для генерации текста и локального инференса, в том числе через OpenAI-совместимый API. Загрузчик mlx-optiq также заявляет поддержку текстовых, визуальных и MTP-сценариев, тогда как штатный mlx-lm поддерживает только текстовый режим. В основе лежит разреженная архитектура MoE со 128 маршрутизируемыми экспертами и MLA-вниманием. Это экстремальная смешанная квантизация: 352 проекционных слоя представлены в 4-битном формате, а 82 — в 2-битном, при целевом среднем размере около 2,5 бита на вес. Размер модели сокращён примерно с 239 ГБ в формате BF16 до 43 ГБ на диске. Благодаря потоковой загрузке выбранных экспертов с SSD модель рассчитана на запуск на Mac с 36 ГБ памяти; резидентный объём составляет около 9–12 ГБ. Языки, заявленные в карточке, включают английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский и ряд других языков. Размер контекстного окна в README не указан. Главное преимущество модели — возможность запускать 119-миллиардную разреженную MoE-модель локально на ограниченном по памяти Apple Silicon-устройстве. Ограничения связаны с экстремальной 2-битной квантизацией: README не приводит стандартных бенчмарков и предупреждает, что для такой сборки вместо набора тестов предоставлена демонстрация связности. Для корректной работы требуется optiq версии 0.4.4 или новее с декодером mistral4; использование штатного mlx-lm или старых версий OptiQ может привести к неправильной загрузке архитектуры и потере экспертов. Модель распространяется по лицензии Apache-2.0.

Nemotron-Mini-4B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Nemotron-Mini-4B-Instruct, разработанной NVIDIA и квантизированной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локального инференса, в том числе через LM Studio. Указан английский язык; поддерживается текстовая модальность. Формат запроса требует специальных маркеров для системных, пользовательских и ассистентских сообщений. Доступны варианты от исходных весов F16 размером 8,39 ГБ до компактных квантизаций IQ3_M размером 2,18 ГБ. Предлагаются форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и другие, включая варианты, оптимизированные для ARM-процессоров. Некоторые сборки используют Q8_0 для embedding- и output-весов, что может улучшать сохранение качества. Ключевое преимущество набора — выбор между качеством, размером и требованиями к памяти; ограничение — снижение качества при более агрессивной квантизации. Сведения о размере контекста и архитектуре базовой модели в README не указаны. Модель распространяется по лицензии NVIDIA Community Model License; условия следует уточнять в документе лицензии NVIDIA.

Nemotron-Orchestrator-8B — языковая модель на основе decoder-only Transformer, разработанная NVIDIA и Университетом Гонконга для координации инструментов и экспертных моделей при решении сложных многошаговых задач. Она дообучена на Qwen/Qwen3-8B методом GRPO и содержит около 7,6 млрд параметров; нативный размер контекста — 40 960 токенов. Модель предназначена для агентных сценариев с несколькими ходами: выбора и вызова инструментов, включая поиск и выполнение кода, а также передачи задач другим языковым моделям. В карточке заявлены обучение с учётом точности, стоимости, задержки и предпочтений пользователя и способность работать с незнакомыми наборами инструментов. Основной указанный язык — английский. По данным карточки, на Humanity’s Last Exam модель набрала 37,1%; также заявлены результаты на FRAMES и τ²-Bench. Эти показатели приведены разработчиками и сами по себе не гарантируют аналогичное качество в конкретном приложении. Модель предназначена для исследований и разработок; распространяется по лицензии NVIDIA.

Это GGUF-квантизированная версия языковой модели Llama-3.1-Nemotron-Nano-8B-v1, разработанной NVIDIA и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель имеет около 8 миллиардов параметров и поддерживает текстовую модальность. В README указан английский язык, а контекстное окно и дополнительные архитектурные характеристики не приведены. Доступны варианты от BF16 до различных уровней квантования GGUF: более крупные варианты обеспечивают более высокое качество, а компактные Q4 и Q3 подходят для систем с ограниченным объёмом памяти. Для работы рекомендуется использовать указанный формат prompt с шаблоном Llama 3. Сильной стороной модели является широкий выбор квантований, позволяющий адаптировать размер и качество под доступное оборудование; для большинства сценариев рекомендуются варианты Q4–Q6. Ограничения включают возможное снижение качества при низких уровнях квантования, отсутствие сведений о мультиязычности и контекстном окне, а также необходимость совместимого локального ПО и достаточного объёма памяти. Модель распространяется по NVIDIA Open Model License; ссылка на лицензию указана в карточке.