II.2Создание и понимание программного кода

Qwen3.8-Distilled-9B-NPU2 — это квантизированный порт модели empero-ai/Qwen3.8-9B-Distill, подготовленный Atomic-Germ для инференса на NPU AMD XDNA. Модель скомпилирована для среды выполнения FastFlowLM версии 1.0.1 и поставляется в формате Q4NX, а не GGUF. Размер файла весов model.q4nx составляет 7,11 ГБ; конверсия выполнена 26 августа 2026 года. Модель предназначена для языковых и визуально-языковых задач, включая работу с изображениями, рассуждения и function calling. В репозитории также присутствует отдельный файл vision_weight.q4nx, а конфигурация и шаблон диалога рассчитаны на использование с FastFlowLM. Архитектура, точное число параметров, поддерживаемые языки и размер контекстного окна в карточке не указаны. Ключевое преимущество модели — адаптация к инференсу на AMD XDNA NPU с использованием квантизации Q4NX и специализированного runtime FastFlowLM. Ограничения связаны с зависимостью от FastFlowLM и совместимого оборудования AMD XDNA, а также с отсутствием подробных сведений о качестве, языковом охвате и контексте. Лицензия — Apache-2.0.

Qwen3.5-2B-GGUF — это квантизированная версия модели Qwen3.5-2B, разработанной командой Qwen. Модель представлена в формате GGUF и подготовлена пользователем bartowski с использованием llama.cpp и метода imatrix. В метаданных она обозначена как модель преобразования изображений и текста в текст, однако подробные сведения о поддерживаемых модальностях, языках и длине контекста в README не указаны. Модель предназначена для локального запуска через llama.cpp и совместимые приложения, включая LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие инструменты. Доступны варианты с разной степенью квантизации — от BF16 до Q2_K_L, включая Q4, Q5, Q6 и Q8; размеры файлов составляют примерно от 1,18 до 3,90 ГБ. В README рекомендуются, в частности, варианты Q4_K_M, Q5_K_M, Q6_K и Q6_K_L как обеспечивающие хороший баланс размера и качества. Ключевое преимущество сборки — возможность экономичного локального использования модели на устройствах с ограниченными ресурсами при выборе подходящего уровня квантизации. Более сильная квантизация уменьшает требования к памяти, но может снижать качество генерации; низкобитные варианты прямо описаны как имеющие низкое или очень низкое качество. Для запуска требуется совместимый инструмент с поддержкой данной архитектуры и формата GGUF. Лицензия модели — Apache-2.0. В README также указана поддержка MTP-слоёв в новых версиях llama.cpp с использованием параметра --spec-type draft-mtp.

Qwen-Qwen3.8-27B-MTPLX — квантованная модель на базе Qwen/Qwen3.8-27B, опубликованная пользователем ben0112 и подготовленная с помощью MTPLX Forge. Модель предназначена для генерации текста и диалогового использования на компьютерах Apple Silicon через библиотеку MLX и среду выполнения MTPLX. Модель использует подход multi-token prediction (MTPLX) и 4-битное квантование; заявленный размер базовой модели — 27B параметров. Для неё указан лучший уровень глубины D3. В ходе проверки на Apple M5 Max модель показала множитель 2,58× по сравнению с авторегрессионным базовым режимом. Верификация проводилась с параметрами temperature 0.6, top_p 0.95 и top_k 20. К ограничениям относятся отсутствие в представленном README информации о поддерживаемых языках, размере контекстного окна, точной архитектуре базовой модели и качестве на других устройствах. Результаты производительности подтверждены только для Apple M5 Max, поэтому они не гарантируют аналогичные показатели на других конфигурациях Apple Silicon. Модель распространяется по лицензии Apache-2.0.

Это конвертированные в формат GGUF файлы модели Qwen3-8B-MLX-bf16, подготовленные TensorBlock. Репозиторий содержит варианты с разными уровнями квантования; в README отмечено, что самые компактные варианты Q2_K и Q3_K заметно теряют в качестве. Файлы совместимы с llama.cpp начиная с указанного в карточке коммита. Модель предназначена для генерации текста и диалогового использования. Её можно запускать локально через совместимое программное обеспечение, выбирая вариант файла с учётом доступной памяти и приемлемой потери качества. Лицензия — Apache-2.0.

bartowski/Replete-LLM-V2.5-Qwen-7b-GGUF — это набор GGUF-квантизованных версий языковой модели Rombos-LLM-V2.5-Qwen-7b, подготовленный bartowski на основе llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio; в README также указан формат промптов для диалогового взаимодействия. Модель относится к классу 7B, поддерживает текстовую генерацию и поставляется в вариантах от F16 до низкобитных квантизаций Q2, Q3, Q4, Q5, Q6 и Q8, включая специальные варианты для ARM. Квантизации с imatrix выполнены с использованием llama.cpp b3825. Размер файлов составляет примерно от 3,55 до 15,24 ГБ в зависимости от варианта; Q6_K и Q6_K_L, а также ряд вариантов Q5 и Q4 отмечены как рекомендуемые благодаря сочетанию качества и размера. Сильной стороной набора является широкий выбор квантизаций для систем с разным объёмом оперативной памяти и возможность локального инференса. Более агрессивные варианты уменьшают требования к памяти, но снижают качество; Q4_0 обозначен как устаревший формат, а некоторые варианты требуют специфической поддержки ARM-инструкций. Языки, размер контекста, точная архитектура базовой модели и результаты оценивания в README не указаны. Лицензия — Apache-2.0.

Rombo-Org_Rombo-LLM-V3.1-QWQ-32b-GGUF — это набор GGUF-квантизаций 32-миллиардной языковой модели Rombo-LLM-V3.1-QWQ-32b, разработанной Rombo-Org. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, рассчитанные на разные компромиссы между качеством, размером файла и требованиями к памяти. Наиболее качественными и рекомендуемыми в README названы Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; Q4_K_M указан как вариант по умолчанию для большинства сценариев. Размер файлов составляет примерно от 13,71 до 34,82 ГБ. Модель работает в текстовой модальности; поддерживаемые языки и размер контекста в предоставленных данных не указаны. Сильной стороной является возможность локального запуска на широком спектре оборудования благодаря множеству уровней квантизации, включая варианты для систем с ограниченной оперативной памятью и отдельные legacy-форматы. При снижении точности квантизации уменьшается потребление памяти, но может ухудшаться качество генерации; самые компактные варианты отмечены как низкокачественные или нерекомендуемые. Лицензия модели указана как Apache-2.0.

Seed-OSS-36B-Instruct-MLX-4bit — 4-битная квантованная версия языковой модели Seed-OSS-36B-Instruct, разработанной ByteDance-Seed. Квантование выполнено командой LM Studio с использованием MLX — фреймворка машинного обучения, оптимизированного для Apple Silicon. Модель предназначена для генерации текста и запуска в локальных средах на устройствах Apple. Модель имеет размер 36B параметров в исходной версии и использует архитектуру и возможности базовой модели Seed-OSS-36B-Instruct, однако подробные сведения о поддерживаемых языках, длине контекста и конкретных сценариях применения в README не приведены. Квантование в 4 бита снижает требования к памяти и делает локальный запуск более доступным, но может сопровождаться некоторой потерей качества по сравнению с полной версией. Указана лицензия Apache-2.0. Модель может генерировать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки.

s1-32B-GGUF — это набор квантованных GGUF-версий текстогенеративной модели s1-32B, разработанной simplescaling. Квантование выполнил bartowski с использованием llama.cpp b4585 и метода imatrix на основе набора данных simplescaling/s1K и дополнительного калибровочного набора. Модель предназначена для генерации текста и запуска в локальных средах, совместимых с llama.cpp, включая LM Studio и другие производные проекты. Доступны варианты размером примерно от 11,26 до 34,82 ГБ с форматами Q2, Q3, Q4, Q5, Q6, Q8 и IQ-квантованиями. Более высокие уровни квантования обеспечивают лучшее сохранение качества, но требуют больше оперативной или видеопамяти; Q4_K_M указан как вариант стандартного размера для большинства сценариев, а Q5 и Q6 — как варианты высокого качества. Архитектура, поддерживаемые языки, модальности и максимальная длина контекста в README не указаны, поэтому модель следует рассматривать как текстовую. Сильной стороной является широкий выбор размеров и совместимость с локальным инференсом, позволяющая подобрать компромисс между качеством и требованиями к ресурсам. Ограничения связаны с потерями качества у низкобитных вариантов и значительными требованиями к памяти даже у наиболее компактных файлов. Для работы рекомендуется использовать шаблон промпта ChatML, приведённый в README. Лицензия модели — Apache-2.0.

bartowski/Skywork-o1-Open-Llama-3.1-8B-GGUF — это набор GGUF-квантизованных версий языковой модели Skywork-o1-Open-Llama-3.1-8B, разработанной командой Skywork и преобразованной bartowski с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая LM Studio. В набор входят варианты с разными уровнями квантизации: от исходных весов f16 размером около 16 ГБ до компактных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ. Это позволяет выбирать баланс между качеством ответов, потреблением памяти и скоростью инференса; варианты Q6 и Q5 заявлены как высококачественные, а Q4_K_M — как подходящий по размеру вариант для большинства сценариев. Некоторые файлы оптимизированы для ARM или AVX, при этом отдельные варианты имеют ограничения по аппаратной совместимости. Модель относится к текстовым генеративным моделям с архитектурой и языковыми возможностями базовой Skywork-o1-Open-Llama-3.1-8B, однако подробные сведения о поддерживаемых языках, размере контекста и точной архитектуре в представленном README не указаны. Квантизация уменьшает требования к памяти, но может снижать качество по сравнению с f16; степень снижения зависит от выбранного формата. В метаданных указана лицензия other, без уточнения конкретных условий, поэтому перед использованием следует ознакомиться с лицензией исходной модели Skywork.

unsloth/SmolLM2-1.7B — компактная языковая модель на 1,7 млрд параметров, основанная на HuggingFaceTB/SmolLM2-1.7B. Репозиторий опубликован Unsloth и содержит вариант для генерации текста в формате safetensors; архитектура — плотная LlamaForCausalLM. Модель рассчитана на лёгкий запуск, в том числе на устройстве пользователя, и может служить основой для дообучения. Семейство SmolLM2 предназначено для широкого круга языковых задач. В README указано, что версия Instruct улучшена в следовании инструкциям, знаниях, рассуждениях и математике; для неё также заявлены переписывание и суммаризация текста, а также вызов функций. Контекст модели составляет 8192 токена. В метаданных указан английский язык. Лицензия — Apache-2.0. README описывает семейство и его вариант Instruct, однако не подтверждает, что конкретный репозиторий содержит именно Instruct-версию; перечисленные дополнительные возможности поэтому следует считать характеристиками семейства, а не гарантированными функциями этого чекпойнта.

bartowski/SmolLM2-1.7B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели SmolLM2-1.7B-Instruct, разработанной HuggingFaceTB и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы с текстовыми инструкциями; запуск возможен, в частности, через LM Studio и другие совместимые средства на базе llama.cpp. Модель имеет размер 1,7 млрд параметров и поддерживает английский язык. В репозитории представлены варианты от F16 до низкобитных квантизаций Q8, Q6, Q5, Q4, Q3 и Q2, включая версии, оптимизированные для ARM. Размер файлов составляет примерно от 0,7 до 3,4 ГБ, поэтому можно выбрать баланс между качеством, скоростью и требованиями к памяти. Для корректной работы следует использовать указанный шаблон диалога с ролями system, user и assistant. К сильным сторонам относятся компактность, возможность локального запуска и широкий выбор уровней квантизации; варианты Q5 и Q6 заявлены как высококачественные, а Q4 — как подходящие для экономии памяти. Более агрессивная квантизация снижает качество генерации, а ARM-ориентированные варианты требуют соответствующих аппаратных возможностей и не рекомендуются для Mac или Windows. Лицензия модели — Apache-2.0.

bzantium/tiny-deepseek-v3 — текстовая авторегрессионная модель семейства DeepSeek-V3, опубликованная пользователем bzantium на Hugging Face. Репозиторий содержит веса Safetensors, чат-шаблон и пользовательский код; карточка модели отсутствует. Метаданные указывают на архитектуру DeepseekV3ForCausalLM, около 4,5 млрд параметров и контекстное окно до 163 840 токенов. Модель предназначена для генерации текста в диалоговом формате и поддерживает интерфейс вызова инструментов. В карточке не описаны обучение, языки или конкретные сценарии; поэтому нельзя приписывать ей специализированные возможности или подтверждённые преимущества сверх генерации текста и чат-интерфейса. Лицензия в доступных сведениях не установлена.

Trinity-Large-Preview-UD-Q4_K_XL-layers — пакет GGUF-слоёв, подготовленный Mesh LLM для распределённого запуска языковой модели Trinity-Large-Preview-UD-Q4_K_XL. Пакет создан из unsloth/Trinity-Large-Preview-GGUF: исходное представление разделено на артефакты по слоям для распределённого инференса. Используются формат GGUF и вариант квантования UD-Q4_K_XL. Модель предназначена для локального приватного общения с чат-моделью, в том числе на нескольких машинах, если целиком разместить GGUF на одном узле не получается. Mesh LLM предоставляет для неё локальный API, совместимый с OpenAI Chat Completions. В метаданных указаны задача генерации текста и возможность чата. README отсылает к карточке исходной модели за сведениями об архитектуре, контекстном окне, рекомендациях по генерации и лицензии, поэтому условия лицензирования и эти характеристики здесь не приводятся.

Это набор GGUF-квантизаций модели v3ray/Llama-3-1-70B-Instruct-base, подготовленный организацией featherless-ai-quants и распространяемый на платформе Hugging Face. Модель относится к задачам генерации текста и предназначена для запуска совместимых языковых моделей в различных вариантах квантования. В набор входят варианты IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Указан размер базовой модели 70B; архитектура, поддерживаемые языки, модальности и размер контекста в README не описаны. Разные уровни квантования позволяют выбирать компромисс между размером файлов, требованиями к ресурсам и вероятным сохранением качества, однако конкретные характеристики производительности не приведены. Размеры вариантов составляют примерно от 25 до 72 ГБ. Модель ориентирована на текстовую генерацию, но точные сценарии применения, ограничения, требования к оборудованию и условия лицензирования в предоставленных данных не указаны. Поэтому перед использованием необходимо проверить лицензию базовой модели v3ray/Llama-3-1-70B-Instruct-base и совместимость выбранного GGUF-варианта с используемым программным обеспечением.

YamshadowInex12_Experiment26Shadow — слитая модель для генерации текста, созданная на основе automerger/YamshadowInex12-7B и automerger/Experiment26Shadow-7B. Она использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров; заявленная длина контекста — до 32 768 токенов. Модель подходит для генерации и продолжения текста в приложениях на базе Transformers. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

Ziya2-13B-Base — базовая предобученная языковая модель команды Fengshenbang (IDEA-CCNL), основанная на LLaMA 2. Это плотная авторегрессионная архитектура LLaMA с 12,9 млрд параметров и контекстом 4096 токенов; в репозитории представлены веса PyTorch. Модель продолжили обучать примерно на 650 млрд токенов высококачественных китайских и английских данных, оптимизировав токенизацию для китайского языка. Модель предназначена для генерации и продолжения текста, а также для адаптации под задачи понимания китайского и английского языков, математики и кода. Авторы сообщают об улучшениях относительно LLaMA 2 13B и предыдущей Ziya-LLaMA-13B на этих направлениях. Это базовая модель, а не специализированный чат-ассистент; качество ответов и следование инструкциям зависят от дополнительной настройки. Лицензия — Apache-2.0.

ArliAI-Llama-3-8B-Formax-v1.0-GGUF — это GGUF-квантизированная версия текстовой генеративной модели ArliAI-Llama-3-8B-Formax-v1.0, разработанной OwenArli и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и запуска через llama.cpp, включая локальное использование на системах с ограниченными ресурсами. В основе лежит модель семейства Llama 3 с заявленным размером 8 млрд параметров. Доступны варианты от полного F32 до низкоразрядных Q2 и IQ-квантизаций; наиболее качественными и рекомендуемыми в README названы варианты Q5–Q6, а Q4_K_M описан как сбалансированный вариант по размеру и качеству. Модель работает только с текстом; сведения о поддерживаемых языках и размере контекстного окна в предоставленных данных отсутствуют. Для корректного общения следует использовать формат промпта Llama 3 с ролями system, user и assistant. Основное преимущество репозитория — широкий выбор квантизаций, позволяющий подобрать компромисс между качеством, размером файла и требованиями к памяти. Более компактные варианты подходят для устройств с небольшим объёмом RAM, но обеспечивают более низкое качество генерации. Модель распространяется по лицензии llama3; дополнительные ограничения и подробности лицензии в README не указаны.

ERNIE-4.5-21B-A3B-Thinking-GGUF — это квантизированная версия языковой модели ERNIE-4.5-21B-A3B-Thinking, разработанной Baidu. Данный репозиторий подготовлен пользователем bartowski в формате GGUF с использованием llama.cpp и калибровочных imatrix-данных. Модель предназначена для генерации текста и локального запуска в llama.cpp, LM Studio и других совместимых проектах. В README указано, что доступны варианты от исходных весов BF16 размером 43,66 ГБ до различных квантований Q8, Q6, Q5, Q4, Q3 и IQ. Обозначение 21B указывает на заявленный размер модели, однако дополнительные сведения об архитектуре, числе активных параметров, контекстном окне, поддерживаемых языках и модальностях в предоставленных данных отсутствуют. Формат GGUF и набор квантований позволяют выбирать компромисс между качеством, потреблением памяти и скоростью локального вывода; наиболее качественными названы варианты Q6_K_L и Q6_K, а Q4_K_M описан как рекомендуемый вариант стандартного размера. Ограничения включают снижение качества при использовании более компактных квантований, особенно Q3 и некоторых IQ-вариантов, а также отсутствие указанного в README шаблона промпта. Лицензия модели и условия её использования в предоставленных данных не указаны, поэтому их следует уточнить на странице исходной модели Baidu.

MaziyarPanahi/calme-2.3-llama3-70b-GGUF — это набор файлов модели в формате GGUF для модели calme-2.3-llama3-70b, разработанный и квантованный MaziyarPanahi. Модель предназначена для генерации текста и запуска в локальных приложениях и библиотеках, поддерживающих GGUF. В репозитории доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит. Из идентификатора и тегов следует, что исходная модель основана на архитектуре Llama 3 и имеет размер 70 млрд параметров; точные сведения о модальностях, языках и размере контекста в README не указаны. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими инструментами, что позволяет использовать модель с GPU-ускорением и через совместимые API. Сильные стороны модели — широкий выбор уровней квантования и совместимость с экосистемой локального запуска GGUF. Более низкая разрядность может уменьшить требования к памяти, но потенциально снижает точность по сравнению с полноразмерной версией; конкретные компромиссы для каждого варианта не приведены. Лицензия в README не указана, поэтому условия использования необходимо уточнять в источнике исходной модели и сопутствующих файлах.

Capybara Tess Yi 34B 200K DARE Ties GGUF — это квантизированная языковая модель для генерации текста, созданная на основе модели brucethemoose Capybara Tess Yi 34B 200K DARE Ties. Исходную модель разработал brucethemoose, а преобразование в формат GGUF выполнил TheBloke. Модель относится к семейству Yi и предназначена для текстового взаимодействия, генерации ответов и других сценариев, поддерживаемых системами text-generation. Модель имеет размер 34B параметров и рассчитана на работу с текстом; в карточке указан английский язык. Файлы представлены в формате GGUF, поддерживаемом llama.cpp и рядом совместимых приложений и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие инструменты для CPU- и GPU-инференса. Доступны варианты с различными уровнями квантизации от 2 до 8 бит, что позволяет выбирать между требованиями к памяти, скоростью и качеством. В README приведён шаблон запросов Orca-Vicuna с секциями SYSTEM, USER и ASSISTANT. К сильным сторонам относятся большой размер модели, возможность локального запуска и широкий выбор уровней квантизации. Ограничения включают зависимость качества и скорости от выбранной квантизации и аппаратной конфигурации; точные показатели производительности, перечень поддерживаемых языков помимо английского и фактический размер контекстного окна в README не указаны. Модель распространяется по лицензии yi-license; в метаданных она обозначена как other, а полный текст лицензии доступен по ссылке на лицензию Yi-34B.

Cathallama-70B-GGUF — это квантованные версии текстовой генеративной модели Cathallama-70B, разработанной gbueno86 и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp и совместимые приложения, включая LM Studio. README указывает английский язык и происхождение модели, связанное с mergekit, однако подробности исходной архитектуры и состава объединённых моделей не приведены. Доступны варианты квантования от IQ1_M и Q2 до Q8_0 с размером файлов примерно от 16,75 до 74,98 ГБ. Более качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; низкобитные варианты экономят память, но снижают качество. Некоторые версии используют Q8_0 для embedding- и output-весов. Формат GGUF и применение imatrix-калибровки ориентированы на эффективный локальный инференс, но требования к памяти остаются высокими из-за размера модели. Сведения о длине контекста, поддерживаемых модальностях помимо текста и результатах benchmark-тестов отсутствуют. Модель распространяется по лицензии llama3.1. Для работы рекомендуется использовать указанный в README шаблон prompt в стиле Llama 3.1 и совместимое программное обеспечение.

CTRL-32B — языковая модель-критик, разработанная авторами проекта CTRL и дообученная на основе Qwen2.5-Coder-32B-Instruct. Модель предназначена для оценки и критики ответов языковых моделей: на вход подаются задача и ответ, а модель генерирует текстовый разбор по заданному формату. Подходит для сценариев обучения критиков с подкреплением и проверки качества ответов. Модель имеет плотную архитектуру Qwen2 с 32 млрд параметров и контекстом до 32 768 токенов. Она работает с текстом; карточка рекомендует запуск через vLLM. Указана лицензия Apache-2.0. В карточке приведён пример генерации с ограничением ответа до 1 024 токенов; качество оценивания зависит от формата промпта и не заявлено как универсальное.

G2-9B-Aletheia-v1-GGUF — это квантизированные версии текстовой генеративной модели G2-9B-Aletheia-v1, разработанной allura-org и опубликованные в формате GGUF пользователем bartowski. Модель содержит около 9 миллиардов параметров; исходная модель связана с mergekit и объединением моделей, однако её точная архитектура, языки и максимальная длина контекста в README не указаны. Модель предназначена для генерации текста и локального запуска через llama.cpp или LM Studio. Доступны варианты от F16 размером 18,49 ГБ до компактных IQ2/Q2/Q3/Q4/Q5/Q6/Q8-квантизаций, что позволяет выбирать между качеством и требованиями к памяти. Квантизация выполнена с использованием imatrix на базе llama.cpp b4014. В README рекомендуется использовать варианты Q4_K_M, Q5, Q6 и некоторые IQ-форматы; версии Q3 и ниже экономят память, но заметно уступают по качеству. Для работы требуется соблюдать специальный формат prompt с маркерами ролей. Модель не поддерживает system prompt, что ограничивает сценарии, где системные инструкции являются обязательной частью диалога. Указана лицензия gemma; условия её применения следует учитывать при развёртывании и распространении.

DuoNeural Gemma4-12B-IT-Abliterated-GGUF — набор GGUF-квантизаций текстовой модели Gemma 4-12B-IT-Abliterated, разработанный исследовательской лабораторией DuoNeural. Модель предназначена для генерации текста и запуска локально через llama.cpp или llama-cpp-python; варианты подходят для систем с ограниченными ресурсами и различным объёмом видеопамяти. В README указан английский язык. Поддержка мультимодальности не заявлена. В основе лежит google/gemma-4-12B-it: 48 слоёв и hidden size 3840. Abliteration выполнена методом ортогональной rank-1-проекции в down_proj и o_proj всех 48 слоёв. По заявлению авторов, режим рассуждений работает в llama.cpp с enable_thinking=True. Доступны Q4_K_M размером около 7,5 ГБ, Q5_K_M около 8,5 ГБ и Q8_0 около 12,7 ГБ; рекомендуемые требования к VRAM составляют примерно 12 ГБ, 12 ГБ и 16 ГБ соответственно. На A100-40GB скорость генерации составляет 78,3, 73,1 и 63,4 токена в секунду для этих вариантов. Сильные стороны модели — локальный запуск, несколько уровней компромисса между размером и качеством, высокая скорость на GPU и заявленное сохранение поведения на безвредных тестах. Abliteration снижает склонность к отказам, поэтому модель может охотнее отвечать на потенциально вредные запросы; это одновременно является существенным ограничением и требует осторожного применения. Длина контекста в README не указана, мультимодальные возможности и полный набор языков также не описаны. Модель распространяется по лицензии Apache-2.0.

Это квантизированная конверсия Gemma 4 26B A4B IT, разработанной Google, для Apple MLX. Модель основана на google/gemma-4-26B-A4B-it и использует рецепт Unsloth, адаптированный для MLX с помощью mlx-node. Она предназначена прежде всего для генерации текста и запуска мультимодальных сценариев, поскольку в составе сохранены токенизатор, шаблон диалога, процессор и vision tower; при этом для данной публикации проверялась только генерация текста. Модель содержит 25 805 936 206 исходных параметров. Веса хранятся в смешанном формате: проекции dense- и expert-MLP используют MXFP4, 4-битные группы размера 32, проекции внимания q/k/v/o — MXFP8, 8-битные группы размера 32, а маршрутизаторы, эмбеддинги, выходная голова, нормализации, vision tower и остальные тензоры — в BF16. Активации имеют 16-битную точность. Конкретные языки и размер контекстного окна в README не указаны. К сильным сторонам относятся существенное уменьшение объёма хранения по сравнению с полноразмерными весами, сохранение мультимодальных компонентов и специальная оптимизация для MLX. Ограничения включают отсутствие заявленной числовой эквивалентности с upstream-исполнением W4A4 или W8A8, глобальными шкалами активаций и FP8 KV cache; мультимодальная работоспособность отдельно не подтверждена. Для использования требуется версия mlx-node с поддержкой данного рецепта, более новая, чем стандартное поведение опубликованной v0.0.8. Модель распространяется по лицензии Apache-2.0.

Это пакет слоёв модели gpt-oss-120b-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого инференса на кластере локальных машин. Он получен из unsloth/gpt-oss-120b-GGUF и сохраняет исходное распределение GGUF, разделённое на артефакты по слоям. Пакет предназначен для запуска через Mesh LLM, в том числе когда модель слишком велика для одного компьютера. Модель поддерживает генерацию текста и диалоговый режим. Mesh LLM позволяет распределять вычисления между несколькими узлами и предоставлять локальный API, совместимый с OpenAI Chat Completions. Формат исходных весов — GGUF; вариант пакета — UD-Q4_K_XL. Для архитектурных сведений, рекомендаций по шаблону чата и лицензии README отсылает к карточке исходной модели, поэтому эти условия для данного пакета отдельно не приводятся.

KAT-Dev-72B-Exp-GGUF — это квантизированная версия языковой модели KAT-Dev-72B-Exp, разработанной Kwaipilot. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных средах, совместимых с форматом GGUF, включая LM Studio и llama.cpp. Модель имеет размер 72B параметров и поддерживает множество вариантов квантизации — от Q8_0 до низкоразрядных Q2 и IQ-квантов. Доступны файлы размером примерно от 29,81 до 77,26 ГБ; варианты Q5 и Q6 рекомендованы как обеспечивающие высокое качество, а Q4 — как компромисс между качеством и требованиями к памяти. Для работы следует использовать указанный формат чата с маркерами system, user и assistant. Сильной стороной модели является возможность локального запуска и выбора квантизации под доступный объём памяти, однако даже наиболее компактные варианты требуют значительных аппаратных ресурсов, а снижение разрядности приводит к ухудшению качества. В README не указаны поддерживаемые языки, длина контекста, дополнительные модальности и лицензия исходной модели или квантизированных файлов.

Это квантизированная GGUF-версия языковой модели EXAONE-4.0.1-32B, разработанной LGAI-EXAONE и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель содержит 32 миллиарда параметров. Доступны варианты от BF16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ, размером примерно от 13 до 64 ГБ. Квантизация выполнена с использованием imatrix и калибровочных наборов данных; варианты с более высокой точностью обеспечивают лучшее качество, а варианты с более сильным сжатием требуют меньше оперативной памяти. Рекомендуемыми в README названы некоторые варианты Q6, Q5 и Q4. Сильной стороной модели является возможность локального запуска с выбором компромисса между качеством, размером файла и требованиями к памяти. Ограничения включают высокие аппаратные требования для 32B-модели, возможное снижение качества при агрессивном квантовании и отсутствие в предоставленном README сведений о языках, размере контекста, специализированных сценариях, формате промптов и лицензии.

guardrail/llama-2-7b-guanaco-instruct-sharded — разговорная языковая модель на архитектуре Llama, дообученная с помощью QLoRA на наборе timdettmers/openassistant-guanaco. Она предназначена для генерации текста и ответов на инструкции в диалоговом формате. Репозиторий содержит веса safetensors, разбитые на части для загрузки в Google Colab; в README рекомендуется запуск через Transformers с 4-битной загрузкой. Модель насчитывает 6,6 млрд параметров и имеет контекст длиной 2048 токенов. В метаданных указана лицензия Apache-2.0. Карточка не сообщает, для каких языков она рассчитана, поэтому языковую специализацию определить нельзя.

Llama3.1-8B-Cobalt-GGUF — набор квантованных версий языковой модели Llama3.1-8B-Cobalt от ValiantLabs, подготовленный и опубликованный bartowski. Модель относится к архитектуре Llama, рассчитана на генерацию текста и работу в диалоговом и instruct-сценариях. Указана поддержка английского языка; также заявлена ориентация на математические задачи и инструкции. Модель доступна в формате GGUF для запуска через llama.cpp и совместимых приложений, включая LM Studio. Базовый размер модели — 8 млрд параметров. В набор входят варианты от F32 до сильно сжатых Q2 и IQ-квантизаций, поэтому можно выбирать между качеством ответов и требованиями к памяти: размеры файлов составляют примерно от 2,95 до 32,13 ГБ. Для ряда вариантов применена imatrix-квантизация, а в версиях с суффиксом L эмбеддинги и выходные веса могут храниться в Q8_0 для повышения качества. Рекомендуемыми названы некоторые варианты Q4–Q6; низкобитные версии экономят память, но заметнее снижают качество. Модель предназначена для локального текстового общения, выполнения инструкций и генерации ответов, включая задачи математического характера. README не содержит сведений о мультимодальности, точном размере контекстного окна, результатах бенчмарков или ограничениях безопасности, поэтому эти характеристики нельзя оценить по представленным данным. Лицензия указана как llama3.1.