II.5Безопасность программного кода и цепочки поставок

QuantFactory/deepseek-coder-6.7b-instruct-GGUF — квантизированная версия модели deepseek-ai/deepseek-coder-6.7b-instruct, созданная QuantFactory с использованием llama.cpp. Базовую серию DeepSeek Coder разработала команда DeepSeek; модель предназначена для генерации, дополнения и анализа программного кода, включая ответы на инструкции, проектное автодополнение и заполнение пропусков в коде. Модель содержит 6,7 млрд параметров, инициализирована на основе deepseek-coder-6.7b-base и дообучена на 2 млрд токенов инструкционных данных. Семейство DeepSeek Coder обучалось на 2 трлн токенов, из которых 87% составлял код и 13% — естественный язык на английском и китайском языках. Для поддержки задач на уровне проектов использовалось окно контекста 16K и специальная задача fill-in-the-blank. Формат GGUF и квантизация ориентированы на запуск через llama.cpp и более эффективное использование ресурсов, однако конкретный тип и уровень квантизации в README не указаны. Сильными сторонами являются специализация на программировании, поддержка генерации кода по инструкциям и заявленные высокие результаты среди открытых моделей на HumanEval, MultiPL-E, MBPP, DS-1000 и APPS. Ограничения включают неизвестные параметры квантизации и связанные с ней возможные компромиссы между качеством и потреблением памяти, а также отсутствие в README подробностей о точном наборе поддерживаемых языков программирования. Использование регулируется Model License DeepSeek; при этом для моделей заявлена поддержка коммерческого использования. Репозиторий исходного кода лицензирован по MIT, но для самой модели действует отдельная лицензия.

DeepSeek-Coder-V2-Lite-Instruct-GGUF — квантизированная версия модели DeepSeek-Coder-V2-Lite-Instruct, разработанной DeepSeek-AI и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для запуска через GaiaNet и совместима с шаблоном запросов deepseek-chat-2. Модель ориентирована на задачи, связанные с программированием и обработкой инструкций. В README указано, что она основана на архитектуре deepseek и поддерживает контекст размером до 128 000 токенов. Дополнительные сведения о размере модели, языках программирования и поддерживаемых модальностях не приведены; по имеющимся данным, модель относится к текстовым, а не мультимодальным решениям. К преимуществам относятся большой контекст и возможность локального запуска в формате GGUF через экосистему GaiaNet. К ограничениям относятся отсутствие в README подробных характеристик качества, перечня языков, требований к ресурсам и результатов бенчмарков. Модель распространяется по лицензии deepseek-license; тип лицензии обозначен как other, поэтому перед использованием следует ознакомиться с условиями файла LICENSE.

Карточка модели NostraEmpire/mirror-qwen2.5-coder-7b-instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-7B-Instruct — инструкционная версия каузальной языковой модели для работы с программным кодом, разработанная командой Qwen. Это дообученная версия Qwen/Qwen2.5-Coder-7B с архитектурой Qwen2 и 7,1 млрд параметров по метаданным. Модель принимает текстовые запросы и генерирует текст, включая код; поддерживает диалоговый режим и интерфейс вызова инструментов. Модель предназначена для генерации, анализа и исправления кода, рассуждений о коде и создания кодовых агентов. README описывает архитектуру на базе Transformers с RoPE, SwiGLU и RMSNorm, а также контекст до 131 072 токенов при настройке YaRN для длинных входов. В конфигурации по умолчанию используется контекст 32 768 токенов. Для длинных контекстов масштабирование YaRN может снижать качество на коротких запросах. Репозиторий содержит веса в формате safetensors и предназначен для использования с библиотекой Transformers; README рекомендует актуальную версию библиотеки. Лицензия — Apache-2.0. Карточка подтверждает прежде всего английский язык; отдельный список поддерживаемых языков программирования и оценка качества именно этой instruct-версии здесь не приведены.

Это модель распознавания сущностей на основе BERT, разработанная авторами репозитория fef2 и дообученная поверх DeepPavlov/rubert-base-cased. Она размечает в русском тексте учётные данные (логины, пароли, токены и секретные ключи), персональные данные (ФИО, организации и локации) и номера договоров. Основной сценарий — обнаружение чувствительных фрагментов в пользовательских сообщениях и конфигурациях для их маскирования перед передачей внешней LLM. Модель использует архитектуру BertForTokenClassification с 205,1 млн параметров, контекстом до 512 токенов и 17 BIO-метками для восьми типов сущностей. Репозиторий также содержит детерминированный regex-слой; опубликованные показатели покрытия учётных данных относятся к объединению NER и regex, а сама NER предназначена дополнять регулярные выражения. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen2.5-Coder-14B-Instruct-bf16 — конверсия в формат MLX инструкционной модели Qwen2.5-Coder-14B-Instruct, выполненная сообществом mlx-community с помощью mlx-lm версии 0.19.3. Это плотная авторегрессионная модель на 14 млрд параметров для генерации кода и диалоговой работы с запросами о коде; она также поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Контекст составляет 32 768 токенов, в метаданных указан английский язык. Модель подходит для написания, анализа и исправления кода в интерактивных сценариях. Репозиторий содержит веса safetensors и предназначен для использования с MLX. Лицензия — Apache-2.0. README описывает конверсию из базовой модели, поэтому её характеристики и возможности основаны на Qwen2.5-Coder-14B-Instruct.

ApolloRaines/Qwen2.5-Coder-32B-Instruct-Jbliterated — модифицированная версия Qwen2.5-Coder-32B-Instruct, разработанная Apollo Raines. Модель предназначена для генерации текста и программного кода, включая разработку, анализ и преобразование кода, а также сценарии, где требуется модель без встроенного поведения отказа. Она может применяться для творческого письма, исследований в области безопасности и академических экспериментов, однако требует ответственного использования. Модель построена на архитектуре Qwen2ForCausalLM и содержит около 32,8 млрд параметров при 64 слоях. Она сохраняет архитектуру, токенизатор и длину контекста базовой модели; в README указана поддержка английского языка. Основной формат — BF16, также доступны варианты GGUF с квантованием Q8_0 и Q4_K_M. Полноточная версия занимает около 62 ГБ, Q8_0 — 33 ГБ, а Q4_K_M — 19 ГБ. Отличительная особенность модели — удаление поведения отказа непосредственно из весов с помощью проприетарного инструмента jBlaze, без дополнительного обучения или fine-tuning. По заявлению разработчика, это должно сохранять стиль и творческие характеристики исходной модели, но одновременно означает отсутствие встроенного отказа от потенциально опасных запросов. Модель распространяется по лицензии Apache 2.0, как и базовая модель; ответственность за соблюдение законодательства и безопасное применение возлагается на пользователя.

Карточка модели chetan272006/Qwen2.5-Coder-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-3B-Instruct — инструктивно дообученная языковая модель для программирования от команды Qwen. Она предназначена для генерации, объяснения и исправления кода, рассуждений о коде и создания кодовых агентов; также сохраняет общие способности и навыки решения математических задач. Модель построена на архитектуре Qwen2 с причинным декодированием и содержит около 3,1 млрд параметров. Модель принимает текстовые инструкции и выдаёт текст, включая код. Контекстное окно составляет 32 768 токенов. В карточке указано, что обучение охватывало исходный код, связку текста и кода и синтетические данные; метаданные указывают английский язык. Для загрузки рекомендуется актуальная версия библиотеки Transformers. Репозиторий использует формат safetensors и лицензию с обозначением «other»; конкретные условия следует проверять в файлах лицензии репозитория.

CodeLlama 70B GGUF — квантизированная версия большой языковой модели CodeLlama 70B, разработанной Code Llama. Репозиторий TheBloke содержит файлы модели в формате GGUF, подготовленные TheBloke с использованием оборудования Massed Compute. Модель предназначена прежде всего для генерации и обработки программного кода, а также для сценариев текстовой генерации на основе входного запроса. Доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать между сниженным потреблением памяти и сохранением качества. Модель относится к архитектуре Llama; в README указано 70B параметров, язык обозначен как code. Формат GGUF совместим с llama.cpp и рядом локальных интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Мультимодальность и размер контекста в предоставленных данных не указаны. Сильные стороны модели — большой размер, специализация исходной Code Llama на задачах программирования и возможность локального запуска на CPU и GPU с различными уровнями квантизации. Ограничениями являются высокая вычислительная и ресурсная требовательность 70B-версии, возможная потеря качества при сильной квантизации и отсутствие в README подробных результатов оценки. Модель распространяется по лицензии Llama 2.

granite-20b-code-instruct-8k-GGUF — это инструкционная языковая модель для генерации и работы с программным кодом, созданная на базе ibm-granite/granite-20b-code-base-8k. Исходная модель разработана IBM Granite, а данная версия преобразована в формат GGUF пользователем Mungert с использованием llama.cpp. Модель предназначена для написания, объяснения и исправления кода, а также для задач, связанных с SQL, математикой, вызовом функций и ассистированием разработчикам. Модель содержит около 20 млрд параметров и поддерживает контекст до 8K токенов. Это текстовая модель без заявленной поддержки изображений, аудио или других модальностей. В представленных результатах оценивается генерация, объяснение и исправление кода на Python, JavaScript, Java, Go, C++ и Rust. Показатели pass@1 находятся в диапазоне от 18,3% до 60,4%, однако результаты помечены как непроверенные, поэтому их следует рассматривать как ориентировочные. К сильным сторонам относятся специализация на программировании, поддержка нескольких языков разработки и возможность локального запуска через GGUF-совместимые инструменты. Версия использует дополнительное повышение точности отдельных слоёв при квантовании, что, по заявлению автора сборки, может улучшать качество при небольшом увеличении размера файла. Ограничения включают зависимость характеристик от выбранного варианта квантования, непроверенный статус приведённых бенчмарков и отсутствие данных о фактических требованиях к памяти и производительности. Лицензия модели — Apache 2.0.

Granite-20b-code-instruct-GGUF — квантизированная версия модели granite-20b-code-instruct, разработанной IBM и опубликованной в формате GGUF пользователем bartowski. Модель предназначена для генерации и анализа программного кода, выполнения инструкций, решения математических задач, работы с SQL-контекстами и сценариев, связанных с function calling и ассистентами для разработки. Модель содержит около 20 миллиардов параметров и относится к текстовым моделям генерации. В карточке указаны датасеты для обучения и дообучения, включая Code Прикладные наборы, MathInstruct, MetaMathQA, наборы для SQL и function calling. Доступны варианты от F16 до квантизаций Q3–Q8 в формате GGUF, совместимые с llama.cpp и рекомендованные для запуска, в частности, через LM Studio. Размер файлов варьируется примерно от 11,5 до 40,2 ГБ. Сильными сторонами являются специализация на программировании, поддержка инструкционного режима и наличие вариантов квантизации для различного объёма оперативной памяти; для оценки HumanEvalSynthesis(Python) в README приведены значения pass@1 до 60,4%. Ограничения включают высокие требования к памяти для полноразмерной версии, возможное снижение качества у более сильных квантизаций и отсутствие в карточке сведений о поддерживаемых языках, размере контекста и мультимодальности. Базовая модель распространяется по лицензии Apache-2.0.

Mungert/granite-8b-code-instruct-128k-GGUF — это GGUF-квантизированная версия Granite-8B-Code-Instruct-128K, разработанная IBM Research и предназначенная для генерации текста и программного кода по инструкциям. Модель дообучена на базе Granite-8B-Code-Base-128K с использованием разрешённых к распространению наборов данных и синтетических инструкций для задач с длинным контекстом. Релиз исходной модели состоялся 18 июля 2024 года. Модель содержит около 8 миллиардов параметров, работает как causal language model и поддерживает контекст до 128 тысяч токенов. Она ориентирована на создание coding assistants, генерацию, объяснение и исправление кода, работу с большими фрагментами исходного кода и репозиториями, а также на задачи, связанные с математикой, SQL и function calling. В README приведены результаты на Python, C++, Java, TypeScript и Rust; показатели pass@1 составляют от 37 до 73 в отдельных тестах RepoQA, однако результаты отмечены как непроверенные. Ключевая особенность этой версии — формат GGUF и дополнительный подход к квантизации: автор применяет повышение точности отдельных важных слоёв сверх стандартной конфигурации IMatrix. Это может улучшать точность при ограниченной разрядности, но увеличивает размер файлов модели; конкретный вариант квантизации и требования к памяти в README не указаны. Модель работает с текстовыми входами и выходами; сведения о мультимодальности и полном наборе поддерживаемых языков отсутствуют. Модель распространяется по лицензии Apache 2.0. Для использования необходима совместимая среда инференса, например llama.cpp или библиотека, поддерживающая GGUF.

Карточка модели Ishowbackup/Laguna-S-2.1 на Hugging Face совпадает с карточкой poolside/Laguna-S-2.1, поэтому описание составлено по ней. Laguna S 2.1 — языковая модель Poolside для программной инженерии и агентного выполнения длительных задач. Это текстовая модель семейства Laguna с архитектурой Mixture-of-Experts: 118 млрд параметров всего, около 8 млрд активируются на токен. В ней 48 слоёв, 256 маршрутизируемых экспертов и один общий; используются grouped-query attention и сочетание глобального внимания со скользящим окном. Контекст составляет 1 048 576 токенов. Модель предназначена для генерации и анализа кода, работы с инструментами и решения многошаговых задач разработки. Она поддерживает диалог и вызов инструментов, а также встроенный режим рассуждений, управляемый параметром enable_thinking. Для ускорения вывода доступна спекулятивная декодировка с отдельной черновой моделью DFlash. Модель принимает и выдаёт текст. В README приведены результаты на бенчмарках программирования и агентных задач, однако они не гарантируют качество в конкретном проекте. Полная BF16-версия требует нескольких GPU; квантизированные варианты снижают требования к памяти. Модель распространяется по лицензии OpenMDW-1.1, разрешающей коммерческое и некоммерческое использование и модификацию; также следует соблюдать Acceptable Use Policy Poolside.

LoopCoder-V2 — плотная инструкционная модель для программирования с 7,2 млрд параметров, разработанная Multilingual-Multimodal-NLP на архитектуре Parallel Loop Transformer (PLT). Модель обучена с нуля на смеси текста и кода, а затем настроена для следования инструкциям; опубликованный вариант использует два прохода общих блоков трансформера для дополнительного вычисления при генерации. Контекст модели составляет 131 072 токена. Модель предназначена для генерации и анализа кода, рассуждений о программном коде, помощи при работе с репозиториями, агентных сценариев разработки и использования инструментов. В README приведены результаты на тестах генерации кода и программной инженерии; вариант с двумя циклами улучшил результаты относительно однопроходного базового варианта, тогда как увеличение числа циклов может ухудшать качество. Модель принимает текстовые инструкции и выдаёт текст, включая код; обучающие данные включают более 100 языков программирования. Для загрузки требуется среда с поддержкой пользовательской архитектуры IQuestPLTCoderForCausalLM и конфигурации токенизатора из репозитория. Лицензия — Apache-2.0.

OpenBuddy/openbuddy-qwen2.5coder-32b-v24.1q-200k — чат-модель OpenBuddy, дообученная на Qwen2.5-Coder-32B-Instruct. Это плотная авторегрессионная модель семейства Qwen2 с 32 млрд параметров, рассчитанная на генерацию текста и диалог; базовая модель предназначена для генерации, анализа и исправления кода, а также создания кодовых агентов. Заявлена длина контекста 200 000 токенов. Модель оптимизирована для повышения качества инференса после квантизации и рекомендована автором для квантизации от 3 до 8 бит. В тегах карточки указана поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского и финского языков. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache 2.0. Модель может выдавать ошибочные, вредные или оскорбительные ответы. Авторы предостерегают от её применения в критических и высокорисковых сценариях, включая медицину, управление потенциально опасными системами и важные финансовые или юридические решения.

Qwen2.5-Coder-14B-GGUF — набор GGUF-квантизаций модели Qwen2.5-Coder-14B, разработанной Qwen и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации и работы с исходным кодом, включая локальные сценарии программирования и текстовой генерации. В README указан английский язык, однако подробные сведения о языковом покрытии отсутствуют. Это текстовая autoregressive-модель на 14 млрд параметров, представленная в форматах от F16 до различных вариантов 2–8-битной квантизации. Размер файлов составляет примерно от 6,38 до 29,55 ГБ. Более высокие разрядности обеспечивают лучшее сохранение качества, а варианты с меньшим размером подходят для систем с ограниченной оперативной памятью; для большинства сценариев автор рекомендует варианты Q4_K_M, Q5 и Q6. Поддерживается запуск через llama.cpp и LM Studio. Формат prompt использует шаблон с маркерами ролей system, user и assistant. К сильным сторонам относятся специализация на коде, широкий выбор квантизаций и возможность локального запуска. Ограничения связаны с компромиссом между размером и качеством: низкоразрядные варианты дают более низкое качество, а некоторые ARM-оптимизированные файлы требуют поддержки sve или i8mm и не рекомендуются для Mac и Windows. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Qwen2.5-Coder-1.5B-GGUF — квантизированная версия модели Qwen2.5-Coder-1.5B, подготовленная QuantFactory с использованием llama.cpp. Базовая модель разработана командой Qwen. Это авторегрессионная языковая модель для генерации, анализа и исправления программного кода, а также для задач рассуждений, математики и общих текстовых сценариев. Модель относится к типу causal language model и предназначена прежде всего для программирования; базовая версия не рекомендуется для обычного диалогового использования без дополнительного дообучения. Модель содержит 1,54 млрд параметров, из которых 1,31 млрд не относятся к эмбеддингам, и включает 28 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV-внимании, связанные эмбеддинги слов и GQA с 12 головами для Q и 2 для KV. Заявлена поддержка контекста до 131 072 токенов; для входов свыше 32 768 токенов требуется настройка YaRN. В карточке указан английский язык, модальность — текст, формат применения — text generation. К сильным сторонам относятся специализация на генерации, рассуждении и исправлении кода, компактный размер и возможность локального запуска в квантизированном формате GGUF. При этом небольшое число параметров может ограничивать качество по сравнению с более крупными моделями, а статическое масштабирование YaRN способно ухудшать производительность на коротких текстах. Модель распространяется по лицензии Apache-2.0.

Карточка модели FiREDragoN35769/Qwen2.5-Coder-3B на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-3B, поэтому описание составлено по ней. Qwen2.5-Coder-3B — базовая кодовая языковая модель, разработанная командой Qwen. Это предварительно обученная причинная трансформерная модель семейства Qwen2 с 3,09 млрд параметров, предназначенная для генерации и анализа кода, рассуждений о коде и исправления ошибок. Она также сохраняет общие языковые и математические способности базовой Qwen2.5. Модель обучалась на корпусе из исходного кода, текстово-кодовых данных и синтетических данных. Архитектура использует RoPE, SwiGLU, RMSNorm, смещение в проекциях QKV и связанные эмбеддинги слов; в ней 36 слоёв, 16 голов Q и 2 головы KV. Контекст составляет 32 768 токенов. Модель предназначена для задач продолжения кода и заполнения пропусков в коде; авторы не рекомендуют использовать базовую версию для диалогов без дополнительного постобучения. Для работы с Transformers требуется версия 4.37.0 или новее. Лицензия указана как other, поэтому конкретные условия использования следует сверить с лицензией репозитория.

Qwen2.5-Coder-3B — базовая кодовая языковая модель, разработанная командой Qwen. Это предварительно обученная причинная трансформерная модель семейства Qwen2 с 3,09 млрд параметров, предназначенная для генерации и анализа кода, рассуждений о коде и исправления ошибок. Она также сохраняет общие языковые и математические способности базовой Qwen2.5. Модель обучалась на корпусе из исходного кода, текстово-кодовых данных и синтетических данных. Архитектура использует RoPE, SwiGLU, RMSNorm, смещение в проекциях QKV и связанные эмбеддинги слов; в ней 36 слоёв, 16 голов Q и 2 головы KV. Контекст составляет 32 768 токенов. Модель предназначена для задач продолжения кода и заполнения пропусков в коде; авторы не рекомендуют использовать базовую версию для диалогов без дополнительного постобучения. Для работы с Transformers требуется версия 4.37.0 или новее. Лицензия указана как other, поэтому конкретные условия использования следует сверить с лицензией репозитория.

Qwen2.5-Coder-7B-Instruct-Q4_K_M-GGUF — это квантизированная версия Qwen2.5-Coder-7B-Instruct, преобразованная в формат GGUF пользователем или организацией matrixportal с помощью llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для генерации текста и прежде всего для задач, связанных с программированием, включая работу с кодом и чат-сценарии. В README указано, что базовая модель разработана Qwen, однако подробные сведения о её обучении и возможностях вынесены в исходную карточку модели. Модель содержит 7B параметров и использует квантизацию Q4_K_M, что уменьшает требования к памяти по сравнению с полноразмерной версией. Она распространяется в формате GGUF и рассчитана на запуск через llama.cpp, включая локальный CLI и серверный режим. В карточке указано, что заявленный язык — английский; поддержка других языков, архитектура, точный размер контекста и перечень модальностей не уточняются. Пример запуска использует контекст длиной 2048 токенов, но это не подтверждает максимальный размер контекста модели. Сильными сторонами являются специализация на коде, возможность локального запуска и совместимость с llama.cpp. Ограничения связаны с квантизацией, которая может снижать точность по сравнению с исходной моделью, а также с отсутствием в карточке подробных оценок качества и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-7B-Q8_0-GGUF — это преобразованная в формат GGUF версия языковой модели Qwen/Qwen2.5-Coder-7B. Конвертацию выполнила организация ggml-org с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и, прежде всего, работы с исходным кодом и другими задачами программирования. Модель содержит 7 млрд параметров и доступна в варианте квантования Q8_0, что позволяет использовать её через llama.cpp. В карточке указана поддержка английского языка; модальность — текстовая. Модель можно запускать локально через llama-cli или предоставлять к ней доступ по API через llama-server. В примере запуска серверу задаётся контекст размером 2048 токенов, однако это значение является параметром запуска и не обязательно отражает максимальный контекст модели. К сильным сторонам относятся специализация на коде, совместимость с llama.cpp и возможность локального запуска в GGUF-формате. Ограничения и результаты сравнительных оценок в README не указаны, поэтому нельзя сделать выводы о качестве на конкретных языках программирования, производительности или требованиях к оборудованию. Модель распространяется по лицензии Apache 2.0.

Qwen3-Coder-30B-A3B-Instruct GGUF — квантизированная версия модели Qwen/Qwen3-Coder-30B-A3B-Instruct, подготовленная ByteShape с использованием ShapeLearn. Этот метод подбирает тип данных для отдельных тензоров, чтобы сохранить высокое качество при малой разрядности. Модель предназначена прежде всего для генерации и анализа программного кода, а также сценариев, связанных с вызовом функций; это отражено в используемых при оценке бенчмарках HumanEval, LiveCodeBench и BFCL-V3. Модель распространяется в формате GGUF и предназначена для локального запуска, в частности через llama.cpp и Ollama. Доступны варианты для CPU с преимущественно KQ-квантизацией и для GPU с гибридным подходом KQ/IQ. Размер файлов составляет примерно от 10,1 до 16,0 ГБ, а средняя разрядность — от 2,65 до 4,20 бит на вес, что позволяет выбирать баланс между скоростью, требованиями к памяти и качеством. README не содержит сведений о контекстном окне, поддерживаемых языках, точной архитектуре или мультимодальности. Сильными сторонами являются широкий выбор аппаратно-оптимизированных вариантов, низкие требования к памяти по сравнению с полной моделью и возможность локального использования. Ограничением выступает компромисс между степенью квантизации и качеством: более компактные варианты могут уступать более крупным по точности, а фактическая производительность зависит от оборудования и выбранного файла. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-Next-GPTQ — это 4-битная GPTQ-квантизованная версия модели Qwen3-Coder-Next, разработанной Qwen и подготовленной пользователем 6block. Модель предназначена для генерации и обработки текста, прежде всего для задач программирования, и поддерживает английский и китайский языки. Она рассчитана на эффективное развертывание с помощью vLLM и SGLang. В основе лежит разреженная MoE-архитектура qwen3_next: 80 млрд параметров всего, около 3 млрд активных, 48 слоёв, 512 экспертов и маршрутизация top-10. Контекст составляет 256K токенов. Используется схема W4A16 с размером группы 128 и формат compressed-tensors на базе safetensors. Большинство весов, включая линейные слои экспертов и attention, квантизовано до 4 бит, тогда как маршрутизаторы MoE и lm_head сохранены в bf16. Размер модели составляет около 40 ГиБ, что позволяет запускать её на одной видеокарте объёмом 48 ГБ и, с параллелизмом или выгрузкой, на конфигурациях с 24 ГБ. Главное преимущество — существенное снижение требований к памяти при сохранении близкого к исходной модели поведения; по данным README, perplexity на wikitext-2-raw составляет 9,34 против 7,74 у эталонной bf16-версии. Ограничением является заметное ухудшение этого показателя относительно bf16, а также необходимость совместимого движка, поддерживающего compressed-tensors. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

StarCoder2-15B-Instruct-v0.1-GGUF — это квантизированная в формате GGUF версия инструкционной модели StarCoder2-15B-Instruct-v0.1, разработанной BigCode и подготовленной компанией Second State Inc. Модель предназначена для генерации и обработки программного кода в сценариях, где требуется локальный или более ресурсоэффективный запуск текстовой генеративной модели. Модель имеет размер 15 млрд параметров и поддерживает контекст до 6144 токенов. В README не указаны точная архитектура, перечень поддерживаемых языков программирования и естественных языков, а также характеристики мультимодальности; по назначению и тегу code модель ориентирована на работу с текстом и исходным кодом. Доступны варианты квантования от Q2_K до Q8_0, а также F16 объёмом от 6,19 до 31,9 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с очень низкой или низкой потерей качества. Главное преимущество сборки — возможность выбирать между меньшим объёмом файлов и сохранением качества. Более агрессивное квантование, включая Q2_K и некоторые варианты Q3, сопровождается существенной потерей качества, поэтому оно подходит не для всех задач. Лицензия модели — BigCode OpenRAIL-M. Для запуска в README упоминается LlamaEdge, но его поддержка обозначена как находящаяся в разработке; квантование выполнено с помощью llama.cpp версии b2824.

WaveCoder ultra 6.7B — языковая модель для работы с программным кодом, разработанная Microsoft. Представлена в формате GGUF и квантована сообществом bartowski на основе llama.cpp. Модель создана путем WAVE-инструкционного дообучения и предназначена исключительно для выполнения запросов, связанных с кодированием. Модель ориентирована на генерацию, рефакторинг и исправление кода, его суммаризацию и перевод между языками программирования. В основе указана модель DeepseekCoder, размер — 6,7 млрд параметров. Для обучения использовался набор CodeOcean из 20 000 инструкций по четырем задачам, подготовленный на базе кода из GitHub CodeSearchNet с применением LLM-генерации и проверки данных. Поддерживаемые языки программирования и размер контекстного окна в README не указаны. К сильным сторонам относятся заявленные обобщающая способность на разных задачах работы с кодом и высокая эффективность генерации. Ограничение модели — специализация на программировании, поэтому она не предназначена для универсального общения. Точный уровень квантования и связанные с ним характеристики качества и требований к ресурсам не указаны. Лицензия обозначена как other, с указанием license_name deepseek; подробные условия использования в README не приведены.

DeepSeek-Coder-V2-Instruct-FP8 — квантизированная версия DeepSeek-Coder-V2-Instruct, разработанная Neural Magic. Это текстовая causal language model с текстовым вводом и выводом, предназначенная для коммерческого и исследовательского использования, прежде всего в сценариях ассистентского чата на английском языке. Модель ориентирована на задачи генерации и обработки кода; в README также приведён результат 88,98 на бенчмарке HumanEval+. В модели применена FP8-квантизация весов и активаций линейных операторов внутри transformer-блоков. Используется симметричная поканальная для всего тензора квантизация с единым линейным масштабированием; экспертные gate-модули сохранены в исходной точности. Переход с 16 на 8 бит примерно вдвое уменьшает размер на диске и требования к памяти GPU: модель может загружаться на 4 GPU H100 вместо 8. Версия подготовлена для инференса через vLLM версии 0.5.2 и новее; в примере конфигурации указана максимальная длина контекста 4096 токенов. К сильным сторонам относятся снижение потребления памяти и возможность более доступного развертывания при сохранении сопоставимого качества с исходной моделью. Ограничения включают заявленную поддержку только английского языка, необходимость совместимого окружения vLLM и GPU-инфраструктуры, а также отсутствие в README сведений о точном числе параметров и полной мультиязычной поддержке. Модель распространяется по лицензии deepseek-license; условия следует уточнять в тексте лицензии DeepSeek.

QuantFactory/DeepSeek-Coder-V2-Lite-Base-GGUF — квантизированная версия базовой модели DeepSeek-Coder-V2-Lite-Base, разработанной DeepSeek-AI и преобразованной QuantFactory с использованием llama.cpp. Модель предназначена прежде всего для генерации и автодополнения кода, вставки фрагментов кода, решения задач программирования и математического рассуждения. Это базовая модель, а не специализированная instruct-версия для диалогов. Модель построена на архитектуре Mixture-of-Experts (MoE) семейства DeepSeekMoE и содержит 16 млрд общих параметров, из которых при обработке активируется около 2,4 млрд. Она поддерживает контекст длиной до 128 тысяч токенов и 338 языков программирования. Квантизация в формате GGUF должна снижать требования к памяти по сравнению с исходной версией, однако конкретный тип квантизации и системные требования в предоставленных данных не указаны. Сильные стороны модели — специализация на коде, поддержка большого числа языков программирования и длинного контекста; ограничения включают отсутствие подробностей о конкретном варианте квантизации, качестве на отдельных языках и поведении в обычных диалоговых сценариях. Модель распространяется по лицензии deepseek-license; в карточке также указано обозначение лицензии other и ссылка на файл LICENSE. Условия использования следует уточнять по тексту этой лицензии.

Devstral-Small-2507-GGUF — квантованная версия Devstral Small 1.1 (2507), разработанная Mistral AI совместно с All Hands AI и преобразованная в формат GGUF пользователем brittlewis12. Модель предназначена для задач программной инженерии и создания агентных систем: она умеет работать с инструментами, исследовать кодовые базы и редактировать несколько файлов. Модель ориентирована прежде всего на генерацию и анализ текста и кода, а её исходная версия показывает результат 53,6% на SWE-bench Verified в связке с OpenHands Scaffold. Модель дообучена на базе Mistral-Small-3.1-24B-Base-2503 и имеет контекстное окно до 128 000 токенов. Это текстовая модель без поддержки изображений: перед дообучением визуальный энкодер был удалён. В README явно указан английский язык. Формат GGUF предназначен для локального запуска в совместимом программном обеспечении, включая llama.cpp. Ограничения включают текстовую модальность и зависимость производительности от выбранного квантования и аппаратной конфигурации; конкретный размер файлов и параметры квантования в предоставленных данных не указаны. Лицензия — Apache 2.0.

Huihui-Qwen3.6-35B-A3B-abliterated-NVFP4 — квантованная версия модели Huihui-Qwen3.6-35B-A3B-abliterated, созданной huihui-ai на базе Qwen. Квантование NVFP4 выполнено Lna-Lab с использованием llm-compressor. Это мультимодальная MoE-модель для генерации текста и работы с изображениями, ориентированная прежде всего на агентное программирование, локальные AI-агенты, вызов инструментов и исследовательские сценарии. Модель содержит 35 млрд параметров, из которых при обработке активны около 3 млрд; используется архитектура Qwen3.5 MoE с 256 экспертами, гибридом Gated DeltaNet и attention, а также 8 маршрутизируемыми и одним общим экспертом. Поддерживается контекст до 262 144 токенов с возможностью расширения до 1 млн токенов. Визуальная часть сохранена в формате BF16. Заявлены результаты SWE-bench Verified 73,4 и Terminal-Bench 2.0 51,5, а скорость генерации достигает примерно 168 токенов в секунду на одной NVIDIA RTX PRO 6000 Blackwell. Ключевые преимущества — высокая скорость благодаря разреженной MoE-архитектуре, компактный размер около 21,9 ГБ, мультимодальность и сохранение возможностей для агентного кодинга. Ограничения связаны с аппаратной и программной совместимостью: требуется GPU NVIDIA Blackwell с поддержкой SM 120, около 22 ГБ видеопамяти и nightly-версия vLLM с CUDA 13.0; на Ampere и Hopper модель не работает. Модель abliteration обозначена как нецензурируемая, поэтому её следует использовать ответственно. Лицензия — Apache-2.0.

KAT-Coder-V2.5-Dev-OptiQ-4bit — это квантованная версия модели KAT-Coder-V2.5-Dev, разработанная сообществом mlx-community на базе модели Kwaipilot. Модель предназначена для генерации и анализа программного кода, а также для сценариев, где требуется рассуждение перед формированием ответа. Она реализована для MLX и ориентирована на локальный запуск на компьютерах Apple Silicon без PyTorch и облачных сервисов. Архитектура модели — qwen3_5_moe: разреженная MoE-система с 256 маршрутизируемыми экспертами, сочетающая гибридные линейные слои и полное внимание. Используется смешанная статическая квантизация 4/8 бит с целевым показателем около 4,5 бит на параметр: 400 проекций представлены в 4-битном формате, 111 — в 8-битном. Размер модели на диске составляет около 20 ГБ. В README указан английский язык; другие языки, размер контекста и поддерживаемые модальности не заявлены. Сильными сторонами модели являются локальная работа на Apple Silicon, сниженный объём хранения благодаря квантизации и совместимость с MLX-инструментами, включая mlx-lm и optiq. Для запуска рекомендуется пакет optiq; он также предоставляет OpenAI-совместимый локальный API и квантизацию KV-кэша. Ограничения включают ориентацию прежде всего на задачи программирования, требования к совместимому оборудованию и отсутствие в README данных о точности, производительности, языковой поддержке за пределами английского и контекстном окне. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen2.5-Coder-14B-Instruct-4bit — это 4-битная версия языковой модели Qwen2.5-Coder-14B-Instruct, разработанной Qwen и преобразованной сообществом mlx-community в формат MLX с помощью mlx-lm 0.19.3. Модель предназначена для генерации текста и работы в диалоговом режиме. Основная специализация модели — задачи, связанные с программным кодом: написание, продолжение и обсуждение кода, а также взаимодействие с пользователем в формате инструкций и ответов. Модель содержит 14 миллиардов параметров и использует 4-битное квантование, что снижает требования к памяти по сравнению с полноразмерной версией. Формат MLX ориентирован на запуск с библиотекой mlx-lm. В метаданных указан английский язык. README не содержит сведений о длине контекста, поддерживаемых модальностях, результатах тестирования и конкретных ограничениях качества, поэтому эти характеристики нельзя определить по представленным данным. Модель распространяется по лицензии Apache 2.0.