II.11Кибербезопасность и приватность

stefancosma/Qwen2.5-Coder-7B-Instruct-Q4_K_M-GGUF — это квантованная версия модели Qwen2.5-Coder-7B-Instruct, преобразованная в формат GGUF с использованием llama.cpp и сервиса GGUF-my-repo. Модель основана на разработке Qwen и предназначена для генерации текста и работы с программным кодом в диалоговом формате. Модель имеет размер 7B параметров и использует квантизацию Q4_K_M, что снижает требования к памяти по сравнению с полной версией, но может сопровождаться некоторой потерей качества. Она рассчитана на текстовые задачи, включая написание, дополнение и объяснение кода, и может запускаться локально через llama.cpp в CLI или серверном режиме. В метаданных указан английский язык. В примере запуска серверу задаётся контекст 2048 токенов, однако максимальный размер контекста в карточке не указан. К сильным сторонам относятся специализированная направленность на программирование, компактный размер, формат GGUF и совместимость с llama.cpp, включая запуск на различном оборудовании. Ограничения связаны с отсутствием подробных результатов оценки и характеристик исходной модели в этой карточке, а также с возможным снижением точности из-за квантизации. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-DeltaCoder-9B-GGUF — семейство GGUF-квантизированных вариантов модели danielcherubini/Qwen3.5-DeltaCoder-9B, разработанное Daniel Cherubini на базе Qwen3.5-9B. Модель ориентирована на генерацию и анализ кода, использование инструментов и агентские сценарии. В версии v1.1-DPO применено дообучение методом DPO на 4519 предпочтительных парах из AceCode-V2-122K, направленное на повышение корректности кода и способности модели обнаруживать и исправлять собственные ошибки. Модель поддерживает текстовые задачи и заявлена для английского языка. Размер базовой модели — 9 млрд параметров. Доступны варианты квантования от Q2_K до Q8_0, а также BF16; рекомендуемым указан Q4_K_M. Модель предназначена для запуска через llama.cpp, Ollama, LM Studio и другие совместимые с GGUF движки. В README приведены конфигурации для контекста до 131072 токенов, однако требуемый объём памяти зависит от выбранного варианта квантования и параметров KV-кэша. Сильные стороны модели — специализация на программировании, надёжность вызовов инструментов, ориентация на прохождение тестов и улучшенное самокорректирующее поведение после DPO-обучения. Ограничения включают зависимость качества от степени квантования, необходимость соблюдать рекомендованные параметры генерации и склонность к детерминированным циклам при temperature ниже 0,5. Для версии v1.1-DPO часть заявленных benchmark-результатов ещё не определена; в Terminal-Bench указано 2 из 4 выполненных задач при наличии тайм-аутов. Распространяется по лицензии Apache-2.0.

tvall43/Qwen3.6-14B-A3B-VibeForged-v2-GGUF — это мультимодальная квантизированная версия модели tvall43/Qwen3.6-14B-A3B-VibeForged-v2, основанной на восстановленной и дообученной версии прореженной Qwen3.6-35B-A3B-heretic. Модель распространяется в формате GGUF для запуска через llama.cpp и совместимые инструменты, включая LM Studio, Ollama и text-generation-webui. Разработчик описывает её как MoE-модель с 14B параметров, созданную с использованием QLoRA после дообучения на тысячах практических сессий vibecoding и данных Evol-Instruct для программирования. Модель предназначена прежде всего для генерации текста и кода, рассуждений, работы с инструментами и сценариев локального программирования. В ходе дообучения акцент сделан на строгих границах рассуждений в формате <think>...</think> и чистом JSON-синтаксисе вызова инструментов. Поддерживаются текстовая и визуальная модальности: в репозитории доступны мультимодальные проекторы mmproj в форматах F16 и Q8_0, унаследованные от базовой модели. В метаданных указан английский язык; размер контекста в README не указан. Доступны варианты F16, Q8_0, Q6_K, Q4_K_M, Q3_K_M, Q2_K и MXFP4_MOE, что позволяет выбирать между качеством, размером и скоростью в зависимости от ресурсов. Q8_0 требует около 15 ГБ памяти, а Q4_K_M ориентирован на локальный запуск примерно на 8 ГБ VRAM; характеристики других вариантов зависят от среды выполнения. Ограничения включают возможное снижение качества в сильно сжатых вариантах и необходимость поддержки MXFP4_MOE со стороны inference-движка. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-ED-4.87bpw-GGUF — квантованная в формате GGUF версия Qwen3.8-27B, подготовленная автором репозитория bakhtin на основе BF16-файла ggml-org. Это мультимодальная чат-модель для диалога с текстом и изображениями; в метаданных указаны задачи image-text-to-text и возможности vision и chat. При квантовании до 4,87 бит на вес использована Importance Matrix, откалиброванная на русской технической речи, формальной логике и примерах кода. README сообщает о встроенном слое MTP и приводит результаты сравнения perplexity и скорости генерации с другой GGUF-квантовкой. Модель рассчитана на запуск на современной потребительской видеокарте с 16 ГБ видеопамяти; автор приводит ориентир 20–30 токенов в секунду в зависимости от заполнения KV-кэша. Автор указывает, что постобучение и абляции не проводились. Контекст свыше 128 тысяч токенов существенно снижает скорость, примерно до 5 токенов в секунду. Лицензия — Apache-2.0.

AnonimousA/Qwen3.8-Flash-Next-REAP-256-duo-GGUF — общественная производная модели Qwen3.8-Flash-Next, неофициально созданная сообществом и не связанная с Alibaba/Qwen. Это GGUF-квантизированная модель с pruning-экспертов REAP: число экспертов в каждом слое сокращено с 512 до 256, при этом сохранённые веса скопированы без деквантизации и повторного квантования. Базовый формат — Unsloth UD-Q3_K_XL, общий размер составляет около 57,69 GiB в двух файлах вместо 83,8 GiB у исходной версии. Модель предназначена прежде всего для генерации кода и агентского взаимодействия, включая оркестрацию инструментов и tool calling. Она использует архитектуру qwen4exp с гибридом Gated DeltaNet, Qwen Sparse Attention и блоком n-gram embedding. Активируются 10 экспертов и один общий эксперт; число активных параметров не изменено. Веса vision-компонентов сохранены, но файл mmproj распространяется отдельно. Калибровка pruning выполнена на корпусах кода и агентской оркестрации. Главное преимущество — уменьшенный размер, благодаря которому модель может размещаться преимущественно в VRAM: на RTX 5090 объёмом 32 GB заявлены 68,4 токена/с при декодировании и 934 токена/с при prefill с частичным размещением MoE на CPU. При полном выполнении на CPU прирост декодирования практически отсутствует, зато prefill был примерно в 1,58 раза быстрее исходной модели. К ограничениям относятся возможное снижение качества из-за глубокого pruning, более низкий заявленный результат HumanEval по сравнению с последующей версией REAP-320 и необходимость использовать llama.cpp mainline с поддержкой архитектуры, добавленной 27 августа 2026 года. Лицензия указана как qwen-community-1.0; ссылка ведёт на лицензию исходной модели Qwen3.8-Flash-Next. Перед использованием следует учитывать, что это community derivative, а не официальный релиз Qwen.

Qwen3-Coder-30B-A3B-Instruct-8bit — языковая модель для генерации текста, ориентированная прежде всего на задачи программирования и работы с кодом. Модель разработана сообществом mlx-community и представляет собой конвертацию Qwen3-Coder-30B-A3B-Instruct от Qwen в формат MLX с использованием mlx-lm версии 0.26.1. Модель предназначена для запуска через библиотеку mlx-lm и поддерживает инструкционный режим с применением chat template. В названии указано 8-битное представление, а исходная модель имеет 30B параметров и архитектуру MoE с 3B активных параметров, однако дополнительные сведения о контекстном окне, языках и поддерживаемых модальностях в README не приведены. К сильным сторонам относятся специализация базовой модели на программировании, инструкционное взаимодействие и адаптация к экосистеме MLX. Ограничения, производительность и требования к оборудованию в README не описаны. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-30B-A3B-Instruct-GGUF — это набор квантизированных версий языковой модели Qwen3-Coder-30B-A3B-Instruct, разработанной командой Qwen и подготовленной в формате GGUF пользователем или организацией Dhptl с использованием quant-kit. Модель предназначена для текстовой генерации и диалогового взаимодействия, включая локальное использование через llama.cpp, Ollama, LM Studio, Open WebUI и Jan. Основной профиль модели — задачи программирования и работы с текстом, однако конкретные результаты исходной модели следует уточнять в её оригинальной карточке. Модель имеет архитектуру Qwen3 MoE и обозначение 30B-A3B, что указывает на общий размер около 30 миллиардов параметров и примерно 3 миллиарда активных параметров на токен. Доступны варианты квантизации Q2_K, Q3_K, Q4_K, Q5_K, Q6_K и Q8_0 размером примерно от 10,49 до 30,25 ГБ. Рекомендуемым вариантом назван Q4_K_M как компромисс между размером и качеством; более высокие варианты требуют больше оперативной памяти, но ближе к качеству исходной модели. В README указан английский язык, поддержка других языков не описана. К сильным сторонам относятся возможность локального запуска, широкий выбор уровней квантизации и снижение требований к памяти по сравнению с полноточной версией. Ограничения связаны с потерей качества при сильной компрессии, особенно в вариантах Q2 и Q3, а также с отсутствием в README фактических результатов бенчмарков, сведений о размере контекста и подробного описания мультимодальности. Модель распространяется по лицензии Apache-2.0.

ucbye/Qwen3-Coder-Next-NVFP4-GB10 — публичное зеркало квантизированной модели saricles/Qwen3-Coder-Next-NVFP4-GB10, основанной на Qwen3-Coder-Next от Alibaba и команды Qwen. Модель предназначена прежде всего для генерации и анализа программного кода, а также для сценариев развертывания LLM на системах DGX Spark с GPU GB10. В README указано, что веса байт-в-байт идентичны исходной квантизации, а зеркало предоставляет стабильную и неконтролируемую версию для проекта развертывания qwen3-coder-next. Архитектура qwen3_next сочетает линейное внимание DeltaNet, полноразмерное внимание и латентный MoE. Модель содержит 48 слоев, включая 36 слоев с линейным вниманием и 12 слоев с полным вниманием, 79,7 млрд параметров при примерно 3 млрд активных параметров на токен, 512 экспертов, из которых активируются 10 совместно с одним общим экспертом. Используется 4-битная NVFP4-квантизация через compressed-tensors; отдельные компоненты сохранены в BF16. Максимальная длина контекста составляет 262 144 токена, заявленный язык — английский. Размер модели на диске — около 45,9 ГБ. Сильные стороны модели — большой контекст, низкое число активных параметров на токен, сниженные требования к памяти и отсутствие KV-кэша у слоев DeltaNet. На DGX Spark заявлена скорость около 61 токена в секунду для одного запроса и поддержка примерно пяти одновременных сессий при контексте 262K с FP8 KV-кэшем. Ограничения включают зависимость производительности от совместимого оборудования и настроек vLLM, а также потери точности, возможные из-за агрессивной 4-битной квантизации. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели; перераспределение разрешено.

Qwen3-VL-8B-Instruct-abliterated-v2-GGUF — мультимодальная vision-language модель от prithivMLmods, основанная на Qwen3-VL-8B-Instruct от Alibaba. Это GGUF-сборка для запуска через llama.cpp и совместимые инструменты; доступны варианты квантования от Q2_K до Q8_0, а также F16 и отдельные mmproj-файлы для обработки изображений. Модель предназначена для генерации текста по изображениям, подробного описания визуального содержимого, следования инструкциям и мультимодального рассуждения. Заявлена поддержка сложных, технических, художественных и чувствительных изображений, видео, различных разрешений, соотношений сторон и макетов. Указаны Interleaved-MRoPE, контекст до 262K токенов и OCR на 32 языках; основным языком работы назван английский, при этом заявлена адаптация к другим языкам с помощью формулировок запросов. Модель содержит около 8 млрд параметров и ориентирована на запуск на GPU с 16–24 ГБ VRAM в форматах BF16/FP8 через Transformers или vLLM, а GGUF-квантизации позволяют выбирать компромисс между размером и качеством. Ключевая особенность версии — удаление механизмов отказа и контентных ограничений, что расширяет область применения для red teaming, исследований безопасности и творческих сценариев, но одновременно повышает риск генерации небезопасного или нежелательного содержимого. Модель распространяется по лицензии Apache-2.0.

DavidAU/Qwen3-Zero-Coder-Reasoning-0.8B-NEO-EX-GGUF — англоязычная текстовая generative-модель для программирования, разработанная DavidAU на базе DavidAU/Qwen3-Zero-Coder-Reasoning-0.8B и распространяемая в формате GGUF. Модель ориентирована на генерацию и анализ кода, мозговой штурм, решение задач и пошаговое рассуждение при разработке. Она может формировать блоки рассуждений перед ответом и подходит для интерактивной работы с подробными инструкциями и итеративным улучшением кода. Заявлены архитектура на платформе Qwen3, 42 слоя и 464 тензора; модель описана как объединение двух моделей размером 0,6B. Максимальный контекст составляет 40 000 токенов, рекомендуемый — от 8 000 до 16 000. Поддерживаются шаблоны Jinja или ChatML. Репозиторий содержит варианты GGUF с разными уровнями квантования и модификациями NEO Imatrix; в README отмечается, что некоторые более компактные кванты могут лучше подходить для отдельных сценариев, тогда как старшие кванты способны давать более качественные решения на сложных задачах. Сильными сторонами являются высокая скорость работы, компактный размер, специализация на коде и способность решать многоэтапные задачи. Ограничения включают возможные повторы блоков кода, чрезмерно длинные рассуждения и зависимость качества от уровня квантования и настроек генерации; для сложных запросов рекомендуется несколько генераций и тщательная формулировка требований. Модель распространяется по лицензии Apache-2.0.

Qwen3-Zero-Coder-Reasoning-V2-0.8B-NEO-EX-GGUF — компактная кодовая и рассуждающая модель, разработанная DavidAU на платформе Qwen3. Это GGUF-сборка, созданная на основе объединения двух моделей размером 0,6B; заявлены 42 слоя и 464 тензора. Модель предназначена для генерации текста и кода, использует режимы reasoning и chat и ориентирована прежде всего на английский язык. Модель подходит для написания фрагментов и черновиков кода, мозгового штурма, решения технических задач, многоэтапного программирования и общего problem solving. Она рассчитана на контекст до 40 тысяч токенов; рекомендуется использовать контекст от 8–16 тысяч токенов. Автор заявляет высокую скорость работы — свыше 150 токенов в секунду на подходящем оборудовании и более 50 токенов в секунду на CPU, однако фактическая производительность зависит от аппаратной конфигурации и выбранного кванта. К сильным сторонам относятся небольшие требования к ресурсам, высокая скорость, возможность пошагового рассуждения и улучшенная стабильность по сравнению с первой версией. Доступны варианты с разными уровнями квантизации и модификациями NEO Imatrix; для отдельных сценариев автор рекомендует сравнивать несколько квантов, поскольку более низкие варианты иногда дают более короткие рассуждения и неожиданные рабочие решения, а более высокие могут обеспечивать лучшие результаты на сложных задачах. Ограничения включают возможные повторы кода, чрезмерно длинные блоки рассуждений и необходимость точных подробных инструкций; результаты могут зависеть от настроек sampling и выбранного кванта. Для работы требуется шаблон Jinja или CHATML. Модель распространяется по лицензии Apache-2.0.

Qwopus3.5-9B-Coder-GGUF — мультимодальная языковая модель от Jackrong, созданная на базе Qwopus3.5-9B-v3.5 и представленная в формате GGUF для использования с llama.cpp и совместимыми инструментами. Это плотная модель размером 9 млрд параметров, ориентированная на агентное программирование, сложные вызовы инструментов и логическое рассуждение. Модель предназначена для генерации и отладки кода, решения задач на уровне репозитория, работы с терминальными командами, файловыми операциями, браузерами и function calling. Она поддерживает текстовые и визуальные входные данные; для включения зрения требуется отдельный файл mmproj.gguf. Заявлены языки English, Chinese, Spanish, Russian и Japanese, однако размер контекста в README не указан. При дообучении использовались Trace Inversion, агентские трассировки и наборы данных для reasoning и tool use. Сильными сторонами заявлены структурированное рассуждение, работа с кодом и более стабильное использование инструментов при относительно низких требованиях к оборудованию: автор указывает возможность запуска в 8-битном режиме на устройствах с 16 ГБ оперативной памяти. Модель выпущена как экспериментальная версия сообщества; полноценная оценка общих способностей не проводилась, поэтому в непрофильных задачах возможно снижение качества. Указана лицензия Apache-2.0, но автор рекомендует использовать модель главным образом для исследований и экспериментов.

Rombos-Coder-V2.5-Qwen-32b-GGUF — квантизированная версия модели Rombos-Coder-V2.5-Qwen-32b, разработанной rombodawg и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации и обработки кода, а также связанных с программированием текстовых запросов. В карточке указана поддержка английского языка и размер базовой модели 32B параметров. Модель квантизирована с использованием llama.cpp и imatrix; доступны варианты от Q3 до Q8 с размером файлов примерно от 15 до 35 ГБ. Версии с более высокой точностью сохраняют лучшее качество, тогда как младшие варианты требуют меньше оперативной памяти, но могут заметнее терять в качестве. Для запуска рекомендуются llama.cpp и LM Studio; в README также приведён шаблон чата с ролями system, user и assistant. Архитектура, размер контекстного окна, дополнительные модальности и результаты оценивания в карточке не указаны. Для отдельных вариантов существуют ограничения по аппаратной платформе: некоторые сборки оптимизированы для ARM и требуют соответствующих инструкций, а их использование на macOS и Windows не рекомендуется. Модель распространяется по лицензии Apache-2.0.

CodeGemma 1.1 7B IT — это инструкционно дообученная языковая модель для генерации и работы с программным кодом, разработанная Google. Данная версия опубликована в формате GGUF и квантизирована bartowski с использованием llama.cpp и метода imatrix. Размер исходной модели — 7 миллиардов параметров. Модель предназначена для сценариев, связанных с программированием, включая генерацию кода по описанию задачи; в README приведён пример создания функции на Python для вычисления числа Фибоначчи. Для работы требуется специальный формат prompt с маркерами ролей CodeGemma. Модель не поддерживает system prompt. Сведения о поддерживаемых языках программирования, естественных языках и размере контекстного окна в предоставленных данных отсутствуют. Доступно множество вариантов квантизации с разным соотношением качества и требований к памяти: от Q8_0 размером 9,07 ГБ до компактных вариантов семейства IQ и Q2. В README наиболее рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и некоторые IQ-квантизации; варианты с более низкой разрядностью экономят память, но могут заметно уступать по качеству. Модель распространяется по лицензии Gemma, условия которой указаны по ссылке Google.

CodeLlama-13B-Instruct-fp16 — версия весов Code Llama 13B-Instruct от Meta в формате Transformers/Hugging Face, подготовленная TheBloke конвертацией исходных весов Meta в формат HF. Это авторегрессионная плотная трансформерная языковая модель семейства Llama с 12,9 млрд параметров, обученная следовать инструкциям и предназначенная для более безопасного использования в помощниках по программированию и генерации кода. Модель принимает и выдаёт текст. Она подходит для генерации и объяснения кода, ответов на вопросы о программировании и выполнения инструкций на английском языке и языках программирования. Для этой версии в метаданных указан контекст 16 384 токена; README отмечает, что варианты Code Llama обучались на последовательностях до 16K токенов и допускают более длинный контекст при инференсе. Для корректной работы этих весов fp16 README требует загрузки с trust_remote_code=True. Модель может выдавать неточный или нежелательный код и ответы, поэтому результаты требуют проверки и настройки под конкретное применение. Лицензия — специальная лицензия Llama 2; коммерческое использование регулируется её условиями.

CodeLlama-34B-Instruct-fp16 — преобразованная в формат Transformers/Hugging Face копия модели Code Llama 34B Instruct от Meta AI, подготовленная TheBloke. Это авторегрессионная плотная Transformer-модель с 33,5 млрд параметров для следования инструкциям, генерации и понимания кода, в том числе для создания помощников по программированию. Модель принимает и выдаёт текст; карточка указывает английский язык и поддержку контекста 16 384 токена. В репозитории представлены веса safetensors в формате FP16. Для корректной загрузки этих весов README требует параметр trust_remote_code=True из-за изменения RoPE Theta. Модель рассчитана на коммерческое и исследовательское применение по условиям лицензии Llama 2; перед внедрением следует проверить точные условия лицензии. Она может выдавать неточный или нежелательный текст, а заявленное тестирование проводилось на английском языке.

Fireball-12B-v1.01a — дообученная EpistemeAI языковая модель на архитектуре Mistral, основанная на EpistemeAI/Fireball-12B-v1.0. Модель содержит 12,1 млрд параметров и предназначена для генерации текста, выполнения инструкций и помощи с программированием. В README описаны supervised fine-tuning на наборах Code Alpaca и Alpaca Cleaned, а также два этапа ORPO дообучения на предпочтениях. Модель принимает текст и генерирует текст. В карточке указаны мультиязычные и программные данные, а рекомендуемый шаблон запросов — Alpaca. Метаданные указывают контекст до 1 024 000 токенов; в README для исходной модели Mistral Nemo приводится окно 128k, поэтому заявленная длина контекста для этой версии в источниках расходится. Модель выпущена под лицензией Apache 2.0. По README, у базовой модели нет встроенных механизмов модерации; для контролируемого применения следует предусмотреть отдельную модерацию.

QuantFactory/granite-8b-code-instruct-4k-GGUF — квантованная версия Granite-8B-Code-Instruct-4K, разработанная IBM Research и преобразованная в формат GGUF с использованием llama.cpp. Модель содержит около 8 млрд параметров и дообучена на базе Granite-8B-Code-Base-4K на наборах данных с разрешительными лицензиями для улучшения следования инструкциям, логического рассуждения и решения задач, связанных с программированием. Модель предназначена для генерации, объяснения и исправления кода, а также для создания программных ассистентов. В карточке приведены результаты HumanEvalPack для Python, JavaScript, Java, Go, C++, и Rust; показатели pass@1 различаются в зависимости от языка и типа задачи. Контекстное окно составляет 4K токенов. Модель относится к текстовым генеративным моделям и не предназначена для обработки изображений или других мультимодальных данных. Ключевые преимущества — специализация на задачах программирования, поддержка нескольких языков программирования, улучшенное следование инструкциям и возможность локального запуска благодаря квантованию. Ограничения включают ограниченный контекст в 4K токенов, зависимость качества от языка и задачи, а также необходимость проверять сгенерированный код перед использованием; заявленные результаты бенчмарков не отмечены как верифицированные. Модель распространяется по лицензии Apache 2.0.

Kimi-K2.6-GGUF — версия открытой мультимодальной агентной модели Kimi K2.6 от Moonshot AI, подготовленная Unsloth в формате GGUF с использованием квантования. Модель предназначена для длительных и сложных задач программирования, создания интерфейсов по текстовым и визуальным входным данным, автономного выполнения действий и оркестрации групп специализированных агентов. Модель использует архитектуру Mixture-of-Experts (MoE): около 1 трлн общих параметров, из которых 32 млрд активируются для каждого токена. Она содержит 61 слой, 384 эксперта с выбором 8 экспертов на токен, механизм внимания MLA, активацию SwiGLU и словарь размером 160 тысяч токенов. Контекст составляет 256 тысяч токенов. Для обработки изображений используется vision encoder MoonViT с 400 млн параметров. Заявлены сильные результаты в долгосрочном кодировании на Rust, Go и Python, DevOps, оптимизации производительности, генерации веб-интерфейсов и агентном поиске; поддерживается координация до 300 субагентов и 4000 шагов. Ключевые ограничения связаны с чрезвычайно большими требованиями к ресурсам: например, вариант UD-Q8_K_XL занимает около 595 ГБ. README не содержит полного перечня поддерживаемых языков и подробных требований к оборудованию или программному окружению. Указана лицензия modified-MIT; конкретные условия её применения следует проверять в официальных материалах модели.

microsoft_NextCoder-32B-GGUF — это набор GGUF-квантизированных версий языковой модели NextCoder-32B, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и кода, включая сценарии программирования и чат-взаимодействия. В README указана поддержка английского языка; сведения о других языках отсутствуют. Модель имеет размер 32 млрд параметров и работает в текстовой модальности. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3, Q2 и IQ, что позволяет выбирать между качеством, размером файлов и требованиями к оперативной памяти. Рекомендуемыми названы, в частности, Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S и Q4_K_M. Размер файлов варьируется примерно от 13 до 66 ГБ. Размер контекста и точная архитектура в README не указаны. Сильными сторонами являются высокое качество старших вариантов квантизации, возможность локального запуска и совместимость с LM Studio, llama.cpp и другими проектами на его основе. Ограничения включают значительные требования к памяти, снижение качества у компактных вариантов и отсутствие сведений о мультимодальности, дополнительных языках и длине контекста. Модель распространяется по лицензии MIT; условия исходной модели и квантизированных файлов следует рассматривать с учетом указанной лицензии.

MiMo-NeoHorse-9B-AGSI — текстовая модель для диалогов, программирования и задач рассуждения, созданная путём слияния XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B и TokenRhythm/NeoHorse-1-9B. Разработчик описывает метод объединения как AGSI Pipelined Fusion с интерполяцией параметров моделей. Модель предназначена для генерации текста в диалогах, помощи с кодом и применения в агентных сценариях, включая работу с терминалом. В метаданных указаны архитектура Qwen3.5 с плотной моделью и формат safetensors. Заявлены английский и китайский языки; лицензия — MIT.

Nex-N2.5-mini — разговорная модель семейства Nex-N2.5, разработанного Nex-AGI. Она предназначена для агентных задач с длительным планированием, включая управление компьютером и браузером, программирование и проверку программ, а также мультимодальное понимание визуальной среды. Модель может использовать визуальную обратную связь для проверки результатов действий и корректировки дальнейших шагов. По карточке семейство Nex-N2.5-mini опирается на мультимодальную основу Nex-N2; метаданные указывают архитектурное семейство Qwen3.5 MoE и класс Qwen3_5MoeForConditionalGeneration. Поддерживаются чат и вызов функций. Веса опубликованы в формате safetensors; лицензия — Apache-2.0. Карточка не сообщает размер именно mini-версии и длину контекста.

nexus-coder-GGUF — это квантизированная GGUF-версия модели NEXUS-Coder, разработанной fableforge-ai в экосистеме FableForge и опубликованной пользователем King3Djbl. Модель предназначена для генерации и анализа кода, отладки, программной инженерии и работы с shell-командами. Она ориентирована на локальный запуск через llama.cpp, Ollama и LM Studio. Модель имеет размер 1,5 млрд параметров, поддерживает текстовую генерацию и английский язык. В репозитории доступны варианты с разными уровнями квантования: от F16 размером 3,09 ГБ до IQ2_XXS размером 0,51 ГБ; рекомендуемым компромиссом между качеством и размером указан Q4_K_M, а для максимального качества — Q6_K. Используется формат запросов ChatML. Заявленные результаты внутреннего тестирования составляют 141 из 150 баллов (94%), однако методика ограничена 30 запросами и запуском на NVIDIA A40 через Ollama. Сильные стороны модели — компактный размер, возможность локального запуска, специализация на коде и заявленная эффективность в задачах рассуждения и использования инструментов. Ограничения включают небольшой размер по современным меркам, неизвестный контекстный размер и отсутствие подробных независимых оценок; качество также зависит от выбранного варианта квантования. Модель распространяется по лицензии Apache-2.0.

NuNER Zero — компактная модель для распознавания именованных сущностей без примеров, разработанная NuMind. Она использует архитектуру GLiNER и решает задачу token classification: на вход подаются текст и перечень типов сущностей, а модель находит в тексте соответствующие фрагменты. По сравнению с GLiNER модель позиционируется как способная обнаруживать сущности произвольной длины. Модель обучена на NuNER v2.0 — наборе данных, объединяющем размеченные с помощью LLM подмножества Pile и C4. Для работы с метками README требует использовать названия типов сущностей в нижнем регистре. В описании релиза сообщается о преимуществе в 3,1 процентного пункта по token-level F1 над GLiNER-large-v2.1 на бенчмарке GLiNER; это утверждение относится к оценке авторов на указанном бенчмарке. NuNER Zero предназначена для извлечения сущностей по заданным пользователем категориям, в том числе для категорий без обучающих примеров. Метаданные указывают английский язык, библиотеку GLiNER и форматы PyTorch и Safetensors. Модель распространяется по лицензии MIT.

OpenCodeReasoning-Nemotron-32B-IOI-GGUF — это квантизированная версия текстовой генеративной модели OpenCodeReasoning-Nemotron-32B-IOI, разработанной NVIDIA. Репозиторий с квантизациями подготовлен bartowski с использованием llama.cpp и метода imatrix. Модель ориентирована на задачи, связанные с генерацией и анализом кода, и предназначена для локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. Модель имеет размер 32B параметров, поддерживает английский язык и поставляется в формате GGUF в вариантах от BF16 до IQ4 и Q3. Доступны разные уровни квантизации с размером файлов примерно от 17,25 до 65,54 ГБ, что позволяет выбирать между качеством ответов и требованиями к памяти. Для работы рекомендуется использовать указанный в README шаблон диалога с маркерами ролей ChatML. Контекст модели, мультимодальные возможности и точная архитектура в README не указаны. Сильными сторонами являются специализация на задачах программирования, широкий выбор квантизаций и возможность локального запуска. Более компактные варианты подходят для систем с ограниченной оперативной памятью, но могут уступать более точным версиям по качеству. Лицензия модели — Apache-2.0; сведения об условиях использования исходной модели отдельно не приведены.

Mungert/OlympicCoder-32B-GGUF — это GGUF-версия 32-миллиардной модели для генерации текста и программного кода, созданная на основе Qwen/Qwen2.5-Coder-32B-Instruct. В метаданных указаны датасет open-r1/codeforces-cots, английский язык, библиотека Transformers и лицензия Apache-2.0. README не содержит подробного описания дообучения, поэтому назначение модели следует оценивать прежде всего как применение возможностей базовой instruct-модели в формате GGUF. Модель предназначена для генерации и работы с текстом и кодом, включая сценарии разработки, решения алгоритмических задач и запуск локального вывода на устройствах с ограниченными ресурсами. Основная особенность сборки — применение ультранизкобитного динамического квантования IQ-DynamicGate с распределением точности по слоям. Для наиболее чувствительных компонентов используются более точные форматы, а значительная часть слоёв может храниться в 1–2 битах, что снижает требования к памяти. Сильная сторона модели — возможность размещения крупной 32B-модели в условиях ограниченного GPU VRAM, на CPU или edge-устройствах. При этом ультранизкая битность неизбежно создаёт компромисс между размером, скоростью и точностью; README приводит результаты DynamicGate для Llama-3-8B, но не предоставляет сопоставимых бенчмарков именно для OlympicCoder-32B. Поэтому фактическое качество и скорость этой сборки зависят от выбранного GGUF-кванта, оборудования и программного движка. Контекстное окно, точный набор поддерживаемых языков и конкретный размер файлов для данной модели в README не указаны.

Qwen2.5-Coder-14B-Instruct-Q5_K_M-GGUF — это квантованная версия модели Qwen2.5-Coder-14B-Instruct, преобразованная в формат GGUF пользователем apto-as с помощью llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для генерации текста и работы с программным кодом в диалоговом формате, включая использование через llama.cpp в CLI или серверном режиме. Модель имеет размер 14 млрд параметров, относится к текстовым моделям и ориентирована прежде всего на задачи программирования. В README указана поддержка английского языка; сведения о других языках, архитектуре, максимальном размере контекста и результатах тестирования не приведены. Квантование Q5_K_M снижает требования к памяти по сравнению с полноразмерной версией, что облегчает локальный запуск, однако может сопровождаться некоторой потерей точности. В качестве ограничений также следует учитывать отсутствие подробных данных о производительности и качестве модели в данном README. Модель распространяется по лицензии Apache-2.0. Для получения подробных характеристик, включая возможности исходной модели, рекомендуется обращаться к карточке базовой Qwen2.5-Coder-14B-Instruct.

unsloth/Qwen2.5-Coder-1.5B — версия базовой языковой модели Qwen2.5-Coder, подготовленная Unsloth. Это плотная авторегрессионная модель семейства Qwen2 с 1,5 млрд параметров, предназначенная прежде всего для генерации, анализа и исправления кода, а также для рассуждений о коде и задач с дополнением кода. В README указаны 28 слоёв, механизм RoPE, SwiGLU, RMSNorm и групповое внимание; модель находится на стадии предобучения и не настроена для диалогов. Модель принимает текст и генерирует продолжение текста. В конфигурации репозитория задано контекстное окно 32 768 токенов; для более длинных текстов README описывает применение YaRN, а предельную длину семейства указывает как 131 072 токена. Модель обучена на коде и текстовых данных и сохраняет общие возможности Qwen2.5, включая математику. Карточка не называет разработчика этой конкретной версии явно; README описывает семейство Qwen2.5-Coder, а репозиторий опубликован в пространстве Unsloth. Лицензия — Apache-2.0. Для диалогового применения рекомендуется последующее дообучение; поддержка длинного контекста требует настройки YaRN, а статическое масштабирование может снизить качество на коротких запросах.

ThomasBaruzier/Qwen2.5-Coder-1.5B-Instruct-GGUF — набор квантизированных версий инструкционной модели Qwen2.5-Coder-1.5B-Instruct, разработанной командой Qwen. Модель предназначена для генерации текста и решения задач, связанных с программным кодом, включая чатовые сценарии и работу с запросами на естественном языке. В карточке указана поддержка английского языка. Модель имеет около 1,5 млрд параметров и распространяется в формате GGUF для использования с llama.cpp. Доступны варианты квантизации от IQ1_S до Q5_K_M с размером файлов примерно от 416 МБ до 1,05 ГБ. Квантизация выполнена с использованием imatrix и калибровочного файла Bartowski; варианты различаются соотношением размера, perplexity и точности. Более компактные варианты требуют меньше памяти, но заметнее теряют качество, тогда как версии с более высокой разрядностью обеспечивают лучшие показатели. Ограничения карточки не описывают контекстное окно, полный набор языков, аппаратные требования и подробные результаты на прикладных тестах. Модель ориентирована на текстовую модальность и не предназначена для обработки изображений или других мультимедийных данных. Указана лицензия Apache-2.0.

Карточка модели FiREDragoN35769/Qwen2.5-Coder-3B на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-3B, поэтому описание составлено по ней. Qwen2.5-Coder-3B — базовая кодовая языковая модель, разработанная командой Qwen. Это предварительно обученная причинная трансформерная модель семейства Qwen2 с 3,09 млрд параметров, предназначенная для генерации и анализа кода, рассуждений о коде и исправления ошибок. Она также сохраняет общие языковые и математические способности базовой Qwen2.5. Модель обучалась на корпусе из исходного кода, текстово-кодовых данных и синтетических данных. Архитектура использует RoPE, SwiGLU, RMSNorm, смещение в проекциях QKV и связанные эмбеддинги слов; в ней 36 слоёв, 16 голов Q и 2 головы KV. Контекст составляет 32 768 токенов. Модель предназначена для задач продолжения кода и заполнения пропусков в коде; авторы не рекомендуют использовать базовую версию для диалогов без дополнительного постобучения. Для работы с Transformers требуется версия 4.37.0 или новее. Лицензия указана как other, поэтому конкретные условия использования следует сверить с лицензией репозитория.