II.11Кибербезопасность и приватность

Qwen3-Coder-Next-FP8 — открытая языковая модель компании Qwen, предназначенная прежде всего для coding agents, локальной разработки и интеграции с CLI- и IDE-инструментами. Она ориентирована на генерацию и анализ кода, длительные многошаговые задачи, использование инструментов и восстановление после ошибок выполнения. Модель поддерживает интеграцию с различными средами разработки, включая Claude Code, Qwen Code, Qoder, Kilo, Trae и Cline. Это причинная языковая модель с гибридной архитектурой Gated DeltaNet, Gated Attention и Mixture of Experts. Всего она содержит 80 млрд параметров, из которых активируется около 3 млрд; число параметров без учёта эмбеддингов составляет 79 млрд. Архитектура включает 48 слоёв, 512 экспертов MoE, 10 активируемых экспертов и одного общего эксперта. Нативная длина контекста — 262 144 токена. Доступна версия с fine-grained FP8-квантизацией с размером блока 128, что предназначено для более эффективного локального и серверного запуска. К сильным сторонам относятся высокая эффективность по числу активных параметров, поддержка длинного контекста и возможности агентного взаимодействия. Ограничение состоит в том, что модель работает только в режиме без рассуждений и не формирует блоки <think></think>; README также предупреждает о возможных проблемах с памятью при использовании максимального контекста. Модель распространяется по лицензии Apache 2.0.

CodeQwen1.5-7B-Chat-GGUF — специализированная языковая модель для работы с программным кодом, основанная на Qwen1.5 и разработанная командой Qwen. Это трансформерная decoder-only модель, предварительно обученная на примерно 3 триллионах токенов кода. Представленная версия распространяется в формате GGUF с несколькими уровнями квантования, включая q2_k, q3_k_m, q4_0, q4_k_m, q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать баланс между качеством, размером файла и требованиями к ресурсам. Модель предназначена для генерации и понимания кода, исправления ошибок, задач text-to-SQL и диалогового взаимодействия по вопросам программирования. Она поддерживает контекст длиной до 64K токенов, 92 языка программирования и использует Group Query Attention (GQA) для более эффективного вывода. К сильным сторонам относятся специализация на коде, заявленная конкурентоспособность на ряде бенчмарков и поддержка длинного контекста. Ограничения включают зависимость качества и скорости от выбранного уровня квантования, а также необходимость запуска через совместимое программное обеспечение, например llama.cpp. Модель распространяется по лицензии tongyi-qianwen; точные условия следует уточнять в файле лицензии репозитория.

juanmcristobal/e5-large-v2-mitre — дообученная модель Sentence Transformer на базе intfloat/e5-large-v2 для получения плотных текстовых эмбеддингов. Архитектура включает BERT, mean pooling и нормализацию; модель содержит 433,9 млн параметров, выдаёт векторы размерности 1024 и рассчитана на последовательности длиной до 32 токенов по README. Метаданные указывают максимальный контекст 512 токенов, поэтому фактический предел для этой версии в источниках расходится. Модель обучена на 2 268 288 парах предложений с MultipleNegativesRankingLoss. Она предназначена для семантического поиска и сравнения предложений, поиска перефразировок, кластеризации и использования эмбеддингов в классификации текста; близость векторов оценивается косинусным сходством. Примеры обучающих пар посвящены киберугрозам и защите, но данных недостаточно, чтобы считать модель специализированной только для этой области. Карточка не сообщает лицензию; базовая модель — англоязычная, а язык дообучения явно не указан.

Granite Switch 4.1 3B Preview — модульная языковая модель IBM, построенная на IBM Granite 4.1 3B и содержащая 12 встроенных адаптеров из библиотек Granite. Выбор возможностей выполняется во время генерации с помощью управляющих токенов в шаблоне чата. Модель насчитывает 3,5 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Адаптеры предназначены для задач RAG, проверки требований к ответу, атрибуции контекста, оценки неопределённости, выявления рисков безопасности и проверки либо исправления фактических ошибок. Модель можно использовать как обычную генеративную LLM или вызывать отдельные адаптеры; для интеграции README рекомендует Mellea. Поддерживаются Transformers и vLLM. Возможности специализированных адаптеров позволяют объединить несколько этапов работы с ответами и документами в одном чекпойнте. README не перечисляет все адаптеры целиком, а также не сообщает языки обучения или гарантии точности. Модель распространяется по лицензии Apache 2.0.

Это GGUF-квантизация модели Qwen3.8-27B-Uncensored, разработанной orcarouter и подготовленной пользователем bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для локального запуска в совместимых инструментах, включая llama.cpp. Модель поддерживает работу с текстом и изображениями при использовании отдельного файла mmproj, а также speculative decoding через MTP. Она ориентирована на рассуждения, function calling, vision-language-сценарии, red teaming и другие задачи генерации и анализа контента. Заявлены английский и китайский языки. README не указывает размер контекстного окна и конкретную архитектуру базовой модели. Доступны варианты от BF16 до различных уровней квантования GGUF. Q6 и Q5 позиционируются как варианты очень высокого или высокого качества, а Q4_K_M — как сбалансированный вариант по размеру и качеству; менее точные варианты требуют меньше оперативной памяти. К ограничениям относятся необходимость значительных аппаратных ресурсов для крупных файлов, зависимость мультимодального режима от mmproj и отсутствие в README подробных результатов оценки качества. Указанная лицензия — Apache-2.0.

unsloth/Qwen2.5-Coder-32B-Instruct-bnb-4bit — 4-битная версия модели Qwen2.5-Coder-32B-Instruct, разработанной командой Qwen и подготовленной с использованием Unsloth. Это каузальная языковая модель, ориентированная прежде всего на работу с программным кодом. Модель предназначена для генерации, анализа и исправления кода, решения задач программирования, кодового рассуждения и создания приложений с использованием code agents. Она также сохраняет возможности базовой серии Qwen2.5 в математике и общих текстовых задачах. В README заявлена поддержка английского языка. Суффикс bnb-4bit указывает на 4-битное квантованное представление, рассчитанное на более экономичное использование памяти. Заявлено 32 миллиарда параметров, однако приведённые в README подробности об архитектуре, числе слоёв и контекстном окне относятся к другой конфигурации Qwen2.5-Coder объёмом 0,5 миллиарда параметров и не подтверждают характеристики именно этой версии. Поэтому точные параметры архитектуры и размер контекста данной сборки следует уточнять отдельно. Модель распространяется по лицензии Apache-2.0.

AlexAtomic/qwen3-coder-30b-a3b-GGUF — это квантизированная версия Qwen3-Coder-30B-A3B-Instruct, подготовленная AlexAtomic для Atomic Chat в формате GGUF. Модель предназначена прежде всего для агентного программирования, использования браузерных агентов и других задач генерации и анализа кода. Она поддерживает вызов инструментов через специальный формат, совместимый, в частности, с Qwen Code и CLINE, и может работать полностью локально и офлайн. В основе лежит причинная языковая модель с архитектурой Mixture-of-Experts и GQA: 30,5 млрд параметров всего, из которых 3,3 млрд активируются на каждом токене; используется 128 экспертов, 8 из них активны, всего 48 слоёв, 32 Q-head и 4 KV-head. Нативное окно контекста составляет 262 144 токена и может быть расширено примерно до 1 млн с помощью YaRN. Модель работает только в non-thinking режиме и не формирует блоки рассуждений <think></think>. Репозиторий содержит линейку квантов GGUF с importance matrix, что помогает сохранить качество низкобитных вариантов ближе к исходной модели. Доступны варианты от Q2_K до Q8_0; Q4_K_M рекомендован как сбалансированный вариант по размеру, скорости и качеству, а Q6_K и Q8_0 — для максимальной точности. Ограничения включают неизбежные потери качества при низкой битности, значительные требования к оперативной памяти или VRAM и необходимость применять chat template Qwen3 Coder с параметром --jinja. Лицензия — Apache-2.0.

Qwen3-Coder-30B-A3B-Instruct-FP8 — инструкционная каузальная языковая модель семейства Qwen3-Coder, разработанная командой Qwen. Она предназначена прежде всего для программирования, агентского написания кода, вызова инструментов, использования браузера и понимания крупных репозиториев. Модель подходит для генерации и редактирования кода, решения задач разработки и интеграции в системы, совместимые с Qwen Code, CLINE и форматом function calling. Модель использует архитектуру Mixture-of-Experts: 30,5 млрд параметров всего, из которых при генерации активируется 3,3 млрд; предусмотрено 128 экспертов, одновременно активны 8. Она содержит 48 слоёв и использует Grouped-Query Attention с 32 головами для Q и 4 для KV. Нативная длина контекста составляет 262 144 токена, а с использованием YaRN заявлена возможность расширения до 1 млн токенов. Доступен чекпойнт с мелкозернистой FP8-квантизацией с размером блока 128. README не указывает перечень поддерживаемых языков и модальностей; по описанию это текстовая модель. Сильными сторонами являются эффективность благодаря разреженной активации параметров, длинный контекст, ориентация на агентские сценарии и развитые возможности вызова инструментов. Модель работает только в режиме без рассуждений и не формирует блоки <think></think>. Ограничения включают высокие требования к памяти при большом контексте и известную проблему fine-grained FP8 в Transformers при распределённом инференсе; для нескольких устройств может потребоваться CUDA_LAUNCH_BLOCKING=1. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-1.5B-Instruct-GGUF — инструкционно дообученная языковая модель для работы с программным кодом из серии Qwen2.5-Coder, разработанной командой Qwen. Модель предназначена для генерации, анализа, рассуждений и исправления кода, а также для использования в чат-ботах и кодовых агентах. Она сохраняет базовые способности Qwen2.5 в математике и общих задачах. Модель представляет собой каузальную языковую модель в формате GGUF с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm, смещениями в QKV-внимании и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, из которых 1,31 млрд не относятся к эмбеддингам, 28 слоёв и механизм GQA с 12 головами для Q и 2 для KV. Заявленная длина контекста — 32 768 токенов. Поддерживаются варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. В метаданных указан английский язык; мультимодальность не заявлена. К сильным сторонам относятся специализация на генерации, понимании и исправлении кода, компактный размер и наличие нескольких вариантов квантования для запуска с разными требованиями к памяти. Ограничения включают меньший масштаб по сравнению со старшими моделями серии и отсутствие заявленной поддержки контекста до 131 072 токенов в GGUF-версии; для такого расширения README рекомендует не-GGUF-модели и указывает поддержку YARN для этой задачи в vLLM. Модель распространяется по лицензии Apache-2.0.

Карточка модели blestv85/Qwen2.5-Coder-32B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-32B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-32B-Instruct — инструктивно дообученная языковая модель для кода из семейства Qwen2.5-Coder, разработанного командой Qwen. Она предназначена для генерации, анализа и исправления кода, а также для создания кодовых агентов; сохраняет способности к математике и общим задачам. Модель может применяться в диалоговых сценариях и интерфейсах вызова инструментов. Это плотная причинная трансформерная модель Qwen2 с 32 млрд параметров по метаданным (в README указано 32,5 млрд), доступная в формате safetensors и рассчитанная на работу через Transformers. README описывает RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст 32 768 токенов; README сообщает о поддержке до 131 072 токенов с настройкой YaRN для длинных входов. Карточка относит модель к английскому языку; модель специализируется на программировании. Лицензия Apache-2.0 допускает широкое использование с соблюдением её условий. При обработке контекстов длиннее 32 768 токенов требуется настройка YaRN; статический YaRN в vLLM может снижать качество на коротких текстах. Заявления README о сравнительной производительности являются оценкой авторов.

Qwen2.5-Coder-3B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-Coder-3B-Instruct, разработанной командой Qwen и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста и работы с программным кодом в диалоговом режиме: написания, объяснения и преобразования кода, а также выполнения других задач, связанных с программированием. В карточке указана поддержка английского языка. Модель содержит 3 миллиарда параметров и рассчитана на локальный запуск через llama.cpp, в том числе в LM Studio. Доступны варианты от F16 до компактных квантизаций Q3–Q8, что позволяет выбирать между качеством ответов и требованиями к памяти; наиболее качественными названы варианты Q6_K_L и Q6_K, а Q4_K_M описан как вариант по умолчанию для большинства случаев. Квантизация уменьшает размер файлов и требования к ресурсам, но более агрессивные варианты могут снижать качество. Архитектура, максимальная длина контекста и дополнительные модальности в README не указаны. Модель распространяется с лицензией Qwen Research License; применимость лицензии следует уточнять по исходному тексту LICENSE.

Qwen3-235B-A22B-abliterated — доработанная методом ablation модель Qwen3 от null-space на базе Qwen/Qwen3-235B-A22B. Из весов удалено доминирующее направление отказа, из-за чего модель значительно реже отклоняет запросы, сохраняя основные возможности исходной модели. Это разреженная MoE-модель для генерации диалогового текста, рассуждений, программирования, перевода и работы с инструментами; поддерживает режимы /think и /no_think. Архитектура — Qwen3MoeForCausalLM, формат весов — BF16, контекст — до 40 960 токенов. Метаданные указывают 18,2 млрд параметров, тогда как README описывает базовую модель как 235-миллиардную MoE-модель. Модель подходит для творческого письма, диалогов и исследований поведения отказов в языковых моделях, включая red-teaming и оценку безопасности. В приведённой оценке MMLU для FP8-варианта результат составил 86,2% против опубликованных 87,8% у базовой модели; это сравнение не является полной независимой оценкой всех возможностей. Удаление отказов означает, что модель может отвечать на запросы, которые исходная модель отклоняла, поэтому её ответы требуют соответствующего контроля. Лицензия — Apache-2.0.

Qwen3-4B-Thinking-2507-Qwen3.8-Max-Distillation-Detrax — компактная дистиллированная языковая модель в формате GGUF, опубликованная пользователем или организацией Detrax. Она основана на Qwen3-4B-Thinking-2507 и обучалась с использованием набора данных r0b0tlab/qwen3.8-max-distillation-50k. В README не указаны точные сведения о разработчике дистилляции, языковом охвате и исходной архитектуре, кроме принадлежности к семейству Qwen и наличия 4 млрд параметров. Модель предназначена для генерации текста, многошагового рассуждения, написания и отладки кода, решения математических задач, структурированного логического вывода и точного соблюдения инструкций и ограничений. Заявлены улучшения по сравнению с базовой моделью в математическом рассуждении, генерации кода, логическом выводе, релевантности и сходстве ответов; наиболее заметные результаты отмечены для алгоритмических и требующих строгого соблюдения ограничений задач. Модель поставляется в вариантах F16, Q8_0, Q6_K и Q4_K_M размером примерно от 2,3 до 7,5 ГБ. Она совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими средами, поддерживающими GGUF. Рекомендуемая длина контекста составляет 8192 токена. Сильными сторонами являются компактность, эффективность на технических задачах и возможность запуска на CPU или с GPU offloading. Ограничения включают меньший размер по сравнению с крупными моделями, зависимость качества от выбранного уровня квантования и отсутствие в README подробных данных о поддерживаемых языках, мультимодальности и независимой оценке качества. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-DERISKED-MTPLX-Optimized-Speed — локальная модель генерации текста, разработанная на основе чекпойнта Blackfrost-AI/Qwen3.8-Flash-Next-DERISKED-BF16 и адаптированная для запуска через MTPLX на компьютерах Apple Silicon. Она предназначена для чата, генерации текста и кода, локального использования, а также контролируемых исследований безопасности и red-team-оценки. Модель не является безопасным production-чекпойнтом: её поведение и поверхность отказов были изменены на уровне весов для операторских исследований. Это квантованная версия архитектуры Qwen 3.8 Flash-Next с гибридной MoE-архитектурой GDN, Qwen Sparse Attention, памятью n-gram на 51 млрд параметров и встроенной головой multi-token prediction. Основная часть экспертов и плотных матриц представлена в 4-битном формате, отдельные компоненты внимания, маршрутизации, эмбеддинги и выходная голова — в 8-битном, а ряд рекуррентных и нормализующих параметров сохраняет 16-битную точность. Модель поддерживает текстовые и визуальные веса, имеет контекстное окно 262 144 токена, адаптивную глубину MTP до трёх токенов и требует около 115,3 ГБ для загрузки. Для работы рекомендуется Apple Silicon Mac с unified memory от 96 ГБ; таблица n-gram объёмом 32 ГБ по умолчанию размещается на SSD. Сильные стороны модели — оптимизация под Apple Silicon, сохранение повышенной точности в ключевых компонентах внимания и ускорение спекулятивной генерации: на M5 Max заявлены 66,2 токена в секунду против 46,6 токена в секунду в авторегрессионном режиме. Ограничения включают высокие требования к памяти и дисковому пространству, зависимость от MTPLX и отсутствие встроенной системы авторизации или полноценной границы безопасности. Рекомендуется использовать аутентифицированные точки доступа, отдельное журналирование запросов и инструментов, минимальные привилегии, песочницы и ручное подтверждение необратимых действий. Указана лицензия qwen-community-1.0 с типом license other; ссылка ведёт на файл LICENSE. Модель наследует статус и ограничения базового DERISKED-чекпойнта Blackfrost-AI.

NVFP4/Qwen3-Coder-30B-A3B-Instruct-FP4 — это квантизированная в формате FP4 версия инструкционной модели Qwen3-Coder-30B-A3B-Instruct, разработанной командой Qwen и подготовленной с использованием NVIDIA Model Optimizer. Модель относится к классу каузальных языковых моделей и предназначена прежде всего для генерации и анализа программного кода, агентного программирования, работы с инструментами и сценариев agentic browser-use. Она поддерживает специальный формат вызова функций и интеграцию с платформами и инструментами, включая Qwen Code и CLINE. Модель имеет 30,5 млрд параметров, из которых активируется 3,3 млрд. Архитектура включает 48 слоёв, MoE-механизм со 128 экспертами и 8 активируемыми экспертами, а также GQA с 32 головами запросов и 4 головами ключей и значений. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 млн токенов с использованием YaRN, что подходит для анализа репозиториев и других объёмных контекстов. Модель работает только в non-thinking режиме и не генерирует блоки <think></think>. К сильным сторонам относятся высокая эффективность за счёт разреженной MoE-архитектуры и FP4-квантизации, поддержка длинного контекста, задач программирования и вызова инструментов. Ограничения включают отсутствие режима reasoning с явной генерацией рассуждений, повышенные требования к памяти и вычислительным ресурсам при использовании длинного контекста, а также возможное снижение качества из-за квантизации по сравнению с исходной моделью. Модель распространяется по лицензии Apache-2.0.

AskMeCodes/Qwen3-Coder-30B-A3B-Instruct-GGUF — GGUF-версия инструкционной модели Qwen3-Coder-30B-A3B-Instruct, разработанной командой Qwen. Это причинная языковая модель для генерации текста, ориентированная прежде всего на программирование, агентное написание кода, использование браузера и работу с крупными репозиториями. Модель поддерживает интеграцию с инструментами и платформами вроде Qwen Code и CLINE через специальный формат вызова функций. Архитектура основана на Mixture-of-Experts: всего 30,5 млрд параметров, из которых при обработке активируется около 3,3 млрд. Модель содержит 48 слоёв, 128 экспертов, из которых активируются 8, и использует GQA с 32 головами для Q и 4 для KV. Нативная длина контекста составляет 262 144 токена; с использованием Yarn заявлена возможность расширения до 1 млн токенов. Модель работает только в режиме без рассуждений и не генерирует блоки <think></think>; поддержка изображений и конкретный набор языков в карточке не указаны. К сильным сторонам относятся высокая эффективность за счёт разреженной MoE-архитектуры, поддержка длинного контекста и специализация на задачах программирования и агентных сценариях. Ограничением является отсутствие режима thinking, а фактические требования к оборудованию, производительность квантованной GGUF-версии и совместимость с конкретными рантаймами зависят от используемого формата и программного обеспечения. Лицензия — Apache 2.0.

nvidia/Qwen3-Coder-480B-A35B-Instruct-NVFP4 — текстовая авторегрессионная языковая модель на архитектуре Transformers, созданная на основе Qwen3-Coder-480B-A35B-Instruct от Alibaba и квантизированная NVIDIA с помощью Model Optimizer. Модель предназначена для генерации кода и текста, а также для использования в AI Agent-системах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. NVIDIA указывает, что не является владельцем или разработчиком исходной модели, а предоставляет подготовленную квантизированную версию. Модель содержит 480 млрд параметров, принимает и возвращает текстовые последовательности и поддерживает контекст до 256K токенов. Веса и активации линейных операторов в трансформерных блоках квантизированы в формат FP4, что сокращает число бит на параметр с 16 до 4, а требования к дисковому пространству и памяти GPU примерно в 3,5 раза. Версия рассчитана на запуск с TensorRT-LLM на GPU NVIDIA Blackwell, предпочтительно в Linux; заявленная конфигурация тестирования использовала B200. По результатам указанных тестов FP4-версия показала 0,481 на LiveCodeBench и 0,415 на SciCode против 0,486 и 0,412 соответственно у BF16-версии. Языки и дополнительные модальности в README не указаны. Модель распространяется по лицензии Apache 2.0 и допускает коммерческое и некоммерческое использование, однако перед внедрением требуется дополнительная проверка на данных конкретного сценария.

Replete-Coder-Llama3-8B-GGUF — это квантизированная версия модели Replete-Coder-Llama3-8B, разработанной Replete-AI и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель основана на архитектуре Llama 3 с 8 млрд параметров и предназначена для генерации текста и работы с программным кодом. Модель ориентирована на задачи программирования, генерации и дополнения кода, обработки инструкций, функционального вызова, математических рассуждений и общего диалогового применения. Обучение проводилось на наборах данных с примерами кода, инструкций, диалогов, математических задач и данных по поиску уязвимостей. В README указан шаблон запросов с секциями System, Instruction и Response. Поддерживается только текстовый ввод и вывод; сведения о языках, максимальной длине контекста и точных результатах тестов не приведены. Доступно несколько уровней квантизации GGUF: от Q5 до Q8, с размером файлов примерно от 5,73 до 9,52 ГБ. В README варианты Q5_K_M, Q6_K и Q6_K_L отмечены как рекомендуемые благодаря сочетанию качества и размера, а Q8 ориентированы на максимально высокое качество. Квантизация снижает требования к памяти, но может незначительно влиять на точность по сравнению с исходной моделью; числовые результаты бенчмарков отсутствуют. Использование регулируется лицензией Llama 3 от Meta, обозначенной как license_name: llama-3.

gemma-4-A4B-98e-v7-coderx-it-GGUF — квантованная версия модели ManniX-ITA/gemma-4-A4B-98e-v7-coderx-it, разработанная автором ManniX-ITA и распространяемая в формате GGUF. Модель предназначена прежде всего для генерации и анализа кода, задач рассуждения и мультимодальных сценариев с обработкой текста и изображений. Заявлена поддержка английского языка. Модель построена на архитектуре Gemma4 с разреженной MoE-структурой: общий размер составляет около 20,45 млрд параметров, из которых активно используется около 4 млрд. Для мультимодальной работы доступна общая vision-башня Gemma 4 SigLIP в файле mmproj-gemma4.gguf; она не подвергалась pruning. В репозитории представлены варианты квантования от CD-Q2_K до F16, с размерами файлов примерно от 8,82 до 21,16 ГБ. Квантования созданы с использованием imatrix и калибровочных данных v5. По приведённым тестам HumanEval+ и MultiPL-E-100 варианты модели показывают высокое качество генерации кода: лучшие результаты достигают 93,29% на HumanEval+ и 91,33% на MultiPL-E-100. Q4_K_S рекомендуется как наиболее эффективный K-вариант, IQ4_NL — как компактный вариант, а CD-Q2_K — как минимальный по размеру вариант с сохранением приемлемого качества. Ограничения включают значительные требования к дисковому пространству, отсутствие данных о длине контекста и неполную информацию о поддерживаемых языках и производительности вне указанных тестов. Модель распространяется по лицензии Apache-2.0.

Kimi-K2-Base — базовая языковая модель, разработанная Moonshot AI. Это фундаментальная версия семейства Kimi K2, предназначенная для исследователей и разработчиков, которым нужен контроль над дообучением и созданием специализированных решений. Модель ориентирована на задачи работы с текстом, рассуждения, программирования, использования инструментов и построения автономных агентных систем. Модель использует архитектуру Mixture-of-Experts (MoE) с 1 трлн общих параметров и 32 млрд активируемых параметров. Она содержит 61 слой, включая один плотный слой, 384 эксперта, из которых для каждого токена выбираются 8, один общий эксперт, 64 attention-головы, скрытую размерность внимания 7168, размерность MoE-эксперта 2048 и словарь из 160 тысяч токенов. Используются механизм внимания MLA и функция активации SwiGLU; длина контекста составляет 128K токенов. Модель предварительно обучена на 15,5 трлн токенов с использованием оптимизатора MuonClip. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую без подтверждённой мультимодальности. В отличие от готовой инструкционной версии, Base требует дополнительной настройки под конкретные сценарии и не предназначена прежде всего для непосредственного использования в чат-интерфейсе. Лицензия указана как modified MIT.

unsloth/Qwen2.5-Coder-1.5B-Instruct-bnb-4bit — это 4-битно квантованная instruction-tuned версия языковой модели Qwen2.5-Coder-1.5B, разработанной командой Qwen от Alibaba Cloud и опубликованной в формате, подготовленном Unsloth. Модель предназначена для генерации, анализа и исправления программного кода, кодового рассуждения, создания code agents, а также задач общего назначения и математики. Модель является авторегрессионной causal language model с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, из которых 1,31 млрд не относятся к эмбеддингам, 28 слоёв и использует GQA с 12 головами для Q и 2 для KV. Заявлена поддержка контекста до 131 072 токенов. В README указан английский язык; модальность — текстовая. Квантование bnb-4bit снижает требования к памяти и облегчает локальный запуск, но может ограничивать точность по сравнению с полноразмерной версией. Сильными сторонами модели являются специализация на программировании, улучшенные возможности генерации, рассуждения и исправления кода, большой контекст и компактный размер. Ограничения включают небольшой объём модели по сравнению с более крупными системами, возможное снижение качества из-за 4-битного квантования и отсутствие в предоставленных данных подробных результатов бенчмарков, списка поддерживаемых языков программирования и оценки надёжности ответов. Модель распространяется по лицензии Apache-2.0; для работы рекомендуется использовать актуальную версию библиотеки transformers.

Qwen2.5-Coder-7B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной модели Qwen2.5-Coder-7B-Instruct, разработанный пользователем ThomasBaruzier на основе модели Qwen/Qwen2.5-Coder-7B-Instruct. Квантизации созданы с использованием llama.cpp и опции imatrix, с калибровочным файлом Bartowski. Модель предназначена для генерации текста и работы с программным кодом в сценариях локального запуска через совместимое программное обеспечение, включая llama.cpp. В метаданных указан английский язык, однако подробные сведения о языковой поддержке и контекстном окне отсутствуют. Доступны варианты квантизации IQ и Q2–Q5 с размером примерно от 1,8 до 5,2 ГБ. Они позволяют выбирать компромисс между требованиями к памяти и качеством: согласно приведённой таблице, меньшая perplexity и более высокая точность обычно достигаются у более крупных вариантов, при этом лучшие показатели среди указанных имеют Q5_K_S и Q5_K_M. Ограничения зависят от выбранного уровня квантизации: компактные варианты требуют меньше ресурсов, но могут сильнее терять качество. Лицензия — Apache-2.0.

legraphista/Qwen2.5-Coder-7B-Instruct-IMat-GGUF — GGUF-квантизированная версия инструкционной модели Qwen2.5-Coder-7B-Instruct, разработанной командой Qwen. Модель предназначена для генерации текста и работы с программным кодом в диалоговом формате: написания, дополнения и объяснения кода, а также решения задач, связанных с программированием. В метаданных указан английский язык и поддержка text-generation. Модель содержит около 7 миллиардов параметров и распространяется в формате GGUF для запуска с использованием llama.cpp и совместимых инструментов. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; часть низкобитных вариантов использует IMatrix для улучшения качества при квантизации. Преимуществами являются широкий выбор размеров файлов и возможность локального запуска, а ограничениями — потенциальная потеря качества в более агрессивно квантизированных версиях, отсутствие мультимодальности и неуказанный в README размер контекста. Квантизацию выполнил legraphista с использованием llama.cpp. Модель распространяется по лицензии Apache-2.0.

Qwythos-9B-Claude-Mythos-5-1M-uncensored-heretic-GGUF — GGUF-квантизации модели Qwythos-9B-Claude-Mythos-5-1M, разработанные независимым автором LLMfan46 на базе модели llmfan46/Qwythos-9B-Claude-Mythos-5-1M-uncensored-heretic. Модель предназначена для генерации текста, задач рассуждения, работы с длинным контекстом, function calling и tool use, а также агентских, кибербезопасностных и биомедицинских сценариев. Заявлена поддержка английского языка и контекста до 1M токенов; библиотека — Transformers. Архитектура и точные параметры квантизации в README не указаны, однако размер базовой модели составляет 9B параметров. Это декензурированная версия, полученная с помощью Heretic v1.2.0 и варианта метода Magnitude-Preserving Orthogonal Ablation (MPOA), применённого к компонентам attn.o_proj, attn.out_proj и mlp.down_proj. По приведённым данным, частота отказов снизилась до 11 из 100 против 73 из 100 у исходной модели, при KL divergence 0,0123; при этом заявлено сохранение качества. В тесте MMLU исходная модель показала точность 77,03%, но отдельные результаты именно этой версии не приведены. Сниженная склонность к отказам может быть полезна для исследовательских и специализированных сценариев, но также повышает риски небезопасной генерации, поэтому необходимы контроль применения и проверка результатов. Модель распространяется по лицензии Apache-2.0.

Signal-3.8-27B-NVFP4-Blackwell-DFlash2-Ultra-V1.0 — квантованная NVFP4-версия модели Signal-3.8-27B от agentionai, созданной на базе Qwen3.8-27B от Qwen. Это GGUF-сборка для запуска через llama.cpp CUDA на одной видеокарте RTX 5090 с 32 ГБ памяти и поддержкой спекулятивного декодирования DFlash2. Модель предназначена для рассуждений, программирования, агентских задач, структурированной генерации и диалогов; заявлена также поддержка изображений через отдельный vision-проектор. Основная модель занимает около 16,9 ГБ, включает NVFP4-квантованный корпус, высокоточные Q8_0-головы и MTP-голову. Доступен контекст до 262 144 токенов, а языковая поддержка обозначена как multilingual, без уточнения конкретного набора языков. Минимально изменённая тонкая настройка отличается от базовой модели только lm_head.weight, что позволяет использовать согласованный DFlash2-драфтер без изменения результатов декодирования. На заявленном оборудовании сборка показывает высокую точность в тестах GSM8K, хорошие результаты в кодовых агентских задачах и ускорение декодирования благодаря speculative decoding. Сильные стороны модели — эффективность на задачах рассуждения и программирования, большой контекст, совместимость с одной RTX 5090 и ускоренное декодирование. Ограничение — повышенная многословность в открытом диалоге по сравнению с альтернативной сборкой GAIN; для длинных генераций не рекомендуется жадное декодирование, а для сложных задач требуется не менее 4096 токенов вывода. Для обработки изображений необходим отдельный проектор mmproj-BF16, при этом повторное использование кэша промпта отключается. Распространяется по лицензии Apache-2.0.

QuantFactory/deepseek-coder-6.7b-instruct-GGUF — квантизированная версия модели deepseek-ai/deepseek-coder-6.7b-instruct, созданная QuantFactory с использованием llama.cpp. Базовую серию DeepSeek Coder разработала команда DeepSeek; модель предназначена для генерации, дополнения и анализа программного кода, включая ответы на инструкции, проектное автодополнение и заполнение пропусков в коде. Модель содержит 6,7 млрд параметров, инициализирована на основе deepseek-coder-6.7b-base и дообучена на 2 млрд токенов инструкционных данных. Семейство DeepSeek Coder обучалось на 2 трлн токенов, из которых 87% составлял код и 13% — естественный язык на английском и китайском языках. Для поддержки задач на уровне проектов использовалось окно контекста 16K и специальная задача fill-in-the-blank. Формат GGUF и квантизация ориентированы на запуск через llama.cpp и более эффективное использование ресурсов, однако конкретный тип и уровень квантизации в README не указаны. Сильными сторонами являются специализация на программировании, поддержка генерации кода по инструкциям и заявленные высокие результаты среди открытых моделей на HumanEval, MultiPL-E, MBPP, DS-1000 и APPS. Ограничения включают неизвестные параметры квантизации и связанные с ней возможные компромиссы между качеством и потреблением памяти, а также отсутствие в README подробностей о точном наборе поддерживаемых языков программирования. Использование регулируется Model License DeepSeek; при этом для моделей заявлена поддержка коммерческого использования. Репозиторий исходного кода лицензирован по MIT, но для самой модели действует отдельная лицензия.

DeepSeek-Coder-V2-Lite-Instruct-GGUF — квантованная версия модели DeepSeek-Coder-V2-Lite-Instruct, разработанной DeepSeek-ai и преобразованной в формат GGUF компанией Second State Inc. Это инструкционная модель типа deepseek, ориентированная на работу с программным кодом и взаимодействие в формате диалога. Модель предназначена для генерации, дополнения и анализа кода, а также для решения задач разработки через текстовые инструкции. В README указана поддержка контекста до 128 000 токенов при запуске через LlamaEdge версии 0.12.3 и выше. Данные о точном размере модели, языках программирования и естественных языках, а также о поддержке мультимодальности не приведены. Доступно несколько вариантов квантования от Q2_K до Q8_0 и f16. Q4_K_M рекомендован как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с малой потерей качества; более низкая разрядность уменьшает размер файла, но может существенно ухудшать качество. Размеры файлов варьируются от 6,43 ГБ для Q2_K до 31,4 ГБ для f16. Использование регулируется лицензией deepseek-license; в метаданных она обозначена как other.

HyperNova 60B 2605 — открытая по весам instruction-tuned модель, разработанная Multiverse Computing и представленная как решение на базе CompactifAI. Она предназначена для общего рассуждения, генерации кода и разработческих сценариев, включая RAG, агентские приложения и задачи с инструментами. Модель построена на decoder-only Transformer и содержит 60B общих параметров, из которых 4,8B являются активными. Она поддерживает native tool calling с OpenAI-style схемами, function calling, структурированный вывод и агентские рабочие процессы. Основной язык — английский; другие языки формально не оценивались. Размер контекста в предоставленных данных не указан. К сильным сторонам относятся оптимизация эффективного вывода, уменьшенный объём памяти, улучшения по сравнению с HyperNova 60B 2602 в задачах кодирования и общих бенчмарках, а также поддержка настраиваемого уровня reasoning effort. Ограничения включают отсутствие формальной оценки других языков и отсутствие гарантии полной совместимости поведения tool calling с базовой или другими моделями. Модель распространяется по лицензии Apache 2.0.

Llama-3-11.5B-Instruct-Coder-v2-GGUF — это текстовая instruction-модель для генерации кода и выполнения запросов в формате диалога. Исходная модель опубликована rombodawg; в качестве базовой указана Replete-AI/Llama-3-11.5B-Instruct-V2. GGUF-квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации, дополнения и объяснения программного кода, а также для общих текстовых задач в сценариях, где требуется локальный запуск через llama.cpp или совместимые инструменты. Доступны варианты квантизации от Q8_0 до Q2 и IQ2–IQ4, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Наиболее качественными и рекомендуемыми в README названы Q6_K, Q5_K_M, Q5_K_S и ряд вариантов Q4. Модель имеет около 11,5 млрд параметров, работает с текстом и использует формат диалога Llama 3 с системными и пользовательскими сообщениями. Заявлен английский язык; сведения о поддерживаемом контексте, мультимодальности и точных архитектурных деталях не приведены. При сильном сжатии качество снижается, особенно у низкобитных вариантов, поэтому выбор квантизации является компромиссом между потреблением памяти и точностью. Указана лицензия Apache-2.0.

MiMo-Ornith-9B-AGSI-Abliterated-HQ — объединённая модель на 9,7 млрд параметров, созданная OliviaRossi на основе Xiaomi MiMo-V2.6-Distill-Qwen-9B и Ornith-1.5-9B. В карточке заявлены слияние AGSI и настройка Abliterix, направленная на удаление механизмов отказа. Архитектура — Qwen3_5ForConditionalGeneration с сочетанием линейного внимания GatedDeltaNet и обычного внимания; модель содержит 32 слоя и поддерживает контекст до 262 144 токенов. Модель предназначена для диалогов, рассуждений, программирования и агентных сценариев с вызовом инструментов и выполнением терминальных команд. Автор заявляет поддержку английского и китайского языков, а также сохранение возможностей рассуждения и работы с инструментами после слияния. Репозиторий использует формат safetensors; лицензия — Apache-2.0. Карточка заявляет удаление встроенных механизмов отказа, поэтому модель может отвечать на запросы в областях безопасности и администрирования без обычных ограничений отказа. Эти сведения и характеристики AGSI/Abliterix приведены автором и не сопровождаются в предоставленной карточке независимой проверкой; фактическое качество и безопасность ответов могут зависеть от сценария использования.