II.11Кибербезопасность и приватность

duyntnet/Qwen2.5-Coder-14B-Instruct-imatrix-GGUF — набор imatrix-квантизаций 14-миллиардной instruction-tuned модели Qwen2.5-Coder, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации, анализа, рассуждений и исправления программного кода, а также для создания code agents и решения задач, связанных с математикой и общими языковыми компетенциями. Репозиторий распространяет модель в формате GGUF для запуска через llama.cpp, KoboldCPP, Ollama и совместимые интерфейсы. Это авторегрессионная causal language model на базе архитектуры Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV attention. Модель содержит 14,7 млрд параметров, из них 13,1 млрд без учёта embedding, 48 слоёв и схему GQA с 40 головами Q и 8 головами KV. Заявлена поддержка контекста до 131 072 токенов, однако стандартная конфигурация рассчитана на 32 768 токенов; для более длинных входов требуется настройка YaRN с коэффициентом 4. Модель обучалась на 5,5 трлн токенов, включая исходный код, текстово-кодовые данные и синтетические данные. В метаданных указано владение английским языком; сведения о мультимодальности отсутствуют. Сильными сторонами являются специализация на программировании, улучшенные возможности генерации, рассуждений и исправления кода, а также поддержка длинного контекста и локального запуска благодаря GGUF-квантизациям. Ограничения включают зависимость характеристик от конкретного варианта квантизации и настроек инференса, необходимость дополнительной конфигурации для контекста свыше 32 768 токенов и отсутствие подробных сведений о точных параметрах квантизации. Лицензия обозначена как other; конкретные условия использования в README не приведены.

Qwen2.5-Coder-32B-Instruct-AWQ — инструкционная версия специализированной серии больших языковых моделей для программирования Qwen2.5-Coder, разработанной командой Qwen от Alibaba Cloud. Модель предназначена для генерации, анализа, рассуждений и исправления исходного кода, а также для создания приложений на основе code agents. Она сохраняет возможности в математике и общих текстовых задачах и может использоваться в диалоговых сценариях и задачах text generation. Это причинная языковая модель на архитектуре Transformers с RoPE, SwiGLU, RMSNorm, смещениями в QKV-внимании и Grouped-Query Attention: 40 голов для Q и 8 для KV. Модель содержит 32,5 млрд параметров, 64 слоя и 31 млрд параметров без учёта эмбеддингов. В данном репозитории представлена 4-битная AWQ-квантизированная версия после дообучения по инструкциям. Заявлена поддержка контекста до 131 072 токенов; для входов свыше 32 768 токенов требуется включение YaRN, при этом статическое масштабирование может ухудшать производительность на коротких текстах. В README указан английский язык. Сильные стороны модели — специализация на программировании, улучшенные генерация, рассуждение и исправление кода, большой контекст и сниженные требования к памяти благодаря 4-битной квантизации. Ограничения включают возможное снижение качества или скорости при работе с длинным контекстом через YaRN, а также неуказанные в README точные требования к оборудованию, пропускная способность и результаты отдельных тестов. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-3B-Instruct-AWQ — языковая модель для генерации текста и программного кода, разработанная командой Qwen. Она предназначена для генерации, анализа, рассуждений и исправления кода, а также для создания кодовых агентов и решения задач, где требуются математические и общие языковые способности. Модель является instruction-tuned версией Qwen2.5-Coder-3B и поддерживает диалоговый формат взаимодействия. Модель представляет собой causal language model на архитектуре Transformers с RoPE, SwiGLU, RMSNorm, смещениями в QKV внимания и связанными эмбеддингами слов. Она содержит 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам, 36 слоёв и механизм GQA с 16 головами для Q и 2 для KV. Максимальная длина контекста составляет 32 768 токенов. Данная версия использует 4-битную AWQ-квантизацию, что снижает требования к памяти, но может повлиять на точность по сравнению с полноразмерной версией. В README явно указан английский язык; модальность — текстовая. Сильными сторонами модели являются специализация на программировании, улучшенные генерация, рассуждение и исправление кода, а также сочетание кодовых, математических и общих языковых возможностей. Для работы рекомендуется актуальная версия библиотеки Transformers; версия ниже 4.37.0 может быть несовместима. Модель распространяется по лицензии Qwen Research, точные условия которой приведены в указанном файле лицензии.

Qwen3-Coder-30B-A3B-asym-2bitexp-GGUF — это асимметрично квантованная GGUF-версия инструкционной модели Qwen3-Coder-30B-A3B-Instruct, разработанной Qwen. Модель предназначена прежде всего для генерации и анализа программного кода, а также решения текстовых задач в формате instruction-following. Это вариант без режима reasoning и без блоков <think>, ориентированный на запуск через llama.cpp. В основе используется MoE-архитектура qwen3moe с 128 маршрутизируемыми экспертами, из которых активны 8 на каждом токене; эффективный объём активных параметров составляет около 3 млрд при общем размере модели 30 млрд параметров. Экспертные FFN-слои квантованы преимущественно в 2–3 бита, а attention, эмбеддинги и выходной слой сохранены с более высокой точностью. Эффективная скорость квантования — 2,99 BPW, размер файла — 11,4 ГБ (10,64 GiB). Модель рассчитана на текстовый ввод и вывод; язык и максимальный размер контекста в README явно не указаны, однако приведён пример запуска с контекстом 16 384 токена. Главное преимущество — существенная экономия памяти: модель рассчитана на размещение в 16 ГБ VRAM вместе с KV-кэшем для контекста около 16K токенов, тогда как стандартная версия Q4_K_M занимает около 18,6 ГБ. По данным измерений на wikitext-2, perplexity составляет 9,93 против 9,60 у Q4_K_M, то есть снижение качества относительно базовой 4-битной версии умеренное. Ограничения связаны с потерями квантования, меньшей точностью по сравнению с более крупными форматами и зависимостью от совместимого runtime. В README указана лицензия Apache-2.0.

DeepSeek-V4.1-Flash — мультимодальная модель DeepSeek для диалогов, рассуждений и агентных задач. Она принимает изображения и текст и авторегрессионно генерирует текст. По README, модель обучена с нуля и использует архитектуру Causal Encoder-Decoder с 40 слоями и Mixture-of-Experts; в ней 552 млрд параметров backbone, а при обработке токенов активируется 8 млрд параметров на этапе prefill и 16 млрд при генерации. Модель поддерживает контекст до одного миллиона токенов и управляемый уровень усилий рассуждения от 1 до 100. Среди заявленных архитектурных решений — сжатие KV-кэша, разреженное внимание, условная память Engram и спекулятивное декодирование. Модель ориентирована на сценарии с длинным контекстом и агентным выполнением задач, включая работу с кодом и визуальными данными. Метаданные указывают форматы safetensors FP8 и библиотеку Transformers; лицензия — MIT. README отмечает, что для релиза не предоставлен Jinja-шаблон чата, а для запуска локально предлагается обратиться к инструкциям в папке inference.

jina-embeddings-v5-text-small-text-matching — компактная модель векторных представлений текста от Jina AI, предназначенная для сопоставления текстов и оценки их семантической близости. Модель является квантизированной версией jinaai/jina-embeddings-v5-text-small и обучалась с использованием дистилляции и специализированных контрастивных функций потерь. Модель содержит 677 млн параметров, поддерживает многоязычные тексты и обрабатывает последовательности длиной до 32 768 токенов. Она формирует эмбеддинги размерностью 1024 с использованием pooling по последнему токену. Поддерживаются уменьшенные Matryoshka-размерности: 32, 64, 128, 256, 512 и 768, что позволяет выбирать компромисс между качеством и затратами на хранение и поиск. Модель подходит для семантического поиска, дедупликации, кластеризации, ранжирования и других задач сопоставления текстов. К сильным сторонам относятся компактность, высокая производительность для своего размера, многоязычность, длинный контекст и возможность гибко сокращать размер эмбеддинга. Ограничение модели — специализация на text-matching: README не заявляет её оптимизацию для генерации текста или иных задач. Для использования требуется совместимое программное окружение, включая transformers, PyTorch и, в зависимости от способа запуска, vLLM, sentence-transformers или Text Embeddings Inference. Лицензия — CC BY-NC 4.0, допускающая использование с ограничениями, включая некоммерческий характер применения.

MiniMax-M2.7-NVFP4 — это текстовая большая языковая модель MiniMax M2.7, разработанная MiniMaxAI и опубликованная NVIDIA в варианте с квантизацией NVFP4. Модель предназначена для сложной разработки программного обеспечения, агентских сценариев с использованием инструментов, длительных многоэтапных задач, поиска и исправления ошибок в продуктивных системах, а также создания и редактирования офисных документов, исследовательской и аналитической автоматизации. Поддерживаются текстовые входы и выходы, включая длинные системные инструкции и контекст до 204 800 токенов. Модель построена на архитектуре Transformer со Sparse Mixture-of-Experts: содержит около 230 млрд параметров, из которых 10 млрд активируются при обработке, 62 слоя, размер скрытого представления 3072, 256 локальных экспертов и 8 активируемых экспертов на токен. Доступны интеграции с SGLang и vLLM; целевая аппаратная платформа — GPU NVIDIA с микроархитектурой Blackwell, предпочтительная операционная система — Linux. Сильными сторонами являются большой контекст, специализация на программировании, агентских рабочих процессах и многошаговом рассуждении, однако модель принимает только текст, сведения о языковом охвате и обучающих данных ограничены, а качество и безопасность требуют дополнительного тестирования под конкретные сценарии. Модель предназначена только для исследований и разработок. Использование регулируется NVIDIA Software and Model Evaluation License; дополнительно указана Non-Commercial MiniMax License.

bartowski/openbuddy-qwen2.5coder-32b-v24.1q-200k-GGUF — это набор GGUF-квантизаций модели OpenBuddy/openbuddy-qwen2.5coder-32b-v24.1q-200k, подготовленный bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и кода, включая локальный запуск через llama.cpp и LM Studio. Доступен специальный формат промптов с ролями system, user и assistant. Модель содержит 32 млрд параметров, поддерживает контекст до 200 тысяч токенов и относится к семейству Qwen2.5-Coder. В README указана поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского и финского языков. Это текстовая модель без заявленной поддержки изображений или других мультимодальных входов. Доступны варианты от F16 до различных уровней квантизации Q8, Q6, Q5, Q4 и Q3; они позволяют выбирать баланс между качеством, размером файлов и требованиями к памяти. Наиболее качественными названы Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S и варианты Q4_K. Сильные стороны модели — большой контекст, специализация исходной модели на коде, широкий выбор квантизаций и возможность локального запуска. Ограничения включают значительные требования к памяти для 32-миллиардной модели, а более сильная квантизация может снижать качество. Некоторые варианты оптимизированы для ARM и требуют определённых инструкций процессора; варианты Q4_0_8_8, Q4_0_4_8 и Q4_0_4_4 не рекомендуется использовать на Mac. Модель распространяется по лицензии Apache-2.0.

AEON-7/Ornith-1.0-35B-AEON-Ultimate-Uncensored-NVFP4 — 4-битная квантованная версия модели Ornith-1.0-35B, разработанной DeepReinforce и дополнительно адаптированной AEON-7. Это аблитированная, нецензурируемая модель для генерации текста, рассуждений, программирования, агентских сценариев, вызова инструментов и мультимодальных задач с изображениями и текстом. Модель основана на смеси экспертов (MoE) с 35B параметров; в README также указано происхождение от Qwen3.6-35B-A3B. Квантизация NVFP4 применяется только к весам MLP-компонентов по схеме W4A16, тогда как attention, GatedDeltaNet/SSM, vision tower, маршрутизаторы, эмбеддинги и нормализации сохраняют точность BF16. Размер составляет около 23,7 ГБ, заявлена поддержка контекста до 262 144 токенов, изображений и видео, а также reasoning- и tool-calling-режимов. Основные сценарии включают coding, SWE- и terminal-задачи, математическое рассуждение, диалог и обработку мультимодальных запросов. К сильным сторонам относятся существенное уменьшение размера по сравнению с BF16, сохранение заявленной производительности на агентских и кодовых задачах, отсутствие отказов после аблитерации и совместимость с ускорением DFlash. Ограничения включают необходимость GPU архитектуры Blackwell, например B200 или GB10, поддержку через совместимый стек vLLM и сохранение KV-кэша в BF16 для vision-сценариев. Модель распространяется по лицензии MIT.

Qwen3.6-27B-unsloth-code-reasoning-deepseek-v4-pro-destilled-Mlx — созданная сообществом 4-битная MLX-конверсия плотной vision-language модели семейства Qwen с примерно 27 млрд параметров. В основе указаны Qwen/Qwen3.5-27B и unsloth/Qwen3.6-27B; модель дообучена с использованием Unsloth и дистиллирована на примерах рассуждений DeepSeek v4 Pro. Она предназначена прежде всего для локального запуска на Apple Silicon через MLX и ориентирована на англоязычные сценарии. Модель поддерживает генерацию, дополнение и объяснение кода, задачи, требующие пошагового рассуждения, математику, логику, отладку, агентные рабочие процессы и вызов инструментов. Архитектура использует чередующиеся слои linear attention и full attention в соотношении 3:1, скрытый размер 5120, размер головы 256 и один MTP-слой; все параметры активны для каждого токена. Поддерживаются текст, изображения и видео, а также встроенный вызов функций через шаблон чата. Квантование выполнено в формате 4-bit affine с размером группы 64; для комфортной работы рекомендуется не менее 24 ГБ unified memory, предпочтительно 32 ГБ или больше. Сильные стороны модели — специализация на программировании и рассуждениях, предсказуемая задержка плотной архитектуры, мультимодальность, tool-calling и возможность приватного локального использования. Ограничения включают отсутствие официальных результатов бенчмарков, возможные галлюцинации и ошибки в коде, снижение качества из-за 4-битного квантования и преимущественную ориентацию на английский язык. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-Coder-Next-FP8-Dynamic — FP8 Dynamic 2.0-квантизированная версия открытой весовой языковой модели Qwen3-Coder-Next, разработанная Qwen и адаптированная Unsloth. Модель предназначена прежде всего для coding agents, локальной разработки, генерации и анализа кода, длительных многошаговых задач, работы с инструментами и интеграции с CLI- и IDE-средами. Это авторегрессионная causal language model с гибридной архитектурой Gated DeltaNet, Gated Attention и Mixture of Experts. Всего модель содержит 80 млрд параметров, из которых активируются 3 млрд; без учёта embedding — 79 млрд. Архитектура включает 48 слоёв, 512 экспертов MoE, 10 активируемых экспертов и один общий эксперт. Нативная длина контекста — 262 144 токена. Модель работает только в non-thinking режиме и не генерирует блоки <think></think>. README не указывает поддерживаемые языки или мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильные стороны модели — высокая вычислительная эффективность при малом числе активных параметров, поддержка длинного контекста, многошагового агентного рассуждения, сложного использования инструментов и восстановления после ошибок выполнения. Ограничения включают высокие требования к памяти и инфраструктуре из-за общего размера 80 млрд параметров; при нехватке памяти рекомендуется уменьшать контекст. Модель распространяется по лицензии Apache-2.0.

Zero Gemma 4 E4B OpenZero — компактная локальная модель для генерации текста, созданная на базе unsloth/gemma-4-E4B-it и распространяемая автором репозитория shafire в рамках семейства OpenZero. Это самостоятельная объединённая GGUF-модель: обученные веса OpenZero уже встроены, поэтому отдельные LoRA-адаптер и базовая модель не требуются. Модель предназначена для локальных агентных сценариев, включая планирование, структурированное выполнение и проверку действий, разработку и отладку кода, ревью, проектирование тестов, исследовательский анализ с проверкой свидетельств, работу с инструментами и автономные процессы. Она совместима с llama.cpp и OpenZero, может использоваться через Ollama и OpenAI-совместимый локальный API. Заявлена поддержка работы на CPU; в README приведён ориентир для Intel Core i7-2600: около 2,70 токена/с при обработке промпта и 2,37 токена/с при генерации. Модель относится к классу Gemma 4 E4B, имеет размер файла 5,46 GiB и рассчитана на контекст до 8192 токенов в рекомендованных командах запуска. Указан английский язык. Квантование сочетает тензоры базовой модели Q5_K_M с 66 обученными attention-тензорами в F16. Сильные стороны — автономность поставки, компактность, возможность локального и потенциально более приватного развёртывания, а также ориентация на агентные и инструментальные рабочие процессы. Производительность зависит от оборудования, а приведённый CPU-бенчмарк не является универсальной гарантией скорости. Лицензия указана как other, с названием openzero-community-source-v1; дополнительные условия в предоставленном README не раскрыты.

bartowski/DeepSeek-Coder-V2-Instruct-0724-GGUF — набор GGUF-квантизаций модели DeepSeek-Coder-V2-Instruct-0724, разработанной deepseek-ai и квантизированной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель относится к классу генеративных text-generation-моделей и предназначена прежде всего для работы с программным кодом и инструкциями, включая локальный запуск через llama.cpp или LM Studio. Доступны варианты квантизации от Q8_0 до IQ1_M, размером примерно от 52,68 до 250,62 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше оперативной или видеопамяти; в README рекомендуются Q6_K, Q5_K_M, Q4_K_M и IQ4_XS. Для отдельных вариантов эмбеддинги и выходные веса сохраняются в формате Q8_0, что может влиять на качество. Указаны специальный формат prompt и необходимость учитывать его при интеграции. В README не приведены точные сведения об архитектуре исходной модели, числе параметров, максимальном контексте, поддерживаемых языках и мультимодальности. Модель распространяется по лицензии deepseek-license; подробные условия находятся в файле LICENSE.

TechxGenus/DeepSeek-Coder-V2-Lite-Instruct-AWQ — AWQ-квантизированная версия DeepSeek-Coder-V2-Lite-Instruct, разработанная командой DeepSeek AI. Это инструкционно настроенная языковая модель для работы с кодом, программирования, генерации и объяснения исходного кода, а также задач математического и общего рассуждения. Модель построена на архитектуре Mixture-of-Experts (MoE) семейства DeepSeekMoE и содержит 16 млрд параметров, из которых при обработке активируется около 2,4 млрд. Контекстное окно составляет 128 000 токенов. Семейство DeepSeek-Coder-V2 заявляет поддержку 338 языков программирования; модель предназначена прежде всего для текстовых и кодовых сценариев и не относится к мультимодальным моделям. Формат AWQ ориентирован на более эффективное размещение и выполнение модели по сравнению с полноразмерными весами, однако README не приводит конкретных требований к оборудованию или результатов именно для этой квантизированной версии. Сильными сторонами являются специализация на программировании, большой контекст, MoE-архитектура с относительно небольшим числом активных параметров и поддержка широкого набора языков программирования. Ограничения включают отсутствие в README подробных сведений о качестве AWQ-версии, аппаратных требованиях, точности квантизации и языках естественного общения. Для модели указана лицензия deepseek-license; условия следует проверять в прилагаемом LICENSE и соглашении на использование модели.

DeepSeek-V2.5 — языковая модель компании DeepSeek, объединяющая возможности DeepSeek-V2-Chat и DeepSeek-Coder-V2-Instruct. Она предназначена для диалога, следования инструкциям, письма и генерации кода, а также поддерживает вызов внешних инструментов, JSON-вывод и заполнение пропусков в коде методом FIM. Модель построена на архитектуре DeepSeek-V2 и содержит 18,1 млрд параметров; для инференса в BF16 авторы указывают требование в 8 GPU по 80 ГБ. Контекстное окно составляет 163 840 токенов. Для запуска доступны веса safetensors и библиотека Transformers. README сообщает об улучшении результатов относительно предыдущих версий DeepSeek в нескольких оценках, включая AlpacaEval 2.0 и ArenaHard. Лицензия указана как other, поэтому условия использования следует уточнить в материалах репозитория. Среди практических ограничений — высокая потребность в GPU-памяти при запуске в BF16; README не описывает поддерживаемые естественные языки.

Devstral-Small-2-24B-Instruct-2512-OptiQ-4bit — это локальная 4-битная MLX-квантизация модели Devstral-Small-2-24B-Instruct-2512 от Mistral, созданная сообществом mlx-community с использованием инструментария mlx-optiq. Модель относится к семейству Mistral и предназначена для генерации текста, программирования, агентских сценариев и вызова инструментов. Модель имеет размер 24 млрд параметров и использует смешанную точность: 102 слоя работают в 4-битном формате, а 179 наиболее чувствительных слоёв — в 8-битном. Средняя эффективная разрядность составляет 5,01 бит на вес, размер группы — 64, объём на диске — около 15,4 ГБ. Квантизация оптимизирована для Apple Silicon и поддерживается библиотеками MLX и mlx-lm; для многошагового использования инструментов рекомендуется сервер mlx-optiq. Языки, точный размер контекстного окна и дополнительные модальности в README не указаны. Сильными сторонами являются качество работы с кодом, инструкциями, вызовами инструментов и длинноконтекстным многошаговым поиском. В сравнении с равномерной 4-битной квантизацией модель показала более высокий результат на 5 из 6 метрик, включая BFCL 89,5%, HumanEval 83,5% и HashHop 62,0%; итоговый Capability Score составил 78,60. Ограничения связаны с зависимостью от экосистемы MLX и Apple Silicon, увеличенным по сравнению с обычной 4-битной версией размером и возможными потерями качества из-за квантизации. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

GLM-5-GGUF — это квантованное представление языковой модели GLM-5, подготовленное Unsloth на основе модели zai-org/GLM-5. Модель предназначена для генерации текста, решения сложных задач рассуждения, программирования, системной инженерии и выполнения долгих агентских сценариев, включая работу с инструментами и веб-навигацию. GLM-5 имеет MoE-архитектуру с 744 млрд параметров, из которых 40 млрд активны при обработке запроса, и использует DeepSeek Sparse Attention (DSA) для снижения стоимости развертывания при сохранении возможностей работы с длинным контекстом. Для обучения применялись 28,5 трлн токенов и асинхронная инфраструктура reinforcement learning slime. В карточке указаны английский и китайский языки, библиотека Transformers и задача text-generation. GGUF-версия ориентирована на локальный запуск; Unsloth заявляет улучшенную точность своих квантований, однако конкретный размер контекста, варианты квантования и требования к оборудованию в README не указаны. Сильные стороны модели — рассуждение, кодирование, агентские задачи и работа с инструментами; приведённые бенчмарки показывают высокие результаты, в частности на SWE-bench Verified, BrowseComp и τ²-Bench. Ограничения включают очень большой общий размер модели и потенциально высокие требования к ресурсам даже при квантовании, а также отсутствие в README подробностей о производительности конкретного GGUF-варианта. Модель распространяется по лицензии MIT.

MiMo-V2.6-Flash-RL — мультимодальная модель генерации текста Xiaomi из серии MiMo-V2.6, обученная с подкреплением для агентных сценариев и самоулучшения. Карточка описывает семейство как разреженную MoE-архитектуру с обработкой текста, изображений, видео и аудио и контекстом до 1 млн токенов; указаны визуальный и аудиокодировщики, а также спекулятивный декодер. Метаданные репозитория, однако, описывают загруженную модель как плотную 12-миллиардную MiMoV2ForCausalLM в формате safetensors FP8, а pipeline_tag задаёт генерацию текста. Модель предназначена для диалогов, работы с инструментами, программирования и продолжительных агентных задач, а мультимодальные возможности семейства рассчитаны на понимание изображений, видео и аудио. В отчёте Xiaomi описаны обучение смешанным RL на задачах кодирования, общих агентов, визуального анализа и кибербезопасности, а также методы оценки траекторий и дистилляции. По карточке указана лицензия MIT. Поскольку сведения о размере и архитектуре в README относятся к серии, а метаданные конкретного репозитория расходятся с ними, характеристики репозитория следует считать более конкретными для загруженного чекпойнта.

Mistral Medium 3.5 — плотная языковая модель на 128 млрд параметров от Mistral AI, обученная следовать инструкциям. Она принимает текст и изображения и выдаёт текст. Модель предназначена для агентных сценариев, программирования и решения сложных задач. Поддержка изображений позволяет использовать модель для вопросов по визуальным материалам наряду с текстовыми запросами. В доступных сведениях нет деталей о контекстном окне, поддерживаемых языках и лицензии, поэтому эти характеристики не описываются.

Ornith-1.5-9B-GGUF — открытая плотная модель на 9 млрд параметров, разработанная Ornith AI и представленная в формате GGUF пользователем prithivMLmods. Она предназначена для локального запуска на одной GPU, мобильных и периферийных устройствах, а также для интеграции с llama.cpp и другими средами инференса. Модель ориентирована на генерацию текста, рассуждения, программирование, агентские сценарии и использование инструментов. Модель поддерживает встроенное пошаговое рассуждение с разделением промежуточных размышлений в тегах <think> и итогового ответа, а также структурированные вызовы инструментов в XML-формате, совместимые с OpenAI API, vLLM, SGLang, Ollama и llama.cpp. Заявлено контекстное окно 262 144 токена с возможностью расширения до 1 млн токенов посредством YaRN RoPE scaling. Указан английский язык; архитектурная линия основана на Qwen3.5 и Gemma-4 с дополнительным предварительным обучением, дообучением и reinforcement learning. В репозитории доступны варианты BF16, F16 и различные уровни квантования размером примерно от 4,26 до 17,9 ГБ, а также файлы мультимодального проектора. Сильными сторонами заявлены производительность в задачах кодирования, рассуждений и работы с инструментами, поддержка длинного контекста и локального инференса при относительно небольшом размере. README приводит результаты на SWE-bench Verified — 70,6% и GPQA Diamond — 86,4%, однако методика оценки не описана. Ограничения включают зависимость качества и требований к памяти от выбранного варианта квантования, а также отсутствие подробных сведений о поддерживаемых мультимодальных входах и фактических сценариях работы проектора. Модель распространяется по лицензии MIT.

Qwen2.5-Coder-14B-Instruct-GGUF — квантованная версия инструкционной модели Qwen2.5-Coder-14B-Instruct, разработанной командой Qwen. Формат GGUF подготовлен bartowski на основе llama.cpp; модель предназначена для локального использования и генерации текста с акцентом на программный код и взаимодействие в формате чата. Модель рассчитана на задачи разработки программного обеспечения и использование в code agents. По заявленным данным, она обучалась на объёме до 5,5 триллиона токенов, включавшем исходный код, текстово-кодовые соответствия и синтетические данные. Поддерживается контекст до 128K токенов благодаря масштабированию RoPE с коэффициентом 4,0. В карточке указана поддержка английского языка; параметры модальности ограничены текстом. Ключевое преимущество модели — специализация на коде, инструкциях и агентских сценариях, а также большой контекст, полезный для работы с крупными файлами и проектами. К ограничениям относятся возможные ошибки, неточности и нежелательный контент, характерные для генеративных моделей, а также влияние квантования на качество и требования к ресурсам. Модель распространяется по лицензии Apache 2.0.

Карточка модели bonalai/Qwen2.5-Coder-32B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-32B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-32B-Instruct — инструктивно дообученная языковая модель для кода из семейства Qwen2.5-Coder, разработанного командой Qwen. Она предназначена для генерации, анализа и исправления кода, а также для создания кодовых агентов; сохраняет способности к математике и общим задачам. Модель может применяться в диалоговых сценариях и интерфейсах вызова инструментов. Это плотная причинная трансформерная модель Qwen2 с 32 млрд параметров по метаданным (в README указано 32,5 млрд), доступная в формате safetensors и рассчитанная на работу через Transformers. README описывает RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст 32 768 токенов; README сообщает о поддержке до 131 072 токенов с настройкой YaRN для длинных входов. Карточка относит модель к английскому языку; модель специализируется на программировании. Лицензия Apache-2.0 допускает широкое использование с соблюдением её условий. При обработке контекстов длиннее 32 768 токенов требуется настройка YaRN; статический YaRN в vLLM может снижать качество на коротких текстах. Заявления README о сравнительной производительности являются оценкой авторов.

Карточка модели raychan0713/Qwen2.5-Coder-32B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-32B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-32B-Instruct — инструктивно дообученная языковая модель для кода из семейства Qwen2.5-Coder, разработанного командой Qwen. Она предназначена для генерации, анализа и исправления кода, а также для создания кодовых агентов; сохраняет способности к математике и общим задачам. Модель может применяться в диалоговых сценариях и интерфейсах вызова инструментов. Это плотная причинная трансформерная модель Qwen2 с 32 млрд параметров по метаданным (в README указано 32,5 млрд), доступная в формате safetensors и рассчитанная на работу через Transformers. README описывает RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст 32 768 токенов; README сообщает о поддержке до 131 072 токенов с настройкой YaRN для длинных входов. Карточка относит модель к английскому языку; модель специализируется на программировании. Лицензия Apache-2.0 допускает широкое использование с соблюдением её условий. При обработке контекстов длиннее 32 768 токенов требуется настройка YaRN; статический YaRN в vLLM может снижать качество на коротких текстах. Заявления README о сравнительной производительности являются оценкой авторов.

Qwen2.5-Coder-7B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-Coder, разработанной командой Qwen при Alibaba Cloud и представленной в репозитории Unsloth. Модель предназначена для генерации, анализа и исправления программного кода, кодового рассуждения, создания code agents, а также задач математики и общего назначения. В README явно указан английский язык. Модель относится к causal language models и использует архитектуру Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV attention. Она содержит 7,61 млрд параметров, 28 слоёв и механизм GQA с 28 головами для Q и 4 для KV; заявленная максимальная длина контекста — 131 072 токена. Базовая серия обучалась на 5,5 трлн токенов, включая исходный код, текстово-кодовые соответствия и синтетические данные. Существенные сильные стороны — специализация на программировании, улучшенные генерация, рассуждение и исправление кода, а также поддержка длинного контекста. README не приводит подробных ограничений качества, перечня языков программирования или характеристик именно 4-битного квантования. Для работы рекомендуется использовать актуальную версию библиотеки Transformers. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-7B-Instruct-MLX-8bit — это 8-битная MLX-квантизация инструкционно дообученной языковой модели Qwen2.5-Coder-7B-Instruct. Базовую модель разработала команда Qwen, квантизацию предоставил bartowski на основе инструментов mlx-examples. Модель предназначена для генерации текста и кода, диалогового взаимодействия, задач программирования и использования в code agent-сценариях, в частности на компьютерах Mac с Apple Silicon. Модель обучалась на объёме до 5,5 триллиона токенов, включая исходный код, данные для связывания текста и кода и синтетические данные. Заявлена поддержка длинного контекста до 128 000 токенов с масштабированием RoPE через YaRN с коэффициентом 4,0. В карточке явно указан английский язык; другие языки и дополнительные модальности не заявлены. Ключевое ограничение — специализация на текстовых и кодовых задачах, а также необходимость совместимого оборудования Apple Silicon для данной MLX-версии. Как и другие языковые модели, она может генерировать неточный, вредный или нежелательный контент. Модель распространяется по лицензии Apache-2.0. LM Studio не является разработчиком или владельцем модели и не гарантирует её точность, безопасность, доступность или соответствие конкретным требованиям.

Это GGUF-сборка модели Qwen3.6-27B-AEON-Ultimate-Uncensored от AEON-7, подготовленная theLittleStone для запуска через llama.cpp или LM Studio. В репозитории заявлена поддержка MTP (Multi-Token Prediction); по назначению это диалоговая языковая модель для генерации текста, рассуждений, решения математических задач и программирования. В метаданных указаны 27B в названии базовой модели, поддержка английского и китайского, формат GGUF и лицензия Apache-2.0. Модель происходит от дообученной AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16 и содержит восстановленную MTP-голову. README описывает её как uncensored-вариант с ослабленными отказами и приводит собственные заявления о сохранении способностей; это заявления автора карточки, а не независимая оценка. Доступна стандартная K-Quant сборка; автор рекомендует вместо неё iMatrix-квантование для лучшего качества при том же уровне квантования. README предлагает использовать llama.cpp или LM Studio. Условия лицензии — Apache-2.0.

karlsencoin/Qwen3.6-27B-GGUF — это GGUF-сборка модели Qwen3.6-27B, основанная на базовой модели Qwen/Qwen3.6-27B. Модель разработана командой Qwen; данный репозиторий распространяет её в формате GGUF с использованием подхода Unsloth Dynamic 2.0 GGUF. Это причинная языковая модель с визуальным энкодером, предназначенная для генерации текста, программирования, агентных сценариев, работы с репозиториями, фронтенд-разработки, рассуждений и вызова инструментов. Поддержка изображений указана в карточке как часть мультимодальной архитектуры, однако конкретные форматы и языки не перечислены. Модель содержит около 27 млрд параметров, 64 слоя и скрытое измерение 5120. Архитектура сочетает Gated DeltaNet и Gated Attention, использует multi-step training и поддерживает контекст до 262 144 токенов с возможностью расширения до 1 010 000 токенов. Среди заявленных сильных сторон — улучшенная работа с агентным кодированием, сохранение контекста рассуждений между сообщениями и более надёжный разбор вложенных объектов при вызове инструментов. Для запуска упоминаются Transformers, vLLM, SGLang и KTransformers; высокая вычислительная нагрузка и требования к памяти являются ограничениями модели, особенно при использовании длинного контекста. Указанная лицензия — Apache 2.0. README не содержит подробностей о конкретном уровне квантования данной GGUF-сборки, результатах бенчмарков или точном наборе поддерживаемых языков.

Qwen3.8-9B-Coder — компактная кодовая языковая модель, разработанная Empero на основе дистилляции Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B. LisyNeko выполнил дообучение для задач программирования и восстановил поддержку изображений с помощью vision-проектора. Модель перепакована nullsumlabs в формате GGUF для совместимости с LM Studio, llama.cpp и Ollama. Модель предназначена для генерации, исправления и рефакторинга кода, объяснения ошибок, решения математических и логических задач, следования инструкциям и вызова функций. Поддерживает текстовый и графический ввод, заявленный язык — английский. Нативное контекстное окно составляет 262 144 токена. Архитектура qwen35 представляет собой гибридную causal language model с чередованием Linear SSM/Gated DeltaNet и Gated Attention, 33 блоками, grouped-query attention и встроенным multi-token prediction. Доступная сборка Q4_K_M занимает около 5,8 ГБ, а vision-проектор в формате BF16 — около 879 МБ. Сильными сторонами являются специализация на программировании, дистиллированные трассы рассуждений, поддержка function calling, большой контекст и возможность работы с изображениями. Ограничения включают зависимость от GGUF-совместимых приложений вместо стандартного Transformers pipeline, необходимость отдельного vision-проектора для обработки изображений и возможные потери качества из-за квантования Q4_K_M. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-Next — открытая языковая модель с открытыми весами, разработанная командой Qwen. Данная GGUF-версия предназначена для локального запуска, прежде всего в качестве основы для coding agents и разработки в IDE или CLI-средах. Модель ориентирована на генерацию и анализ кода, длительное рассуждение, работу с инструментами, выполнение сложных многошаговых задач и восстановление после ошибок выполнения. Это causal language model, прошедшая этапы предварительного обучения и постобучения. Общий размер составляет 80 млрд параметров, из которых при генерации активируется около 3 млрд; без учёта embedding — 79 млрд. Архитектура использует Mixture of Experts с 512 экспертами и 10 активируемыми экспертами, а также гибридные блоки Gated DeltaNet и Gated Attention; модель содержит 48 слоёв. Нативная длина контекста — 262 144 токена. Поддерживается только режим без скрытого рассуждения: модель не формирует блоки <think></think>. README не указывает поддерживаемые языки. К сильным сторонам относятся высокая эффективность по числу активируемых параметров, большой контекст, развитые возможности tool calling и пригодность для интеграции с различными средами разработки, включая Claude Code, Qwen Code, Qoder, Kilo, Trae и Cline. Ограничения включают специализированную ориентацию на программирование, работу только в non-thinking mode и необходимость значительных вычислительных ресурсов для размещения полной модели, несмотря на малое число активируемых параметров. Модель распространяется по лицензии Apache-2.0.

Salience-27B-R5 — плотная мультимодальная модель на 27,8 млрд параметров от Vection Labs, дообученная на архитектуре Qwen3.8. Она принимает текст, изображения и видео и генерирует текст; заявленное контекстное окно — 1 048 576 токенов. Модель предназначена прежде всего для инженерных задач: написания и отладки кода, работы с большими репозиториями, проектирования систем, многошаговых задач в терминале и количественных рассуждений. Также она может анализировать скриншоты, диаграммы и документы в технических сценариях. Рассуждение включено по умолчанию, а глубина должна подстраиваться под сложность запроса; для трудных задач можно задавать повышенный уровень reasoning effort. В карточке заявлены плотная обработка всех параметров на каждом токене, гибридное линейное и полное внимание и MTP-голова для ускоренного декодирования. Модель ориентирована на английский язык. Выпущена под лицензией Apache-2.0 и доступна для Transformers. Модель может выдумывать API и факты, особенно при неоднозначных запросах; сгенерированный код следует проверять перед запуском. Отказное поведение снижено, встроенного фильтра контента нет, поэтому защитные правила нужно задавать в приложении. Для критически важных решений, а также медицинских, юридических и финансовых рекомендаций требуется проверка человеком.