II.11Кибербезопасность и приватность

Qwen2.5-Coder-14B-Instruct-bnb-4bit — 4-битная квантизированная версия инструкционной языковой модели Qwen2.5-Coder-14B-Instruct, разработанной командой Qwen. Модель предназначена для генерации, анализа и исправления программного кода, задач кодового рассуждения, текстово-кодового взаимодействия и создания приложений на основе code agents. Она также сохраняет возможности для математических и общих языковых задач. Модель относится к causal language models и использует архитектуру Qwen2.5-Coder с RoPE, SwiGLU, RMSNorm, смещениями в QKV внимания и связанными эмбеддингами слов. В названии указано 14 млрд параметров и 4-битное представление bnb, однако README не приводит подробные характеристики именно этой версии, включая точную длину контекста, число слоёв, модальности и список поддерживаемых языков. Указан английский язык. К сильным сторонам относятся специализация на программировании, улучшения в генерации, рассуждении и исправлении кода, а также сниженные требования к памяти благодаря квантизации. Ограничения и результаты конкретной версии в README подробно не описаны. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется использовать актуальную версию библиотеки transformers; версии ниже 4.37.0 могут вызывать ошибку, связанную с архитектурой qwen2.

Qwen2.5-Coder-32B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной модели Qwen2.5-Coder-32B-Instruct. Исходную модель разработала команда Qwen, а квантизации подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена прежде всего для генерации, анализа и обработки программного кода, а также для диалогового взаимодействия с применением формата системных и пользовательских сообщений. Доступны варианты с разными уровнями квантизации — от Q8_0 до Q3 и IQ-серий — размером примерно от 14,8 до 34,8 ГБ. Более качественные варианты требуют больше памяти, а компактные позволяют экономить ресурсы с некоторым снижением качества. Формат GGUF поддерживает локальный запуск через совместимые инструменты, включая llama.cpp и LM Studio. В README явно указан английский язык; сведения о других языках, архитектуре, размере контекста и мультимодальности отсутствуют. Некоторые варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки, поэтому совместимость следует проверять отдельно. Модель распространяется по лицензии Apache-2.0.

ApolloRaines/Qwen2.5-Coder-32B-Instruct-Jbliterated — модифицированная версия Qwen2.5-Coder-32B-Instruct, разработанная Apollo Raines. Модель предназначена для генерации текста и программного кода, включая разработку, анализ и преобразование кода, а также сценарии, где требуется модель без встроенного поведения отказа. Она может применяться для творческого письма, исследований в области безопасности и академических экспериментов, однако требует ответственного использования. Модель построена на архитектуре Qwen2ForCausalLM и содержит около 32,8 млрд параметров при 64 слоях. Она сохраняет архитектуру, токенизатор и длину контекста базовой модели; в README указана поддержка английского языка. Основной формат — BF16, также доступны варианты GGUF с квантованием Q8_0 и Q4_K_M. Полноточная версия занимает около 62 ГБ, Q8_0 — 33 ГБ, а Q4_K_M — 19 ГБ. Отличительная особенность модели — удаление поведения отказа непосредственно из весов с помощью проприетарного инструмента jBlaze, без дополнительного обучения или fine-tuning. По заявлению разработчика, это должно сохранять стиль и творческие характеристики исходной модели, но одновременно означает отсутствие встроенного отказа от потенциально опасных запросов. Модель распространяется по лицензии Apache 2.0, как и базовая модель; ответственность за соблюдение законодательства и безопасное применение возлагается на пользователя.

Orion-zhen/Qwen2.5-Coder-7B-Instruct-AWQ — квантизированная версия инструкционно дообученной языковой модели Qwen2.5-Coder-7B, разработанной командой Qwen. Это каузальная текстовая модель для генерации, анализа, исправления и рассуждений о программном коде, а также для задач кодовых агентов и общих математических и текстовых сценариев. Модель обучалась с использованием корпуса alvarobartt/openhermes-preferences-coding; для калибровки AWQ применялся этот же датасет. Модель содержит 7,61 млрд параметров, из которых 6,53 млрд не относятся к embedding, и включает 28 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в attention QKV; применяется GQA с 28 головами для Q и 4 для KV. Заявлена поддержка контекста до 131 072 токенов, однако исходная конфигурация рассчитана на 32 768 токенов, а для более длинных входов требуется включение YaRN. Основные заявленные языки — английский и китайский. Модель работает в режиме text generation и поддерживается Transformers. Сильные стороны — специализация на программировании, улучшенные генерация, исправление и понимание кода, большой контекст и сниженные требования к памяти благодаря AWQ-квантизации. При использовании YaRN на коротких текстах возможное падение производительности связано со статическим коэффициентом масштабирования. README не содержит отдельных результатов тестирования именно этой AWQ-версии, поэтому её фактическую точность и скорость следует проверять отдельно. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-7B-Instruct-MLX-4bit — это 4-битная MLX-квантизация инструкционной модели Qwen2.5-Coder-7B-Instruct, разработанной командой Qwen. Квантизацию выполнил bartowski на основе инструментов mlx-examples; модель предназначена для запуска на компьютерах Mac с Apple Silicon через совместимое программное обеспечение, включая LM Studio. Модель ориентирована на генерацию текста и работу с кодом, включая сценарии использования в code agents, программирование, ответы на технические запросы и задачи, требующие связи между исходным кодом и текстовыми инструкциями. В README указано, что при обучении использовалось до 5,5 триллиона токенов, включая исходный код, текстово-кодовые данные и синтетические данные. Поддерживается длинный контекст до 128K токенов с масштабированием RoPE через YaRN с коэффициентом 4,0. Заявлен английский язык. Ключевые преимущества — специализация на коде, инструкционная настройка, поддержка длинного контекста и пониженное потребление памяти благодаря 4-битной квантизации. Ограничения связаны с необходимостью совместимого оборудования Apple Silicon и возможными ошибочными, неточными или неподходящими ответами; подробные сведения о качестве на отдельных языках и бенчмарках в README не приведены. Модель распространяется по лицензии Apache-2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-MXFP4-1M — это релиз Solstice-AI на базе модели DavidAU Qwen3.8-27B-TURBO-Fable-Cold-Fusion. Solstice-AI выполнила квантование, масштабирование контекста и упаковку, а исходную модель и её GAIN-merge разработал DavidAU. Модель предназначена для рассуждений, программирования, агентной разработки ПО, отладки репозиториев, управления компьютером и мобильными устройствами, а также обработки длинных контекстов. README также заявляет поддержку визуального понимания через комплектный модуль mmproj-BF16.gguf, включая схемы, интерфейсы кода и видеокадры. Модель содержит 27 млрд параметров и распространяется в формате OCP Microscaling MXFP4. Заявлена гибридная архитектура Qwen 3.8: 75% слоёв используют линейное внимание Gated Delta Recurrent Network, а 25% — глобальное Grouped-Query Attention. Указаны аппаратное Multi-Token Prediction с генерацией двух токенов за проход и потенциальным ускорением 1,72–2,20 раза, а также контекст до 1 048 576 токенов благодаря YaRN RoPE scaling. Заявлены языки English и Chinese. Для запуска упоминаются vLLM, Anvil Runtime и совместимость с AMD ROCm, Intel Gaudi и современными Tensor Core. К сильным сторонам относятся большой контекст, низкоразрядное представление MXFP4, поддержка рассуждений и программирования, мультимодальность и заявленные высокие результаты в SWE-bench Pro, LiveCodeBench, OSWorld, AndroidWorld и других тестах. Ограничения включают зависимость производительности от совместимого оборудования и программного стека, а также то, что приведённые в README сравнительные результаты и характеристики не сопровождаются подробным описанием методики и независимой проверкой. Модель описана как uncensored и с удалёнными отказными ограничениями, что может повышать риски небезопасных ответов. Лицензия — Apache 2.0.

Qwen3-Coder-30B-A3B-Instruct-AWQ-4bit — это 4-битная AWQ-квантизированная версия инструкционной модели Qwen3-Coder-30B-A3B-Instruct, разработанной командой Qwen. Модель предназначена для генерации и анализа кода, агентного программирования, использования инструментов и браузера, а также понимания репозиториев и других задач, связанных с разработкой программного обеспечения. Она относится к каузальным языковым моделям и работает в режиме генерации текста без режима рассуждений и блоков <think></think>. Модель построена по Mixture-of-Experts-архитектуре: содержит 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; включает 48 слоёв, 128 экспертов, 8 активируемых экспертов и Grouped Query Attention с 32 головами Q и 4 головами KV. Нативная длина контекста составляет 262 144 токена, а с использованием YaRN может быть расширена до 1 млн токенов. README не указывает поддерживаемые языки и модальности; по описанию модель ориентирована прежде всего на текстовые и программные данные. Сильные стороны модели — эффективность за счёт разреженной активации экспертов, длинный контекст, поддержка вызова функций и сценариев agentic coding, совместимость с инструментами и платформами вроде Qwen Code и CLINE. К ограничениям относятся необходимость подходящего аппаратного обеспечения и снижение требований к памяти именно за счёт 4-битной квантизации, которая может влиять на качество по сравнению с полной точностью; конкретные показатели такого влияния в README не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-30B-A3B-Instruct-GGUF — GGUF-версия инструкционной модели Qwen3-Coder, разработанной командой Qwen и опубликованной в данной сборке Unsloth. Это авторегрессионная причинная языковая модель, предназначенная прежде всего для генерации и анализа кода, агентского программирования, работы с репозиториями и сценариев агентского использования браузера. Модель поддерживает специальный формат вызова функций и совместима с инструментами и платформами, включая Qwen Code и CLINE. Архитектура использует mixture-of-experts: всего 30,5 млрд параметров, из которых при обработке токена активируется около 3,3 млрд; предусмотрено 128 экспертов, активируются 8. Модель содержит 48 слоёв и применяет Grouped-Query Attention с 32 головами Q и 4 головами KV. Нативная длина контекста составляет 262 144 токена, а с использованием YaRN её можно расширить до 1 млн токенов, что подходит для анализа крупных кодовых баз. Поддерживается только режим без рассуждений: модель не генерирует блоки <think></think>. К сильным сторонам относятся эффективность разреженной MoE-архитектуры, большой контекст и ориентация на программирование и агентские задачи. Ограничения включают отсутствие режима рассуждений и зависимость практической производительности от используемого GGUF-квантизованного варианта и аппаратного обеспечения; конкретные параметры квантизации в README не указаны. Лицензия — Apache 2.0.

Qwen3-Coder-Next-FP8 — открытая FP8-квантизированная версия языковой модели Qwen3-Coder-Next, разработанная командой Qwen и подготовленная Unsloth. Это каузальная языковая модель для генерации текста, ориентированная прежде всего на кодинг-агентов и локальную разработку. Модель предназначена для написания и анализа кода, длительных многошаговых задач, использования инструментов и восстановления после ошибок выполнения. Она поддерживает интеграцию с CLI- и IDE-средами, включая Claude Code, Qwen Code, Qoder, Kilo, Trae и Cline. Модель работает только в режиме без пошагового рассуждения и не генерирует блоки <think></think>. Архитектура сочетает Gated DeltaNet, Gated Attention и Mixture of Experts: всего 80 млрд параметров, из которых активируются 3 млрд; 48 слоёв, 512 экспертов и 10 активируемых экспертов. Нативная длина контекста составляет 262 144 токена. Используется fine-grained FP8-квантизация с размером блока 128. Такая конфигурация обеспечивает высокую вычислительную эффективность при сохранении возможностей крупной модели, однако для локального запуска требуются значительные аппаратные ресурсы, особенно при использовании длинного контекста; при нехватке памяти рекомендуется уменьшать его размер. Языки и мультимодальные возможности в карточке явно не указаны. Модель распространяется по лицензии Apache-2.0.

Salience-27B-R6 — мультимодальная плотная модель на 27,8 млрд параметров от Vection Labs, созданная на базе Qwen/Qwen3.8-27B и дообученная для инженерных задач. Она принимает текст, изображения и видео и выдаёт текст; поддерживает контекст до 1 048 576 токенов. Гибридный стек линейного и полного внимания, MTP-голова и режим рассуждений, встроенный в веса, рассчитаны на эффективную генерацию и решение сложных задач. Модель предназначена прежде всего для генерации, объяснения, отладки и проверки кода, изменений в масштабах репозитория, работы через терминальные инструменты, проектирования систем и количественных рассуждений. Она также анализирует схемы, скриншоты, документы и видео в инженерных сценариях; предусмотрен интерфейс вызова инструментов. Лицензия — Apache-2.0. Модель может выдумывать API и факты при недостатке контекста, а длинный вложенный Python-код может содержать ошибки отступов; сгенерированный код следует проверять перед запуском. Умеренный уровень рассуждений по умолчанию может давать более короткие цепочки на сложных задачах, а сниженное число отказов требует собственных ограничений на уровне приложения. Для работы с инструментами README указывает на необходимость актуального Transformers и применения шаблона чата модели.

DeepSeek-Coder-V2-Instruct-0724-GGUF — это квантизированная в формате GGUF версия большой MoE-модели для генерации текста и программного кода DeepSeek-Coder-V2-Instruct-0724. Исходную модель разработала команда deepseek-ai, а GGUF-квантизацию подготовил bartowski на основе llama.cpp версии b3715. Модель предназначена прежде всего для задач, связанных с написанием и обработкой кода, однако конкретные поддерживаемые языки программирования, размер, длина контекста и другие архитектурные параметры в README не указаны. Модель можно использовать в инструментах, поддерживающих формат GGUF и шаблон запросов Jinja, в частности в LM Studio. Квантизация делает модель пригодной для локального запуска при наличии совместимого программного обеспечения и подходящих аппаратных ресурсов, но README не содержит сведений о точных требованиях, вариантах квантизации, производительности или качестве на отдельных задачах. Как и другие генеративные модели, она может создавать неточные или неподходящие ответы. Указана лицензия DeepSeek License; тип лицензии обозначен как other, а полный текст доступен в файле LICENSE. Дополнительные сведения о том, что изменилось относительно исходной модели, в README отсутствуют.

DeepSeek-Coder-V2-Lite-Instruct-GGUF — это GGUF-квантизированная версия модели DeepSeek-Coder-V2-Lite-Instruct, разработанной DeepSeek и квантизированной пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и ассистирования в задачах программирования, включая написание и обработку кода, однако конкретный перечень поддерживаемых языков программирования и естественных языков в README не указан. Доступны варианты квантизации от Q2_K и IQ2_M до Q8_0 и экспериментального Q8_0_L, с размером файлов примерно от 6,32 до 17,09 ГБ. Более компактные варианты экономят оперативную память ценой снижения качества, тогда как Q5–Q8 описываются как высококачественные; для ряда конфигураций рекомендуются Q4–Q6. Варианты с суффиксом L используют F16 для весов embedding и output и отмечены как экспериментальные. Архитектура, число параметров, модальности, размер контекста и языки модели в предоставленном README не указаны. Модель рассчитана на локальный запуск через llama.cpp и использует специальный формат промпта с system prompt, сообщениями User и Assistant. Лицензия обозначена как deepseek-license; подробные условия в README не приведены, поэтому перед использованием следует ознакомиться с файлом LICENSE. Основные ограничения — отсутствие в README точных сведений о базовой архитектуре и характеристиках, а также неизбежная зависимость качества и требований к памяти от выбранного уровня квантизации.

mlx-community/GLM-5.1-MXFP4-Q8 — MLX-квантизированная версия текстовой генеративной модели GLM-5.1, разработанной Z.ai (zai-org) и опубликованной в формате MLX сообществом mlx-community. Базовая модель предназначена прежде всего для агентной разработки программного обеспечения, генерации и анализа кода, длительных рассуждений, работы с терминалом и использования инструментов. Она поддерживает текстовый ввод и вывод; сведения о поддержке изображений или аудио для этой версии не указаны. По опубликованным конфигурациям GLM-5.1 относится к архитектуре glm_moe_dsa и использует decoder-only causal language model с Mixture-of-Experts: 78 слоёв, 256 маршрутизируемых экспертов и 8 активных экспертов на токен. Размер модели составляет примерно 744 млрд параметров, максимальная позиционная длина указана как 202 752 токена. Версия MXFP4-Q8 предназначена для запуска через MLX и использует 4-битное MXFP4-квантизирование с отдельными компонентами в 8-битном представлении; это существенно уменьшает объём хранения по сравнению с полной версией, но модель всё равно требует очень значительных аппаратных ресурсов. Сильные стороны модели — ориентация на сложные программные и агентные задачи, большой контекст и возможность локального запуска в MLX-совместимой среде. Ограничения включают крайне большой размер, высокие требования к памяти и потенциально низкую производительность на неподходящей или распределённой конфигурации оборудования; официальная карточка именно этой производной версии практически не содержит описания и результатов оценки. Для базовой GLM-5.1 указана лицензия MIT, но для репозитория mlx-community/GLM-5.1-MXFP4-Q8 отдельные лицензионные условия не указаны, поэтому их следует проверить перед коммерческим использованием.

Jina Embeddings v2 Base Code Q8_0 GGUF — это квантизированная версия модели для создания векторных представлений текста и исходного кода. Исходную модель разработала команда Jina AI, а данный вариант был конвертирован из jinaai/jina-embeddings-v2-base-code в формат GGUF с помощью llama.cpp и инструмента GGUF-my-repo. Модель предназначена для задач семантического поиска, сравнения сходства предложений, извлечения признаков и работы с кодом, включая сценарии, совместимые с llama.cpp. В карточке указано, что модель ориентирована на английский язык; точные сведения об архитектуре, количестве параметров, размерности эмбеддингов, поддерживаемой длине контекста и наборе модальностей не приведены. Квантование Q8_0 позволяет использовать модель в компактном формате, однако характеристики качества и влияние квантования в README не описаны. Для запуска требуется llama.cpp; доступен режим CLI и серверный режим. Лицензия — Apache-2.0.

MLX-форматная квантизированная версия модели Kimi-K2.7-Code, разработанной Moonshot AI и преобразованной сообществом mlx-community с использованием mlx-lm 0.31.3. Модель предназначена для генерации текста и прежде всего для задач, связанных с написанием и обработкой кода. Она рассчитана на запуск на одном Apple Mac Studio с чипом M3 Ultra и 512 ГБ памяти; заявлено, что размер модели позволяет сохранить ресурсы для полезного контекстного окна. Модель текстовая и не поддерживает обработку изображений или других модальностей. Квантизация DQ3_K_M использует смешанный подход: тензоры экспертных блоков квантизуются с разрядностью 3–4 бита, а остальные тензоры сохраняются в 8-битном представлении. Такой подход призван обеспечить качество, близкое к 4-битной квантизации, при меньшем размере, хотя скорость генерации может быть немного ниже из-за 8-битной маршрутизации. Точный размер модели, архитектура, число параметров, поддерживаемые языки и размер контекстного окна в README не указаны. Для запуска требуется библиотека mlx-lm и параметр --trust-remote-code, поскольку он необходим исходной моделью. Лицензия указана как modified-MIT с типом other; дополнительные условия в README не раскрыты.

MiMo-V2.5-Pro — открытая языковая модель Xiaomi на архитектуре Mixture-of-Experts (MoE), предназначенная для агентных сценариев, сложной разработки ПО и задач с длинными последовательностями действий. В README указаны 1,02 трлн параметров всего и 42 млрд активных параметров; метаданные каталога указывают 27,7 млрд параметров, поэтому размер в описании опирается на данные README. Модель использует чередование локального скользящего и глобального внимания и три модуля Multi-Token Prediction; заявленная длина контекста достигает 1 048 576 токенов. Модель рассчитана на диалог, генерацию кода, следование инструкциям и длительную работу с инструментами. Заявлены поддержка вызова инструментов и сохранение связности при траекториях с тысячами вызовов; доступны веса в формате FP8, а метаданные указывают библиотеку Transformers. В README описано обучение на 27 трлн токенов и последующая настройка с SFT, агентным RL и дистилляцией от нескольких учителей. Модель принимает текст и генерирует текст. В карточке указаны английский и китайский языки. Лицензия — MIT. Заявления о качестве в README основаны на приведённых авторами оценках; для развёртывания на контексте до миллиона токенов потребуются совместимые движок и вычислительные ресурсы.

Ornith-1.0-35B-FP8-BLOCK — это квантизированная версия языковой модели Ornith-1.0-35B, разработанной командой DeepReinforce. Артефакт опубликован shisa-ai и изменяет только представление чекпойнта, не добавляя дополнительного дообучения. Модель относится к семейству Qwen3.5 MoE и предназначена для рассуждений, агентных сценариев и генерации кода, включая работу через совместимый с OpenAI API сервер. Квантизация выполнена методом model-free PTQ без калибровочных данных с помощью llm-compressor. Веса Linear-модулей представлены в статическом симметричном FP8 с блоками 128×128, а активации квантизуются динамически в FP8 с группами размера 128; формат хранения — compressed-tensors FP8_BLOCK. Размер исходной модели — 35B параметров, но другие характеристики, включая точный контекст и языковой охват, в карточке не указаны. Эмбеддинги, lm_head, маршрутизация MoE, линейное внимание и визуальные модули оставлены без квантизации. Модель не содержит MTP-head и не заявляет поддержку speculative decoding. Основные преимущества — уменьшенное представление весов и возможность запуска в современных средах, поддерживающих Qwen3_5MoeForConditionalGeneration и FP8_BLOCK, например vLLM. Ограничения — необходимость значительных ресурсов KV-кэша при длинном контексте и отсутствие опубликованных отдельных бенчмарков для квантизированной версии; качество и задержку рекомендуется проверять относительно исходной BF16-модели на целевой нагрузке. Артефакт распространяется по лицензии MIT.

Ornith-1.5-35B-A3B-TQ3_4S — компактная сборка модели Ornith-1.5-35B-A3B в формате GGUF с квантизацией TurboQuant TQ3_4S. В карточке указана архитектура Qwen3.5-MoE: всего 35,9 млрд параметров, из которых около 3 млрд активны на токен. Модель предназначена для диалоговой генерации текста, программирования и вызова инструментов; исходная модель также поддерживает обработку изображений при подключении vision-проектора. Для запуска требуется специализированная сборка turbo-tan/llama.cpp-tq3, поддерживающая тип тензоров TQ3_4S. В локальных измерениях автора модель занимала 17 ГиБ и показывала высокую скорость декодирования на RTX 3090; приведённые результаты бенчмарков являются собственными измерениями автора карточки. Контекст запуска до 262 144 токенов указан в параметрах тестирования, но не подтверждён как штатный предел модели. Лицензия — MIT.

qwp4w3hyb/Phi-3-mini-4k-instruct-iMat-GGUF — это GGUF-квантизированная версия Phi-3-Mini-4K-Instruct, разработанной Microsoft. Модель содержит около 3,8 млрд параметров и предназначена для генерации текста на основе инструкций. Она обучалась на синтетических данных и отфильтрованных общедоступных веб-данных с акцентом на качество и задачи, требующие рассуждений, а также прошла supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и безопасности. Модель рассчитана прежде всего на коммерческое и исследовательское использование на английском языке, включая среды с ограниченными ресурсами памяти и вычислений, сценарии с требованиями к низкой задержке, а также задачи программирования, математики, логики, понимания языка и здравого смысла. Поддерживается текстовая модальность и контекст до 4096 токенов. Версия представлена в формате GGUF для запуска с llama.cpp; квантизация выполнена с использованием importance matrix, доступны варианты K- и IQ-квантизации с уровнями от Q6_K до IQ1_S. Сильными сторонами являются компактный размер, пригодность для локального запуска и высокая производительность среди моделей с менее чем 13 млрд параметров, особенно в задачах кода, математики и логического рассуждения. Ограничениями остаются английская специализация, контекст в 4K токенов и общие риски языковых моделей: возможные ошибки, проблемы безопасности и предвзятость. Для критически важных сценариев требуется отдельная проверка качества и безопасности. Модель распространяется по лицензии MIT.

Qwen2.5-Coder-14B-Instruct-GGUF — GGUF-квантизированные варианты инструкционной модели Qwen2.5-Coder-14B-Instruct, разработанной Qwen и опубликованной в формате квантований пользователем bartowski. Модель предназначена прежде всего для генерации, понимания и редактирования программного кода, а также для диалогового взаимодействия с инструкциями. Указан английский язык; поддержка других языков и мультимодальность в README не описаны. Базовая модель имеет размер 14B параметров, а опубликованные варианты используют форматы F16 и различные методы квантования llama.cpp: от Q8_0 и Q6 до Q3 и IQ-вариантов. Размер файлов составляет примерно от 7,34 до 29,55 ГБ. Квантования с более высокой точностью обеспечивают лучшее сохранение качества, а компактные варианты требуют меньше памяти, но могут заметно уступать в качестве. README не содержит сведений о размере контекстного окна и архитектурных деталях базовой модели. Модель подходит для локального запуска, в том числе через LM Studio и совместимые инструменты на базе llama.cpp. Для работы рекомендуется использовать шаблон сообщений Qwen с ролями system, user и assistant. Лицензия базовой модели — Apache 2.0; отдельные условия для квантованных файлов в README не указаны.

Qwen3.5-9B-Qworus-V2 — гибридная языковая модель для генерации текста, разработанная на основе объединения моделей empero-ai/Qwen3.8-9B-Distill и ornith-ai/Ornith-1.5-9B. Модель создана методом 50/50 DARE-TIES merge и предназначена для задач программирования, рассуждений, вызова инструментов, планирования, проектирования и ответов на вопросы. Модель доступна через Transformers и ориентирована на text generation. Указан размер 9B; поддерживаются форматы Safetensors и GGUF. Для GGUF предоставлены варианты квантования Q4_K_L для систем с ограниченными ресурсами и Q6_K_L для более высокой точности. В этих вариантах слои токенов и вывода повышены до Q8_0, а тензоры ssm_* используют BF16 или Q8_0 для повышения точности на длинных контекстах. Для квантований imatrix обучена на смеси данных, включающей код, бизнес-тексты, математику и Wikipedia. Модель не является полностью uncensored по умолчанию, поскольку обе исходные модели не были uncensored. В README не указаны поддерживаемые языки, максимальная длина контекста и лицензия, поэтому эти характеристики нельзя определить по имеющимся данным.

Qwen3.6-27B-A3B-Coder-MTP-GGUF — это квантизированная GGUF-версия специализированной на коде модели, разработанная ManniX-ITA на основе ManniX-ITA/Qwen3.6-27B-A3B-Coder и Qwen/Qwen3.6-35B-A3B. Модель использует архитектуру Qwen3.5-MoE с 26,66 млрд параметров, из которых около 3 млрд активируются при обработке токена. Она создана методом экспертного прореживания: число экспертов сокращено с 256 до 184 в каждом слое с сохранением маршрутизатора, механизмов внимания, нормализаций, MTP-головы и vision-компонента базовой модели. По умолчанию используется маршрутизация top-10. Доступны многочисленные варианты квантизации, включая F16, Q2–Q8 и IQ-серии. Модель предназначена прежде всего для генерации, анализа и исправления программного кода, а также для задач рассуждения, следования инструкциям и обработки визуальных данных. В README заявлена поддержка английского языка; среди целевых языков программирования упоминаются Rust, Java и JavaScript. На тестах модель показывает особенно сильные результаты в HumanEval, GSM8K и MultiPL-E, где достигает 0,970, 0,970 и 0,840 соответственно. При этом её средний результат немного уступает полной базовой модели, а показатели GPQA-Diamond, MATH-500 и IFEval ниже, поэтому она оптимизирована именно под кодовые сценарии, а не под универсальное качество. Ограничением является склонность к чрезмерно длинным рассуждениям на открытых задачах, особенно на GPQA и AIME; в отдельных случаях модель может израсходовать значительную часть контекста до формирования ответа. Для управления длиной рассуждений рекомендуется использовать соответствующие параметры llama.cpp и при необходимости переключаться на маршрутизацию top-8. Контекстное окно в предоставленных данных не указано. Модель распространяется по лицензии Apache-2.0.

YTan2000 собрал вариант Qwen3.8-27B с квантованием TurboQuant TQ3_4S и форматом GGUF для запуска через специальную сборку llama.cpp-tq3. Модель предназначена для диалогов, генерации кода и многошаговых задач; с подключённым проектором mmproj поддерживает анализ изображений и видео. Веса основаны на Qwen/Qwen3.8-27B, в которой используются гибридная архитектура Gated DeltaNet и Gated Attention и обученные головы Multi-Token Prediction для ускорения генерации. В карточке указаны 27 млрд параметров у базовой модели, контекст до 262 144 токенов, размер файла 13,8 ГБ и квантование 4,24 бит на вес. Версия v2 включает исправленный шаблон чата для строковых аргументов инструментов и режима без рассуждений; для v1 требуется отдельно указать шаблон. README приводит результаты тестов генерации кода и скорости на RTX 3090, но они зависят от конфигурации запуска. Для работы требуется TurboQuant-версия llama.cpp; поддержка изображений и видео требует файла mmproj. Лицензия — Apache-2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-mlx-6Bit — это 6-битная версия модели семейства Qwen3.8 с 27 млрд параметров, основанная на модели DavidAU Qwen3.8-27B-TURBO-Fable-Cold-Fusion. Оригинальную модель и объединение весов GAIN разработал DavidAU, а квантование, интеграцию MTP и упаковку для Apple MLX выполнила Solstice-AI. В карточке заявлена поддержка английского и китайского языков, а также формат image-text-to-text, однако подробности о фактических мультимодальных возможностях не приведены. Модель предназначена для рассуждений, программирования, агентных задач, отладки репозиториев, следования сложным инструкциям и длительных рабочих процессов. Она использует гибридную архитектуру Qwen 3.8: около 75% слоёв составляют блоки Gated Delta Recurrent Network с линейным вниманием, а около 25% — блоки Grouped-Query Attention. Заявлен контекст до 262 144 токенов. Квантование выполнено в 6 бит с affine scaling и group_size 64; заявленный объём памяти составляет около 21,85 ГБ, что ориентирует модель на Mac с Apple Silicon и унифицированной памятью от 32 ГБ. К сильным сторонам относятся встроенный 15-тензорный модуль Multi-Token Prediction, совместимость с DSpark speculative decoding и заявленное ускорение генерации до 22–52 токенов в секунду на Apple Silicon. README также сообщает о высоких результатах в SWE-bench Pro, LiveCodeBench, OSWorld, AndroidWorld, ARC и других тестах, включая превосходство над Claude Opus 4.6 Max, но эти утверждения следует воспринимать как результаты, заявленные авторами карточки. Возможные ограничения — высокая потребность в памяти, привязка оптимизаций к Apple MLX и отсутствие независимой верификации приведённых сравнений. Указанная лицензия — Apache 2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-mlx-oQ8e — выпуск модели Qwen3.8-27B Cold Fusion для Apple Silicon. Исходную модель и слияние весов GAIN разработал DavidAU, а Solstice-AI выполнила квантование и упаковку в формат Apple MLX oQ8e mixed precision. Модель предназначена для рассуждений, программирования, агентной разработки ПО, отладки репозиториев, выполнения многошаговых задач и управления компьютерными средами. В метаданных также указан сценарий image-text-to-text, однако подробности о поддерживаемых визуальных возможностях не приведены. Заявлены английский и китайский языки. Модель содержит 27 млрд параметров и рассчитана на контекст до 262 144 токенов. Архитектура описана как гибридная: 75% слоёв используют линейное внимание Gated Delta Recurrent Network, а 25% — Grouped-Query Attention. Также заявлена поддержка Multi-Token Prediction для ускорения генерации на Apple Silicon. Среди сильных сторон README называет высокие результаты в SWE-bench Pro, LiveCodeBench, QwenSWEBench, OSWorld, AndroidWorld, IFBench и тестах ARC; приведённые сравнения с Claude Opus 4.6 Max являются утверждениями авторов README и зависят от методики оценки. Ограничения включают привязку оптимального использования к Apple Silicon, MLX и Metal, а также отсутствие независимой проверки заявленных результатов и неполное описание мультимодальных возможностей. Лицензия — Apache-2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-MXFP4 — языковая модель на базе DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. Исходную модель и объединение весов GAIN разработал DavidAU, а квантизацию и упаковку в формат OCP Microscaling MXFP4 выполнила Solstice-AI. Модель ориентирована на рассуждения, программирование, агентную разработку ПО, отладку репозиториев, управление компьютерными и мобильными интерфейсами, а также выполнение задач с длинным контекстом и сложными ограничениями. Заявлена поддержка английского и китайского языков. Модель содержит 27 миллиардов параметров и рассчитана на контекст до 262 144 токенов. В архитектуре заявлены гибридное внимание Qwen 3.8 с блоками Gated Delta Recurrent Network и Grouped-Query Attention, аппаратная Multi-Token Prediction для ускорения генерации, а также мультимодальный компонент пространственно-временного 3D-зрения для анализа схем, интерфейсов кода и видеокадров. Формат MXFP4 использует 4-битные значения с 8-битным масштабированием блоков; для работы рекомендуются Anvil Runtime и vLLM на современном оборудовании AMD, Intel Gaudi и Tensor Core. README заявляет высокие результаты на SWE-bench Pro, LiveCodeBench, QwenSWEBench, OSWorld, AndroidWorld, IFBench и CoWorkBench, а также превосходство над Claude Opus 4.6 Max в приведённых тестах, однако методика и независимое подтверждение этих утверждений требуют отдельной проверки. Ограничения включают зависимость производительности от совместимого рантайма и оборудования, возможные особенности MXFP4-квантизации и заявленный режим uncensored, который может требовать дополнительных мер безопасности при использовании. Лицензия — Apache 2.0.

Qwen3-Coder-480B-A35B-Instruct-FP8 — открытая инструкционная causal language model для генерации и анализа кода, разработанная командой Qwen. Модель ориентирована на агентское программирование, вызов инструментов, работу с репозиториями, браузерными сценариями и другими задачами, связанными с разработкой ПО. Она поддерживает специальный формат function calling и совместима с платформами и инструментами, включая Qwen Code и CLINE. Модель имеет MoE-архитектуру: 480 млрд параметров всего, из которых 35 млрд активируются при обработке запроса. Она содержит 62 слоя, 160 экспертов, из которых используются 8, и применяет GQA с 96 attention heads для Q и 8 для KV. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 млн токенов с использованием YaRN. Версия FP8 использует мелкозернистое квантование FP8 с размером блока 128. Модель работает только в non-thinking mode и не генерирует блоки <think></think>. Сильными сторонами являются заявленная производительность, сопоставимая с Claude Sonnet на ряде задач агентского программирования, браузерного взаимодействия и базовых задач кодинга, а также поддержка длинного контекста и инструментов. Ограничения включают очень высокие требования к вычислительным ресурсам; при нехватке памяти рекомендуется уменьшать длину контекста. Для распределённого запуска в Transformers указаны известные проблемы с fine-grained FP8 и необходимость иногда задавать CUDA_LAUNCH_BLOCKING=1. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-Next-AWQ-4bit — это 4-битная AWQ-квантизованная версия открытой языковой модели Qwen3-Coder-Next, разработанной Qwen и квантизованной пользователем bullpoint. Модель предназначена для генерации кода, разработки программного обеспечения, работы кодирующих агентов, использования инструментов и function calling, а также локальной интеграции с CLI и IDE. Заявлена поддержка сценариев с длительным рассуждением, сложным использованием инструментов и восстановлением после ошибок выполнения. Модель работает только в режиме без отдельного скрытого рассуждения и не генерирует блоки <think></think>. Архитектура — causal language model с гибридной структурой Gated DeltaNet и Gated Attention, построенная на Mixture of Experts. Она содержит 80 млрд параметров всего, из которых активируется 3 млрд, 48 слоёв, 512 экспертов и 10 активируемых экспертов; нативная длина контекста составляет 262 144 токена. Поддерживаются английский и китайский языки. Квантизация выполнена методом AWQ с разрядностью 4 бита, группами размера 32 и форматом compressed-tensors; заявленный объём видеопамяти — около 45 ГБ против примерно 151 ГБ для исходной версии BF16. К сильным сторонам относятся большой контекст, низкое число активируемых параметров при сохранении заявленной производительности и пригодность для локального развёртывания агентных задач. Ограничения включают существенные требования к видеопамяти, возможные потери качества из-за квантизации и отсутствие заявленных результатов бенчмарков в карточке. Модель распространяется по лицензии Apache-2.0.

Salience-27B-R6-GGUF — это квантизированная версия мультимодальной модели Salience-27B-R6, разработанной vectionlabs и опубликованной в формате GGUF пользователем bartowski. Модель содержит около 28 млрд параметров и предназначена для запуска через llama.cpp. Она поддерживает текстовый и визуальный ввод; для работы с изображениями требуется дополнительный файл mmproj. Модель ориентирована на рассуждения, эффективное пошаговое мышление, следование инструкциям, программирование и задачи software engineering. Заявлена поддержка агентных сценариев, терминального взаимодействия, tool use и function calling. Также доступны speculative decoding с использованием MTP и квантизация с imatrix. Указан английский язык, однако точные сведения о размере контекстного окна и внутренней архитектуре в предоставленных данных отсутствуют. Репозиторий предлагает варианты от BF16 и Q8_0 до компактных IQ3 и Q3, что позволяет выбирать между качеством, скоростью и требованиями к памяти. В качестве универсального варианта рекомендован Q4_K_M размером около 17,44 ГБ; более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти. Ограничениями являются необходимость совместимого рантайма llama.cpp, отдельного mmproj для изображений и отсутствие в предоставленной карточке подробных результатов оценки. Лицензия модели — Apache-2.0.

Claude Opus 4.5 — мультимодальная модель рассуждений компании Anthropic, предназначенная для сложной разработки программного обеспечения, агентных рабочих процессов и длительного взаимодействия с компьютером. Карточка описывает её как передовую модель с сильными возможностями в этих сценариях. Модель подходит для решения сложных задач программирования, работы агента с инструментами и компьютерными интерфейсами, а также для задач с изображениями и текстом. В предоставленных данных не раскрыты размер модели, поддерживаемые языки, длина контекста и условия лицензии.