II.11Кибербезопасность и приватность

cyankiwi/Laguna-XS-2.1-AWQ-INT4 — это INT4-квантизированная версия модели Laguna XS 2.1, разработанной poolside и подготовленной cyankiwi с использованием метода AWQ. Модель предназначена для генерации текста, прежде всего для агентного программирования, работы с терминалом и длительных многошаговых задач на локальном компьютере. В основе лежит Mixture-of-Experts с 33 млрд параметров, из которых 3 млрд активируются для каждого токена. Архитектура включает 40 слоёв, 256 экспертов и одного общего эксперта, сочетает глобальное внимание со Sliding Window Attention в соотношении 1:3 и использует окно скользящего внимания размером 512 токенов. Контекстное окно составляет 262 144 токена, поддерживается текстовый ввод и вывод, а также интерleaved reasoning между вызовами инструментов с возможностью включать и отключать рассуждения для конкретного запроса. Заявлена поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Кэш ключей и значений хранится в формате FP8, что снижает расход памяти на токены; заявлена возможность запуска на Mac с 36 ГБ оперативной памяти. Сильными сторонами модели являются компактное число активных параметров, поддержка длинного контекста, локальный запуск и ориентация на программирование и агентные сценарии. В опубликованных результатах она показала 70,9% на SWE-bench Verified, 63,1% на SWE-bench Multilingual, 47,6% на SWE-bench Pro и 37,5% на Terminal-Bench 2.0. Показатели относятся к Laguna XS 2.1 в целом и не обязательно непосредственно к данной INT4-квантизации; квантизация также может влиять на качество и точность. Модель распространяется по лицензии OpenMDW-1.1, разрешающей использование и модификацию модели и связанных материалов в коммерческих и некоммерческих целях.

Mellum2-12B-A2.5B-Claude-4.6-4.8-Opus-Thinking-GGUF — это GGUF-квантизированная версия модели на базе JetBrains Mellum2-12B-A2.5B-Thinking, опубликованная пользователем yuxinlu1. Модель ориентирована на программную инженерию, генерацию и анализ кода, решение технических задач и рассуждения. По данным карточки, она дополнительно настроена на reasoning-трассах Claude Opus 4.6, 4.7 и 4.8 и формирует рассуждения в блоках <think> перед ответом. Модель использует архитектуру Mixture-of-Experts: всего около 12,15 млрд параметров, из которых 2,5 млрд активируются для каждого токена. В архитектуре указаны 28 слоёв, 64 эксперта и 8 активных экспертов, а максимальная длина контекста составляет 131K токенов. Это текстовая causal language model без мультимодальности. Доступны квантизации Q2_K, Q4_K_M, Q6_K и Q8_0; рекомендуемым вариантом названа Q4_K_M. Поддерживаются локальный запуск через llama.cpp, а также приложения LM Studio, Jan и Ollama при наличии актуальной поддержки архитектуры mellum2. К сильным сторонам относятся высокая скорость генерации, локальная работа без API и облачных сервисов, большой контекст и сравнительно небольшое число активных параметров на токен. Для Q4_K_M заявлена скорость около 440 токенов в секунду на RTX 5090, однако этот показатель зависит от оборудования и настроек. Ограничения включают необходимость свежей версии llama.cpp с поддержкой mellum2, зависимость качества от выбранной квантизации и отсутствие в карточке независимых benchmark-результатов. Модель распространяется по лицензии Apache-2.0.

Moderato-V1-Pro — открытая по весам языковая модель NitrAI Research Team для генерации текста, ориентированная прежде всего на программирование, системную инженерию и агентные сценарии. Это причинная модель со sparse Mixture-of-Experts архитектурой: шесть специализированных экспертных путей объединены с общими блоками внимания, а механизм Reflexive Role Routing, согласно карточке, может переключать экспертов по ходу генерации. В репозитории указаны 113,3 млрд параметров и 32,7 млрд активных параметров на токен. Модель предназначена для написания и исправления кода, инженерных задач, математических рассуждений, планирования и работы с инструментами. Карточка заявляет поддержку многоязычного текста и кода, а также контекст 131 072 токена с возможностью расширения до 1 000 000 токенов через YaRN. Метаданные подтверждают текстовую генерацию, чат, кодовые возможности и интерфейс вызова инструментов; доступный формат весов — safetensors. Модель распространяется по лицензии Apache-2.0. Заявления README о качестве на бенчмарках и преимуществах механизма маршрутизации являются данными разработчика и не подтверждены независимой проверкой; фактическая производительность и совместимость с инструментами могут зависеть от инфраструктуры запуска.

Muse Glimmer — модель Meta Superintelligence Lab с плотным причинным трансформером и отдельным энкодером восприятия. Это мультимодальная модель на 29,6 млрд параметров, дистиллированная из Muse Spark и опубликованная по лицензии Apache 2.0. Она предназначена для локального запуска на потребительском оборудовании и поддерживает диалог с изображениями. Модель рассчитана на многошаговые агентные сценарии: планирование, вызов инструментов, восстановление после ошибок и выполнение длительных задач. Её также можно применять для разработки кода, анализа скриншотов, диаграмм и документов, генерации синтетических данных и оценки ответов других моделей. В README заявлены результаты на бенчмарках агентного выполнения, включая SWE-Bench, DeepSearch QA и MCP-Atlas. Модель может ошибаться в рассуждениях, особенно в новых сценариях, и выдавать неточные, предвзятые или нежелательные ответы. Поддержки аудио нет; видео явно не оптимизировано и обрабатывается как отдельные кадры. Качество может снижаться для языков, на которых модель недостаточно оценивалась. Для агентных приложений разработчик рекомендует дополнительные меры защиты и проверки.

Nail-Qwen3.6-35B-A3B-MLX — вариант модели Qwen3.6-35B-A3B, опубликованный пользователем peculiar-ragdoll. Это квантованная сборка для MLX на базе Unsloth Dynamic 4-bit quant, дополненная исправленным шаблоном чата, который добавляет инструкции для кратких и прямых ответов. Модель ориентирована на локальный запуск на компьютерах Mac с Apple Silicon. Модель предназначена для рассуждений, многошаговых диалогов, агентной разработки программного обеспечения и работы в coding-агентах. Она поддерживает текстовые и, согласно метаданным pipeline, мультимодальные сценарии image-text-to-text, однако подробности о фактически поддерживаемых визуальных входах в README не приведены. Заявлены английский и китайский языки, архитектура Mixture-of-Experts и контекст до 262 144 токенов. При использовании 8-битной точности KV-кэша заявлен запуск примерно в 24 ГБ оперативной памяти; также описана работа на системах с 32 ГБ unified memory. Сильные стороны модели — высокая скорость получения ответа, эффективность по расходу токенов и пригодность для автономных задач программной инженерии и длительных многоходовых взаимодействий. Ограничение заключается в том, что модель может тратить больше токенов на внутреннее рассуждение, чем некоторые альтернативы, из-за чего быстрее заполняет контекст; для очень длинных сессий это снижает выносливость. Приведённые в README результаты основаны на авторских тестах и не заменяют независимую оценку. Модель распространяется по лицензии Apache-2.0.

NeoHorse-1-9B — текстовая причинно-следственная языковая модель TokenRhythm, дообученная на базе Qwen3.5-9B для работы с агентными системами. Модель имеет 7,2 млрд параметров, использует архитектуру Qwen3.5 и принимает только текст; визуальные веса в этом выпуске отсутствуют. Заявленная длина контекста — 262 144 токена. Модель предназначена для диалогов, следования инструкциям, вызова инструментов, программирования и рассуждений в текстовых агентных сценариях. В техническом отчёте авторы сообщают о среднем результате 69,04 по десяти тестам против 65,60 у базовой Qwen3.5-9B; это результаты авторской оценки, а не гарантия качества в конкретном применении. Доступны веса в формате safetensors и интерфейс для вызова инструментов. Лицензия — Apache-2.0.

OpenCodeReasoning-Nemotron-14B-GGUF — это набор GGUF-квантизированных версий модели OpenCodeReasoning-Nemotron-14B, разработанной NVIDIA и подготовленной квантизатором bartowski с использованием llama.cpp и imatrix. Модель предназначена для генерации текста и решения задач, связанных с программированием и рассуждениями по коду; в метаданных указаны английский язык и обучающий датасет NVIDIA OpenCodeReasoning. Модель имеет размер 14 миллиардов параметров и поставляется в форматах от BF16 до различных вариантов 8-, 6-, 5-, 4- и 3-битного квантования. Размер файлов варьируется примерно от 7,34 до 29,55 ГБ. В README не указаны точная архитектура и размер контекстного окна. Модели можно запускать через LM Studio, llama.cpp и другие совместимые проекты; для взаимодействия предусмотрен специальный chat-шаблон с ролями system, user и assistant. Сильной стороной набора является широкий выбор квантизаций, позволяющий выбирать баланс между качеством, скоростью и требованиями к памяти; варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены как рекомендуемые, а Q4_K_M описан как подходящий вариант стандартного размера. Более компактные варианты экономят память, но могут заметно уступать по качеству. Условия использования определяются лицензией Apache-2.0.

Guile/orcarouter_Qwen3.8-27B-Uncensored-GGUF — это квантованная версия модели orcarouter/Qwen3.8-27B-Uncensored, подготовленная bartowski в формате GGUF для запуска через llama.cpp. Модель содержит около 28 млрд параметров и предназначена для генерации текста, рассуждений, function calling, задач red teaming и работы с изображениями при использовании дополнительного файла mmproj. Заявлена поддержка английского и китайского языков. Модель поддерживает мультимодальный ввод текста и изображений, speculative decoding с использованием MTP и imatrix-квантизацию. Доступны варианты от BF16 размером 54,66 ГБ до более компактных конфигураций Q3–Q8; вариант Q4_K_M размером 17,77 ГБ указан как сбалансированный по качеству и требованиям к памяти. README не содержит сведений об архитектуре слоёв, размере контекстного окна, точных мультимодальных ограничениях и результатах бенчмарков, поэтому эти характеристики оценить нельзя. Для работы требуются совместимые версии llama.cpp и, при обработке изображений, файл mmproj. Преимуществами являются большой размер модели, поддержка текста и изображений, рассуждений, function calling и speculative decoding, а также широкий выбор уровней квантизации для различного объёма доступной памяти. Ограничения включают высокие требования к памяти даже у компактных вариантов, возможное снижение качества при сильной квантизации и отсутствие в README подробных данных о безопасности и фактической производительности. Указанная лицензия — Apache-2.0.

Ornith-1.0-35B-NVFP4-MTP-GGUF — квантизированная версия модели Ornith-1.0-35B от команды DeepReinforce, упакованная в единый формат GGUF для llama.cpp. Исходная модель дообучена с применением reinforcement learning поверх Qwen3.5-35B-A3B и ориентирована на агентное программирование, рассуждения и работу с инструментами. Модель генерирует блок reasoning_content перед финальным ответом и демонстрирует конкурентные результаты с Qwen3.6-35B-A3B и Gemma 4-31B на Terminal-Bench 2.1, SWE-bench Verified/Pro и Claw-eval. Архитектура — Qwen3.5 MoE с 40 слоями, 256 экспертами и hidden size 2048; всего около 35 млрд параметров, из которых активны примерно 3 млрд. В представленном файле используется NVFP4-квантизация экспертных 3D-тензоров с блоками по 16 элементов, Q8_0 для ряда линейных и чувствительных тензоров, а также MTP-голова, перенесённая из Qwen3.6-35B-A3B. Размер файла составляет 19,85 GiB (21,31 GB), средняя плотность — около 4,80 bpw. Мультимодальный словарь сохранён, но vision tower в GGUF не включена, поэтому модель предназначена для текстовой генерации. Главное преимущество варианта — поддержка draft-mtp speculative decoding, обеспечивающая заявленное ускорение декодирования примерно в два раза по сравнению с версией без MTP. NVFP4 рассчитан на NVIDIA Blackwell и использует преимущества их tensor cores; целевые платформы включают RTX PRO 6000 и DGX Spark (GB10). Ограничение — формат NVFP4 требует совместимого оборудования Blackwell и не предназначен для универсального запуска на более старых GPU. Модель распространяется по лицензии MIT.

Q36 — это разговорная мультимодальная модель oktayd на архитектуре Qwen3.6-35B-A3B с 35 млрд параметров, из которых активируется около 3 млрд. Разработчик описывает её как производную цепочку на базе Qwen3.6 с дистилляцией рассуждений, ослаблением отказов и последующей настройкой для работы с инструментами, агентами и кодом; модель также дообучена на данных Hermes Function Calling и агентских трассировках. Указаны поддержка изображений, MTP и контекст 262 144 токена; одновременная работа с Vision и MTP в одном запросе не заявлена. Модель предназначена для диалогов с изображениями, рассуждений, программирования и агентских сценариев, включая вызов функций и работу с терминалом, файлами и репозиториями. В карточке приведены сравнительные тесты, но автор подчёркивает, что это компактные прогоны, а не официальные полные результаты лидербордов. Проверка финального сервинга FreeToken ещё не завершена. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия — Apache-2.0.

Qwen2.5-Coder-14B-Instruct — инструкция-ориентированная языковая модель для программирования от команды Qwen. Это плотная причинная Transformer-модель семейства Qwen2 с 14 млрд параметров по метаданным; карточка указывает архитектурные компоненты RoPE, SwiGLU и RMSNorm, 48 слоёв и grouped-query attention. Модель дообучена на базе Qwen/Qwen2.5-Coder-14B и предназначена для генерации и анализа кода в диалоговом формате. Модель помогает создавать код, рассуждать о нём и исправлять ошибки, а также подходит для разработки кодовых агентов и сохраняет общие способности, включая математику. Карточка описывает контекст до 131 072 токенов с применением YaRN для обработки входов длиннее 32 768 токенов; метаданные указывают нативный контекст 32 768 токенов. Для загрузки рекомендуется актуальная версия Transformers, для развёртывания — vLLM. Лицензия Apache 2.0. Среди ограничений: при включении статического YaRN масштабирования в vLLM производительность на коротких текстах может снизиться. Подробные результаты оценки и требования к памяти в предоставленной карточке не приведены.

Qwen2.5-Coder-14B-Instruct-MLX-4bit — 4-битная MLX-квантизация инструкционной языковой модели Qwen2.5-Coder-14B-Instruct. Исходную модель разработала команда Qwen, квантизацию предоставил bartowski на основе инструментов mlx-examples; модель распространяется в рамках программы Community Models LM Studio. Она предназначена для генерации и анализа программного кода, диалогового взаимодействия с разработчиком и использования в code agents. Модель содержит 14B параметров, работает с текстом и ориентирована на английский язык. Заявлена поддержка длинного контекста до 128K токенов с масштабированием RoPE методом YaRN с коэффициентом 4,0. При обучении использовалось до 5,5 трлн токенов, включая исходный код, данные для сопоставления текста и кода и синтетические данные. Формат MLX рассчитан на совместимость с компьютерами Mac на Apple Silicon, а 4-битная квантизация снижает требования к памяти по сравнению с полноразмерной моделью. Сильными сторонами являются специализация на программировании, поддержка длинного контекста и применимость к агентным сценариям разработки. Ограничения включают зависимость от оборудования Apple Silicon, возможные ошибки, неточность или небезопасность генерируемого содержимого, а также отсутствие в README подробностей о фактической производительности, системных требованиях и полном наборе поддерживаемых языков. Лицензия модели — Apache 2.0.

drawais/Qwen2.5-Coder-32B-Instruct-NVFP4 — квантизированная версия Qwen2.5-Coder-32B-Instruct, разработанная на основе модели Qwen/Qwen2.5-Coder-32B-Instruct. Модель предназначена для генерации текста и задач, связанных с программированием, включая работу с кодом и использование в сценариях, поддерживаемых библиотекой Transformers и сервером инференса vLLM. Модель использует INT4-квантизацию весов в формате NVFP4 W4A4 и поддерживает нативный compressed-tensors в vLLM. Размер базовой модели составляет 32B параметров, объём артефакта на диске — примерно 20,7 ГБ; для работы требуется GPU с дополнительным запасом видеопамяти под KV-кэш. Указан английский язык, максимальная длина контекста в примере запуска через vLLM — 32 768 токенов. Ключевое преимущество модели — существенно уменьшенный объём хранения и потенциально более экономичный инференс по сравнению с полноразмерной версией благодаря 4-битной квантизации. Ограничения связаны с поддержкой только английского языка в заявленных данных, зависимостью от совместимой конфигурации vLLM и возможными потерями качества, характерными для квантизированных моделей. Артефакт является производной работой Qwen/Qwen2.5-Coder-32B-Instruct и распространяется по лицензии Apache License 2.0 с обязательной атрибуцией.

Qwen2.5-Coder-3B-Instruct-GPTQ-Int4 — инструкционная причинно-следственная языковая модель для работы с программным кодом из семейства Qwen2.5-Coder, разработанного командой Qwen. Она предназначена для генерации, анализа, рассуждений и исправления кода, а также может использоваться в чат-сценариях и как основа для code agents. Модель сохраняет общие способности Qwen2.5, включая работу с математическими и другими текстовыми задачами. В README явно указан английский язык. Модель содержит 3,09 млрд параметров, из которых 2,77 млрд не относятся к embedding-слою, и включает 36 слоёв. Архитектура построена на transformers с RoPE, SwiGLU, RMSNorm, bias в Attention QKV и связанными word embeddings; используется GQA с 16 головами для Q и 2 для KV. Контекст составляет до 32 768 токенов. Это GPTQ-квантизированная 4-битная версия instruction-tuned модели Qwen2.5-Coder-3B-Instruct, рассчитанная на более эффективное использование памяти. Сильные стороны модели — специализация на программировании, генерации и исправлении кода, поддержка длинного контекста и сниженные требования к памяти благодаря 4-битной квантизации. README не приводит конкретных результатов тестов, требований к GPU, данных о качестве на отдельных языках программирования или ограничений, связанных с квантизацией. Модель распространяется по лицензии qwen-research; точные условия следует уточнять в указанном LICENSE.

duyntnet/Qwen2.5-Coder-3B-Instruct-imatrix-GGUF — набор imatrix-квантизированных версий инструкционно дообученной языковой модели Qwen2.5-Coder-3B-Instruct, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации, анализа и исправления программного кода, а также для создания code agents и решения задач, связанных с математикой и общими текстовыми сценариями. Она работает как causal language model и поддерживает запуск через llama.cpp, KoboldCPP, Ollama, text-generation-webui, GPT4All и другие совместимые интерфейсы. Исходная модель содержит 3,09 млрд параметров, 36 слоёв и поддерживает контекст до 32 768 токенов. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV-проекциях внимания, связанные эмбеддинги слов и grouped-query attention: 16 голов для Q и 2 для KV. В карточке указана английская локализация; заявленная модальность — текст, формат репозитория — GGUF. Обучение включало предварительное и последующее дообучение на данных с исходным кодом, связями между текстом и кодом и синтетическими примерами. К сильным сторонам относятся специализация на программировании, генерации, рассуждении и исправлении кода, а также возможность локального запуска благодаря GGUF-квантизации. Ограничения включают отсутствие заявленной поддержки других модальностей и языков, кроме английского, а качество и требования к ресурсам зависят от выбранного варианта квантизации. Лицензия указана как other, без подробных условий в README.

BenevolenceMessiah/Qwen2.5-Coder-7B-3x-Instruct-TIES-v1.2 — объединённая с помощью mergekit методом TIES языковая модель на архитектуре Qwen2 для генерации текста. В качестве основы использована Qwen/Qwen2.5-Coder-7B; в объединение также вошли BenevolenceMessiah/Qwen2.5-Coder-7B-Chat-Instruct-TIES-v1.2, MadeAgents/Hammer2.0-7b и huihui-ai/Qwen2.5-Coder-7B-Instruct-abliterated. Модель содержит 7,1 млрд параметров, работает с контекстом до 32 768 токенов и доступна в формате safetensors для библиотеки Transformers. Она предназначена для диалоговой генерации текста и задач с программным кодом, включая его генерацию, анализ и исправление; метаданные также отмечают интерфейс для вызова инструментов. Информация о лицензии в предоставленных источниках отсутствует.

Qwen3.6-27B-MTPLX-Optimized-Speed-V2 — квантизированная версия модели Qwen3.6-27B, разработанная на базе Qwen/Qwen3.6-27B и адаптированная Youssofal для инференса через движок MTPLX на компьютерах Apple Silicon. Модель предназначена прежде всего для локальной генерации кода, использования инструментов и длительных агентских сессий на macOS, включая работу в OpenCode, Claude Code, Cline и других coding agents через OpenAI- и Anthropic-совместимые API. Модель использует архитектуру qwen3-next-mtp с нативной multi-token prediction глубиной до 3 токенов и гибридную квантизацию примерно до 5,8 бит на вес. Большинство весов представлены в 4-битном формате, чувствительные компоненты — в 8-битном или bf16. Размер модели составляет 19,9 ГБ. В комплект входит sidecar с весами MTP, поэтому отдельная draft-модель не требуется. Проверка проводилась на Apple M5 Max с 128 ГБ unified memory; MTPLX рекомендует модель для Mac с 32 ГБ unified memory и более. Заявлены скорость декодирования до 45,7 токена в секунду при контексте 17 тысяч токенов и пиковый speculative multiplier 2,86x, однако эти показатели зависят от оборудования и сценария. Сильные стороны модели — сниженная потеря качества квантизации относительно исходной версии, высокая эффективность speculative decoding в длинном контексте, ускоренная работа в агентских сценариях и сохранение качества обычного декодирования благодаря проверке токенов по точному соотношению вероятностей. Ограничения включают больший размер файла по сравнению с предыдущей версией, что может ухудшать скорость коротких холодных сессий и повышать требования к памяти. README не указывает максимальную длину контекста и список поддерживаемых языков. Модель и инструменты MTPLX распространяются по лицензии Apache-2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-NEO-CODER-NVFP4-1M — модель на базе Qwen3.8-27B Cold Fusion, разработанной DavidAU, с последующей квантизацией, расширением контекста и упаковкой Solstice-AI. Модель предназначена для программирования, агентной разработки ПО, отладки репозиториев, многошаговых рабочих процессов, рассуждений и диалогового использования. Также заявлена поддержка визуального понимания изображений, интерфейсов, архитектурных схем и видеокадров через дополнительный модуль mmproj-BF16.gguf. Модель поддерживает английский и китайский языки. Указан контекст до 1 048 576 токенов, полученный расширением RoPE с помощью YaRN; исходный контекст заявлен как 262 тысячи токенов. Архитектура описана как гибридная: 75% слоёв используют линейное внимание Gated Delta Recurrent Network, а 25% — глобальное Grouped-Query Attention. Формат NVFP4 обеспечивает 4-битное микромасштабирование для NVIDIA Blackwell, включая B200, GB200 и RTX 5090. Также заявлена поддержка Multi-Token Prediction для ускорения генерации. Сильными сторонами README называет производительность в задачах программной инженерии, компьютерного управления, следования сложным ограничениям и длинного контекста; приведены результаты внутренних или заявленных разработчиками сравнений, включая SWE-bench Pro 61,7% и ARC-C 735. Эти показатели следует воспринимать с учётом методики оценки и аппаратных требований. Ограничения включают зависимость от совместимого оборудования NVIDIA Blackwell и соответствующего серверного ПО, а также то, что расширенный миллионный контекст и мультимодальность могут требовать специальных компонентов. Лицензия — Apache 2.0.

Qwen3.8-27B-Uncensored-NVFP4 — квантованная и модифицированная версия модели Qwen/Qwen3.8-27B, разработанной командой Qwen компании Alibaba. Сборка johnnyeric предназначена для исследовательских задач, включая интерпретируемость, изучение механизмов отказа, red teaming, оценку устойчивости и контролируемые эксперименты. Она также поддерживает диалоговые сценарии, рассуждения, вызов инструментов и обработку изображений вместе с текстом. Модель содержит 27 млрд параметров и использует плотную гибридную архитектуру с 64 слоями: 48 слоёв Gated DeltaNet с линейным вниманием и 16 слоёв с полным вниманием. В состав входят vision-language модуль и MTP-голова для speculative decoding. Основные характеристики включают контекст до 262 тысяч токенов, поддержку английского и китайского языков, а также динамическую смешанную точность NVFP4 и FP8: большая часть feed-forward слоёв хранится в 4-битном NVFP4, а чувствительные к точности компоненты и KV-кэш — в FP8. Это позволяет снизить требования к памяти по сравнению с полноразмерной моделью при лучшем сохранении качества, чем при равномерном W4A4. Ключевое ограничение — удаление защитного направления отказа посредством abliteration: модель может выполнять вредоносные, незаконные и иные опасные запросы и практически не имеет встроенных защитных механизмов. Её не рекомендуется использовать напрямую в пользовательских или производственных системах без собственных средств модерации, безопасности и предотвращения злоупотреблений. Модель распространяется по лицензии Apache 2.0; применение также должно соответствовать законодательству и условиям лицензии базовой модели.

Qwen3.8-Flash-Next-Uncensored oQ4e-100K-MTP — нативно квантованная для oMLX версия модели orcarouter/Qwen3.8-Flash-Next-Uncensored. Сборка предназначена для запуска на компьютерах Apple Silicon с 128 ГБ памяти через oMLX и совместимый с OpenAI API сервер. Она ориентирована на coding agents, программирование и другие сценарии, поддерживающие этот API, а также сохраняет vision tower Qwen4, собственную MTP-голову контрольной точки и архитектурную настройку контекста 262 144 токена. Основной формат весов — аффинная квантализация oQ4e с размером группы 64; крупная таблица PLE использует 4-битную квантализацию с размером группы 32. Часть чувствительных компонентов оставлена в Q8 или BF16 для сохранения качества вывода и эффективности MTP. Веса занимают около 108,8 млрд байт и распределены по 22 файлам safetensors. Заявленный безопасный рабочий контекст на Mac с 128 ГБ памяти составляет 100 000 токенов, несмотря на нативную настройку 262 144 токена; для полного контекста требуется SSD-offload Qwen4 PLE. Модель поддерживает текстово-визуальный pipeline, tool calling и MTP, однако для coding agents рекомендуется отключать MTP, поскольку в тестах он снижал точность работы с инструментами. Сильными сторонами являются очень длинный проверенный контекст, поддержка изображений, OpenAI-совместимый интерфейс, prompt caching и оптимизация под Apple Silicon. Ограничения включают требования к 128 ГБ оперативной памяти, быстрому локальному SSD и oMLX, а также зависимость безопасного размера контекста от конкретной конфигурации. Модель распространяется по лицензии qwen-community-1.0; в карточке указана категория лицензии other.

Qwen3-Coder-30B-A3B-Instruct-GGUF — квантизированная версия модели Qwen3-Coder-30B-A3B-Instruct, разработанной Qwen и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста, прежде всего для задач программирования и работы с кодом, и может запускаться через GaiaNet с шаблоном запросов ChatML. Модель имеет архитектуру и параметры исходной Qwen3-Coder-30B-A3B-Instruct; в README указано обозначение 30B-A3B, однако подробности архитектуры не приведены. Поддерживается контекст размером до 256 000 токенов. Модель работает в текстовой модальности, а сведения о поддерживаемых языках в README отсутствуют. Квантизация выполнена с использованием llama.cpp b6031. Модель подходит для локального или распределённого запуска в сценариях генерации текста и помощи с программированием. Ключевое преимущество — большой контекст и формат GGUF, удобный для совместимых сред запуска. Ограничения README не описывает; также не приведены сведения о точном типе квантизации, требованиях к ресурсам, производительности и языковом покрытии. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-Coder-480B-A35B-Instruct-1M-GGUF — GGUF-версия крупной инструктивной модели для генерации кода Qwen3-Coder-480B-A35B-Instruct, разработанной командой Qwen и подготовленной Unsloth. Модель предназначена для агентного программирования, использования браузера, генерации и анализа кода, работы с большими репозиториями и интеграции с инструментами вроде Qwen Code и CLINE через специально разработанный формат вызова функций. Это каузальная языковая модель на архитектуре mixture-of-experts: 480 млрд параметров всего, из которых активируется 35 млрд; 160 экспертов, 8 активных экспертов, 62 слоя и Grouped Query Attention с 96 головами Q и 8 головами KV. Поддерживается текстовая модальность, а модель работает только в режиме без рассуждений и не генерирует блоки <think></think>. Нативная длина контекста составляет 262 144 токена, а данная версия расширяет её до 1 млн токенов с использованием YaRN, что подходит для задач на уровне репозитория. К сильным сторонам относятся высокая производительность в агентном программировании и задачах работы с браузером, а также большой контекст. Ограничения включают требовательность к вычислительным ресурсам, типичную для модели такого размера, и отсутствие режима рассуждений; конкретные требования к оборудованию и показатели производительности в README не приведены. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-Coder-Next-8bit — модель генерации текста в формате MLX, созданная сообществом mlx-community на основе Qwen/Qwen3-Coder-Next. По названию и базовой модели предназначена прежде всего для задач, связанных с программированием и генерацией технического текста, а также для использования в приложениях, поддерживающих MLX и библиотеку mlx-lm. Модель была конвертирована в формат MLX с помощью mlx-lm версии 0.30.5; идентификатор указывает на 8-bit вариант. README не содержит сведений о точной архитектуре, количестве параметров, поддерживаемых языках, модальностях и размере контекста. Для запуска требуется библиотека mlx-lm, а модель поддерживает чат-шаблон токенизатора, если он определён. Распространяется по лицензии Apache 2.0.

sergeyzh/rubert-mini-sts — компактная русскоязычная модель для семантического сравнения предложений, разработанная на основе cointegrated/rubert-tiny2. Это BERT-энкодер с 32,8 млн параметров и эмбеддингами размерности 312; в README указано, что число слоёв увеличено с 3 до 7. Модель принимает текст и выдаёт векторные представления предложений для оценки их сходства. Модель предназначена для semantic text similarity, выявления перефразировок, вывода о связи между текстами, анализа тональности и выявления токсичности. По результатам бенчмарка encodechka она уступает более крупным multilingual-e5-large и LaBSE-ru-sts по STS, но README приводит для неё более высокую скорость на CPU. Указанная длина контекста — 2048 токенов. Модель выпущена под лицензией MIT.

Viper-Coder-v1.6-r999 — языковая модель PrithivMLmods на архитектуре Qwen2, дообученная на синтетических данных для программирования, рассуждений и выполнения инструкций. Это плотная модель на 14 млрд параметров с контекстом до 32 768 токенов и форматом весов Safetensors; поддерживает чат и интерфейс вызова инструментов. Модель предназначена для генерации и анализа кода, отладки, решения алгоритмических и математических задач, подготовки технической документации и работы со структурированными данными, включая JSON, YAML и SQL. В карточке заявлена поддержка кода на нескольких языках программирования и документации на 29 языках; метаданные указывают английский язык. README также заявляет контекст до 128K токенов, но метаданные каталога подтверждают 32 768 токенов. Лицензия — Apache-2.0.

All-MiniLM-L6-v2-Embedding-GGUF — модель для создания векторных представлений текста на основе sentence-transformers/all-MiniLM-L6-v2. Исходную модель разработала команда Sentence Transformers, а преобразование в формат GGUF выполнила Second State Inc. Модель предназначена для извлечения признаков, оценки семантического сходства предложений, поиска и других задач, где требуется сравнивать текстовые эмбеддинги. Модель работает с английским языком, имеет контекст размером 384 токена и размер вектора 256. Она доступна в нескольких вариантах квантования GGUF с разрядностью от 2 до 8 бит и размером файлов примерно от 19,2 до 45,9 МБ. Вариант Q4_K_M рекомендован как сбалансированный по размеру и качеству, а Q5_K_M и Q5_K_S обеспечивают более низкие потери качества. Более агрессивное квантование уменьшает размер, но может заметно ухудшать результаты. Модель рассчитана на локальный запуск, в том числе через LlamaEdge версии 0.8.2 и выше, и подходит для компактных систем с ограниченными ресурсами. Она не предназначена для генерации текста или диалогов; README не содержит сведений о точной архитектуре, числе параметров и результатах benchmark-тестов. Распространяется по лицензии Apache-2.0.

DeepSeek-Coder-V2-Instruct-IMat-GGUF — это GGUF-квантизованная версия модели DeepSeek-Coder-V2-Instruct, подготовленная пользователем legraphista на основе исходной модели deepseek-ai. Модель предназначена для генерации текста и, судя по названию базовой модели, ориентирована прежде всего на работу с программным кодом и инструкциями, однако подробные сведения о поддерживаемых языках программирования и естественных языках в представленном README не указаны. Доступны варианты квантования от 1 до 8 бит, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, а также ряд вариантов IQ. Файлы распространяются в формате GGUF и могут использоваться с llama.cpp; крупные варианты поставляются разделёнными на несколько частей. Для вариантов Q4 и ниже применена IMatrix-квантизация с отдельным файлом imatrix.dat, а исходный тип данных базовой модели — BF16. Размеры файлов варьируются примерно от 85,95 до 250,62 ГБ, поэтому требования к оперативной или видеопамяти существенно зависят от выбранного варианта. Сильной стороной модели является широкий выбор уровней квантования, позволяющий выбирать баланс между качеством и ресурсами, а IMatrix может улучшать сохранение качества при низкой разрядности. Ограничениями являются большой объём файлов, необходимость совместимого программного обеспечения и потенциальное снижение качества по сравнению с исходной BF16-моделью, особенно у более агрессивных вариантов квантования. Модель распространяется по лицензии deepseek-license; в метаданных она указана как other, а подробные условия находятся в файле LICENSE.

DeepSeek-V4-Flash-0731 — официальный выпуск модели DeepSeek-V4-Flash от DeepSeek, заменивший предварительную версию. Это плотная языковая модель с архитектурой DeepseekV4ForCausalLM и 10,7 млрд параметров; репозиторий содержит веса Safetensors в формате FP8. Модель предназначена для генерации текста, диалогов и агентных сценариев, в том числе программирования и работы с терминалом. В README заявлено улучшение агентных возможностей и приведены результаты сравнительных тестов, однако приведённая таблица частичная. Контекст модели составляет до 1 048 576 токенов. Выпуск включает модуль спекулятивного декодирования DSpark; для общения предусмотрен специальный способ кодирования OpenAI-совместимых сообщений, но Jinja-шаблон чата не включён. README описывает уровни reasoning_effort low, high и max, а также запуск через vLLM, SGLang и локальную инфраструктуру. Лицензия — MIT. Языки, на которых модель обучена или проверена, в предоставленных данных не перечислены.

FuseO1-DeepSeekR1-Qwen2.5-Coder-32B-Preview-v0.1-GGUF — это GGUF-квантизации языковой модели FuseAI/FuseO1-DeepSeekR1-Qwen2.5-Coder-32B-Preview, подготовленные пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и, судя по названию базовой модели, ориентирована прежде всего на программирование и задачи рассуждения, однако подробные сведения о поддерживаемых языках, длине контекста и точной архитектуре в README не указаны. Доступны варианты от полного BF16 размером 65,54 ГБ до квантизаций Q3–Q8 и IQ4 с размером примерно от 17,69 до 34,82 ГБ. Для квантизации использовался imatrix, а для запуска рекомендуется LM Studio; также указана совместимость с llama.cpp. В README приведён специальный формат промпта. Более качественными и рекомендуемыми названы варианты Q5, Q6 и Q4_K_M, тогда как облегчённые варианты позволяют снизить требования к оперативной памяти ценой качества. Модель текстовая; поддержка других модальностей не заявлена. Репозиторий распространяется по лицензии Apache-2.0. Ограничения включают значительные требования к памяти для 32B-модели и возможное снижение качества у компактных квантизаций. README не содержит результатов тестирования, точных характеристик базовой архитектуры, сведений о языках и контекстном окне.

Это 4-битная смешанно-точная MLX-квантизация модели yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1, созданная сообществом mlx-community с помощью инструментария mlx-optiq. Исходная модель представляет собой дообученную для программирования версию Gemma-4-12B. Вариант предназначен для локального запуска на компьютерах Apple Silicon без PyTorch и облачных сервисов. Модель ориентирована прежде всего на генерацию и анализ кода, рассуждения, ответы на вопросы, арифметику и работу с изображениями. Она использует архитектуру encoder-free gemma4_unified с мультимодальным обработчиком; входные изображения поддерживаются, а мультимодальный embedder сохранён в формате bf16. Языковая часть содержит 328 квантизируемых слоёв: 156 чувствительных слоёв работают в 8-bit, остальные 172 — в 4-bit. Средняя эффективная точность составляет 5,216 бит на вес, размер модели на диске — около 8,4 ГБ вместо 22 ГБ для версии bf16, поэтому она рассчитана на запуск, в частности, на Mac с 16 ГБ памяти. Точный размер контекста и список поддерживаемых языков в карточке не указаны. К сильным сторонам относятся существенное снижение требований к памяти, поддержка изображений, локальная работа и сохранение более высокой точности для чувствительных слоёв. Модель способна рассуждать перед ответом, поэтому ей требуется достаточный лимит токенов. Ограничения связаны с отсутствием собственных тестов производительности для этой квантизации, переносом схемы распределения разрядности с базовой модели и неизбежной погрешностью 4-битного представления. Для загрузки необходима регистрация архитектуры через mlx-optiq. Модель распространяется по лицензии Apache-2.0 и должна использоваться на тех же условиях, что и исходная модель.