II.4Отладка, тестирование и качество ПО

FuseO1-DeepSeekR1-Qwen2.5-Coder-32B-Preview-v0.1-GGUF — это GGUF-квантизации языковой модели FuseAI/FuseO1-DeepSeekR1-Qwen2.5-Coder-32B-Preview, подготовленные пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и, судя по названию базовой модели, ориентирована прежде всего на программирование и задачи рассуждения, однако подробные сведения о поддерживаемых языках, длине контекста и точной архитектуре в README не указаны. Доступны варианты от полного BF16 размером 65,54 ГБ до квантизаций Q3–Q8 и IQ4 с размером примерно от 17,69 до 34,82 ГБ. Для квантизации использовался imatrix, а для запуска рекомендуется LM Studio; также указана совместимость с llama.cpp. В README приведён специальный формат промпта. Более качественными и рекомендуемыми названы варианты Q5, Q6 и Q4_K_M, тогда как облегчённые варианты позволяют снизить требования к оперативной памяти ценой качества. Модель текстовая; поддержка других модальностей не заявлена. Репозиторий распространяется по лицензии Apache-2.0. Ограничения включают значительные требования к памяти для 32B-модели и возможное снижение качества у компактных квантизаций. README не содержит результатов тестирования, точных характеристик базовой архитектуры, сведений о языках и контекстном окне.

Это квантованная сборка диалоговой модели GigaChat3-10B-A1.8B, опубликованная NikolayKozloff в формате GGUF для запуска через llama.cpp. В README указано, что модель получена из ai-sage/GigaChat3-10B-A1.8B-bf16; метаданные характеризуют базовую модель как MoE с 10 млрд параметров и 1,8 млрд активных параметров. Модель предназначена для генерации текста в диалоге, ответов на вопросы, а также задач по математике и программированию. Базовая модель поддерживает русский и английский языки и контекст до 256 тысяч токенов. Репозиторий указывает формат GGUF BF16, однако название модели также содержит Q6_K; сведения о точном формате файлов в карточке расходятся, поэтому конкретный уровень квантования здесь нельзя подтвердить. Лицензия — MIT.

GRM-3.2-Sky-ONYX-GGUF — это квантованная GGUF-версия модели OrionLLM/GRM-3.2-Sky, подготовленная разработчиком el4. Модель предназначена для текстовой генерации, рассуждений, программирования и агентских сценариев с использованием llama.cpp или Ollama. В README она описывается как MoE-модель примерно на 35 млрд параметров, ориентированная на запуск на потребительском GPU; размер варианта ONYX-mini составляет около 11 ГБ. Ключевая особенность ONYX — адаптивное квантование с динамическим выявлением чувствительных слоёв и использованием Router-Weighted Imatrix, учитывающего вероятности маршрутизации экспертов MoE. Подход должен помогать сохранять качество наиболее важных экспертов и слоёв при сильном уменьшении размера модели. Заявлены возможности генерации кода, многошагового рассуждения и работы с несколькими языками, включая японский, испанский и египетский арабский, однако точный набор поддерживаемых языков и размер контекста в README не указаны. В качестве сильных сторон заявляются компактность, пригодность для локального запуска и сохранение качества в задачах программирования, отладки и многоязычного переключения. При этом приведённые результаты основаны на демонстрационном стресс-тесте, поэтому они не заменяют независимое сравнение с исходной моделью. Степень потери качества из-за квантования, требования к памяти и производительность могут зависеть от конкретного варианта ONYX и оборудования. Лицензия в представленном README не указана.

KAI-7B-Instruct-v0.1 — диалоговая языковая модель Keynote Technology на 7,1 млрд параметров с архитектурой MistralForCausalLM. Это дообученная инструктивная версия семейства KAI-7B, основанного на KAI-7B и Mistral-7B; в обучении использовалась смесь наборов данных для чата и выполнения инструкций, включая PLANE-2K и RedPajama-Data-V2. Модель принимает текст и генерирует текст, поддерживает сценарии чата, следование инструкциям и работу с кодом. Заявленная длина контекста — 32 768 токенов. Модель предназначена для развёртывания в приложениях, которым нужны диалоговые ответы, выполнение текстовых инструкций и помощь с кодом. Карточка заявляет улучшенное следование инструкциям, но не приводит независимых оценок качества. Лицензия — Apache 2.0; разработчик отдельно запрещает использовать модели KAI для разжигания ненависти против людей или групп.русский язык явно не заявлен среди поддерживаемых языков.

Ling-3.0-flash-VL — мультимодальная модель компании InclusionAI, построенная на основе Ling-3.0-flash. Она принимает текст, изображения и видео и предназначена для визуальных вопросов и ответов, анализа документов и сцен, рассуждений по визуальным данным и выполнения задач через интерфейсы программ и веб-сайтов. Модель использует визуальный энкодер ViT и двухслойный MLP-проектор для объединения визуальных признаков с текстом. Гибридная разреженная MoE-архитектура содержит 124 млрд параметров, из которых активны 5,5 млрд на токен; контекстное окно — до 256 тыс. токенов. Видеопозиционное кодирование учитывает пространственное расположение и временной порядок кадров. Карточка описывает возможности диалога, анализа длинных видео и агентных сценариев. Модель рассчитана на визуальное понимание и рассуждение, но заявленные результаты бенчмарков не гарантируют качество на конкретных данных или интерфейсах. README не уточняет поддерживаемые естественные языки. Репозиторий распространяется по лицензии MIT.

Lizzy 7B — открытая по весам разговорная модель-помощник семейства Lizzy, разработанная Flower Labs. Это плотный авторегрессионный трансформер-декодер класса 7B с 6,9 млрд параметров, поддержкой контекста до 65 536 токенов, локальным и скользящим вниманием и собственными токенами для чата и управления. Модель принимает текстовые запросы и рассчитана на диалог, следование инструкциям, рассуждения, работу с кодом и вызов инструментов; её настройка уделяет особое внимание британскому английскому и знаниям о Великобритании. Модель предназначена для британских ассистентских сценариев, а также для общих задач рассуждения и помощи с кодом. В карточке приведены результаты сравнений на внутренних бенчмарках Flower Labs по британской тематике, математике и рассуждениям. Для много GPU-развёртывания через vLLM с тензорным параллелизмом может потребоваться патч, приложенный к поставке. Модель распространяется по лицензии Apache-2.0. Она может выдавать ошибочные, устаревшие или чрезмерно уверенные ответы; британская настройка может смещать тон и предположения к нормам Великобритании. Для рискованных сценариев рекомендуется проверка человеком и собственные меры модерации.

LongCat-Flash-Lite — языковая модель Meituan для генерации текста и диалогов. Она предназначена для агентных сценариев, вызова инструментов и задач программирования. Архитектура — LongcatFlashNgramForCausalLM; в README модель описана как MoE с N-граммными эмбеддингами, примерно 68,5 млрд общих параметров и около 2,9–4,5 млрд активных в зависимости от вычисления. Метаданные Hugging Face указывают 2,5 млрд параметров, поэтому оценка общего размера расходится с описанием в README. Модель поддерживает контекст до 327 680 токенов по метаданным; README указывает 256 тыс. токенов с методом YaRN. Для запуска через Transformers в README рекомендуется минимум два GPU с 80 ГБ видеопамяти каждый; также заявлена поддержка развёртывания в SGLang. В репозитории указаны веса Safetensors и лицензия MIT. Разработчик отмечает, что модель не разрабатывалась и не оценивалась для всех возможных прикладных задач.

Moondream 2 — компактная модель зрения и языка от разработчиков Moondream, предназначенная для эффективного запуска на широком спектре устройств. В репозитории размещён выпуск от 21 июня 2025 года; это предыдущее поколение после Moondream 3 Preview. Модель принимает изображение и текстовый запрос и отвечает текстом, поддерживая визуальные вопросы и ответы, описание изображений, распознавание текста и таблиц, подсчёт объектов, обнаружение объектов и элементов интерфейса, а также понимание диаграмм и документов. В выпуске заявлены пошаговое рассуждение с привязкой к пространственным позициям, улучшенное обнаружение объектов и понимание интерфейсов, а также ускоренная генерация. Поддерживаются веса SafeTensors и библиотека Transformers. Репозиторий часто обновляется, поэтому для производственного приложения README рекомендует фиксировать конкретную ревизию. Лицензия — Apache-2.0. Размер модели, длина контекста и перечень поддерживаемых языков в предоставленных данных не приведены.

cyankiwi/Ornith-1.0-9B-AWQ-FP8 — квантизированная версия модели Ornith-1.0-9B, разработанной deepreinforce-ai и опубликованной cyankiwi. Модель предназначена прежде всего для агентного программирования, генерации кода и решения задач разработки в средах с терминалом и инструментами. Это наиболее компактная модель семейства Ornith, рассчитанная на эффективный запуск на одной GPU. Базовая модель относится к текстовым генеративным моделям и работает с языками EN, ZH, HI, AR, RU, JA, KO, NL, FR и ES. Ornith-1.0 использует обучение с подкреплением для совместной оптимизации решений и scaffolding, управляющего поиском и выполнением этих решений. Среди заявленных преимуществ — результаты на бенчмарках агентного программирования Terminal-Bench 2.1, SWE-Bench, NL2Repo и OpenClaw; для версии 9B приведены показатели 43,1 и 40,6 на вариантах Terminal-Bench 2.1. Ключевое ограничение — меньший размер по сравнению с версиями 31B и MoE, поэтому модель может уступать им в сложных задачах. Размер опубликованного файла составляет 11,91 ГБ; максимальная длина контекста и точные сведения об архитектуре в карточке не указаны. Модель распространяется по лицензии MIT без региональных ограничений.

cyankiwi/Ornith-1.5-35B-A3B-AWQ-INT4 — квантованная версия модели Ornith-1.5-35B-A3B, разработанной командой Ornith AI. Это языковая модель для генерации текста, ориентированная прежде всего на программирование, агентские сценарии и работу с инструментами. Модель создана с применением цикла самоулучшения, включающего автоматическую генерацию задач, поиск эффективных стратегий и обучение с подкреплением. Модель относится к архитектуре mixture-of-experts: при общем размере 35B параметров на каждый токен активируется примерно 3B параметров. Данная версия использует квантование AWQ INT4 и занимает около 26,12 ГБ. В README заявлена поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Контекстное окно и мультимодальные возможности не указаны. Сильными сторонами заявлены результаты в задачах программирования и агентного кодинга: модель превосходит сопоставимую Qwen3.6-35B-A3B на приведённых бенчмарках и показывает преимущество над некоторыми плотными моделями близкого размера. Ограничения включают отсутствие данных о контекстном окне, качестве на широком спектре задач и характеристиках инференса; INT4-квантование также может влиять на точность по сравнению с полной версией. Модель распространяется по лицензии MIT.

OxCoder-9B-GGUF — GGUF-версия модели OxCoder-9B, разработанной OrionLLM на основе Qwen3.5-9B. Модель предназначена для агентного программирования на длительном горизонте, автоматизации работы в терминале, рассуждений и практических задач разработки программного обеспечения, включая работу со сложными многофайловыми кодовыми базами. Указан английский язык; README также содержит тег image-text-to-text и файл mmproj, однако подробности мультимодальных возможностей не описаны. Модель содержит 9 миллиардов параметров и поддерживает нативное контекстное окно 262 144 токена. Она обучалась на дистиллированных агентных траекториях, созданных с использованием Fable-5.1 и GLM-5.3 в средах Claude Code, OpenCode и Codex. Среди заявленных сильных сторон — агентное программирование в терминале, фронтенд-рассуждения, понимание UI-логики и архитектуры компонентов, а также восстановление после ошибок с чтением перед записью и минимальными изменениями на основе диагностик LSP. В README приведены высокие результаты на Terminal-Bench 2.1, SWE-bench Verified, SWE-bench Pro, GPQA Diamond и ClawEval, но методика оценки не раскрыта. Модель выпускается в нескольких вариантах квантования GGUF, включая BF16, Q3, Q4 и Q5, с размером файлов примерно от 4,26 до 17,9 ГБ; это позволяет выбирать между качеством и требованиями к памяти. Для запуска рекомендуется llama.cpp. Ограничения включают компактный размер по сравнению с более крупными моделями и отсутствие подробной информации о фактическом качестве, системных требованиях и мультимодальном режиме. Распространяется по лицензии Apache 2.0.

Phind-CodeLlama-34B-v2-Codefuse-CodeLlama-34B-dare-ties — объединённая языковая модель на архитектуре Llama, созданная с помощью LazyMergekit из Phind/Phind-CodeLlama-34B-v2 и codefuse-ai/CodeFuse-CodeLlama-34B. Модель содержит 33,5 млрд параметров, использует формат safetensors и рассчитана на контекст до 16 384 токенов. Модель предназначена для генерации кода и решения задач программирования по текстовым запросам. Она принимает текст и выдаёт текст, включая код; в каталоге для неё подтверждена задача text-generation. README описывает объединение методом dare_ties с параметрами density 0,5, весами 0,6 и 0,4 и типом bfloat16. В карточке не указаны лицензия и конкретные ограничения качества или применения, поэтому условия лицензирования и специальные ограничения по этим источникам определить нельзя.

BenevolenceMessiah/Qwen2.5-Coder-32B-Instruct-abliterated-Rombo-TIES-v1.0 — объединённая языковая модель на архитектуре Qwen2, созданная mergekit методом TIES. В качестве основы использована huihui-ai/Qwen2.5-Coder-32B-Instruct-abliterated, а в объединение включена rombodawg/Rombos-Coder-V2.5-Qwen-32b. Модель имеет 32 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для генерации текста в диалоговом формате и задач, связанных с программированием. Она принимает текст и выдаёт текст; заявленная длина контекста составляет 32 768 токенов. Карточка не приводит отдельных результатов оценки качества или перечня поддерживаемых естественных языков. Модель создана сообществом BenevolenceMessiah и объединяет две модели, ориентированные на код. Лицензия в предоставленных данных не указана, поэтому условия использования следует проверить на странице репозитория Hugging Face.

Qwen3.5-9B-Claude-Deckard-Agent-Coder-Heretic-qx86-hi-mlx — языковая модель, опубликованная nightmedia. Это merge-модель на базе семейства Qwen3.5-9B, созданная методом NuSLERP с использованием компонентов Qwen3.5-9B-Agent от armand0e и Qwopus3.5-9B-Coder от Jackrong, а также нескольких промежуточных моделей nightmedia и DavidAU. В описании также указана интеграция с MLX и квантизация qx86-hi. Модель предназначена для программирования, агентских сценариев, рассуждений, генерации и продолжения текстов, включая художественную прозу, ролевые диалоги и различные жанры письма. Поддерживаются английский и китайский языки. Заявленный размер — 9 млрд параметров; точная длина контекста и полный перечень поддерживаемых модальностей не указаны. В шаблоне чата предусмотрено переключение режимов рассуждения с помощью тегов <|think_on|> и <|think_off|>, а также управление сохранением рассуждений через <|think_remember|> и <|think_forget|>. Для варианта qx86-hi приведены perplexity 4,155, пиковое потребление памяти около 15,47 ГБ и скорость около 672 токенов в секунду; эти показатели зависят от оборудования и реализации. К сильным сторонам относятся сочетание агентских и кодовых навыков, поддержка глубокого рассуждения и творческой генерации, а также относительно умеренные требования к памяти благодаря квантизации. Ограничения включают отсутствие подробных независимых оценок качества, неизвестную длину контекста и потенциально менее предсказуемое поведение merge- и uncensored-модели. Лицензия указана как Apache-2.0.

Qwen3.5-9B-sdpo-react-mathcodesearch-grpo-arm-e-step29 — это дообученная модель ipfipfipf на базе Qwen/Qwen3.5-9B. Она предназначена для диалоговой работы с математическими и программными задачами, а также для многошаговых сценариев поиска с вызовом инструментов в стиле ReAct. Модель обучалась методом GRPO с SDPO; опубликован шаг 29, выбранный авторами как лучший по их кривой обучения. Это текстовая языковая модель на 9 млрд параметров с архитектурой семейства Qwen3.5; репозиторий содержит веса Safetensors и рассчитан на Transformers. Хотя конфигурация сохраняет класс Qwen3_5ForConditionalGeneration, при экспорте удалена башня зрения базовой модели, поэтому изображения модель не принимает. README приводит результаты на математических и кодовых тестах, однако ограничивает их сравнительную интерпретацию: для AMO-Bench часть ответов обрезалась из-за лимита генерации в 16 384 токена, а качество может снижаться при продолжении обучения после шага 29. Лицензия — Apache-2.0.

unsloth/Qwen3.6-27B-UD-MLX-NVFP4 — это MLX-версия открытой модели Qwen3.6-27B, подготовленная Unsloth на базе Qwen/Qwen3.6-27B. Модель ориентирована прежде всего на агентное программирование, работу с frontend-задачами, рассуждение на уровне репозитория и итеративную разработку с сохранением контекста рассуждений. Она поддерживает текстовые и визуальные входы благодаря архитектуре с vision encoder. Модель содержит около 27 млрд параметров и построена как causal language model с гибридной архитектурой Gated DeltaNet и Gated Attention: 64 слоя, скрытое измерение 5120 и многошаговое обучение MTP. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Данный репозиторий представляет квантованный вариант Unsloth в формате MLX с обозначением NVFP4; README не указывает поддерживаемые языки и точные требования к оборудованию. Сильными сторонами являются специализация на coding-agent сценариях, обработка изображений и очень длинный контекст. К ограничениям относятся зависимость от MLX-совместимого программного окружения и возможные компромиссы квантования по сравнению с полной точностью; конкретные потери качества для этой версии в README не приведены. Модель распространяется по лицензии Apache-2.0.

oktayd разработал Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT — дообученную мультимодальную модель семейства Qwen3.5 MoE для диалога, анализа изображений, программирования и рассуждений. Архитектура Qwen3_5MoeForConditionalGeneration содержит около 35 млрд параметров, из которых примерно 3 млрд активны на токен; при генерации выбираются 8 из 256 экспертов. Модель принимает текст и изображения и предназначена для запуска через Transformers. Её можно использовать для вопросов по изображениям, объяснения научных и рабочих тем, написания и отладки кода, мозгового штурма и диалоговых сценариев. В README описан прямой, деловой и юмористический стиль общения, а также обучение на материалах по знаниям, программированию, инструментам, бизнесу и визуальным задачам. Вызов инструментов зависит от приложения, которое предоставляет и исполняет инструменты; форматирование вызовов не гарантировано. Автор сообщает о проверках текста и простых изображений, но не приводит результатов бенчмарков. Модель может ошибаться, повторяться и допускать ошибки в схемах; MTP и полноценные агентские сценарии отдельно не подтверждены. Веса BF16 занимают около 70 ГБ без учёта дополнительной памяти для выполнения. Включено обучение на взрослые темы, поэтому модель рассчитана на аудиторию 18+. Лицензия — Apache-2.0.

Qwen3.6-KAT-BigBang-SLERP — текстовая MoE-модель, созданная слиянием SLERP двух дообученных моделей на базе Qwen3.6-35B-A3B: KAT-Coder-V2.5-Dev от Kwaipilot и BigBang-v1 от endless-frontier. Репозиторий предоставляет веса в формате GGUF; в README описана версия APEX Mini размером около 13,5 ГБ. Архитектура исходной модели включает 35 млрд параметров, из которых активируется около 3 млрд, 40 слоёв гибридного внимания и контекст до 262 тысяч токенов. Модель предназначена для генерации текста, агентного программирования, вызова инструментов и задач рассуждения. Слияние сочетает кодовые и агентные возможности KAT-Coder с уклоном BigBang в рассуждения; карточка приводит результаты тестирования одной квантованной версии в ограниченной по памяти конфигурации, но подчёркивает, что слияние систематически не оценивалось. Модель принимает и выдаёт текст; визуальная башня и голова MTP в результат не включены. Лицензия — Apache-2.0. Среди ограничений указаны возможные галлюцинации, нестабильное долгосрочное планирование и чувствительность к формату запроса; квантование с потерями может снижать точность. Для запуска GGUF README рекомендует llama.cpp b10516 или новее с поддержкой указанной архитектуры.

Blackfrost-AI/Qwen3.8-27B-ABLITERATED-NVFP4 — исследовательский производный чекпойнт, разработанный Blackfrost на базе официальной Qwen/Qwen3.8-27B. Это не дообученная модель, а модифицированная на уровне весов версия с уменьшенной поверхностью отказов, предназначенная для исследований, red teaming, анализа безопасности, программирования, рассуждений, работы с инструментами и мультимодальными сценариями. Модель имеет плотную гибридную архитектуру Qwen3.8-27B с Gated DeltaNet и полным attention, содержит 27 млрд параметров и использует квантование NVIDIA ModelOpt W4A4 NVFP4, ориентированное на GPU NVIDIA Blackwell. Она принимает текст, изображения и видео, генерирует текст и поддерживает контекст до 262 144 токенов; практический размер контекста зависит от доступной памяти и уровня параллелизма. Для запуска рекомендуется SGLang или другой совместимый движок, а валидированным оборудованием указан NVIDIA B200. К сильным сторонам относятся сохранение возможностей зрения, рассуждений, инструментального использования и длинного контекста при компактном квантованном формате, а также deployment-ориентированная конструкция. Ограничения включают исследовательский статус, отсутствие гарантий сохранения всех характеристик исходной модели после модификации и квантования, а также намеренно сниженную склонность к отказам: результаты безопасности, программирования, мультимодальности и работы с инструментами требуют осторожной интерпретации. В репозитории указана лицензия Apache-2.0; модель опубликована как общедоступный, не требующий допуска research preview и не предназначена для продажи.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-YMQ-GGUF — это GGUF-квантизированная версия модели Qwen3.8-27B Cold-Fusion GAIN V1.1, исходно разработанной DavidAU. Квантизация выполнена проектом ZeroDigest с использованием собственного YMQ-Compiler v2.0 и архитектурно-ориентированного подхода к смешанной точности на основе исходных файлов BF16. Модель предназначена прежде всего для генерации текста и задач программирования, включая работу с API и агентскими инструментами вроде RooCode и Aider. В репозитории заявлена поддержка параллельного multi-token prediction (MTP) для спекулятивной генерации, а также оптимизация для сценариев с большим контекстом. Архитектура описана тегами как включающая Mamba/SSM и multi-token prediction; размер исходной модели — 27B параметров. Языки и точный размер контекстного окна в README не указаны. Доступно несколько пресетов смешанной точности размером примерно от 9,1 до 14,5 ГБ, рассчитанных на видеокарты с 12, 16 и 24 ГБ VRAM. Варианты различаются балансом качества, объёма памяти и запаса под контекст; среди рекомендуемых указаны M-TI и S-Pro для 16 ГБ VRAM, а M и L-TI — для 24 ГБ. Заявленные преимущества включают сохранение логики при квантизации и пригодность для длительных агентских циклов, однако приведённые оценки качества ограничены отдельными тестами perplexity и не заменяют независимой проверки в прикладных задачах. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-YMQ-MTP-GGUF-12GB — квантизированная GGUF-версия модели Qwen3.8-27B-Uncensored, подготовленная 0xSojalSec на основе модели JonathanColetti/Qwen3.8-27B-Uncensored. Модель предназначена для локальной генерации текста, диалогов и прежде всего для задач программирования, включая работу с API и агентские сценарии в инструментах вроде RooCode и Aider. Модель имеет 27 миллиардов параметров и использует архитектурно-ориентированную смешанную квантизацию, созданную с применением YMQ-Compiler v2.0 и подходов, вдохновлённых AutoRound. Сборки поддерживают параллельное multi-token prediction (MTP) для speculative decoding. В README заявлена оптимизация под большой контекст, однако точный размер контекстного окна, список языков и мультимодальные возможности не указаны. Версия с ориентиром на 12 ГБ предназначена для запуска на видеокартах с ограниченным объёмом памяти; конкретные характеристики зависят от выбранного пресета. Сильными сторонами заявлены сохранение логической устойчивости и качества форматирования при работе с кодом и длинными многошаговыми агентскими сценариями, а также возможность запуска 27B-модели в компактном объёме памяти. Ограничения связаны с потерями качества из-за квантизации: README предупреждает о структурном шуме, возможной амнезии контекста и циклах форматирования у наиболее компактных вариантов. Распространение указано по лицензии Apache-2.0.

AnonimousA/Qwen3.8-Flash-Next-REAP-256-duo-GGUF — общественная производная модели Qwen3.8-Flash-Next, неофициально созданная сообществом и не связанная с Alibaba/Qwen. Это GGUF-квантизированная модель с pruning-экспертов REAP: число экспертов в каждом слое сокращено с 512 до 256, при этом сохранённые веса скопированы без деквантизации и повторного квантования. Базовый формат — Unsloth UD-Q3_K_XL, общий размер составляет около 57,69 GiB в двух файлах вместо 83,8 GiB у исходной версии. Модель предназначена прежде всего для генерации кода и агентского взаимодействия, включая оркестрацию инструментов и tool calling. Она использует архитектуру qwen4exp с гибридом Gated DeltaNet, Qwen Sparse Attention и блоком n-gram embedding. Активируются 10 экспертов и один общий эксперт; число активных параметров не изменено. Веса vision-компонентов сохранены, но файл mmproj распространяется отдельно. Калибровка pruning выполнена на корпусах кода и агентской оркестрации. Главное преимущество — уменьшенный размер, благодаря которому модель может размещаться преимущественно в VRAM: на RTX 5090 объёмом 32 GB заявлены 68,4 токена/с при декодировании и 934 токена/с при prefill с частичным размещением MoE на CPU. При полном выполнении на CPU прирост декодирования практически отсутствует, зато prefill был примерно в 1,58 раза быстрее исходной модели. К ограничениям относятся возможное снижение качества из-за глубокого pruning, более низкий заявленный результат HumanEval по сравнению с последующей версией REAP-320 и необходимость использовать llama.cpp mainline с поддержкой архитектуры, добавленной 27 августа 2026 года. Лицензия указана как qwen-community-1.0; ссылка ведёт на лицензию исходной модели Qwen3.8-Flash-Next. Перед использованием следует учитывать, что это community derivative, а не официальный релиз Qwen.

Qwen3-Coder-30B-A3B-Instruct-GGUF — это набор квантизированных версий языковой модели Qwen3-Coder-30B-A3B-Instruct, разработанной командой Qwen и подготовленной в формате GGUF пользователем или организацией Dhptl с использованием quant-kit. Модель предназначена для текстовой генерации и диалогового взаимодействия, включая локальное использование через llama.cpp, Ollama, LM Studio, Open WebUI и Jan. Основной профиль модели — задачи программирования и работы с текстом, однако конкретные результаты исходной модели следует уточнять в её оригинальной карточке. Модель имеет архитектуру Qwen3 MoE и обозначение 30B-A3B, что указывает на общий размер около 30 миллиардов параметров и примерно 3 миллиарда активных параметров на токен. Доступны варианты квантизации Q2_K, Q3_K, Q4_K, Q5_K, Q6_K и Q8_0 размером примерно от 10,49 до 30,25 ГБ. Рекомендуемым вариантом назван Q4_K_M как компромисс между размером и качеством; более высокие варианты требуют больше оперативной памяти, но ближе к качеству исходной модели. В README указан английский язык, поддержка других языков не описана. К сильным сторонам относятся возможность локального запуска, широкий выбор уровней квантизации и снижение требований к памяти по сравнению с полноточной версией. Ограничения связаны с потерей качества при сильной компрессии, особенно в вариантах Q2 и Q3, а также с отсутствием в README фактических результатов бенчмарков, сведений о размере контекста и подробного описания мультимодальности. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-42B-A3B-Instruct-TOTAL-RECALL-MASTER-CODER-M-1million-ctx — дообученная модель DavidAU для программирования, основанная на Qwen/Qwen3-Coder-30B-A3B-Instruct. Это причинная языковая MoE-модель семейства Qwen3: в README указаны 42 млрд параметров, 67 слоёв и 807 тензоров; метаданные каталога указывают 3,2 млрд параметров. По описанию исходной архитектуры используются 128 экспертов, из которых активируются 8. Репозиторий содержит веса safetensors для непосредственного запуска или конвертации в другие форматы. Модель предназначена для генерации и редактирования кода на основных и многих менее распространённых языках программирования, а также для диалоговых и агентных сценариев с вызовом инструментов. Разработчик добавил Brainstorm 20X для улучшения общих ответов и рассуждений. Модель работает в обычном режиме без включённого по умолчанию блока «мышления»; README описывает необязательный системный промпт для его активации. Заявлена поддержка контекста до 1 048 576 токенов через настройки YaRN/RoPE. Карточка указывает английский, французский, китайский и немецкий языки. Данных о независимых проверках качества длинного контекста или сравнительных оценках этой версии нет. Лицензия — Apache-2.0.

gdubicki/Qwen3-Coder-Next-NVFP4-GB10 — публичное зеркало модели saricles/Qwen3-Coder-Next-NVFP4-GB10 с побайтно идентичными весами. В основе лежит Qwen3-Coder-Next, разработанная Alibaba и командой Qwen; NVFP4-квантизацию выполнил saricles с использованием LLM Compressor и калибровки на части набора ultrachat_200k. Модель предназначена прежде всего для генерации кода и развёртывания через Transformers или vLLM, в частности на системах DGX Spark с GPU GB10. Модель использует гибридную архитектуру qwen3_next: 48 слоёв, включая 36 слоёв с линейным вниманием DeltaNet и 12 слоёв с полным вниманием, а также latent MoE с 512 экспертами, из которых для каждого токена активны 10 экспертов и один общий. Всего модель содержит 79,7 млрд параметров, при этом около 3 млрд активны на токен. Квантизация NVFP4 уменьшает размер на диске до 45,9 ГБ; отдельные компоненты сохранены в BF16, а KV-кэш для слоёв полного внимания поддерживает FP8. Максимальная длина контекста составляет 262 144 токена, заявлен язык English. Сильными сторонами являются большой контекст, низкое число активных параметров на токен, сниженные требования к памяти и отсутствие KV-кэша у слоёв DeltaNet. На DGX Spark заявлены скорость около 61 токена в секунду для одного запроса и до примерно пяти одновременных сессий при максимальном контексте. Ограничения включают зависимость от совместимого NVFP4/Marlin-стека и специализированного оборудования; приведённые показатели относятся к конфигурации DGX Spark с vLLM и не гарантируют аналогичную производительность в других средах. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Replete-Coder-Llama3-8B-GGUF — это квантизированная версия модели Replete-Coder-Llama3-8B, разработанной Replete-AI и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель основана на архитектуре Llama 3 с 8 млрд параметров и предназначена для генерации текста и работы с программным кодом. Модель ориентирована на задачи программирования, генерации и дополнения кода, обработки инструкций, функционального вызова, математических рассуждений и общего диалогового применения. Обучение проводилось на наборах данных с примерами кода, инструкций, диалогов, математических задач и данных по поиску уязвимостей. В README указан шаблон запросов с секциями System, Instruction и Response. Поддерживается только текстовый ввод и вывод; сведения о языках, максимальной длине контекста и точных результатах тестов не приведены. Доступно несколько уровней квантизации GGUF: от Q5 до Q8, с размером файлов примерно от 5,73 до 9,52 ГБ. В README варианты Q5_K_M, Q6_K и Q6_K_L отмечены как рекомендуемые благодаря сочетанию качества и размера, а Q8 ориентированы на максимально высокое качество. Квантизация снижает требования к памяти, но может незначительно влиять на точность по сравнению с исходной моделью; числовые результаты бенчмарков отсутствуют. Использование регулируется лицензией Llama 3 от Meta, обозначенной как license_name: llama-3.

Карточка модели roskosmos19/Whale-4B-Thinking на Hugging Face совпадает с карточкой roskosmos19/Orca-4B-Thinking, поэтому описание составлено по ней. Orca-4B-Thinking — языковая модель для диалогов и задач, требующих многошаговых рассуждений. Согласно README, модель разработана на основе Qwen3-4B и дообучена в стиле DeepSeek-R1 на наборах OpenThoughts-114k и Mixture-of-Thoughts; метаданные связывают её с Qwen/Qwen3.5-4B. Карточка описывает причинную плотную архитектуру Qwen3, а метаданные указывают 3,7 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации развёрнутых рассуждений и ответов в математике, программировании, естественных науках и головоломках, а также для следования инструкциям и работы с инструментами. README сообщает о режиме Thinking и приводит оценочные результаты бенчмарков, поэтому заявленные улучшения производительности не следует считать независимой проверкой. Поддерживаются английский, немецкий, испанский, французский и китайский языки по тегам метаданных. Лицензия — Apache-2.0.

AutoCoder — языковая модель для генерации кода, построенная на архитектуре Llama и содержащая 33,1 млрд параметров. По README, её разработчики заявляют результат 90,9% на базовом наборе HumanEval против 90,2% у GPT-4 Turbo (апрель 2024 года). Карточка также описывает возможность по запросу устанавливать необходимые пакеты и запускать сгенерированный код с повторными попытками до обнаружения ошибок. Модель предназначена для генерации кода и диалогового взаимодействия. Она принимает текст и выдаёт текст; заявленная базовая модель — deepseeker-coder. Контекст составляет 16 384 токена, файлы весов опубликованы в формате Safetensors. Лицензия — Apache-2.0. README не раскрывает подробности проверки результата HumanEval и реализации запуска кода.

petedavis/bmk-models — квантизированная версия KAT-Coder-V2.5-Dev, подготовленная для bare-metal движка инференса bmk. Модель основана на MoE-архитектуре Qwen3.5: около 34,7 млрд параметров всего и примерно 3 млрд активных; в ней 40 слоёв, 256 маршрутизируемых экспертов с выбором top-8 и один общий эксперт. Используется гибридное внимание GDN/SSM, заявленный контекст — 262 144 токена. Веса представлены в формате GGUF с асимметричной квантизацией: экспертные gate/up слои — IQ2_XXS, down слои — Q2_K, а внимание, общий эксперт, эмбеддинги и выходная голова — Q8_0. Квантизация откалибрована importance matrix. Модель рассчитана на генерацию кода и агентные сценарии программирования; потоковая загрузка экспертов предназначена для запуска на видеокартах с 8, 12 или 16 ГБ VRAM. Лицензия — Apache-2.0.

CodeLlama-13B-Instruct-GGUF — квантизированная GGUF-версия CodeLlama 13B Instruct, разработанная Meta и подготовленная для квантизации компанией Second State Inc. Модель основана на codellama/CodeLlama-13b-Instruct-hf и предназначена для генерации кода по инструкциям. Модель ориентирована на решение задач программирования: написание кода с учётом заданных ограничений, подготовку решений, соответствующих примерам тестов, и работу через текстовый интерфейс генерации. Указан контекст размером 5120 токенов. Это текстовая модель для работы с кодом; сведения о поддерживаемых естественных языках и мультимодальности в README отсутствуют. Модель доступна в нескольких вариантах GGUF с квантизацией от Q2_K до Q8_0 и размером файлов примерно от 5,43 до 13,8 ГБ. Варианты с более высокой точностью обычно обеспечивают меньшее снижение качества, но требуют больше дискового пространства и ресурсов; для большинства сценариев в README рекомендуются Q4_K_M, Q5_K_M и Q5_K_S. Ограничения включают возможную потерю качества при низкобитной квантизации, а также отсутствие в README данных о производительности, аппаратных требованиях и качестве на конкретных языках программирования. Лицензия указана как Llama 2.