II.4Отладка, тестирование и качество ПО

Карточка модели zigwangles/Huihui-Qwen3-Coder-30B-A3B-Instruct-abliterated на Hugging Face совпадает с карточкой huihui-ai/Huihui-Qwen3-Coder-30B-A3B-Instruct-abliterated, поэтому описание составлено по ней. Huihui-Qwen3-Coder-30B-A3B-Instruct-abliterated — версия Qwen3-Coder-30B-A3B-Instruct, созданная huihui-ai методом abliteration для снижения числа отказов модели. Это инструктивная языковая модель с архитектурой Qwen3 MoE; в метаданных указано 2,4 млрд параметров и контекст до 262 144 токенов. Модель рассчитана на генерацию текста в диалоговом формате, в том числе для задач программирования и агентных сценариев, характерных для базовой модели. Модель принимает текст и выдаёт текст. В карточке указан английский язык; более подробные языковые характеристики не заявлены. README описывает abliteration как грубую реализацию для проверки концепции и предупреждает о существенно ослабленной фильтрации безопасности, из-за которой возможны чувствительные, спорные или неподходящие ответы. Репозиторий распространяется по лицензии Apache-2.0.

Laguna-XS-2.1-bf16 — версия текстовой модели Poolside Laguna-XS-2.1, подготовленная mlx-community для запуска в формате MLX с точностью bfloat16. Это причинная MoE-модель с 2,6 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия; базовая модель ориентирована на агентное программирование, работу в терминале и длительные задачи с кодом. Заявленная длина контекста — 262 144 токена. Репозиторий рассчитан на запуск на компьютерах Apple через mlx-vlm или oMLX с принудительным режимом VLM. mlx-lm пока не поддерживает архитектуру Laguna. В README приведены замеры производительности на MacBook Pro M5 Max с 128 ГБ памяти, однако они не характеризуют скорость на другом оборудовании. Лицензия — OpenMDW 1.1.

Ling-Coder-lite-base — базовая языковая модель для программирования, разработанная InclusionAI и опубликованная с открытым кодом. Это разреженная MoE-модель семейства Bailing с причинно-языковой архитектурой; в карточке Hugging Face указано 1,5 млрд параметров, тогда как README приводит 16,8 млрд общих и 2,75 млрд активируемых параметров. Метаданные указывают контекст 4096 токенов, а README — 16K токенов. Модель предназначена для генерации кода и ответов на вопросы по программированию. Разработчики сообщают о высоких результатах на 12 бенчмарках кодирования и конкурентных задержке и пропускной способности относительно сопоставимых по размеру моделей; подробности оценки приведены в техническом отчёте Ling-Coder-TR. В тегах карточки отмечены английский и китайский языки, а также данные Ling-Coder-SyntheticQA. Модель доступна под лицензией MIT. Она является базовой, а не чат-версией: качество диалогового следования инструкциям и результаты на конкретных задачах могут отличаться от Ling-Coder-lite. Расхождения в заявленном количестве параметров и длине контекста между README и метаданными следует учитывать при выборе конфигурации и развёртывании.

Orion-zhen разработал чат-модель Orion-zhen/Llama3-70B-Orion-Chinese на основе failspy/Llama-3-70B-Instruct-abliterated-v3, дообучив её методом DPO. Это плотная авторегрессионная модель семейства Llama 3 с 69,5 млрд параметров, контекстом 8192 токена и поддержкой диалога; карточка демонстрирует ответы на китайском языке с более оживлённой подачей и частым использованием эмодзи. Модель предназначена для диалога на китайском, рассуждений, ответов на вопросы и генерации кода. В README приведены примеры решения математических и логических задач, бытовых вопросов, анализа эмоций и написания кода. Метаданные также связывают обучение с наборами предпочтений для китайского и английского диалога, математики, физического рассуждения, кода и других ответов. Файлы опубликованы в формате Safetensors. Лицензия — Llama 3; применимость и условия использования следует сверять с её условиями. Примеры README показывают возможные ошибки в рассуждениях и небезопасные советы, поэтому ответы требуют проверки; инструкция по расширению контекста до 32k в карточке не подтверждена как штатная длина контекста модели.

WaveCut/Nanbeige4.2-3B-heretic-GGUF — набор GGUF-квантизаций модели WaveCut/Nanbeige4.2-3B-heretic, разработанный WaveCut. Модель предназначена для генерации текста, включая агентные и программные сценарии; в качестве примера использования приведено написание надёжного retry-хелпера на Python. Доступны варианты Q4_K_M, Q5_K_M, Q6_K и Q8_0, рассчитанные на разный баланс компактности, скорости и качества. Q4_K_M рекомендован как компактный вариант, Q5_K_M — как сбалансированный, Q6_K — как высококачественная K-квантизация, а Q8_0 — как почти без потерь. Nanbeige 4.2 использует циклический Transformer: 22 физических слоя выполняются дважды. Квантизации K-типа откалиброваны с помощью importance matrix на детерминированно перемешанном корпусе данных для агентных и программных задач. В README не указаны поддерживаемые языки и максимальная длина контекста. Для запуска требуется llama.cpp с поддержкой Nanbeige, проверенной на указанной ветке и ревизии либо более новой сборке с эквивалентной поддержкой. Основные преимущества модели — несколько вариантов квантизации, возможность выбрать компромисс между размером, скоростью и качеством, а также оптимизация калибровки под агентные и coding-сценарии. Ограничения включают зависимость от совместимой реализации llama.cpp и потенциальные потери качества, характерные для квантизованных вариантов; точные размеры файлов и результаты производительности в README не приведены. Модель распространяется по лицензии Apache-2.0.

Kukedlc разработал экспериментальную языковую модель NeuralExperiment-7b-MagicCoder-v7.5 на архитектуре Mistral с 7,1 млрд параметров. Это дообученная версия Kukedlc/NeuralExperiment-7b-dare-ties: автор обучал модель, начиная с последнего слоя, на данных по математике, программированию и логическим задачам. В метаданных указан контекст до 32 768 токенов. Модель предназначена для генерации текста, в частности для ответов на математические задачи, решения логических головоломок и генерации или понимания кода. Автор сообщает о предварительных обнадёживающих результатах на математических задачах с неочевидными условиями, но отмечает, что оценка влияния обучения ещё продолжается. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

Nxcode-CQ-7B-orpo-IMat-GGUF — это набор квантизованных GGUF-вариантов модели NTQAI/Nxcode-CQ-7B-orpo, подготовленный legraphista с использованием llama.cpp версии b3067. Модель предназначена для генерации текста и, судя по тегу code и названию исходной модели, ориентирована прежде всего на задачи, связанные с программным кодом. README не содержит точных сведений о поддерживаемых языках, контекстном окне и перечне специализированных сценариев. Исходная модель имеет размер 7B параметров и исходный формат BF16. Доступны варианты от BF16 и F16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K, IQ4 и IQ3; размеры файлов составляют примерно от 3,05 до 14,50 ГБ. Для ряда низкобитных вариантов применена IMatrix-квантизация с использованием указанного калибровочного набора, что позволяет выбирать между качеством и требованиями к памяти. Файлы представлены в формате GGUF и предназначены для запуска в совместимой инфраструктуре, включая llama.cpp. Главные преимущества — широкий выбор уровней квантизации, возможность локального запуска и снижение требований к памяти по сравнению с полноразмерными вариантами. Ограничения связаны с тем, что квантизация может влиять на качество генерации, а README не приводит результатов оценки, сведений о мультимодальности или точных характеристик архитектуры. Для модели указана лицензия tongyi-qianwen-research; в качестве ссылки на условия лицензии приведён документ CodeQwen1.5-7B.

OpenThinker3-7B-F32-GGUF — текстовая модель рассуждений на 7 млрд параметров, опубликованная prithivMLmods в формате GGUF. Это вариант OpenThinker3-7B, дообученной на наборе OpenThoughts3-1.2M методом SFT; каталог указывает семейство архитектуры Qwen2. Модель предназначена для генерации ответов и диалогового использования, в частности для математических, программных и научных задач. Файлы доступны в точностях F32, F16 и BF16; README рекомендует запускать их через llama.cpp или совместимые движки. Карточка заявляет улучшение относительно предыдущих версий OpenThinker и высокие результаты среди моделей рассуждений класса 7B, однако независимые условия и метрики сравнения не приведены. Модель принимает текст и генерирует текст, поддерживаемый язык по карточке — английский. Лицензия — Apache-2.0.

Ornith-1.0-9B-GGUF — GGUF-квантизированная версия Ornith-1.0-9B, разработанная Unsloth на базе модели deepreinforce-ai/Ornith-1.0-9B. Это компактная открытая модель для агентного программирования, ориентированная на эффективное развёртывание на одной GPU и решение задач, связанных с разработкой и изменением кода. Модель относится к семейству Ornith-1.0, в котором применяется обучение с подкреплением для совместной оптимизации решений и scaffolding, управляющего поиском решения. Для версии 9B заявлены результаты 43,1 на Terminal-Bench 2.1 (Terminus-2), 40,6 на Terminal-Bench 2.1 (Claude Code) и 69,4% на SWE-bench Verified. README не содержит точных сведений о размере контекста, языках программирования, поддерживаемых модальностях или конкретной архитектуре; из тегов следует принадлежность к семейству Qwen 3.5 MoE, но это не позволяет достоверно описать архитектуру данной версии. К сильным сторонам относятся специализация на агентном кодинге, компактный размер и возможность локального запуска с использованием GGUF. Ограничения связаны с отсутствием в представленных данных подробностей о квантизации, требованиях к памяти, контекстном окне и языковом покрытии, поэтому практические характеристики следует уточнять отдельно. Модель распространяется по лицензии MIT.

AnkitAI/Parable-Qwen3-4B-Claude-Fable-5-GGUF — компактная локальная языковая модель для генерации текста, программирования и агентских сценариев. Она дообучена на базе Qwen/Qwen3-4B автором Ankit Aglawe с использованием QLoRA и данных о реальных многошаговых сессиях Claude Fable 5, а также транскриптов gpt5.5-terminal. Модель распространяется в формате GGUF и предназначена для запуска через llama.cpp, Ollama и LM Studio. Модель имеет около 4 млрд параметров и ориентирована на планирование, выбор инструментов, терминальные рабочие процессы и решение задач программирования. Рекомендуемая квантизация Q4_K_M занимает около 2,5 ГБ, доступны также варианты Q5_K_M, Q6_K, Q8_0 и F16. По приведённым оценкам, версия v3.1 сопоставима или превосходит базовую Qwen3-4B на тестах HumanEval, MBPP и их расширенных вариантах, а также чаще выдаёт содержательные ответы без чрезмерного скрытого рассуждения. Сильные стороны модели — небольшой размер, возможность офлайн-запуска, выраженная специализация на агентском поведении и структурированных задачах разработки. Ограничения включают меньшую точность в некоторых сценариях вызова функций по сравнению с базовой Qwen3-4B и отсутствие в README сведений о поддерживаемых языках, размере контекста и мультимодальности; заявлена только текстовая генерация. Базовая модель распространяется по лицензии Apache-2.0, однако при использовании производной модели необходимо учитывать условия лицензий обучающих наборов: AGPL-3.0 для Fable-5-traces и MIT для gpt5.5-terminal, а также возможные ограничения поставщиков исходных трасс.

Phi-3-mini-128k-instruct-4bit — 4-битная версия модели Phi-3-mini-128k-instruct, разработанной Microsoft и преобразованной сообществом mlx-community в формат MLX с помощью mlx-lm 0.10.0. Модель содержит около 3,7 млрд параметров и предназначена для генерации текста в диалоговых сценариях и задачах, связанных с кодом. Модель ориентирована прежде всего на англоязычные запросы, генерацию ответов, продолжение текста и помощь с программным кодом. Формат MLX оптимизирован для запуска через библиотеку mlx-lm на совместимом оборудовании Apple. Метаданные указывают нативную длину контекста 4096 токенов. К сильным сторонам относятся компактный размер, 4-битное квантование и возможность локального запуска в экосистеме MLX. Ограничениями являются преимущественная поддержка английского языка, уменьшенная точность из-за квантования и контекст до 4096 токенов, несмотря на обозначение исходной модели как 128k. Модель распространяется по лицензии MIT.

ApolloRaines/Qwen2.5-Coder-14B-Instruct-Jbliterated — языковая модель для генерации текста и программного кода, разработанная Apollo Raines на базе Qwen/Qwen2.5-Coder-14B-Instruct. Модель предназначена для сценариев, где требуется чат-интерфейс, написание и анализ кода, а также выполнение инструкций без стандартных отказов, связанных с политиками безопасности базовой модели. Модель относится к семейству 14B и предназначена для text generation. Она работает с текстовыми входными данными; в README явно указан английский язык. Отказные поведенческие реакции были изменены непосредственно на уровне весов с помощью фреймворка jBlaze, без системных промптов и исправлений во время инференса. Размер контекста, точная архитектура и перечень поддерживаемых языков программирования не указаны. К сильным сторонам относятся формат drop-in replacement для исходной модели и удаление поверхностных и более глубоких шаблонов отказа, включая переинтерпретацию запросов, предупреждения, пропуски деталей и смягчение формулировок. Ограничения включают отсутствие подробных оценок качества, неизвестные последствия изменения весов для точности и безопасности, а также возможное снижение возможностей: автор отмечает, что выпущенные модели намеренно оставлены на частичной мощности и предназначены как демонстрационные proof-of-concept-версии. Модель распространяется по лицензии Apache-2.0. Для использования требуется базовая модель Qwen/Qwen2.5-Coder-14B-Instruct; в README приведён пример запуска через Transformers с torch.float16 и device_map="auto".

Qwen2.5-Coder-3B-GGUF — базовая языковая модель для работы с исходным кодом, созданная командой Qwen. Это GGUF-квантизация оригинальной модели Qwen2.5-Coder-3B, подготовленная bartowski на основе llama.cpp. Модель предназначена прежде всего для генерации и автодополнения текста и кода, а не для диалогового использования в формате instruct или chat. Модель имеет около 3 миллиардов параметров и поддерживает контекст длиной до 32 000 токенов. При обучении использовано 5,5 триллиона токенов. В метаданных указана поддержка английского языка и сценарии, связанные с программированием. Формат GGUF и совместимость с llama.cpp делают модель подходящей для локального запуска в приложениях и инструментах, поддерживающих этот формат. К сильным сторонам относятся специализация на коде, большой контекст и возможность локального использования в компактном размере. Ограничение состоит в том, что это базовая модель: она не оптимизирована для обычного общения и выполнения инструкций в диалоговом режиме, поэтому для таких задач может потребоваться дополнительное форматирование запросов или другая модель. Указанная лицензия — qwen-research; перед использованием следует ознакомиться с условиями лицензии по ссылке на оригинальную модель.

Qwen2idae-16x14B-v1.0 — разговорная языковая модель от авторов проекта Parameter-Efficient Sparsity Crafting. Она преобразует плотные модели в разреженную архитектуру Mixture-of-Experts с помощью эффективного дообучения, включая QLoRA и адаптеры. По карточке модели, версия выпущена в марте 2024 года. Модель предназначена для диалогов и инструкций, особенно для задач математики и программирования. В метаданных указаны 13,4 млрд параметров, архитектура Qwen2ForCausalLM типа MoE, контекст до 32 768 токенов и библиотека Transformers; в README заявлено 15 млрд активируемых параметров. Для работы доступны веса Safetensors. Модель поддерживает английский язык. Лицензия — Apache-2.0. README приводит оценки на бенчмарках для серии Camelidae, но не содержит результатов Qwen2idae-16x14B-v1.0, поэтому качество именно этой версии по этим данным оценить нельзя.

Qwen3.5-28B — производная модель 0xSero на архитектуре Qwen3.5 MoE, созданная из Qwen/Qwen3.5-35B-A3B методом REAP (Router-weighted Expert Activation Pruning). Из 256 экспертов сохранены 205, то есть удалено около 20%; модель содержит 28 млрд параметров и распространяется в формате BF16. Лицензия — Apache-2.0. Модель предназначена для диалоговой генерации текста, рассуждений и задач программирования. В карточке приведены результаты на HumanEval, MMLU и WikiText-2; по сравнению с исходной моделью после pruning показатели на этих тестах снизились. Основное заявленное преимущество — меньший объём памяти: около 53 ГБ вместо 71 ГБ у исходной BF16-модели. Измерения пропускной способности показывают, что ускорение зависит от размера пакета и может отсутствовать.

CodeClawd — дообученная модель семейства Qwen3.5, разработанная empero-ai на базе empero-ai/Qwen3.5-9B-Claude-Opus-4.6-Distill. Это плотная языковая модель для генерации текста и диалоговой работы; она обучена методом SFT на сессиях кодирования с использованием инструментов из набора DataClaw. В карточке указаны 7,2 млрд параметров и контекст до 262 144 токенов. Модель предназначена для агентных помощников по программированию, интеграций с IDE и экспериментов с использованием инструментов. Она обучена рассуждать по ходу задачи, вызывать инструменты, интерпретировать их результаты и формировать ответы; её формат вызовов инструментов основан на XML. Данные и карточка ориентированы на английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0. Ограничения: формат вызовов инструментов отличается от JSON-формата OpenAI, поэтому интеграции может потребоваться адаптация. Без подключённого исполнителя инструментов модель может выдумывать результаты их работы; качество также зависит от обучающих сессий. Модель прошла только SFT, без RLHF или DPO.

Qwen3.5-9B Uncensored Coder — текстовая LoRA-дообученная версия Qwen3.5-9B от mshodiqul на базе DavidAU/Qwen3.5-9B-Claude-4.6-HighIQ-THINKING-HERETIC-UNCENSORED. Модель предназначена для генерации кода, агентных сценариев, вызова инструментов и функций в диалоговом формате. Дообучение выполнено методом SFT на синтетических трассах вызова функций и агентного кодирования; тесты карточки отмечают успешную работу с одиночным и множественным выбором инструментов, а также в сценарии агента-программиста. Модель использует архитектуру Qwen3.5-9B и принимает текст, включая запросы с инструкциями для инструментов. Контекстное окно составляет 262 144 токена; практическая длина ответа обычно ограничена несколькими тысячами токенов. Зрительная часть базовой модели сохранена, но в этом дообучении не участвовала. Лицензия — Apache-2.0. Среди известных ограничений — уход в посторонние шаблоны при длинных запросах на bash или скрипты, когда включён блок рассуждений; для таких задач в карточке рекомендуются соответствующий reasoning parser или отключение рассуждений. При вопросе о собственной идентичности модель может воспроизводить имя из обучающих данных. Поведение без цензурных ограничений унаследовано от базовой модели.

Qwen3.8-27B-OBLITERATED-AWQ-W4A16 — это 4-битная AWQ-квантизованная версия модели OBLITERATUS/Qwen3.8-27B-OBLITERATED, опубликованная пользователем MurtazaNasir. Модель предназначена для генерации текста, программного кода, агентных сценариев и исследований AI safety и red teaming, включая запросы, на которые модели с обычными защитными настройками могут отказываться отвечать. В основе используется гибридная архитектура Qwen3.8-27B с 64 слоями: 48 слоёв линейного внимания gated-DeltaNet и 16 слоёв полноценного внимания, а также vision tower и MTP-head. Квантизация выполнена в формате AWQ W4A16_ASYM с размером группы 128; часть компонентов сохранена в bf16. Размер репозитория около 19,55 ГБ. Для запуска рекомендуется две видеокарты по 24 ГБ с tensor parallel либо одна карта на 24 ГБ при небольшом контексте. Модель поддерживает текстовые и визуальные компоненты исходной архитектуры, но точные языки и максимальный размер контекста в предоставленных данных не указаны. Сильными сторонами заявлены близкая к исходной производительность, отсутствие жёстких отказов, совместимость с режимом thinking и хорошие результаты в генерации кода. Ограничения включают возможное снижение качества относительно базовой модели: в README указано падение MMLU на 2,1 процентного пункта. Для стабильной работы рекомендуются temperature 0, repetition_penalty 1,15 и не менее 2048 новых токенов. Стандартный шаблон чата поддерживает вызов инструментов, тогда как исходный шаблон их определения и роль tool игнорирует; также системные промпты могут повторно вызвать отказы. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-119B-A5B-Niwaki-v2.4-3bit-gguf — GGUF-версия модели Mixture-of-Experts, подготовленная проектом Niwaki на основе Qwen3.8-Flash-Next-119B-A5B-Niwaki-v2.4-3bit-mlx. Модель уменьшена структурной обрезкой до 119 млрд параметров всего, из которых активно около 5,6 млрд; в 48 слоях используются маршрутизируемые эксперты. GGUF-сборки квантованы с учётом структуры модели и предназначены для запуска через форк llama.cpp на CUDA, Vulkan, Metal или CPU. Модель предназначена для диалоговой генерации текста, в том числе задач с отслеживанием переменных, простыми вычислениями в несколько шагов и поиском связей по нескольким фактам. По данным карточки, тесты на отслеживание состояния программы близки к результатам MLX-версии, а текст получается связным и по теме. Для коротких ответов рекомендуется отключать режим thinking. Работа с файлами требует форка neopolita-llama.cpp: стандартный llama.cpp пока не поддерживает используемую раскладку GGUF. В README указана лицензия базовой модели, но конкретные условия для этой сборки в предоставленных данных не раскрыты.

Qwen3.8-Flash-Next-Uncensored-NVFP4-FP8PLE — квантованная vision-language модель, опубликованная lychee888 на основе orcarouter/Qwen3.8-Flash-Next-Uncensored-NVFP4, который, в свою очередь, создан на базе Qwen/Qwen3.8-Flash-Next. Модель предназначена для обработки текста и изображений, рассуждений, function calling, тестирования безопасности и red-teaming. Вариант описан как abliterated и uncensored, то есть с изменениями, направленными на снижение встроенных ограничений поведения. Архитектура относится к семейству Qwen3.8-Flash-Next и использует 48 слоёв: 36 слоёв Gated-DeltaNet и 12 слоёв full attention с интервалом full_attention_interval 4. В конфигурации указаны 512 экспертов и MTP. Эксперты квантованы в NVFP4, attention-компоненты используют FP8, а таблица PLE n-gram embeddings дополнительно переведена из BF16 в FP8 e4m3 с единой глобальной шкалой. Благодаря этому размер контрольной точки уменьшен примерно со 170,93 до 123,25 GiB. Для запуска ориентирована на vLLM и рецепт развёртывания на двух NVIDIA DGX Spark; точные поддерживаемые языки и размер контекстного окна в предоставленных данных не указаны. К сильным сторонам относятся существенно меньший размер по сравнению с исходной сборкой, совместимость по структуре PLE с определёнными NVFP4-сборками Qwen3.8-Flash-Next и сохранение остальных файлов модели без изменений относительно исходной версии orcarouter. Ограничения включают необходимость совместимой инфраструктуры и vLLM, а также то, что PLE-веса нельзя смешивать с аналогичной сборкой RadixArk: формат совместим, но сами значения отличаются. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-480B-A35B-Instruct-MLX-4bit — это 4-битная версия модели Qwen3-Coder-480B-A35B-Instruct, разработанной Qwen. Квантизация выполнена командой LM Studio с использованием MLX — фреймворка Apple для машинного обучения. Модель предназначена для генерации текста и оптимизирована для запуска на устройствах с Apple Silicon через LM Studio 0.3.20 или более поздней версии. Модель ориентирована прежде всего на сценарии, поддерживаемые исходной Qwen3-Coder-480B-A35B-Instruct, однако в представленном README не указаны её подробные архитектурные характеристики, языки, размер контекста, модальности, специализированные возможности программирования или результаты тестирования. Ключевое преимущество данной версии — 4-битное представление и оптимизация под MLX, что делает её более подходящей для локального запуска на Apple Silicon по сравнению с полноразмерной версией, но конкретные требования к памяти и производительности не приведены. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/Qwen3-Coder-Next-GGUF — это набор файлов модели в формате GGUF для Qwen3-Coder-Next, исходно разработанной командой Qwen. Квантованные версии подготовил MaziyarPanahi. Модель предназначена для генерации текста и, исходя из названия исходной модели, ориентирована на задачи, связанные с программированием, однако подробные сведения о специализации и результатах оценки в README не приведены. Главная характеристика этой версии — распространение в формате GGUF с вариантами квантования 2-, 3-, 4-, 5-, 6- и 8-бит. Формат поддерживается llama.cpp и рядом совместимых приложений и библиотек, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие, что позволяет запускать модель локально с использованием CPU или GPU в зависимости от конкретного инструмента. Размер исходной модели, архитектура, поддерживаемые языки, модальности и размер контекста в README не указаны. Лицензия также не указана, поэтому условия использования следует уточнять в материалах исходной модели Qwen3-Coder-Next и репозитории квантованной версии.

tomhu/Qwen3-Coder-Next-MixedCode-Prune70-BF16 — экспериментальный чекпойнт на основе Qwen/Qwen3-Coder-Next, подготовленный методом pruning для MoE-экспертов. По README, разработчик удалил 69,92% экспертов в каждом MoE-слое: число экспертов сокращено с 512 до 154, при этом на токен по-прежнему активируются 10 экспертов. Модель содержит 48 слоёв и использует веса BF16; метаданные указывают архитектуру Qwen3-Next MoE и размер 2,3 млрд параметров, тогда как README приводит полезную нагрузку около 25,6 млрд параметров BF16. Модель предназначена для генерации кода и многошаговой разработки, в том числе для сценариев coding-агентов с вызовом инструментов. Контекст унаследован от базовой модели; метаданные указывают длину 262 144 токена. В оценке SWE-bench Verified чекпойнт решил 296 из 500 задач. Для запуска README рекомендует актуальные версии Transformers, vLLM или SGLang с поддержкой Qwen3-Next. Модель экспериментальная: автор рекомендует проверять её на целевых задачах перед внедрением. Лицензия — Apache-2.0.

Relace Search — модель для агентного поиска по кодовой базе. Она использует инструменты `view_file` и `grep` параллельно, чтобы находить файлы, относящиеся к запросу пользователя; в карточке подход противопоставлен RAG. README обрывается после описания агентного характера поиска, поэтому дополнительные сведения о разработчике, архитектуре, размере, языках, контексте и лицензии установить нельзя.

RLT-7B — авторегрессионная языковая модель Sakana AI с 7,1 млрд параметров, дообученная методом supervised fine-tuning на основе Qwen/Qwen2.5-7B-Instruct. Она использует подход Reinforcement-Learned Teachers: модель-учитель, оптимизированная для создания рассуждений, передаёт их навыки модели-ученику через дистилляцию. Модель предназначена для генерации текста и диалогов, включая задачи на рассуждение, математику, науку и код. Поддерживает английский и китайский языки; контекст — до 32 768 токенов. Модель распространяется в формате Safetensors по лицензии Apache 2.0. Разработчик позиционирует её как экспериментальный прототип для исследований и разработки; результаты не гарантируются, а применение в критически важных системах не рекомендуется.

Sky-T1-32B-Preview-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Sky-T1-32B-Preview, разработанной NovaSky-AI и подготовленной пользователем bartowski. Модель предназначена для генерации текста, включая задачи, связанные с программированием и математическим рассуждением; при обучении использовались датасеты codeparrot/apps, BAAI/TACO и AI-MO/NuminaMath-CoT. Указан английский язык. Модель имеет размер 32B параметров и распространяется в форматах GGUF, совместимых с llama.cpp и приложением LM Studio. Доступны варианты от F16 до низкобитных квантизаций Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством ответов, размером файла и требованиями к памяти. Для квантования использовался llama.cpp release b4456 и метод imatrix. Рекомендуемые варианты включают Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; версии с более сильным сжатием экономят память, но могут заметно снижать качество. К сильным сторонам относятся широкий выбор уровней квантизации и возможность локального запуска на совместимом оборудовании. Ограничения — отсутствие в README данных о размере контекста, мультимодальности, точных архитектурных особенностях, результатах тестирования и поддерживаемых языках помимо английского. Лицензия в представленном описании не указана.

dealignai выпустила Spark-X2.5-4B-CRACK-JANG_8M — дообученную текстовую модель семейства Spark 2.5 на базе XHToken/Spark-X2.5-4B, подготовленную для запуска через MLX на компьютерах Apple Silicon. Это плотная причинная языковая модель примерно на 3,8 млрд параметров; репозиторий содержит JANG8M-сборку с 8-битным аффинным представлением весов и масштабами bf16. В README заявлены контекст до 131 тыс. токенов, двуязычная работа на английском и китайском, режим рассуждения, который можно включать и выключать, и вызов инструментов через XML-интерфейс. В метаданных каталога для семейства указано окно до 1 048 576 токенов, поэтому фактический предел этой сборки требует проверки в используемом движке. Модель рассчитана на диалог, генерацию текста и кода, рассуждения и агентные сценарии с вызовом инструментов. Разработчик сообщает об удалении отказов на уровне весов и приводит результаты MMLU и HarmBench; эти результаты относятся к тестам автора и не гарантируют аналогичное качество в других условиях. Из-за отсутствия защитных отказов модель может выдавать опасные ответы. Для работы требуется совместимый стек MLX/vMLX на Apple Silicon. Лицензия — Apache-2.0; README также описывает выпуск как предназначенный для исследований безопасности ИИ и авторизованного тестирования.

Speechless Tora Code 7B v1.0 GGUF — это языковая модель для генерации текста и программного кода, разработанная Jiangwen Su и квантованная TheBloke в формате GGUF. Модель основана на архитектуре Llama и содержит около 7 млрд параметров. В карточке указан английский язык, а исходный вариант доступен в формате PyTorch FP16. GGUF-файлы предназначены для локального запуска с использованием llama.cpp и совместимых интерфейсов и библиотек, включая text-generation-webui, LM Studio, KoboldCpp, ctransformers и llama-cpp-python. Модель ориентирована на программирование, генерацию кода и выполнение инструкций в текстовом формате. При обучении использовались наборы данных jondurbin/airoboros-2.2, Open-Orca/OpenOrca, garage-bAInd/Open-Platypus, WizardLM/WizardLM_evol_instruct_V2_196k и TokenBender/python_eval_instruct_51k. Для HumanEval указан результат pass@1 51,829%, однако он отмечен как непроверенный. Данные о размере контекста, поддерживаемых модальностях и специализированных языках программирования не приведены. Ключевое преимущество версии GGUF — возможность запуска на CPU и GPU с различными уровнями квантования от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Ограничения включают возможную потерю качества из-за квантования, отсутствие подтверждённых результатов оценки и неизвестный размер контекста. В карточке указана лицензия llama2.

ASTRA-32B-Thinking-v1 — дообученная модель на основе Qwen/Qwen3-32B, представленная авторами работы ASTRA: Automated Synthesis of Agentic Trajectories and Reinforcement Arenas. Это плотная языковая модель семейства Qwen3 на 29,7 млрд параметров с контекстом до 133 120 токенов, предназначенная для многошаговых задач с вызовом инструментов и структурированными рассуждениями. Модель обучали в два этапа: на примерах многоходового использования инструментов, а затем с помощью обучения с подкреплением и проверяемыми наградами в исполняемых средах. Модель рассчитана на агентные сценарии: планирование последовательностей вызовов инструментов, работу с их схемами и выполнение сложных задач в несколько шагов. В README заявлен результат уровня state of the art на многоходовой подвыборке BFCL-V3 для сопоставимого масштаба моделей. Метаданные также указывают интерфейс диалога и вызова инструментов. Модель распространяется под лицензией Apache-2.0; авторы описывают её как предназначенную для исследований и обучения и снимают с себя ответственность за последствия использования.

legraphista/codegeex4-all-9b-IMat-GGUF — это набор GGUF-версий модели THUDM/codegeex4-all-9b, подготовленный пользователем legraphista. Модель предназначена для генерации текста, включая задачи, связанные с программированием; в метаданных указаны китайский и английский языки. Исходная модель использует формат BF16, а опубликованные файлы представлены в вариантах BF16, F16 и разных уровнях квантования. Модель содержит около 9 миллиардов параметров. Доступны квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K, IQ4 и IQ3, что позволяет выбирать между качеством, размером файла и требованиями к ресурсам. Для ряда вариантов применена IMatrix-квантизация, предназначенная для снижения потерь качества при уменьшении точности. Файлы рассчитаны на использование с инструментами, поддерживающими формат GGUF, включая llama.cpp; также опубликован файл imatrix.dat. Преимуществами являются широкий выбор уровней квантования и наличие вариантов размером примерно от 4 до 10 ГБ, что облегчает локальный запуск на системах с разными ресурсами. Ограничения включают отсутствие в предоставленных данных сведений об архитектуре, размере контекста, мультимодальности, точных возможностях модели и результатах оценки качества; поэтому её следует рассматривать как текстовую модель без подтверждённой поддержки других модальностей. Лицензия обозначена как codegeex4; подробные условия доступны по ссылке на лицензию исходной модели THUDM/codegeex4-all-9b.