II.4Отладка, тестирование и качество ПО

CodeLlama 70B Instruct — языковая модель для генерации и обработки программного кода, разработанная Code Llama и представленная в формате GGUF компанией Second State Inc. Это квантизированная версия исходной модели codellama/CodeLlama-70b-Instruct-hf, предназначенная для сценариев программирования и диалогового следования инструкциям. Указана поддержка языка кода; другие языки и мультимодальные возможности не заявлены. Модель содержит 70 млрд параметров и использует контекст размером 8192 токена. Доступны варианты квантизации Q2_K, Q3_K, Q4 и Q5 с размером файлов примерно от 25,5 до 48,8 ГБ. Вариант Q4_K_M обозначен как рекомендуемый сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. Более сильная квантизация уменьшает требования к ресурсам, но может заметно снижать качество ответов. Модель может запускаться как сервис LlamaEdge версии 0.2.11 и выше, однако в README указано, что она работает только в режиме без потоковой передачи. Для использования требуется специальный шаблон prompt codellama-super-instruct. Модель распространяется по лицензии llama2; дополнительные условия лицензии в предоставленных данных не уточняются.

Codestral-22B-v0.1-abliterated-v3-GGUF — это GGUF-квантизованная версия модели Codestral-22B-v0.1-abliterated-v3. Исходная модель размещена пользователем failspy, а квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. В карточке не указано, кто разработал исходную архитектуру Codestral. Модель предназначена прежде всего для генерации и обработки программного кода, поскольку имеет тег code и относится к задаче text-generation. Она доступна в нескольких вариантах квантизации GGUF с размером файлов примерно от 6,64 до 23,64 ГБ, что позволяет выбирать баланс между качеством и требованиями к оперативной памяти. Наиболее качественными и рекомендуемыми названы варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; версии с более низкой разрядностью экономят память, но могут заметно терять в качестве. В README не указаны точная архитектура, размер контекстного окна, поддерживаемые естественные языки и дополнительные модальности, поэтому эти характеристики нельзя достоверно определить по имеющимся данным. Также предупреждается, что формат prompt не задан в исходной карточке и предложенный шаблон может быть некорректным. Модель распространяется по лицензии MNPL-0.1; в карточке приведена ссылка на её текст.

Codestral-22B-v0.1-IMat-GGUF — GGUF-квантизированная версия Codestral-22B-v0.1, разработанного Mistral AI и подготовленная legraphista. Модель предназначена для генерации и работы с программным кодом, включая сценарии автодополнения и Fill In the Middle (FIM); в этой сборке исправлены отсутствующие FIM-токены. Указанный pipeline относится к генерации текста, а заявленный язык — code. Модель основана на версии размером 22B параметров с исходным форматом BF16 и преобразована с использованием llama.cpp. Доступны варианты GGUF от BF16 и FP16 до Q2_K, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ-квантизации. Для ряда вариантов применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера; размеры файлов варьируются примерно от 8,27 до 44,5 ГБ. Формат GGUF подходит для запуска в совместимом программном обеспечении, включая llama.cpp. Сильными сторонами являются специализация на коде, поддержка FIM и широкий выбор уровней квантизации для компромисса между качеством и требованиями к памяти. Ограничения включают отсутствие в предоставленных данных сведений о конкретной архитектуре, размере контекста, перечне естественных языков, результатах бенчмарков и характеристиках производительности; качество также зависит от выбранного варианта квантизации и оборудования. Лицензия указана как MNPL-0.1; условия следует уточнять в тексте лицензии Mistral AI.

Dolphin 2.9.2 Phi 3 Medium (Abliterated) — разговорная языковая модель, подготовленная Eric Hartford, Lucas Atkins, Fernando Fernandes и сообществом Cognitive Computations; подавление отказов выполнено FailSpy. Модель дообучена методом qLoRA на базе unsloth/Phi-3-mini-4k-instruct, а затем изменена для снижения частоты отказов. В метаданных указаны плотная архитектура MistralForCausalLM, 13,8 млрд параметров и контекст 4096 токенов; модель распространяется в формате safetensors. Модель предназначена для диалогов и выполнения инструкций, в том числе задач программирования и математики. В README также заявлены начальные агентные возможности и поддержка вызова функций; используется шаблон ChatML. В карточке указаны английский язык и наборы данных для инструкций, диалогов, кода и математики. MIT-лицензия. Модель специально настроена на более высокую готовность отвечать и может давать нежелательные ответы; авторы рекомендуют добавить собственный слой выравнивания перед предоставлением модели как сервиса. README предупреждает, что после изменения модели часть отказов базовой модели могла сохраниться.

EXAONE-Deep-32B — плотная языковая модель для рассуждений, разработанная LG AI Research и дообученная на основе EXAONE-3.5-32B-Instruct. Она предназначена для генерации текста и диалогов, особенно для решения математических задач и задач программирования. В модели 31,5 млрд параметров, 64 слоя и архитектура внимания GQA с 40 Q-головами и 8 KV-головами; длина контекста составляет 32 768 токенов. Модель поддерживает английский и корейский языки. Для запуска подходят Transformers версии 4.43.1 и новее; README также перечисляет среды TensorRT-LLM, vLLM, SGLang, llama.cpp, Ollama и LM Studio. Разработчик сообщает о конкурентных результатах на тестах рассуждений, математики и программирования, но конкретные оценки для версии 32B в предоставленной карточке отсутствуют. Лицензия обозначена как «other», поэтому условия использования следует проверять в материалах репозитория. Модель может генерировать фактически неверные, предвзятые или неподходящие ответы и не гарантирует актуальность сведений.

Gemini 3.6 Flash — высокоэффективная модель Google для программирования, агентных сценариев, а также разработки веб-приложений и приложений. Карточка описывает её как инструмент для создания качественных результатов с меньшим числом лишних правок. Метаданные каталога классифицируют модель как image-text-to-text. В доступных материалах не приведены сведения об архитектуре, размере, языках, контекстном окне и лицензии, поэтому их нельзя уточнить. Карточка также не описывает ограничения модели.

GLM-5.1-GGUF — квантованное распространение модели GLM-5.1, подготовленное Unsloth на базе zai-org/GLM-5.1. Это текстовая генеративная модель, ориентированная прежде всего на агентную разработку программного обеспечения и сложные инженерные задачи. Модель предназначена для написания и анализа кода, генерации репозиториев, работы с терминалом и многоэтапного решения задач с использованием инструментов. Согласно README, GLM-5.1 сохраняет эффективность на длинных сессиях, умеет разбивать неоднозначные задачи на этапы, проводить эксперименты, анализировать результаты, находить блокеры и пересматривать стратегию на протяжении сотен итераций и тысяч вызовов инструментов. Заявлена поддержка английского и китайского языков, режим text-generation и архитектурная маркировка GLM MoE DSA; точный размер модели и объём контекста не указаны. К сильным сторонам относятся агентное программирование, задачи SWE-Bench Pro, генерация репозиториев и реальные терминальные сценарии. Ограничения включают отсутствие в представленных данных сведений о мультимодальности, точном числе параметров, требованиях к оборудованию и качестве в других прикладных областях; приведённые результаты являются заявленными benchmark-показателями и не гарантируют аналогичную производительность в каждом сценарии. Распространение указано по лицензии MIT.

HHEM-2.1-Open — модель Vectara для выявления фактической несогласованности текста с предоставленным контекстом, в частности для контроля ответов LLM в RAG-системах и агентных приложениях. Она принимает пару текстов: свидетельство или предпосылку и проверяемую гипотезу. Модель оценивает, насколько гипотеза подтверждается свидетельством: оценка от 0 до 1, где 0 означает отсутствие подтверждения, а 1 — полную поддержку. Проверка асимметрична: перестановка текстов может изменить результат. Модель построена на базе google/flan-t5-base и дообучена для классификации последовательностей; в Transformers доступны оценка пары или метки «hallucinated» и «consistent». Карточка заявляет неограниченную длину контекста относительно лимита HHEM-1.0 в 512 токенов, но предупреждает о наследуемом ограничении длины входа T5-base. Модель рассчитана на английский язык; сведения о поддержке других языков для этой открытой версии не приводятся. Лицензия — Apache-2.0.

Ginckl/HashBlitz-1-7B-Max — языковая модель для генерации текста и кода, разработанная Ginckl на базе unsloth/Qwen2.5-Coder-7B-Instruct. По описанию, модель создана как оптимизированная версия с 7 миллиардами параметров и ориентирована на локальное развёртывание, разработчиков и сценарии «vibe coding». Она предназначена для программирования, решения сложных задач разработки, повседневного диалога и аналитических сценариев, включая работу с актуальной информацией, если такая информация предоставляется через внешние инструменты или контекст. Заявлено, что при создании авторы синтезировали особенности нескольких передовых моделей: Claude Opus 5 — для программирования и логического рассуждения, Groq 4.5 — для характера и настройки безопасности, GPT-5.4 — для естественного диалога, а Gemini 3.1 Pro (Extended Thinking) — для анализа сложных реальных задач. Эти утверждения приведены в README разработчика и не сопровождаются подробностями о методике обучения или результатами независимой оценки. Модель поддерживает текстовую генерацию, заявленные языки — английский, испанский и французский. Архитектура основана на семействе Qwen 2.5 Coder; сведения о размере контекста, дополнительных модальностях, точных параметрах дообучения и ограничениях производительности не указаны. Лицензия — Apache-2.0, что допускает широкое использование на условиях этой лицензии.

Locutusque/Hyperion-3.0-Yi-34B — языковая модель Locutusque, дообученная на 150 000 примерах набора Hyperion-v3.0. Это плотная авторегрессионная модель семейства Llama с 33,9 млрд параметров, предназначенная для диалогов, ответов на вопросы и генерации кода; в карточке также заявлены математические и логические рассуждения, а также понимание медицинских и научных текстов. Модель рассчитана прежде всего на англоязычные запросы и охватывает задачи программирования, медицины, математики и научных рассуждений. Её можно применять в учебных помощниках, технических чат-ботах и инструментах поддержки специалистов. Контекст составляет 4096 токенов; веса опубликованы в формате safetensors для Transformers. Автор README указывает лицензию Yi NC, тогда как метаданные Hugging Face содержат лицензию other; условия использования следует сверять с файлами лицензии в репозитории. Карточка предупреждает о возможной непоследовательности ответов из-за качества и разнообразия данных, а также о высокой склонности модели выполнять запросы; результаты оценки в README не приведены.

Карточка модели 43nikolayvladimirovich/MiniCPM5-1B-SFT на Hugging Face совпадает с карточкой openbmb/MiniCPM5-1B-SFT, поэтому описание составлено по ней. MiniCPM5-1B-SFT — контрольная точка модели серии MiniCPM5 от OpenBMB, предназначенная для локального запуска на устройствах с ограниченными ресурсами. Это плотная авторегрессионная языковая модель с архитектурой LlamaForCausalLM: в метаданных указано 837,6 млн параметров, а карточка сообщает о 24 слоях и 16 головах запросов и 2 головах ключей и значений. Модель принимает текст и выдаёт текст; контекст — до 131 072 токенов. Карточка модели указывает английский и китайский языки. SFT-чекпойнт предназначен для локальных помощников, генерации кода, агентных сценариев с вызовом инструментов и сложных рассуждений. В серии предусмотрены режимы ответа с рассуждением и без него; этот вариант обучен только методом SFT и предшествует этапам RL и OPD. Поддерживаются запуск через Transformers, vLLM и SGLang, а также дообучение с помощью ресурсов проекта. Заявления карточки о сравнительных результатах относятся к указанному в ней набору моделей и бенчмарков. Модель распространяется под лицензией Apache-2.0. Она может выдавать неточные, предвзятые или небезопасные ответы; результаты следует проверять, особенно перед применением в ответственных сценариях.

insraq/MiniCPM5-2B-heretic-abliterated — производная версия MiniCPM5-2B, опубликованная пользователем insraq. Это плотная причинная языковая модель на 2,2 млрд параметров с архитектурой LlamaForCausalLM, рассчитанная на локальных помощников, программирование, математику, длинный контекст и сценарии с вызовом инструментов. Она принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Модель серии MiniCPM5 разработана для локального запуска на устройствах и в условиях ограниченных ресурсов; карточка заявляет сильные результаты среди моделей сопоставимого размера в программировании, математике, понимании длинного контекста и использовании инструментов. В названии указано abliterated, а теги описывают модель как uncensored/decensored, однако README не объясняет метод получения этой версии и не приводит её отдельную оценку. README базовой модели предупреждает о возможных неточностях, предвзятых или оскорбительных ответах и отсутствии экспертной проверки чувствительных тем. Модель распространяется по лицензии Apache-2.0.

WhiskyAKM подготовил GGUF-квантизацию MiniCPM5-2B от OpenBMB для локального запуска на устройстве и в средах с ограниченными ресурсами. Это плотный трансформер LlamaForCausalLM примерно на 2,52 млрд параметров, представленный в формате NVFP4; файл весит около 1,4 ГБ. Модель предназначена для локальных ассистентов, программирования, сценариев с вызовом инструментов и рассуждений. Она поддерживает контекст до 131 072 токенов, режим рассуждений в шаблоне чата и вызовы инструментов в XML-формате. Квантизация выполнена из исходных весов BF16: большинство тензоров представлены в NVFP4, а эмбеддинги, выходные и нормализационные тензоры сохранены в более высокой точности. Репозиторий предназначен для использования с llama.cpp, Ollama и LM Studio; лицензия — Apache-2.0. Качество NVFP4 может отличаться от исходной версии BF16, а для обработки XML-вызовов инструментов может понадобиться совместимый парсер или обвязка.

unsloth/MiniMax-M3-GGUF — это экспериментальная GGUF-версия мультимодальной модели MiniMax-M3, разработанной MiniMax и подготовленной в формате GGUF проектом Unsloth. Модель предназначена для работы с текстом, изображениями и видео, включая диалоговые сценарии, генерацию и анализ кода, агентские задачи и длительное взаимодействие с пользователем. Архитектура модели сочетает Mixture of Experts (MoE) и механизм разреженного внимания MiniMax Sparse Attention (MSA). Всего модель содержит около 428 млрд параметров, из которых на каждый токен активируется примерно 23 млрд; используется 128 экспертов, четыре из которых активны для каждого токена, и 60 слоёв. Заявлена длина контекста до 1 млн токенов. Поддерживаются режимы thinking для сложного рассуждения, агентских задач и долгого сотрудничества и non-thinking для сценариев, чувствительных к задержке, например чата и автодополнения кода. К сильным сторонам относятся нативная мультимодальность, заявленная эффективность на длинном контексте и высокие результаты в задачах программирования и агентского взаимодействия. Ограничения этой версии связаны с экспериментальным статусом: поддержка MiniMax-M3 в llama.cpp предварительная, а MiniMax Sparse Attention пока не поддерживается, поэтому используется плотное внимание. Модель очень велика и требует значительных ресурсов, включая распределение вычислений между несколькими GPU или размещение весов в оперативной памяти CPU. Для использования указана MiniMax Community License.

NeoHorse-1-4B-GGUF — GGUF-версии примерно 4-миллиардной причинной языковой модели NeoHorse-1-4B, разработанной TokenRhythm на базе Qwen3.5-4B. Модель дообучалась для текстовых агентных сценариев, использования инструментов, программирования, рассуждений и следования инструкциям. Это текстовая модель без заявленной поддержки изображений или других мультимодальных данных. Репозиторий предназначен для локального запуска через llama.cpp, Ollama и LM Studio. Доступны веса в формате BF16, а также 8-, 5- и 4-битные квантизованные варианты, которые требуют меньше дискового пространства и оперативной памяти. Архитектура описана как агентно-ориентированная причинная языковая модель; размер контекста и поддерживаемые языки в README не указаны. К сильным сторонам относятся ориентация на агентное взаимодействие и tool use, задачи программирования и instruction following, а также заявленное улучшение среднего результата на десяти бенчмарках по сравнению с Qwen3.5-4B: 64,87 против 58,94. Ограничения включают отсутствие подробных сведений о языках, контексте и характеристиках отдельных квантизаций; заявленные результаты могут зависеть от условий оценки. Модель распространяется по лицензии Apache-2.0.

Etherll разработала бинарный классификатор аудио на базе Whisper, дообученный от unsloth/whisper-small. Модель с 153,1 млн параметров определяет, содержит ли запись речи значимый фоновый шум окружающей среды: LABEL_0 означает clean, LABEL_1 — noisy. Для обучения использован специально собранный набор примерно из 55 тысяч аудиофрагментов. Модель предназначена для предварительной фильтрации аудиодатасетов, автоматической маркировки записей при контроле качества и отбора аудио перед передачей в систему распознавания речи. Она принимает аудио и возвращает метку класса. Лицензия — Apache-2.0. Классификатор считает чистыми не только качественные записи, но и записи с артефактами источника, такими как шипение, клиппинг или плохое качество микрофона. Он выявляет именно фоновый шум окружающей среды, например автомобили, музыку или другие голоса. Модель не подавляет шум и не очищает аудио.

LLMWildling/NVIDIA-Nemotron-3-Super-135B-A13B-Coder-NVFP4 — созданная сообществом специализация NVIDIA Nemotron 3 Super 120B-A12B NVFP4 для программирования; это не официальный выпуск NVIDIA. Модель использует архитектуру семейства Nemotron с разреженной активацией: при общем размере 135,21 млрд параметров активны 13,22 млрд параметров на токен. Веса представлены в смешанном формате NVFP4; модель загружается через Transformers и предназначена для диалогового взаимодействия. Модель рассчитана на генерацию кода, анализ репозиториев, работу в программных агентах и сценарии с использованием инструментов. В карточке приведён пример создания работающей SVG-игры Flappy Bird менее чем за 60 тысяч токенов, но это результат внутренней оценки, а не независимая гарантия качества. Для базовой модели каталог указывает поддержку длинного контекста и рассуждений; конкретная длина контекста этой версии не приведена. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой репозитория. Автор README заявляет о готовности к производственному применению.

OpenCodeReasoning-Nemotron-7B-GGUF — это квантизированная версия языковой модели OpenCodeReasoning-Nemotron-7B, разработанной NVIDIA и опубликованной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и задач, связанных с программированием и рассуждениями, включая работу с исходным кодом. В карточке указана поддержка английского языка. Модель содержит 7 миллиардов параметров и распространяется в нескольких вариантах точности и размера: от BF16 до различных конфигураций Q3, Q4, Q5, Q6, Q8 и IQ. Квантизация выполнена с использованием llama.cpp и метода imatrix. Доступны локальный запуск через llama.cpp, LM Studio и совместимые проекты; для общения рекомендуется шаблон сообщений с маркерами im_start и im_end. Ключевое преимущество модели — возможность локального запуска при выборе подходящего уровня квантизации: варианты Q6 и Q5 обеспечивают высокое качество, а Q3 и некоторые Q4 требуют меньше оперативной памяти. Ограничения включают возможные потери качества в более компактных вариантах, ориентацию на английский язык и отсутствие в предоставленных данных сведений об архитектуре, максимальном размере контекста и мультимодальных возможностях. Указанная лицензия — Apache-2.0.

Occamy-35B — модель с открытыми весами, разработанная командой Occamy AI. Она дообучена на базе Qwen3.6-35B-A3B и предназначена для агентных сценариев: принятия решений на длинном горизонте, координации нескольких инструментов, многошаговых бизнес-процессов, Claw-style рабочих процессов, агентного программирования и задач электронной коммерции. Модель относится к семейству text-generation и ориентирована на английский язык. Заявлены поддержка tool use, coding и long-context; для развёртывания рекомендуется контекст до 262 144 токенов, а в тестах SWE-bench Pro использовался контекст 200K. В README не указаны точные сведения о внутренней архитектуре, числе активных параметров, количестве параметров всего и перечне поддерживаемых модальностей, поэтому модель следует рассматривать как текстовую. Ключевая особенность — методика Data RSI (Data Recursive Self-Improvement), при которой результаты выполнения динамически сформированных задач используются для последующей адаптации данных. По представленным оценкам, Occamy-35B особенно сильна в агентных задачах, многоходовом использовании инструментов и программировании, хотя в отдельных бенчмарках уступает более крупным моделям. Для промышленного использования рекомендуются SGLang или vLLM с OpenAI-совместимым API. Лицензия в README не указана.

CISCai/OpenCodeInterpreter-DS-6.7B-SOTA-GGUF — это набор квантованных моделей в формате GGUF на основе OpenCodeInterpreter DS 6.7B, разработанной Multimodal Art Projection (M-A-P). Модель относится к семейству DeepSeek и предназначена для генерации текста, прежде всего для задач программирования и ответов на вопросы по computer science. Указан английский язык. В репозитории представлены файлы с различными вариантами квантования, рассчитанные на запуск через llama.cpp и совместимые сторонние интерфейсы и библиотеки. Ключевая особенность — квантование с importance matrix, обученной примерно на 1 млн токенов ответов из датасета CodeFeedback-Filtered-Instruction. Доступны варианты от 1 до 4 бит с эффективной точностью примерно от 1,56 до 4,5 бит на вес. Размер файлов составляет около 1,5–2,8 ГБ и выше в зависимости от метода; требуемый объём RAM начинается примерно от 3,5 ГБ. Более компактные варианты экономят память, но могут приводить к существенной или значительной потере качества. Для корректной токенизации и лучших результатов рекомендуется свежая сборка llama.cpp. Модель лицензирована по Apache 2.0. README не содержит сведений о размере контекста, мультимодальности, полном наборе поддерживаемых языков или результатах сравнительных тестов, поэтому эти характеристики нельзя надёжно определить.

OpenThinker-7B — языковая модель, разработанная командой OpenThoughts и дообученная на Qwen/Qwen2.5-7B-Instruct с использованием набора OpenThoughts-114k. Она предназначена для генерации текста в диалогах и решения задач, требующих рассуждений, в том числе математических задач, научных вопросов и задач по программированию. Данные OpenThoughts-114k получены методом дистилляции DeepSeek-R1. Модель имеет плотную архитектуру Qwen2, содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. В карточке приведены результаты оценивания по математике, научным вопросам и программированию; в отдельных тестах модель превосходит Bespoke-Stratos-7B, но уступает DeepSeek-R1-Distill-Qwen-7B. Доступна под лицензией Apache 2.0.

Pink Elephant 48B-S GGUF — языковая модель для генерации текста, разработанная Pink Elephant Limited. Это локально запускаемая версия модели, преобразованная в формат GGUF и предназначенная для работы через Ollama и llama.cpp на потребительском оборудовании. Модель построена как разреженная Mixture-of-Experts архитектура с 47,7 млрд параметров, из которых на каждом токене активируется около 14,66 млрд. Используется 8 экспертов с маршрутизацией top-2, что, согласно README, обеспечивает примерно в 3,2 раза меньше вычислений по сравнению с плотной моделью аналогичного размера. Модель происходит от плотной 14B основы, дообученной на примерах программирования и математики, а затем прошла SFT и DPO-выравнивание. Указаны английский язык и контекст до 16 384 токенов. Доступна квантизованная версия Q4_K_M размером около 8,3 ГБ. Модель ориентирована на генерацию текста, помощь в программировании, математические задачи и локальное развертывание на одной потребительской видеокарте. Среди заявленных результатов — 68,5% на GSM8K и 60,0% на MMLU в конфигурации bf16; эти показатели получены разработчиками на одной NVIDIA RTX PRO 6000 Blackwell и могут зависеть от настроек запуска. К сильным сторонам относятся сочетание большой общей емкости, разреженных вычислений, локального использования и выравнивания SFT+DPO. Ограничения включают зависимость качества и скорости от аппаратного обеспечения, квантизации и корректного шаблона ChatML, а также отсутствие в README сведений о мультимодальности и поддержке других языков. Модель распространяется по лицензии MIT, допускающей коммерческое и исследовательское использование.

Prox 7B SFT — языковая модель OpenVoid AI, дообученная на данных о программировании, взломе и кибербезопасности. В основе лежит Mistral-7B-v0.2; модель имеет плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Она принимает текст и генерирует текст, поддерживает диалоговый режим и контекст до 32 768 токенов. Модель предназначена для генерации и объяснения кода, создания документации, ответов на вопросы о методах взлома и кибербезопасности, а также помощи в программных проектах. Карточка указывает английский язык. Обучающий набор OpenVoid AI описан как собственный набор материалов по программированию и взлому. Модель распространяется по лицензии Apache-2.0. Ответы модели могут быть ошибочными и требуют проверки специалистом; авторы не рекомендуют полагаться на неё в критически важных задачах безопасности и использовать для незаконной деятельности.

Qwen2.5-Coder-14B-Instruct-Q5_K_M-GGUF — это квантованная версия модели Qwen2.5-Coder-14B-Instruct, преобразованная в формат GGUF пользователем apto-as с помощью llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для генерации текста и работы с программным кодом в диалоговом формате, включая использование через llama.cpp в CLI или серверном режиме. Модель имеет размер 14 млрд параметров, относится к текстовым моделям и ориентирована прежде всего на задачи программирования. В README указана поддержка английского языка; сведения о других языках, архитектуре, максимальном размере контекста и результатах тестирования не приведены. Квантование Q5_K_M снижает требования к памяти по сравнению с полноразмерной версией, что облегчает локальный запуск, однако может сопровождаться некоторой потерей точности. В качестве ограничений также следует учитывать отсутствие подробных данных о производительности и качестве модели в данном README. Модель распространяется по лицензии Apache-2.0. Для получения подробных характеристик, включая возможности исходной модели, рекомендуется обращаться к карточке базовой Qwen2.5-Coder-14B-Instruct.

bartowski/Qwen2.5-Coder-3B-GGUF — это набор квантизированных версий языковой модели Qwen2.5-Coder-3B, разработанной командой Qwen и подготовленной пользователем bartowski в формате GGUF для запуска через llama.cpp. Модель предназначена прежде всего для генерации и обработки программного кода, включая работу в локальных приложениях вроде LM Studio. В README указано, что базовая модель поддерживает английский язык. Модель имеет около 3 млрд параметров. Доступны варианты от F16 до низкобитных квантов Q2–Q8, различающиеся размером файла, требованиями к памяти и качеством генерации; наиболее рекомендуемыми названы варианты Q4–Q6. Квантизация выполнена с использованием imatrix и llama.cpp. Для взаимодействия используется шаблон сообщений с ролями system, user и assistant. Сведения об архитектуре, размере контекста и мультимодальности в README не указаны; по представленным данным модель является текстовой. Основное преимущество набора — возможность локального запуска при выборе подходящего уровня квантизации: старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти. Ограничения связаны с компромиссом между размером и качеством, особенно у вариантов Q2–Q3; отдельные форматы оптимизированы для ARM и требуют соответствующей поддержки инструкций, а варианты Q4_0_8_8 и Q4_0_4_8 не рекомендуются для Mac или Windows. Лицензия указана как qwen-research; подробности доступны по ссылке на лицензию исходной модели Qwen2.5-Coder-3B.

unsloth/Qwen2.5-Coder-3B-Instruct-bnb-4bit — 4-битная квантованная версия Qwen2.5-Coder-3B-Instruct, разработанная на базе серии Qwen2.5-Coder. Серия предназначена для генерации, анализа, рассуждений и исправления программного кода, а также для создания кодовых агентов и решения математических и общеязыковых задач. В карточке указана поддержка английского языка и библиотека Transformers. Для семейства Qwen2.5-Coder заявлена архитектура causal language model на базе Transformers с RoPE, SwiGLU, RMSNorm, смещениями в QKV-внимании и связанными эмбеддингами слов; заявленный контекст — до 32 768 токенов. Однако README содержит противоречивые сведения: идентификатор указывает на instruct-модель объёмом 3B параметров, тогда как техническое описание в тексте относится к базовой модели 0.5B с 0.49B параметров и этапом предварительного обучения. Поэтому точные характеристики именно данного 3B-варианта по README подтвердить нельзя. 4-битное представление должно снижать требования к памяти и облегчать локальный запуск, но README не приводит точных показателей качества, системных требований или ограничений квантованной версии. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-7B-Instruct-abliterated-GGUF — GGUF-квантизированная версия инструкционной модели Qwen2.5-Coder-7B-Instruct-abliterated, разработанной huihui-ai и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалогового взаимодействия, прежде всего для задач программирования и запуска локально через llama.cpp или LM Studio. Модель содержит 7 миллиардов параметров и доступна в вариантах от F16 до различных квантований Q8, Q6, Q5, Q4 и Q3, что позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. Размер файлов составляет примерно от 4,09 до 15,24 ГБ в зависимости от варианта. В README указан английский язык; сведения о других языках, длине контекста и мультимодальности отсутствуют. Для взаимодействия используется формат сообщений ChatML с ролями system, user и assistant. К сильным сторонам относятся специализация базовой модели на коде, широкий выбор квантований и возможность локального запуска на совместимом оборудовании. К ограничениям относятся возможная потеря качества при более сильном квантовании, отсутствие данных о бенчмарках и точной длине контекста, а также неопределённость характеристик варианта abliterated. Модель распространяется по лицензии Apache 2.0.

DavidAU создал Qwen2.5-QwQ-35B-Eureka-Cubed — плотную языковую модель для генерации текста и диалогов с акцентом на рассуждения. Она объединяет QwQ-32B с компонентами DeepSeek-R1-Distill-Qwen-32B и TinyR1-32B-Preview методом автора «Cubed»: в README заявлены четыре дополнительных слоя и прирост примерно на 2 млрд параметров. Метаданные указывают архитектуру Qwen2 и 33,9 млрд параметров; модель рассчитана на контекст до 131 072 токенов и распространяется в формате safetensors для использования напрямую или конвертации в другие форматы. Модель предназначена для решения задач, требующих пошагового рассуждения, включая математику и программирование, а также для написания развернутых, творческих и научных текстов. README рекомендует шаблон ChatML без системного промпта и приводит настройки генерации; указанный там дополнительный промпт необязателен. Автор сообщает о более коротких цепочках рассуждений на некоторых задачах и улучшении детализации и креативности ответов, но не приводит независимых оценок. Лицензия в предоставленных данных не указана.

Qwen3.5-4B Claude-Distill — дообученная методом полной настройки параметров плотная модель семейства Qwen, разработанная автором репозитория clzoro на базе Qwen/Qwen3.5-4B. Модель содержит 4 млрд параметров и предназначена для генерации текста в диалоге. В обучении использовались примерно 14,9 тыс. примеров с рассуждениями, дистиллированными из Claude Opus; заявлены задачи по математике, логике, программированию, STEM, творческому письму и многошаговым инструкциям. Модель унаследовала от базовой Qwen3.5 возможности понимания изображений и использует архитектуру с визуальным энкодером, однако карточка указывает основной сценарий как генерацию текста. В метаданных заявлены английский и китайский языки. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Качество рассуждений зависит от качества и разнообразия сравнительно небольшого набора дистилляции; модель может наследовать смещения обучающих данных и обобщать хуже за пределами представленных примеров. Ответы по медицине, праву и финансам требуют проверки.

Qwen3.8-Flash-Next REAP-288 (GGUF) — это текстовая генеративная модель класса примерно 180B с архитектурой MoE, созданная sh0wie на основе Qwen/Qwen3.8-Flash-Next. В каждой MoE-слойной структуре число экспертов сокращено с 512 до 288 методом REAP. Модель преобразована непосредственно из полноточного источника bf16 в формат GGUF за один этап квантования и предназначена для запуска через llama.cpp, Ollama, LM Studio и совместимые инструменты. Модель ориентирована прежде всего на агентное программирование и задачи генерации, анализа и рефакторинга кода. В тесте HumanEval вариант после pruning показал результат 91,5% (149 из 164) против 93,9% у полной модели, однако измерение выполнено на ветке MLX 4-bit, а для GGUF указано только совпадение выбора сохранённых экспертов и общего bf16-источника. Доступны варианты Q4_K_M размером 78 ГБ, Q5_K_M размером 87 ГБ и Q8_0 размером 116 ГБ: увеличение размера обычно повышает точность, но требует больше памяти и снижает скорость. К сильным сторонам относятся высокая производительность в задачах программирования, выбор нескольких уровней квантования и совместимость с распространёнными локальными рантаймами. Ограничения включают возможное ухудшение качества за пределами распределения агентных задач программирования, отсутствие доверительных интервалов в оценках и отсутствие проверки работы с изображениями после pruning. Языки и размер контекста в README не указаны. Используется Qwen Community License 1.0, унаследованная от базовой модели.