II.3Рефакторинг, миграция и модернизация

Codestral-22B-v0.1-GGUF — набор GGUF-квантизаций модели Codestral-22B-v0.1, разработанной Mistral AI и подготовленной пользователем bartowski. Модель предназначена прежде всего для генерации и обработки программного кода; формат GGUF и совместимость с llama.cpp позволяют запускать её локально с использованием CPU и/или GPU. В README указан шаблон диалога в формате инструкций с системным промптом и пользовательским запросом. Модель имеет размер 22B параметров. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_XS, Q3 и Q2 с размером файлов примерно от 6,64 до 23,64 ГБ. Более высокие уровни квантизации обеспечивают лучшее качество, но требуют больше памяти; варианты Q6_K, Q5 и Q4 отмечены как рекомендуемые, а низкоразрядные варианты предназначены для систем с ограниченными ресурсами и могут заметно уступать в качестве. Ключевые характеристики исходной архитектуры, поддерживаемые естественные языки и размер контекста в README не указаны. Лицензия обозначена как MNPL-0.1; условия следует уточнять по документу Mistral AI. README не содержит данных о мультимодальности, результатах бенчмарков или ограничениях исходной модели, поэтому её сильные стороны можно уверенно связывать только с ориентацией на задачи программирования и возможностью локального запуска в разных вариантах квантизации.

daVinci-Agency — языковая модель от GAIR, дообученная на базе GLM-4.6 от Zhipu AI для длительных агентных задач, особенно связанных с разработкой программного обеспечения. Она обучалась на траекториях реальных цепочек GitHub Pull Request и рассчитана на работу с многошаговыми процессами: декомпозицией задач, сохранением последовательности действий, использованием инструментов и итеративным улучшением результатов. Модель имеет архитектуру GLM-4 MoE и 23,4 млрд параметров. Контекстное окно составляет около 200 тысяч токенов; в метаданных указано 202 752 токена. Основные сценарии — автономное программирование, планирование и выполнение сложных рабочих процессов, анализ обратной связи и самокоррекция. В README сообщается о приросте на Toolathlon относительно базовой модели, однако приведённых результатов недостаточно для оценки качества во всех сценариях. Модель принимает текст и генерирует текст, включая ответы в чат-формате и вызовы инструментов. В карточке заявлена поддержка английского языка. Лицензия — MIT.

DeepSeek-Coder-V2-Lite-Base-GGUF — набор GGUF-квантизаций базовой модели DeepSeek-Coder-V2-Lite-Base, разработанной командой DeepSeek и преобразованной в GGUF пользователем bartowski. Квантизация выполнена с помощью llama.cpp, релиз b3166, с использованием imatrix и специализированного набора данных. Модель относится к классу text-generation и предназначена прежде всего для генерации и обработки программного кода, а также других сценариев локальной генерации текста. Доступны варианты квантизации от Q8_0 и Q8_0_L до Q2_K и IQ2_S, размером примерно от 6,00 до 17,09 ГБ. Старшие варианты обеспечивают очень высокое качество, тогда как младшие требуют меньше оперативной памяти, но заметно уступают по качеству. Для ряда вариантов указана поддержка контекстного формата с системным сообщением, запросом пользователя и ответом ассистента. Архитектура, число параметров, поддерживаемые языки программирования, максимальная длина контекста и дополнительные модальности в README не указаны, поэтому модель следует рассматривать как текстовую. Основные преимущества — широкий выбор уровней сжатия, возможность запуска через llama.cpp и хорошее сохранение качества у вариантов Q5–Q8; варианты Q6_K и Q5_K рекомендованы автором как сбалансированные. Ограничения связаны с потерей качества при низких уровнях квантизации и с тем, что некоторые варианты имеют экспериментальный статус. Модель распространяется по лицензии DeepSeek License; точные условия следует уточнять в файле LICENSE исходного репозитория.

dolphincoder-starcoder2-15b-GGUF — квантизированная версия модели dolphincoder-starcoder2-15b, разработанной cognitivecomputations и опубликованной в формате GGUF пользователем bartowski. Модель основана на StarCoder2 с размером около 15 млрд параметров и предназначена для генерации текста и программного кода. Модель ориентирована на задачи программирования, включая написание, дополнение и обработку кода, а также работу с инструкциями в сценариях code assistant. Для обучения использовались наборы данных Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder, Code-Feedback и их производные. В карточке указан английский язык; модальности ограничены текстом. Размер контекста и точные архитектурные характеристики не указаны. Преимущество этой версии — возможность локального запуска через llama.cpp с различными уровнями квантизации. Вариант Q6_K отмечен как рекомендуемый благодаря высокому качеству, тогда как менее битные варианты требуют меньше памяти, но дают более заметное снижение качества; Q2_K и Q3_K_S не рекомендуются. К ограничениям относятся зависимость качества и требований к памяти от выбранной квантизации, а также отсутствие данных о производительности и поддерживаемых языках программирования. Лицензия модели — bigcode-openrail-m.

dotnet-coder-14b — специализированная языковая модель для C# и .NET, дообученная на базе Qwen2.5-Coder-14B-Instruct. Разработчик — zipaltrivedi. Модель предназначена для coding agents и опытных .NET-разработчиков, которым нужен самодостаточный и компилируемый код, включая задачи на ASP.NET, Entity Framework и другие сценарии экосистемы .NET. Указан английский язык, задача модели — генерация текста. Модель содержит около 14,7 млрд параметров, поддерживает контекст до 32 768 токенов базовой модели, а обучение выполнялось на последовательностях длиной 2 048 токенов с использованием QLoRA SFT и итеративного DPO. Для обучения использовались 107 тысяч записей на C#. Отличительная особенность — применение dotnet build как объективного сигнала предпочтения в трёх раундах DPO: по заявленным данным, итоговая доля компилируемого кода достигла 97% на тестах разработчика, включая проверки с .NET 6, .NET 8 и .NET 9. Модель также демонстрирует сильные результаты на экспертных вопросах по .NET и при генерации многофайловых решений, хотя для сложных задач может потребоваться повторная попытка. Заявленные показатели являются результатами самотестирования и могут зависеть от промптов, настроек инференса и версии SDK. Модель ориентирована прежде всего на генерацию C#/.NET-кода и не заменяет проверку, тестирование и анализ безопасности человеком. Для запуска в формате Q4_K_M требуется около 9 ГБ VRAM. Лицензия — Apache 2.0.

Fireball-12B — языковая модель EpistemeAI для генерации текста, дообученная на базе EpistemeAI/Fireball-Mistral-Nemo-Base-2407-sft-v2.2a. Это плотная трансформерная модель семейства Mistral с архитектурой MistralForCausalLM и 12,1 млрд параметров. Для ответов рекомендуется формат инструкций Alpaca; модель дополнительно дообучалась методом ORPO на предпочтениях и на наборах с примерами программирования и инструкций. Модель предназначена для ответов на инструкции и помощи с программированием. В карточке указано контекстное окно 128k токенов, а метаданные каталога сообщают native context в 1 024 000 токенов; эти значения расходятся, поэтому фактический доступный контекст следует проверять для используемой версии и программного стека. Доступны веса в формате Safetensors, лицензия Apache 2.0. Автор предупреждает, что встроенных механизмов модерации нет; для развертывания с пользовательским вводом рекомендуется отдельно настроить фильтрацию.

gemma-4-A4B-98e-v7-coderx-it-GGUF — квантованная версия модели ManniX-ITA/gemma-4-A4B-98e-v7-coderx-it, разработанная автором ManniX-ITA и распространяемая в формате GGUF. Модель предназначена прежде всего для генерации и анализа кода, задач рассуждения и мультимодальных сценариев с обработкой текста и изображений. Заявлена поддержка английского языка. Модель построена на архитектуре Gemma4 с разреженной MoE-структурой: общий размер составляет около 20,45 млрд параметров, из которых активно используется около 4 млрд. Для мультимодальной работы доступна общая vision-башня Gemma 4 SigLIP в файле mmproj-gemma4.gguf; она не подвергалась pruning. В репозитории представлены варианты квантования от CD-Q2_K до F16, с размерами файлов примерно от 8,82 до 21,16 ГБ. Квантования созданы с использованием imatrix и калибровочных данных v5. По приведённым тестам HumanEval+ и MultiPL-E-100 варианты модели показывают высокое качество генерации кода: лучшие результаты достигают 93,29% на HumanEval+ и 91,33% на MultiPL-E-100. Q4_K_S рекомендуется как наиболее эффективный K-вариант, IQ4_NL — как компактный вариант, а CD-Q2_K — как минимальный по размеру вариант с сохранением приемлемого качества. Ограничения включают значительные требования к дисковому пространству, отсутствие данных о длине контекста и неполную информацию о поддерживаемых языках и производительности вне указанных тестов. Модель распространяется по лицензии Apache-2.0.

mlx-community/GLM-5.1-MXFP4-Q8 — MLX-квантизированная версия текстовой генеративной модели GLM-5.1, разработанной Z.ai (zai-org) и опубликованной в формате MLX сообществом mlx-community. Базовая модель предназначена прежде всего для агентной разработки программного обеспечения, генерации и анализа кода, длительных рассуждений, работы с терминалом и использования инструментов. Она поддерживает текстовый ввод и вывод; сведения о поддержке изображений или аудио для этой версии не указаны. По опубликованным конфигурациям GLM-5.1 относится к архитектуре glm_moe_dsa и использует decoder-only causal language model с Mixture-of-Experts: 78 слоёв, 256 маршрутизируемых экспертов и 8 активных экспертов на токен. Размер модели составляет примерно 744 млрд параметров, максимальная позиционная длина указана как 202 752 токена. Версия MXFP4-Q8 предназначена для запуска через MLX и использует 4-битное MXFP4-квантизирование с отдельными компонентами в 8-битном представлении; это существенно уменьшает объём хранения по сравнению с полной версией, но модель всё равно требует очень значительных аппаратных ресурсов. Сильные стороны модели — ориентация на сложные программные и агентные задачи, большой контекст и возможность локального запуска в MLX-совместимой среде. Ограничения включают крайне большой размер, высокие требования к памяти и потенциально низкую производительность на неподходящей или распределённой конфигурации оборудования; официальная карточка именно этой производной версии практически не содержит описания и результатов оценки. Для базовой GLM-5.1 указана лицензия MIT, но для репозитория mlx-community/GLM-5.1-MXFP4-Q8 отдельные лицензионные условия не указаны, поэтому их следует проверить перед коммерческим использованием.

granite-34b-code-instruct-GGUF — это квантизированная GGUF-версия Granite-34B-Code-Instruct, разработанной IBM на базе ibm-granite/granite-34b-code-base. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и прежде всего для задач программирования: написания, объяснения и исправления кода, решения математических задач, работы с SQL и сценариев, связанных с function calling и ассистентами разработчика. Модель имеет 34 миллиарда параметров и работает с текстовыми данными. В README приведён шаблон диалога с системным сообщением, вопросом и ответом. Заявлены результаты на HumanEvalPack для Python, JavaScript, Java, Go, C++, Rust; показатели pass@1 для генерации кода составляют от 41,5% до 62,8%, однако указано, что эти результаты не подтверждены. Для локального запуска доступны варианты Q8_0, Q6_K, Q5_K_M и Q5_K_S размером примерно от 23,40 до 35,99 ГБ; Q6_K и Q5_K_M отмечены как рекомендуемые по соотношению качества и размера. Сильными сторонами являются специализация на программировании, поддержка нескольких языков программирования и возможность локального использования в формате GGUF. Ограничения включают высокие требования к дисковому пространству и вычислительным ресурсам, зависимость качества от выбранного уровня квантизации, а также отсутствие в предоставленных данных сведений о размере контекстного окна, полном наборе поддерживаемых естественных языков и системных требованиях. Модель распространяется по лицензии Apache 2.0.

Granite-8B-Code-Instruct-128K — языковая модель для программирования, разработанная IBM Research. Это плотная decoder-only модель семейства Llama с 8,1 млрд параметров, дообученная на базе ibm-granite/granite-8b-code-base-128k. Модель принимает текстовые инструкции и код, поддерживает контекст до 128 000 токенов и выдаёт текст. Модель предназначена для генерации и объяснения кода, а также для создания программных помощников, работающих с длинным контекстом, например с содержимым репозитория. Обучение сочетает короткие и длинные примеры, чтобы поддерживать задачи на уровне нескольких файлов и сохранять возможности при коротких запросах. В обучающие данные входили наборы для программирования, математики, SQL и диалогов с помощником. Модель выпущена IBM Research 18 июля 2024 года и распространяется по лицензии Apache 2.0. Авторы не рекомендуют применять её в новых проектах: для них предназначены более новые модели семейства Granite. Качество может быть ниже для языков программирования, слабо представленных в обучении; перед использованием в критических приложениях рекомендуется проверка безопасности и настройка под целевую задачу.

Mungert/granite-8b-code-instruct-128k-GGUF — это GGUF-квантизированная версия Granite-8B-Code-Instruct-128K, разработанная IBM Research и предназначенная для генерации текста и программного кода по инструкциям. Модель дообучена на базе Granite-8B-Code-Base-128K с использованием разрешённых к распространению наборов данных и синтетических инструкций для задач с длинным контекстом. Релиз исходной модели состоялся 18 июля 2024 года. Модель содержит около 8 миллиардов параметров, работает как causal language model и поддерживает контекст до 128 тысяч токенов. Она ориентирована на создание coding assistants, генерацию, объяснение и исправление кода, работу с большими фрагментами исходного кода и репозиториями, а также на задачи, связанные с математикой, SQL и function calling. В README приведены результаты на Python, C++, Java, TypeScript и Rust; показатели pass@1 составляют от 37 до 73 в отдельных тестах RepoQA, однако результаты отмечены как непроверенные. Ключевая особенность этой версии — формат GGUF и дополнительный подход к квантизации: автор применяет повышение точности отдельных важных слоёв сверх стандартной конфигурации IMatrix. Это может улучшать точность при ограниченной разрядности, но увеличивает размер файлов модели; конкретный вариант квантизации и требования к памяти в README не указаны. Модель работает с текстовыми входами и выходами; сведения о мультимодальности и полном наборе поддерживаемых языков отсутствуют. Модель распространяется по лицензии Apache 2.0. Для использования необходима совместимая среда инференса, например llama.cpp или библиотека, поддерживающая GGUF.

Grok 4.5 — модель SpaceXAI, заявленная как модель с передовыми возможностями в программировании, интеллектуальной работе и задачах STEM. Она предназначена для помощи в написании и разборе кода, работе со знаниями и решении научных, технических, инженерных и математических задач. Доступные сведения не подтверждают конкретные архитектуру, размер, модальности, языки или длину контекста. Лицензия не указана.

KAT-Coder V2.5 Dev 35B-A3B MTP Abliterated GGUF — это квантизированная и полноточная GGUF-сборка модели для генерации текста и программного кода. Сборку подготовил jakeroxs на основе KAT-Coder V2.5 Dev от KwaiPilot и аблитерированной версии Philadelphia Class, дополнив её совместимым слоем Multi-Token Prediction (MTP) от Myric для спекулятивного декодирования в llama.cpp. Модель предназначена прежде всего для задач программирования, генерации и обработки кода, а также для разговорных сценариев. Указаны английский и китайский языки. Архитектура — Qwen3.5 MoE (qwen35moe): около 35,51 млрд параметров, 256 экспертов, из которых на каждый токен используются 8, контекст до 262 144 токенов. Доступны вариант Q4_K_M размером около 20,2 GiB и BF16 GGUF. Слой MTP является опциональным и позволяет использовать native draft-mtp в llama.cpp; на RTX 5090 в описанной конфигурации он повысил скорость генерации примерно на 25,7%, однако на видеокартах с недостаточным объёмом памяти может привести к дополнительной выгрузке слоёв и снижению производительности. Для работы требуется свежая сборка llama.cpp с поддержкой Qwen3.5 MoE MTP. Основные ограничения связаны с высокими требованиями к памяти и зависимостью производительности от аппаратной конфигурации; приведённые результаты относятся к конкретным системам и не гарантируют аналогичную скорость в других условиях. Модель распространяется по лицензии Apache-2.0.

Kimi-Dev-72B-4bit-DWQ — языковая модель для генерации текста и работы с программным кодом, разработанная на базе moonshotai/Kimi-Dev-72B. Модель преобразована сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.26.0 и предназначена для запуска на устройствах, поддерживающих экосистему MLX. Модель ориентирована на задачи программирования, разрешения software issues и сценарии, связанные с разработкой и исправлением кода, включая задачи класса SWE-bench. Она имеет размер 72B параметров и использует 4-битное квантование DWQ, что снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность и качество генерации. Поддерживается текстовая модальность; сведения о языках, максимальном размере контекста и конкретной архитектуре в README не указаны. Для использования требуется библиотека mlx-lm и совместимое окружение MLX. Модель распространяется по лицензии MIT.

Laguna M.1 GGUF — независимая общественная конверсия и набор квантизированных GGUF-версий модели Laguna M.1, разработанной Poolside. Модель предназначена для генерации кода, задач программирования с длинным контекстом и агентских сценариев локального запуска. Данный репозиторий содержит производные артефакты, созданные на основе исходных BF16 safetensors Poolside, а не официальный релиз разработчика. Исходная Laguna M.1 — разреженная MoE-модель с 225 млрд общих параметров и 23 млрд активируемых параметров на токен. Она использует 70 слоёв с глобальным вниманием, 256 разреженных экспертов после первых трёх плотных слоёв, маршрутизацию top-k=16, RoPE с YaRN и механизм softplus attention output gating. Заявленное контекстное окно составляет 262 144 токена. Доступны варианты квантизации от наиболее компактных IQ1_S_R4 размером 43,54 GiB до BF16 размером 420,71 GiB; качество и требования к памяти зависят от выбранного варианта. Сильными сторонами модели являются специализированная направленность на программирование, поддержка сверхдлинного контекста и возможность локального использования через GGUF. Для запуска требуется совместимый runtime: подтверждена поддержка ik_llama.cpp начиная с версии, включающей соответствующие изменения, тогда как другие средства могут потребовать отдельной реализации поддержки Laguna. Модель и представленные GGUF-артефакты распространяются с метаданными лицензии Apache License 2.0; конверсия является независимой, а торговые названия и брендинг Poolside остаются собственностью Poolside.

Llama3-8B-Instruct-Replete-Adapted-GGUF — квантизированная GGUF-версия инструкционной модели Llama3-8B-Instruct-Replete-Adapted, разработанной Replete-AI и подготовленной для распространения пользователем bartowski. Модель предназначена для текстовой генерации, прежде всего для программирования, работы с кодом, математическими задачами, инструкциями, диалогами, function calling и анализа уязвимостей. Обучение или дообучение проводилось на смешанном наборе датасетов с примерами кода, инструкций, диалогов, математических задач и данных для ассистентов программирования. Модель основана на архитектуре Llama 3 с 8 млрд параметров и поставляется в формате GGUF для запуска через llama.cpp. Доступны варианты квантизации от Q5 до Q8 с размером файлов примерно от 5,73 до 8,54 ГБ; для вариантов Q6 и Q5 заявлено высокое качество, близкое к исходной модели. В README указан результат pass@1 около 64,7% на HumanEval. Формат промпта использует специальные токены Llama 3. Языки, размер контекстного окна и мультимодальные возможности в предоставленных данных не указаны; описание относится к текстовой модели. Сильными сторонами являются специализация на генерации и анализе кода, поддержка локального запуска через llama.cpp и наличие нескольких уровней квантизации с разным балансом качества и требований к памяти. Ограничения включают возможные потери качества из-за квантизации, отсутствие подтвержденных характеристик по языкам и контексту, а также неполные значения большинства приведенных бенчмарков. Модель распространяется по лицензии Llama 3; условия следует уточнять в официальном тексте лицензии Meta.

Macaron-V1.1 — агентная модель MindLab Research, построенная на GLM-5.3 и дообученная для диалогов, работы с инструментами, программирования и генерации пользовательских интерфейсов. В README описана архитектура Mixture of LoRA: общая базовая модель GLM-5.3 и четыре LoRA-специалиста для чата, агентных задач, программирования и Generative UI. Метаданные указывают 30,4 млрд параметров, архитектуру семейства GLM MoE DSA, формат safetensors и контекст до 1 048 576 токенов; README отдельно называет релизный масштаб 752 млрд параметров, включая базу 744 млрд и четыре адаптера по 2 млрд, поэтому сведения о размере различаются. Модель предназначена для разговорного взаимодействия, выбора и применения инструментов в многошаговых рабочих процессах, длительных задач разработки ПО и создания интерфейсов. В карточке приведены результаты нескольких бенчмарков, но часть оценок является самоотчётной или получена по различающимся протоколам; полные сведения для воспроизведения экспериментов отсутствуют. Указанная лицензия — MIT.

Macaron-V1-Coding-Venti — кодовая модель MindLab Research из семейства Macaron-V1. Это объединённый чекпойнт: специалист по программированию Macaron-V1-Venti L2 Coding слит с базовыми весами GLM-5.2 BF16. Модель предназначена для понимания кода, работы с репозиториями, терминалом и сценариев программного агента; её можно запускать как обычную причинную языковую модель без подключения LoRA-адаптера или маршрутизатора. В метаданных указаны архитектура GLM MoE DSA, 30,4 млрд параметров, контекст до 1 048 576 токенов, библиотека Transformers и поддержка английского и китайского языков. Чекпойнт распространяется под лицензией MIT. Отдельной оценки этого объединённого варианта нет: приведённые в README результаты относятся к маршрутизированной родительской системе Macaron-V1-Venti и не измеряют качество данной модели. Модель специализируется на программировании и не включает другие специализации родительской системы; README также отмечает слабые места в зависимых вызовах инструментов и отсутствие отдельной оценки безопасности. Не рекомендуется использовать её как автономного помощника в медицинских, юридических, финансовых и других высокорисковых задачах.

Naim 9B v2 — агент для программирования, созданный ABDESSEMED Mohamed. Это плотная модель семейства Naim с архитектурой NaimForConditionalGeneration и примерно 9 млрд параметров; она развивает предыдущую модель Mimo автора. Модель предназначена для диалоговой работы над кодом: анализирует задачу и кодовую базу, составляет план, вносит изменения и проверяет результат. Поддерживает вызов инструментов и режимы рассуждения и прямого ответа. Заявлена длина контекста до 262 144 токенов. Основной интерфейс принимает текст и генерирует текст; README также заявляет поддержку зрения с отдельным файлом naim-mmproj-f16.gguf. Доступны веса Safetensors и варианты GGUF F16, Q4_K_M и Q8_0. В версии v2 автор отмечает более естественные ответы и более полные примеры кода. Модель рассчитана на французский и английский языки. Лицензия — Apache-2.0.

Omega AI 450B — вариант модели, представленный под брендом Omega AI и основанный на Qwen3-Coder-480B-A35B-Instruct. Это языковая MoE-модель для генерации кода и диалогов; карточка указывает 480 млрд общих параметров и около 35 млрд активных параметров. Название «450B» обозначает уровень семейства Omega, а не фактическое число параметров. Модель предназначена для генерации кода и сценариев агентного программирования; в метаданных также заявлен интерфейс вызова инструментов. Контекст составляет до 262 144 токенов. Указано, что архитектура и исходные предобученные веса происходят от Qwen, а не были изначально обучены Omega AI. Сведения о лицензии и ограничениях качества в предоставленных источниках отсутствуют.

Ornith-1.5-9B-MLX-4bit — 4-битная MLX-квантованная версия Ornith-1.5-9B, разработанная командой Ornith AI. Это плотная языковая модель примерно на 9 млрд параметров, ориентированная на эффективное развертывание на одной GPU; семейство также включает вариант для мобильных устройств. Модель предназначена для генерации текста и особенно хорошо подходит для программирования, работы с терминалом и решения задач по исправлению кода. В основе Ornith-1.5 лежит подход непрерывного самоулучшения: модель обучалась с совместной оптимизацией генерации задач, построения scaffold и rollouts решений с применением reinforcement learning. По заявленным результатам она показывает сильные показатели в Terminal-Bench 2.1, SWE-bench Verified, SWE-bench Pro и SWE-bench Multilingual, превосходя Ornith-1.0-9B и Qwen3.5-9B в приведённых тестах. Ключевое преимущество данной версии — сниженные требования к памяти благодаря 4-битному квантованию и совместимость с MLX. В карточке указано, что основной язык модели — английский. Сведения о размере контекста, поддерживаемых модальностях помимо текста, точной базовой архитектуре, лицензии и ограничениях применения не приведены, поэтому их следует уточнять отдельно. Количественные результаты зависят от используемого окружения и конфигурации оценки.

ggml-org/Qwen2.5-Coder-14B-Instruct-Q8_0-GGUF — это квантизированная версия модели Qwen2.5-Coder-14B-Instruct, преобразованная в формат GGUF командой ggml-org с использованием llama.cpp и проекта GGUF-my-repo. Базовая модель разработана командой Qwen; в предоставленных данных точное название разработчика базовой модели не уточняется. Модель предназначена для генерации текста и работы с исходным кодом, включая сценарии программирования и диалогового взаимодействия. Она ориентирована на запуск через llama.cpp в локальной среде, как в режиме командной строки, так и в виде сервера. Указана поддержка английского языка. Модель является текстовой, имеет 14 миллиардов параметров и использует квантование Q8_0. Архитектура, максимальная длина контекста и полный перечень поддерживаемых языков в README не указаны; пример запуска использует контекст 2048 токенов, но это не подтверждает максимальный размер контекста. К сильным сторонам относятся специализация на задачах программирования, совместимость с экосистемой llama.cpp и возможность локального развертывания в GGUF-формате. Ограничения связаны с необходимостью подходящего оборудования и программной среды для запуска, а также с отсутствием в предоставленных данных подробностей о качестве на бенчмарках, производительности и фактическом языковом охвате. Модель распространяется по лицензии Apache-2.0.

TobiasLogic/Qwen2.5-Coder-32B-abliterated-GGUF — это квантованная в формате GGUF Q4_K_M версия модели TobiasLogic/Qwen2.5-Coder-32B-abliterated, созданной на основе Qwen/Qwen2.5-Coder-32B-Instruct. Модель предназначена прежде всего для генерации, анализа и редактирования программного кода, а также для локального текстового общения. Разработчик удалил из исходной fp16-модели направление отказа, связанное с безопасностными ограничениями, после чего выполнил 4-битную квантование с помощью llama.cpp. Модель поддерживает запуск на CPU и GPU через Ollama или llama.cpp. Размер файла составляет примерно 19–20 ГБ; модель рассчитана на запуск на одной видеокарте с 24 ГБ VRAM. В README явно указан английский язык, а максимальный контекст для примера запуска составляет 8192 токена, однако полный размер контекстного окна не указан. По результатам EvalPlus модель показывает 89,6% на HumanEval, 84,8% на HumanEval+, 91,3% на MBPP и 77,0% на MBPP+. Эти показатели близки к базовой модели в задачах программирования, но относятся к измерениям, выполненным разработчиком. Ключевая особенность модели — отсутствие исходного поведения, связанного с отказами: в указанной проверке доля отказов снизилась с 96,9% у базовой Qwen2.5-Coder-32B-Instruct до 0,0% у abliterated-версии. Это может расширять диапазон запросов, но одновременно увеличивает риски генерации вредного или небезопасного содержимого; модель не следует воспринимать как безопасную без дополнительного контроля. Распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

ThomasBaruzier/Qwen2.5-Coder-32B-Instruct-GGUF — это набор GGUF-квантизованных вариантов Qwen2.5-Coder-32B-Instruct, базовой модели семейства Qwen, разработанной командой Qwen. Квантизация выполнена с использованием llama.cpp и метода imatrix с калибровочным файлом Bartowski. Модель предназначена для генерации и обработки текста, прежде всего для задач программирования и диалогового взаимодействия с кодом. Доступны варианты квантизации от IQ1_S до Q5_K_M, размером примерно от 6,9 до 21,6 ГБ. README приводит показатели perplexity, размера и точности для отдельных вариантов: более крупные квантизации обычно обеспечивают лучшее качество, но требуют больше памяти. Поддерживается текстовый ввод и вывод; заявлен язык en. Архитектура, размер контекста и полный перечень языков в карточке не указаны. Сильная сторона набора — широкий выбор компромиссов между размером файла, требованиями к ресурсам и качеством, а также совместимость с экосистемой llama.cpp благодаря формату GGUF. Ограничения связаны с потерями качества, характерными для квантизации, и значительными требованиями к памяти у 32B-модели; конкретные характеристики зависят от выбранного варианта. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-32B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen2.5-Coder-32B-Instruct, преобразованная в формат GGUF пользователем zhangfeng026 с использованием llama.cpp и сервиса GGUF-my-repo. Исходная модель разработана командой Qwen; в карточке указана лицензия Apache-2.0. Модель предназначена для генерации текста и прежде всего для задач, связанных с программным кодом, включая работу в чат-сценариях и использование через llama.cpp. Формат GGUF ориентирован на локальный запуск с помощью llama-cli или llama-server и может применяться на совместимом CPU или GPU-оборудовании. В качестве базовой модели указана Qwen/Qwen2.5-Coder-32B-Instruct, а размер исходной модели составляет 32B параметров. Ключевая характеристика этой версии — квантизация Q4_K_M, которая уменьшает требования к памяти по сравнению с полноразмерной моделью, но потенциально снижает точность генерации. Модель относится к текстовым, поддерживает генерацию кода и текста; в метаданных указан английский язык. Размер контекста в README не определён: в примере запуска llama.cpp используется значение 2048 токенов, но это является параметром команды, а не обязательно максимальным контекстом модели. Подробные сведения о языках, архитектуре, результатах оценки и ограничениях рекомендуется уточнять в карточке исходной модели.

Qwen2.5-Coder-7B-Instruct-Q8_0-GGUF — это конвертированная в формат GGUF и квантизованная версия модели Qwen/Qwen2.5-Coder-7B-Instruct. Конвертацию выполнила организация ggml-org с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и прежде всего для задач, связанных с программным кодом, включая диалоговое взаимодействие и работу с кодом через llama.cpp. Модель имеет размер 7B параметров и представлена в варианте квантизации Q8_0, что позволяет запускать её локально с помощью llama.cpp в режиме CLI или сервера. В карточке указано, что поддерживаемый язык — английский. Для примера серверного запуска задан контекст 2048 токенов, однако максимальный размер контекста в README не указан. Архитектура и перечень поддерживаемых модальностей не описаны; из назначения и типа pipeline следует, что это текстовая авторегрессионная модель. К сильным сторонам относятся специализация на программном коде, инструкция-ориентированный режим и совместимость с локальным инференсом через llama.cpp. Ограничения связаны с отсутствием в карточке подробных сведений о качестве, бенчмарках, точном размере контекста и поддерживаемых языках помимо английского, а также с потерями точности, возможными при квантизации. Указана лицензия Apache 2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-NEO-CODER-NVFP4 — языковая модель на базе Qwen3.8-27B, созданная DavidAU и подготовленная, квантизированная и упакованная командой Solstice-AI. Модель предназначена для программирования, агентной разработки ПО, отладки репозиториев, решения задач с длинным контекстом и автоматизации действий в настольных и мобильных средах. Заявлена поддержка английского и китайского языков. Модель использует формат NVIDIA NVFP4 и рассчитана прежде всего на ускоренное выполнение на оборудовании NVIDIA Blackwell, включая B200, GB200 и RTX 5090; также заявлена совместимость с RTX 4090. Архитектура описана как гибридная: около 75% слоёв используют линейное внимание Gated Delta Recurrent Network, а около 25% — глобальное Grouped-Query Attention. Заявлены нативный контекст до 262 144 токенов, Multi-Token Prediction с генерацией двух токенов за проход и дополнительная мультимодальность для обработки изображений и видеокадров через компонент mmproj-BF16.gguf. Сильными сторонами по данным README считаются задачи программной инженерии, рассуждения, следование сложным ограничениям и длительные многофайловые сценарии; приведены высокие результаты на SWE-bench Pro, LiveCodeBench v6, QwenSWEBench, OSWorld-Verified, AndroidWorld, IFBench и ARC. Эти результаты заявлены авторами модели и не являются независимой гарантией качества. Ограничения включают зависимость от поддерживаемого NVFP4-стека и специализированного оборудования, а также потенциальные риски, связанные с заявленным удалением ограничивающих отказов в рамках Project Heretic. Лицензия указана как Apache-2.0.

Qwen3.8-Flash-Coder-85GB-BF16 — производная модель Jab1718 на базе Qwen/Qwen3.8-Flash-Next, предназначенная для генерации кода и задач программирования. По README, это выделенная с помощью moe-slice разреженная MoE-подсеть: сохранены 48 трансформерных слоёв и 160 экспертов на слой; веса представлены в BF16, размер чекпойнта — около 85,24 ГБ. В карточке Hugging Face указаны 5,1 млрд параметров и контекст до 262 144 токенов. Модель рассчитана на диалоговое использование для написания, отладки и изменения кода, включая агентные сценарии. README сообщает о проверках на программных задачах на нескольких языках, но эти результаты относятся к описанной авторами тестовой подборке и не гарантируют аналогичного качества в других условиях. Метаданные указывают английский, вьетнамский и китайский языки; отдельная поддержка русского не заявлена. Лицензия — Apache-2.0.

Qwen3-Coder-30B-A3B-Instruct-GGUF — квантизированная версия модели Qwen3-Coder-30B-A3B-Instruct, разработанной Qwen и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста, прежде всего для задач программирования и работы с кодом, и может запускаться через GaiaNet с шаблоном запросов ChatML. Модель имеет архитектуру и параметры исходной Qwen3-Coder-30B-A3B-Instruct; в README указано обозначение 30B-A3B, однако подробности архитектуры не приведены. Поддерживается контекст размером до 256 000 токенов. Модель работает в текстовой модальности, а сведения о поддерживаемых языках в README отсутствуют. Квантизация выполнена с использованием llama.cpp b6031. Модель подходит для локального или распределённого запуска в сценариях генерации текста и помощи с программированием. Ключевое преимущество — большой контекст и формат GGUF, удобный для совместимых сред запуска. Ограничения README не описывает; также не приведены сведения о точном типе квантизации, требованиях к ресурсам, производительности и языковом покрытии. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-Next-Uncensored-Heretic — дообученная версия Qwen3-Coder-Next от независимого автора llmfan46. Это причинная языковая модель с архитектурой MoE, предназначенная для генерации кода и работы в агентных сценариях разработки. Модель поддерживает диалог и вызов инструментов, а её контекст достигает 262 144 токенов. Автор описывает вариант как менее склонный к отказам: в приведённом тесте отказов было 8 из 100 против 100 из 100 у исходной модели; KL-дивергенция относительно неё составила 0,1488. Это не гарантирует качество или поведение на других запросах. README указывает на 80 млрд общих параметров и 3 млрд активных у исходной модели, тогда как метаданные этого репозитория сообщают 2,3 млрд параметров; эти оценки расходятся. Модель доступна в формате Safetensors и распространяется по лицензии Apache-2.0.