II.3Рефакторинг, миграция и модернизация

Qwen2.5-Coder-14B-Instruct-8bit — это 14-миллиардная инструкционная языковая модель для генерации текста и работы с программным кодом. Она основана на Qwen2.5-Coder-14B-Instruct, разработанной командой Qwen, и преобразована сообществом mlx-community в формат MLX с использованием mlx-lm 0.19.3. Модель предназначена для запуска через библиотеку mlx-lm. Модель ориентирована на задачи программирования, включая генерацию и обработку кода, а также диалоговые сценарии. В карточке указана поддержка английского языка; другие языки, размер контекстного окна и дополнительные модальности не заявлены. Ключевая особенность версии — 8-битное представление, адаптированное для экосистемы MLX. Модель распространяется по лицензии Apache 2.0. README не содержит сведений о результатах тестирования, конкретных ограничениях качества или рекомендуемых аппаратных требованиях, поэтому эти характеристики нельзя оценить по имеющимся данным.

BenevolenceMessiah/Qwen2.5-Coder-32B-Instruct-abliterated-Rombo-TIES-v1.0 — объединённая языковая модель на архитектуре Qwen2, созданная mergekit методом TIES. В качестве основы использована huihui-ai/Qwen2.5-Coder-32B-Instruct-abliterated, а в объединение включена rombodawg/Rombos-Coder-V2.5-Qwen-32b. Модель имеет 32 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для генерации текста в диалоговом формате и задач, связанных с программированием. Она принимает текст и выдаёт текст; заявленная длина контекста составляет 32 768 токенов. Карточка не приводит отдельных результатов оценки качества или перечня поддерживаемых естественных языков. Модель создана сообществом BenevolenceMessiah и объединяет две модели, ориентированные на код. Лицензия в предоставленных данных не указана, поэтому условия использования следует проверить на странице репозитория Hugging Face.

Qwen2.5-Coder-7B-Instruct-abliterated-GGUF — GGUF-квантизированная версия инструкционной модели Qwen2.5-Coder-7B-Instruct-abliterated, разработанной huihui-ai и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалогового взаимодействия, прежде всего для задач программирования и запуска локально через llama.cpp или LM Studio. Модель содержит 7 миллиардов параметров и доступна в вариантах от F16 до различных квантований Q8, Q6, Q5, Q4 и Q3, что позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. Размер файлов составляет примерно от 4,09 до 15,24 ГБ в зависимости от варианта. В README указан английский язык; сведения о других языках, длине контекста и мультимодальности отсутствуют. Для взаимодействия используется формат сообщений ChatML с ролями system, user и assistant. К сильным сторонам относятся специализация базовой модели на коде, широкий выбор квантований и возможность локального запуска на совместимом оборудовании. К ограничениям относятся возможная потеря качества при более сильном квантовании, отсутствие данных о бенчмарках и точной длине контекста, а также неопределённость характеристик варианта abliterated. Модель распространяется по лицензии Apache 2.0.

Qwen2.5-Coder-7B-Instruct-abliterated-GGUF — набор GGUF-квантизаций модели Qwen2.5-Coder-7B-Instruct-abliterated. Базовая модель опубликована huihui-ai, а квантизации подготовлены bartowski с использованием llama.cpp и imatrix. Это текстовая модель генерации с поддержкой диалогового формата prompt и специализацией на задачах программирования и следовании инструкциям. Модель предназначена для локального запуска в приложениях и средах, совместимых с GGUF, включая LM Studio. Доступны варианты от F16 до Q3 и различных Q4–Q8-квантизаций размером примерно от 4,09 до 15,24 ГБ. Более крупные варианты обычно сохраняют лучшее качество, а компактные требуют меньше оперативной памяти; для ARM предусмотрены отдельные варианты, некоторые из которых требуют поддержки sve или i8mm и не рекомендуются для Mac или Windows. В README указана поддержка английского языка и текстовая модальность; сведения о размере контекста и точной архитектуре не приведены. К ключевым ограничениям относятся возможная потеря качества при сильной квантизации и зависимость совместимости от аппаратной платформы. Модель имеет статус abliterated/uncensored, поэтому поведение в отношении ограничений безопасности может отличаться от исходной instruct-модели. Указана лицензия Apache-2.0.

WaveCut/Qwen3.8-Flash-Next-REAM-288-MLX-4bit — 4-битная MLX-квантизированная версия модели WaveCut/Qwen3.8-Flash-Next-REAM-288, построенная на базе Qwen3.8-Flash-Next и предназначенная для запуска через mlx-vlm. Это разреженная Mixture-of-Experts-модель с 288 слотами экспертов; в отличие от варианта REAP, удаляемые эксперты здесь объединяются с наиболее похожими сохранёнными экспертами. Модель поддерживает сценарии генерации текста и кода, включая рефакторинг программ, а также заявлена для конвейера image-text-to-text. Контекст модели, её точный общий размер и полный список языков в карточке не указаны. Эксперты и основные тензоры представлены в 4-битном формате с групповой схемой квантования; таблица n-грамм использует отдельную 4-битную схему. Модель совместима со стандартным mlx-vlm из ветки main с поддержкой qwen4_exp. Для спекулятивного декодирования MTP-тензоры не включены, поэтому требуется отдельная совместимая модель-драфтер. В опубликованных сравнениях сборка немного превосходит REAP-версию по KL-дистанции, а в тестах MLX получила 89,6% на HumanEval-164, 58,0% на GSM8K-200 и 62,7% в тесте редких имён. К ограничениям относятся 4-битные потери качества на нелатинских именах, ограниченная статистическая надёжность части оценок и зависимость результатов GSM8K от лимита длины генерации. Данные о контекстном окне и системных требованиях явно не приведены. Модель распространяется по лицензии qwen-community-license-1.0; в метаданных также указана общая лицензия other.

Qwen3-Blitzar-Coder-F1-6B-Brainstorm20x — текстовая инструктивная модель для генерации кода, созданная DavidAU на основе дообученной модели prithivMLmods/Blitzar-Coder-4B-F.1 с применением адаптера Brainstorm 20x. Модель рассчитана на генерацию и доработку кода по подробным инструкциям, в том числе на пошаговое решение сложных задач и мозговой штурм. Модель использует архитектуру Qwen3ForCausalLM и содержит 5,4 млрд параметров. Она принимает текст и генерирует текст; заявленная длина контекста — до 40 960 токенов. В карточке указана поддержка английского языка. Автор описывает Brainstorm 20x как модификацию, направленную на улучшение связности рассуждений, детализации и следования инструкциям, однако отмечает, что повышение интеллекта модели не было целью или предметом оценки. Исходные веса доступны в формате safetensors и могут использоваться напрямую или конвертироваться в другие форматы. Для работы требуется шаблон Jinja или ChatML. Лицензия — Apache 2.0. Практическое качество на сложных задачах зависит от настроек генерации и используемой точности; README рекомендует более высокие квантизации для многошагового решения задач.

Qwen3-Coder-30B-A3B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen/Qwen3-Coder-30B-A3B-Instruct, разработанной командой Qwen. Модель преобразована в формат GGUF с квантизацией Q4_K_M, поэтому предназначена для запуска через llama.cpp, включая локальный inference и серверный режим. Модель ориентирована прежде всего на генерацию текста и задачи, связанные с программированием, однако README не содержит подробностей о поддерживаемых языках, модальностях, архитектуре, фактическом размере активной части модели и максимальной длине контекста. Ключевое преимущество этой версии — совместимость с экосистемой llama.cpp и возможность более экономичного запуска благодаря 4-битной квантизации; ограничениями могут быть потери качества по сравнению с исходной моделью и зависимость от подходящей аппаратной конфигурации. Указана лицензия Apache-2.0.

Qwen3-Coder-64B — сжатая методом REAP модель семейства Qwen3-Coder, опубликованная 0xSero на основе Qwen/Qwen3-Coder-Next. Это причинная языковая модель архитектуры MoE с гибридным линейным и полным вниманием; из 512 экспертов в слоях удалено 20%, осталось 410 экспертов на слой, при этом на токен активируются 10. В README указан размер 64,26 млрд параметров, тогда как метаданные каталога сообщают 2,3 млрд; размер следует считать противоречивым. Контекстное окно — до 262 144 токенов. Модель предназначена для генерации кода и многошаговой разработки, включая сценарии кодирующих агентов. В README сообщается о сокращении размера модели примерно на 14% с небольшим снижением совокупных результатов в тестах: среднее упало с 66,7% до 64,6%, а качество на математических задачах снизилось заметнее. Карточка содержит результаты ограниченного набора тестов, поэтому они не гарантируют качество на конкретных задачах. Модель принимает текст и генерирует текст. В метаданных указан английский язык; карточка не подтверждает поддержку других языков. Распространяется в формате BF16, а метаданные указывают файлы safetensors и библиотеку Transformers. Лицензия — Apache-2.0.

MLX-версия модели Qwen3-Coder-Next, разработанная сообществом mlx-community и конвертированная из Qwen/Qwen3-Coder-Next с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста, в первую очередь в сценариях, связанных с программированием и работой с кодом, и рассчитана на запуск через экосистему MLX. Модель представлена в 5-битном формате квантования, что уменьшает требования к памяти по сравнению с полноразмерным представлением и может быть удобно для локального запуска на совместимом оборудовании Apple. В README не указаны точные архитектурные параметры, количество параметров, поддерживаемые языки, размер контекста или дополнительные модальности; заявлена только текстовая генерация. Для использования требуется библиотека mlx-lm и совместимое с MLX окружение. Сильными сторонами являются оптимизация под формат MLX и уменьшенный размер представления, однако 5-битное квантование может влиять на точность по сравнению с исходной моделью. Модель распространяется по лицензии Apache-2.0.

DavidAU/Qwen3-Zero-Coder-Reasoning-0.8B-NEO-EX-GGUF — англоязычная текстовая generative-модель для программирования, разработанная DavidAU на базе DavidAU/Qwen3-Zero-Coder-Reasoning-0.8B и распространяемая в формате GGUF. Модель ориентирована на генерацию и анализ кода, мозговой штурм, решение задач и пошаговое рассуждение при разработке. Она может формировать блоки рассуждений перед ответом и подходит для интерактивной работы с подробными инструкциями и итеративным улучшением кода. Заявлены архитектура на платформе Qwen3, 42 слоя и 464 тензора; модель описана как объединение двух моделей размером 0,6B. Максимальный контекст составляет 40 000 токенов, рекомендуемый — от 8 000 до 16 000. Поддерживаются шаблоны Jinja или ChatML. Репозиторий содержит варианты GGUF с разными уровнями квантования и модификациями NEO Imatrix; в README отмечается, что некоторые более компактные кванты могут лучше подходить для отдельных сценариев, тогда как старшие кванты способны давать более качественные решения на сложных задачах. Сильными сторонами являются высокая скорость работы, компактный размер, специализация на коде и способность решать многоэтапные задачи. Ограничения включают возможные повторы блоков кода, чрезмерно длинные рассуждения и зависимость качества от уровня квантования и настроек генерации; для сложных запросов рекомендуется несколько генераций и тщательная формулировка требований. Модель распространяется по лицензии Apache-2.0.

Qwopus3.6-27B-Coder-bf16 — конверсия в формат MLX модели Jackrong/Qwopus3.6-27B-Coder, подготовленная сообществом mlx-community для запуска на Apple Silicon. Это мультимодальная модель семейства Qwen 3.5 с архитектурой условной генерации и визуальным компонентом; вариант использует веса BF16 и сохраняет шаблон чата и конфигурацию мультимодального процессора исходной модели. Поддерживает текстовые запросы и задачи программирования, а также входные изображения и видео.

Rombos-Coder-V2.5-Qwen-32b-GGUF — квантизированная версия модели Rombos-Coder-V2.5-Qwen-32b, разработанной rombodawg и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации и обработки кода, а также связанных с программированием текстовых запросов. В карточке указана поддержка английского языка и размер базовой модели 32B параметров. Модель квантизирована с использованием llama.cpp и imatrix; доступны варианты от Q3 до Q8 с размером файлов примерно от 15 до 35 ГБ. Версии с более высокой точностью сохраняют лучшее качество, тогда как младшие варианты требуют меньше оперативной памяти, но могут заметнее терять в качестве. Для запуска рекомендуются llama.cpp и LM Studio; в README также приведён шаблон чата с ролями system, user и assistant. Архитектура, размер контекстного окна, дополнительные модальности и результаты оценивания в карточке не указаны. Для отдельных вариантов существуют ограничения по аппаратной платформе: некоторые сборки оптимизированы для ARM и требуют соответствующих инструкций, а их использование на macOS и Windows не рекомендуется. Модель распространяется по лицензии Apache-2.0.

Shirdel Coder 9B Claude Fable 5 — языковая и мультимодальная модель для генерации текста и кода, разработанная Tesleum. Она создана на основе Qwen/Qwen3.5-9B и связана с базовой моделью nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-NVFP4. Модель дообучалась в стиле инструкций Claude Fable 5 с использованием датасетов Evol-Instruct-Code-80k-v1 и Qwen/DeepPlanning. Модель предназначена прежде всего для программирования, генерации и преобразования кода, решения задач по разработке и текстовой генерации. В README также заявлена поддержка мультимодальных сценариев, включая работу с изображениями через отдельный файл mmproj, однако конкретные поддерживаемые форматы изображений и возможности обработки мультимодального контекста не указаны. Доступны варианты для text-generation, llama.cpp, vLLM и Ollama. Основной файл модели имеет размерный класс 9B и распространяется в формате GGUF с квантованием Q6_K; отдельно предоставляется BF16-mmproj для мультимодальной работы. Сильными сторонами являются специализация на коде, инструкционное дообучение и наличие готовых вариантов для локального запуска. Сведения о поддерживаемых языках, размере контекста, точных архитектурных характеристиках, результатах оценки и ограничениях качества в README отсутствуют. Лицензия модели — ECL-2.0.

Это модель Sentence Transformers на базе CodeBERTa-small-v1, дообученная buelfhood на примерах Java-кода из набора SOCO_TRAIN_java. Архитектура включает RoBERTa-трансформер с усреднением токенных представлений; модель кодирует входной текст в плотный вектор размерности 768. Максимальная длина последовательности — 512 токенов, сходство векторов можно оценивать косинусной мерой. Модель предназначена для поиска семантически близких фрагментов кода и сравнения Java-примеров. Её можно применять для семантического поиска по коду, поиска дубликатов и похожих реализаций, кластеризации и извлечения эмбеддингов для последующей классификации. Обучение использовало тройки anchor, positive и negative с CachedMultipleNegativesRankingLoss. Репозиторий содержит веса в формате safetensors и рассчитан на использование с библиотекой Sentence Transformers. Контекст ограничен 512 токенами; модель обучалась на Java-коде, поэтому качество на других языках программирования и обычном тексте может быть ниже или не оценивалось. Лицензия в предоставленных данных не указана.

Tiel-Coder-35B-A3B-MLX-oQ4e — мультимодальная vision-language модель для программирования, разработанная peculiar-ragdoll на базе Ornith-1.5-35B-A3B. Модель предназначена прежде всего для агентного программирования: исправления проблем в существующих кодовых базах, объяснения кода, многошаговых диалогов и анализа изображений, включая скриншоты. Заявлены поддерживаемые языки English и Chinese. Модель использует архитектуру Mixture-of-Experts с конфигурацией 35B-A3B и поставляется в формате MLX для Apple Silicon. Это динамически смешанное 4-битное квантование oQ4e с применением imatrix; размер сборки заявлен примерно 21 ГБ. Vision-компоненты включены в тот же каталог, отдельный projector-файл не требуется. В чекпойнт встроен Sharp chat template. Контекстное окно и точное число активных параметров не указаны. Сильными сторонами модели считаются агентное программирование, скорость работы и поддержание качества в длинных многоходовых диалогах. По приведённым результатам она показала 12 успешных решений из 25 задач SWE-bench-Live и высокий результат в Claw-Eval, однако эти числа измерены на сборке GGUF с другим квантованием и не являются прямыми измерениями данного MLX-файла. Ограничением является заметно более слабое качество в задачах на общие знания и экзаменационное рассуждение; авторы также отмечают, что модель хуже задаёт уточняющие вопросы, чем базовая Ornith-1.5. Модель распространяется по лицензии MIT. Для запуска рекомендуется использовать mlx-vlm или oMLX; загрузка через mlx-lm не подходит для этого vision-language чекпойнта. Модель не содержит обученной multi-token-prediction head.

Trinity-2-Codestral-22B-v0.2 — модель для программирования из серии Trinity, созданной Migel Tissera. Это дообученная версия Codestral-22B-v0.1 от Mistral AI: плотная авторегрессионная модель семейства Mistral с 22 млрд параметров. Она предназначена для генерации кода и диалоговых запросов; метаданные указывают поддержку чата и контекст до 32 768 токенов. Для общения используется формат ChatML. В README приведены результаты оценки на Open LLM Leaderboard, включая средний балл 21,87, IFEval 43,45 и BBH 37,61; полного набора результатов в доступной карточке нет. Языки программирования и естественные языки отдельно не перечислены. Лицензия указана как other, поэтому условия использования следует проверять в файлах репозитория.

laion/tt-x2_clip-hi0p05-10-30B — это исследовательский контрольный чекпойнт модели Qwen3-Coder-30B-A3B-Instruct, дообученной командой TaskTrove с помощью GRPO на наборе DCAgent/exp_rpt_multifile. Модель семейства Qwen3 MoE предназначена для генерации текста в диалоговом режиме, включая программирование и многофайловые агентные задачи. По метаданным, контекст достигает 262 144 токенов; репозиторий содержит веса Safetensors, библиотека запуска — Transformers. Выбран шаг 10 по скользящей EMA награды; README приводит pass@8 0,4516 для этого чекпойнта. Обучение остановили на шаге 76 из 80 после роста энтропии политики и снижения награды, поэтому выбранный чекпойнт не является результатом полного горизонта обучения. Лицензия — Apache-2.0.

zen4-coder-pro-i1-GGUF — набор квантованных GGUF-версий модели zenlm/zen4-coder-pro. Базовая модель разработана zenlm, а квантование выполнено mradermacher. Модель предназначена прежде всего для генерации и обработки программного кода, включая локальный запуск в совместимых инструментах для GGUF. Доступны варианты квантования i1-IQ и i1-Q с размерами примерно от 16,3 до 65,6 ГБ. README указывает английский язык, библиотеку Transformers и текстовую модальность; сведения об архитектуре, количестве параметров и размере контекста не приведены. Варианты различаются компромиссом между размером, скоростью и качеством: Q4_K_M отмечен как быстрый и рекомендуемый, Q4_K_S — как оптимальный по размеру, скорости и качеству, а некоторые низкобитные варианты характеризуются сниженным качеством. Основное преимущество модели — возможность выбрать подходящий уровень квантования для локального использования и ограниченных аппаратных ресурсов. Ограничения связаны с потерями качества у наиболее агрессивно квантованных вариантов, а также с отсутствием в README подробных результатов оценки и технических характеристик базовой модели. Модель распространяется по лицензии Apache-2.0.

CodeLlama-13B-Instruct-GGUF — квантизированная GGUF-версия CodeLlama 13B Instruct, разработанная Meta и подготовленная для квантизации компанией Second State Inc. Модель основана на codellama/CodeLlama-13b-Instruct-hf и предназначена для генерации кода по инструкциям. Модель ориентирована на решение задач программирования: написание кода с учётом заданных ограничений, подготовку решений, соответствующих примерам тестов, и работу через текстовый интерфейс генерации. Указан контекст размером 5120 токенов. Это текстовая модель для работы с кодом; сведения о поддерживаемых естественных языках и мультимодальности в README отсутствуют. Модель доступна в нескольких вариантах GGUF с квантизацией от Q2_K до Q8_0 и размером файлов примерно от 5,43 до 13,8 ГБ. Варианты с более высокой точностью обычно обеспечивают меньшее снижение качества, но требуют больше дискового пространства и ресурсов; для большинства сценариев в README рекомендуются Q4_K_M, Q5_K_M и Q5_K_S. Ограничения включают возможную потерю качества при низкобитной квантизации, а также отсутствие в README данных о производительности, аппаратных требованиях и качестве на конкретных языках программирования. Лицензия указана как Llama 2.

CodeQwen1.5-7B-GGUF — набор GGUF-квантизаций модели CodeQwen1.5-7B, разработанный Qwen и подготовленный для llama.cpp пользователем bartowski. Модель предназначена прежде всего для генерации и обработки программного кода, а также для локального текстового вывода. В README указана поддержка английского языка и формат взаимодействия с системными, пользовательскими и ассистентскими сообщениями через специальные токены ChatML. Модель содержит около 7 миллиардов параметров, представлена в многочисленных вариантах квантизации от Q8_0 до IQ1_M и имеет размеры файлов примерно от 2,36 до 7,70 ГБ. Более высокие варианты, такие как Q6_K и Q5_K_M, обеспечивают лучшее качество, тогда как низкобитные версии требуют меньше оперативной или видеопамяти, но заметно теряют в качестве. Конкретные сведения об архитектуре, размере контекста и дополнительных модальностях в README не указаны; по описанию это текстовая, а не мультимодальная модель. Преимущество набора — возможность запуска локально на различном оборудовании и выбора компромисса между качеством, скоростью и потреблением памяти. Ограничения связаны с потерями качества при сильной квантизации, а также с тем, что README не приводит результаты тестирования и подробные характеристики исходной модели. Указана лицензия Tongyi Qianwen Research License; исходная модель доступна в репозитории Qwen.

dapack-code — это специализированная на программировании версия Qwen3.5-35B-A3B, представленная в формате GGUF с градуированной точностью экспертов: файл весит 10,7 ГБ вместо 21,2 ГБ у полной модели. По данным карточки, эксперты, востребованные для кода, сохранены с точностью q2_K, остальные — с IQ2_XXS под матрицей важности; эксперты не удалены. Модель предназначена для генерации кода и задач разработки ПО. README сообщает о сохранённом качестве генерации кода по внутренним поведенческим измерениям и успешных пробах вызова инструментов; также заявлена поддержка итальянского языка. Для запуска требуется специальная версия dapack runtime: обычные сборки llama.cpp, Ollama и LM Studio этот формат не загружают. Модель основана на мультимодальной Qwen3.5-35B-A3B, но README описывает этот пак как кодовый текстовый генератор. Лицензия — MIT. Карточка указывает на существенное снижение качества перевода; вне программирования точность может деградировать из-за низкой точности части экспертов.

DeepSeek-Coder-V2-Lite-Base-IMat-GGUF — это GGUF-квантизованная версия базовой модели deepseek-ai/DeepSeek-Coder-V2-Lite-Base, подготовленная legraphista с использованием llama.cpp. Модель предназначена прежде всего для генерации текста и задач, связанных с программированием; в README она представлена как базовая, а не специализированная диалоговая модель. Доступны варианты в форматах BF16, F16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и других типах квантизации размером примерно от 6,43 до 31,42 ГБ. Для ряда компактных вариантов применена IMatrix-квантизация, призванная повысить качество по сравнению с обычным квантованием; доступны файлы IMatrix и версии для llama.cpp. Сведения об архитектуре, количестве параметров, поддерживаемых языках, модальностях и размере контекста в README не указаны. Основные преимущества — широкий выбор уровней квантизации, возможность локального запуска через совместимый стек GGUF/llama.cpp и компромисс между качеством, размером файла и требованиями к памяти. Более агрессивное квантование может снижать качество, а для работы требуются ресурсы, соответствующие выбранному варианту. Модель распространяется по лицензии deepseek-license; в карточке указано обозначение лицензии other и ссылка на файл LICENSE.

JanusCoder-14B-GGUF — это набор квантизированных версий языковой модели JanusCoder-14B, разработанной internlm и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена прежде всего для генерации и работы с исходным кодом, а также для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от BF16 до 2-битных и 8-битных квантований, размер файлов составляет примерно от 6,5 до 29,5 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, тогда как компактные варианты требуют меньше оперативной памяти, но заметно уступают по качеству. Для большинства сценариев рекомендуются варианты Q4_K_M, Q5_K_M, Q6_K или близкие к ним. В README не указаны архитектура, поддерживаемые языки, длина контекста, дополнительные модальности и точные характеристики исходной модели. Модель удобна для локального инференса на совместимом оборудовании и выбора компромисса между качеством, скоростью и потреблением памяти. Ограничения включают возможное снижение качества при сильном квантовании, отсутствие явно указанного chat template и необходимость проверить настройки исходной модели. Лицензия в предоставленных данных не указана.

KAT-Coder-V2.5-Dev-OptiQ-4bit — это квантованная версия модели KAT-Coder-V2.5-Dev, разработанная сообществом mlx-community на базе модели Kwaipilot. Модель предназначена для генерации и анализа программного кода, а также для сценариев, где требуется рассуждение перед формированием ответа. Она реализована для MLX и ориентирована на локальный запуск на компьютерах Apple Silicon без PyTorch и облачных сервисов. Архитектура модели — qwen3_5_moe: разреженная MoE-система с 256 маршрутизируемыми экспертами, сочетающая гибридные линейные слои и полное внимание. Используется смешанная статическая квантизация 4/8 бит с целевым показателем около 4,5 бит на параметр: 400 проекций представлены в 4-битном формате, 111 — в 8-битном. Размер модели на диске составляет около 20 ГБ. В README указан английский язык; другие языки, размер контекста и поддерживаемые модальности не заявлены. Сильными сторонами модели являются локальная работа на Apple Silicon, сниженный объём хранения благодаря квантизации и совместимость с MLX-инструментами, включая mlx-lm и optiq. Для запуска рекомендуется пакет optiq; он также предоставляет OpenAI-совместимый локальный API и квантизацию KV-кэша. Ограничения включают ориентацию прежде всего на задачи программирования, требования к совместимому оборудованию и отсутствие в README данных о точности, производительности, языковой поддержке за пределами английского и контекстном окне. Модель распространяется по лицензии Apache-2.0.

OsaurusAI/Laguna-M.1-JANG_1L — версия модели Poolside Laguna-M.1, подготовленная Osaurus для локального запуска на компьютерах Apple Silicon. Это MoE-модель для генерации текста и агентного программирования; в README указаны 225 млрд параметров и около 23 млрд активных параметров. Профиль JANG_1L использует аффинную квантизацию: 2 бита для gate/up/down, 4 бита для shared/dense и 8 бит для attention; размер сборки около 72 ГБ. Метаданные указывают 17,1 млрд параметров и контекст до 262 144 токенов, что расходится с числом параметров в README. Модель предназначена для написания и анализа кода, а также длительных агентных задач с инструментами. Для запуска требуется Laguna-совместимая среда, например Osaurus или vMLX: архитектура использует нестандартные механизмы внимания и маршрутизации MoE, которые не поддерживаются обычными загрузчиками. Базовая модель распространяется по лицензии Apache-2.0; README указывает эту же лицензию для сборки.

Laguna-S-2.1 · Winnow keep-75 — это производная текстовая MoE-модель для генерации кода и агентных задач разработки, созданная на основе poolside/Laguna-S-2.1. Разработчик уменьшил внутреннюю ширину каналов маршрутизируемых экспертов на 25% методом variable-width expert pruning; общие эксперты, внимание и эмбеддинги не затронуты. После обрезки заявлено 89,2 млрд параметров вместо 118 млрд у исходной модели; переобучение после обрезки не проводилось. Модель предназначена для генерации и анализа кода, а также для автономного выполнения задач разработки в диалоговом режиме. В README приведены результаты на кодовом корпусе и качественная проверка на задачах Terminal-Bench 1.0; при контексте обслуживания 16 тыс. токенов основным источником неудач называлось исчерпание контекста. Метаданные указывают нативный контекст до 1 048 576 токенов, но для описанной конфигурации обслуживания приведён лимит 16 384 токена. Репозиторий содержит веса safetensors и предполагает запуск через Transformers или специализированный плагин vLLM для поддержки экспертов переменной ширины. Для serving в INT8 README указывает потребность примерно в двух GPU по 80 ГБ или четырёх по 40 ГБ; обычное разделение tensor parallelism не поддерживается. Сохраняется лицензия базовой модели OpenMDW-1.1.

Muninn — мультиязычная модель для поиска функций в исходном коде по запросам на естественном языке, разработанная BrokkAI. Она дообучена на базе voyageai/voyage-4-nano и использует двунаправленный энкодер Qwen3 с 306,6 млн параметров по метаданным. Модель создаёт текстовые эмбеддинги размерностью 2 048 и поддерживает сокращение до 512, 1 024 или 1 536 измерений. Модель предназначена для семантического поиска кода в репозиториях и локализации функций, связанных с описанием задачи или поведением. В README приведены результаты на Quarry, SWE-Bench-Lite localization, LocBench и CodeSearchNet. Карточка сообщает контекст обслуживания 8 192 токена, тогда как метаданные указывают нативный контекст 40 960 токенов. Для загрузки требуется trust_remote_code=True из-за пользовательской реализации Qwen3BidirectionalModel. Поддерживаются запросы на естественном языке и код на C, C++, C#, Go, Java, JavaScript, PHP, Python, Rust, Scala и TypeScript. Лицензия — Apache-2.0.

OpenCodeReasoning-Nemotron-32B-IOI-GGUF — это квантизированная версия текстовой генеративной модели OpenCodeReasoning-Nemotron-32B-IOI, разработанной NVIDIA. Репозиторий с квантизациями подготовлен bartowski с использованием llama.cpp и метода imatrix. Модель ориентирована на задачи, связанные с генерацией и анализом кода, и предназначена для локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. Модель имеет размер 32B параметров, поддерживает английский язык и поставляется в формате GGUF в вариантах от BF16 до IQ4 и Q3. Доступны разные уровни квантизации с размером файлов примерно от 17,25 до 65,54 ГБ, что позволяет выбирать между качеством ответов и требованиями к памяти. Для работы рекомендуется использовать указанный в README шаблон диалога с маркерами ролей ChatML. Контекст модели, мультимодальные возможности и точная архитектура в README не указаны. Сильными сторонами являются специализация на задачах программирования, широкий выбор квантизаций и возможность локального запуска. Более компактные варианты подходят для систем с ограниченной оперативной памятью, но могут уступать более точным версиям по качеству. Лицензия модели — Apache-2.0; сведения об условиях использования исходной модели отдельно не приведены.

Qwen2.5-Coder-32B-Instruct-abliterated-GGUF — это GGUF-квантизированная версия инструкционной модели Qwen2.5-Coder-32B-Instruct-abliterated, опубликованная пользователем bartowski и основанная на модели huihui-ai. Квантизация выполнена с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и прежде всего для задач программирования, работы с кодом и диалогового взаимодействия. В README указан английский язык; сведения о поддерживаемых языках, длине контекста и точной архитектуре не приведены. Доступны варианты от полноточного F16 размером 65,54 ГБ до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ4 объёмом примерно от 17,7 до 34,8 ГБ. Варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены как рекомендуемые благодаря сочетанию качества и размера; Q4_K_M обозначен как вариант стандартного размера для большинства сценариев. Отдельные варианты Q4_0 оптимизированы для ARM и требуют соответствующей аппаратной поддержки, поэтому их совместимость с Mac и Windows ограничена. Модель может использоваться локально через llama.cpp и LM Studio при наличии значительных ресурсов оперативной или видеопамяти. Более сильные квантизации сохраняют высокое качество, но требуют больше памяти, тогда как компактные варианты экономичнее, однако могут заметно уступать по качеству. README не содержит независимых оценок производительности, сведений о мультимодальности, ограничениях безопасности или подробностей обучения. Указана лицензия Apache-2.0.

BenevolenceMessiah/Qwen2.5-Coder-32B-Instruct-abliterated-Q4_K_M-GGUF — это квантизированная версия в формате GGUF модели huihui-ai/Qwen2.5-Coder-32B-Instruct-abliterated, основанной на Qwen2.5-Coder-32B-Instruct. Репозиторий подготовлен BenevolenceMessiah с использованием llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для генерации текста и прежде всего для работы с программным кодом в диалоговом формате. Модель имеет 32 миллиарда параметров, поддерживает текстовую модальность и, согласно метаданным карточки, английский язык. Используется квантизация Q4_K_M, рассчитанная на запуск через llama.cpp на совместимом CPU или GPU. README показывает применение в командной строке и через сервер llama.cpp; в примере сервер запускается с контекстом 2048 токенов, однако максимальный размер контекста в карточке не указан. К сильным сторонам относятся специализация на задачах программирования, instruct-формат и удобство локального запуска в GGUF через llama.cpp. К ограничениям относятся неизвестные из README точные характеристики исходной модели, фактическая производительность и качество на разных языках и задачах, а также возможная потеря точности из-за квантизации. Модель обозначена как abliterated и uncensored, поэтому её поведение в части защитных ограничений может отличаться от исходной версии. Указана лицензия Apache-2.0.