II.4Отладка, тестирование и качество ПО

Ornith-1.5-9B-ASHQ1-Remix-GGUF — GGUF-квантованная версия модели Ornith-1.5-9B, опубликованная Soulfate24. Она предназначена для генерации текста и диалогового общения. Модель основана на Ornith AI Ornith-1.5-9B — плотной языковой модели на 9 млрд параметров для программирования, агентных задач, работы с инструментами и длинным контекстом. Вариант ASHQ1-Remix использует активационно-ориентированную квантализацию GGUF; README сообщает о проверке семи уровней квантализации на шести семействах моделей. Лицензия — MIT. Сведения о поддерживаемых языках этой версии не приведены.

PasteProof PII Detector — модель на базе ModernBERT, дообученная автором joneauxedgar для обнаружения и разметки персональных данных и секретов в тексте. Она выполняет NER с классификацией токенов и распознаёт 27 типов сущностей, включая платёжные данные, учётные данные и медицинские идентификаторы. Модель предназначена для предупреждений перед вставкой чувствительных данных в браузерные формы, чаты и публичные репозитории, а также для проверки кода, документов и потоков данных. В карточке заявлен F1 0,972 на отложенной выборке; обучение проводилось на 150 тысячах синтетических примеров. Метаданные указывают архитектуру ModernBERT, 149 млн параметров и контекст до 8192 токенов, тогда как README сообщает ограничение в 512 токенов — фактический рабочий предел следует проверять при использовании. Обучающие данные англоязычные; модель может пропускать обфусцированные значения, новые форматы ключей и чувствительные сущности, распознаваемые только по контексту, а также давать ложные срабатывания на случайных строках и тестовых данных. Это вспомогательный детектор, а не гарантия безопасности. Лицензия — Business Source License 1.0 (BSL-1.0).

Phind-Codefuse-34B — языковая модель для генерации кода, полученная слиянием Phind/Phind-CodeLlama-34B-v2 и codefuse-ai/CodeFuse-CodeLlama-34B методом task_arithmetic с помощью LazyMergekit. Модель построена на архитектуре Llama и содержит 33,5 млрд параметров; для генерации доступен контекст до 16 384 токенов. Модель предназначена для генерации кода и решения задач программирования в сценариях работы с текстовыми запросами. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Данные карточки не уточняют поддерживаемые языки программирования и сравнительное качество модели.

Pink Elephant 48B — языковая модель с архитектурой Mixture-of-Experts от Pink Elephant Limited, дообученная на инструкциях по программированию и математическим рассуждениям. В карточке указаны 47,7 млрд параметров общей ёмкости и около 14,7 млрд активных на токен; метаданные Hugging Face указывают 8,6 млрд параметров. Модель использует восемь экспертов на слой и маршрутизацию к двум из них для каждого токена. Контекст — 16 384 токена. Модель предназначена для генерации кода, следования инструкциям по разработке ПО и решения математических задач с пошаговыми рассуждениями. Это объединённая версия с уже встроенными адаптерами экспертов и обученным маршрутизатором; для инференса не требуется отдельно подключать адаптеры. Поддерживаются текстовый ввод и генерация текста, заявлен английский язык. Модель основана на MoE-базе Pink Elephant 48B, созданной путём расширения плотной модели Pink Elephant 14B. Обучение включало около 100 тысяч примеров по коду и математике. По заявлению карточки, специализация на этих задачах ограничивает широту общих знаний; длинные агентные сценарии могут требовать дополнительного обучения использованию инструментов. Результаты следует проверять перед применением в регулируемых и критически важных областях. Лицензия — MIT.

Playable1 — дообученная модель на архитектуре Qwen2, созданная на базе Qwen/Qwen2.5-Coder-7B-Instruct с адаптером iat-05-1. Это плотная причинная языковая модель с 7,1 млрд параметров, представленная в формате SafeTensors и рассчитанная на генерацию текста; базовая модель предназначена для работы с программным кодом. Модель поддерживает диалоговый режим и интерфейс вызова инструментов, а её контекст составляет 32 768 токенов. Модель можно применять для генерации и анализа кода, а также для диалоговых задач, связанных с программированием. Карточка не описывает отдельные возможности или качество, полученные благодаря адаптеру iat-05-1, поэтому нельзя точнее определить специализацию дообучения. Лицензия — Apache-2.0.

Qwen2.5-Coder-14B-GGUF — квантизированная в формате GGUF версия базовой модели Qwen2.5-Coder-14B, разработанной командой Qwen. Квантизация выполнена bartowski на основе llama.cpp версии b4058. Модель предназначена для генерации и автодополнения исходного кода и других задач программирования; в карточке указаны английский язык и текстогенерация как основной сценарий применения. Модель содержит 14 млрд параметров, обучена на 5,5 трлн токенов и поддерживает контекст до 128 тыс. токенов с настройками RoPE YaRN и коэффициентом 4,0; исходная длина контекста составляет 32 тыс. токенов. Это именно базовая модель, поэтому она рассчитана на completion и generation, а не на диалоговый или instruct-режим, что ограничивает её готовность к общению по инструкциям без дополнительного форматирования или дообучения. Модель распространяется по лицензии Apache-2.0.

3MPER0RR/Qwen2.5-Coder-14B-Instruct-3MPER0RR-abliterated — доработанная 3MPER0RR версия инструкционной модели Qwen2.5-Coder-14B-Instruct, основанная на архитектуре Qwen2 и содержащая 14 млрд параметров. Модель предназначена для генерации кода в диалоговом формате; базовая модель также рассчитана на анализ и исправление кода. Модель принимает текст и выдаёт текст. Контекст составляет 32 768 токенов. В репозитории указаны веса в формате safetensors, лицензия — Apache 2.0. Карточка сообщает, что модель была протестирована и сохранена после 200 проб, но не описывает изменения, критерии тестирования или конкретные преимущества версии abliterated.

mlx-community/Qwen2.5-Coder-1.5B-Instruct-bf16 — конвертированная в формат MLX инструктивная модель для генерации кода. Она основана на Qwen/Qwen2.5-Coder-1.5B-Instruct; архитектура — плотная Qwen2 с причинной языковой моделью Qwen2ForCausalLM и 1,5 млрд параметров. Модель предназначена для диалогового взаимодействия и задач с кодом, включая создание фрагментов по запросу и помощь при работе с программным кодом. Контекст модели составляет 32 768 токенов. В метаданных указан английский язык; README описывает конвертацию с помощью mlx-lm 0.18.1 и использование через эту библиотеку. Репозиторий распространяется по лицензии Apache-2.0. Практические результаты зависят от качества инструкций и сложности задачи; карточка не приводит отдельных оценок качества.

Qwen3.6-35B-A3B-MTP-Holo3-Qwopus-BF16 — мультимодальная модель семейства Qwen, опубликованная Nightmedia. Это объединение нескольких моделей, включая Hcompany/Holo3-35B-A3B, Qwen3.6-35B-A3B и варианты Qwopus; в карточке также упоминается MTP. Модель предназначена для диалогов и следования инструкциям, рассуждений, программирования и анализа изображений. Архитектура — Qwen3.5 MoE; в названии указан вариант BF16, а среди файловых форматов метаданные указывают safetensors. Карточка описывает шаблон управления режимом рассуждений, но не приводит длину контекста или независимую оценку качества. Метаданные указывают поддержку английского, китайского, японского и испанского языков. Лицензия — Apache-2.0. README содержит отдельные результаты для квантизованного варианта qx86-hi, которые не следует считать характеристиками этого BF16-репозитория. Модель может ошибаться, а приведённые в карточке оценки и хвалебный отзыв не являются независимой проверкой качества.

zerodigest/Qwen3.8-27B-YMQ-MTP-GGUF — это набор GGUF-квантизированных вариантов модели Qwen3.8-27B, подготовленный проектом ZeroDigest на основе официальных исходных файлов BF16. Релиз использует архитектурно-ориентированную смешанную точность, подходы, вдохновлённые AutoRound, и компилятор YMQ-Compiler v2.0. В описании также заявлена поддержка параллельного multi-token prediction (MTP) для спекулятивной генерации. Модель предназначена прежде всего для локального запуска и задач генерации кода, включая разработку, работу с API и многофайловыми проектами в инструментах вроде RooCode и Aider. Доступно несколько пресетов размером примерно от 9,8 до 19 ГБ, рассчитанных на видеокарты с 12–20 ГБ памяти и различные компромиссы между качеством, контекстом и требованиями к VRAM. Для вариантов приведены результаты измерений на WikiText-2 при контексте 4096 токенов; наилучшее указанное значение perplexity составляет 6,8413 у пресета M. Сильной стороной является распределение точности по компонентам модели с приоритетом сохранения логики и качества рассуждений при ограниченной памяти. Ограничения зависят от пресета: наиболее компактные варианты имеют заметный шум квантизации и рекомендуются для коротких или простых сценариев, а более качественные требуют больше видеопамяти. В README не указаны языки, точное максимальное окно контекста и полный перечень поддерживаемых модальностей; по доступным данным модель ориентирована на текстовую генерацию. Лицензия — Apache-2.0.

Это пакет слоёв GGUF для модели Qwen3-Coder-480B-A35B-Instruct, подготовленный Mesh LLM для распределённого инференса на локальном кластере из нескольких машин. Пакет основан на unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF и сохраняет исходные веса в варианте UD-Q4_K_XL, разделёнными на артефакты по слоям. Для запуска используется библиотека mesh-llm; модель поддерживает чат и совместимый с OpenAI API сценарий /v1/chat/completions. Модель предназначена для локального приватного инференса, в том числе когда полный GGUF слишком велик для одного компьютера. Семейство Qwen3-Coder ориентировано на задачи программирования и генерации текста. Пакет позволяет объединять вычислительные ресурсы нескольких машин, но требует подходящего кластера и Mesh LLM. Сведения о лицензии, контекстном окне и языковой поддержке следует уточнять в карточке исходной модели unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF.

Qwen3-Coder-REAP-363B-A35B — сжатая модель Cerebras на архитектуре причинной языковой модели с разреженной смесью экспертов (MoE), созданная методом REAP из Qwen/Qwen3-Coder-480B-A35B-Instruct. Модель предназначена для генерации кода, агентного программирования, работы с большими репозиториями и вызова функций. В карточке заявлено сохранение близкой к исходной производительности при сокращении общего числа параметров с 480B до 363B; на каждом токене активируются 35B параметров и 8 из 120 экспертов. Метаданные указывают 15,4B параметров, поэтому размер модели в источниках расходится. Контекст составляет 262 144 токена. README указывает формат FP8, 62 слоя и поддержку запуска через vLLM; метаданные указывают Transformers и формат safetensors. Заявлено расширение контекста до 1M с YaRN. Модель ориентирована на английский язык. Лицензия — Apache 2.0. README сообщает о близкой к исходной точности и снижении требований к памяти, но результаты оценки для BF16-варианта не приведены.

Shirdel Coder 9B Claude Fable 5 — языковая и мультимодальная модель для генерации текста и кода, разработанная Tesleum. Она создана на основе Qwen/Qwen3.5-9B и связана с базовой моделью nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-NVFP4. Модель дообучалась в стиле инструкций Claude Fable 5 с использованием датасетов Evol-Instruct-Code-80k-v1 и Qwen/DeepPlanning. Модель предназначена прежде всего для программирования, генерации и преобразования кода, решения задач по разработке и текстовой генерации. В README также заявлена поддержка мультимодальных сценариев, включая работу с изображениями через отдельный файл mmproj, однако конкретные поддерживаемые форматы изображений и возможности обработки мультимодального контекста не указаны. Доступны варианты для text-generation, llama.cpp, vLLM и Ollama. Основной файл модели имеет размерный класс 9B и распространяется в формате GGUF с квантованием Q6_K; отдельно предоставляется BF16-mmproj для мультимодальной работы. Сильными сторонами являются специализация на коде, инструкционное дообучение и наличие готовых вариантов для локального запуска. Сведения о поддерживаемых языках, размере контекста, точных архитектурных характеристиках, результатах оценки и ограничениях качества в README отсутствуют. Лицензия модели — ECL-2.0.

Spec-T1-Base-7B — плотная языковая модель на 7 млрд параметров от SVECTOR-CORPORATION, обученная с нуля для рассуждений. Она предназначена для генерации текста и диалогов, в частности для решения математических задач и рассуждений о коде. В карточке указаны интерфейс чата и интерфейс вызова инструментов; модель принимает текст и генерирует текст. Модель предварительно обучали примерно на 5 трлн токенов в течение 5,5 месяцев на данных с акцентом на математику и программирование. Контекст составляет до 32 768 токенов. В README приведены результаты внутренних оценок; команда уточняет, что измерения проводились в контролируемой среде и не проверялись внешними организациями. Репозиторий содержит веса в формате safetensors. Лицензия обозначена как other, поэтому перед использованием следует проверить условия лицензии в карточке модели. Заявления о сравнении с моделями большего размера относятся к оценкам авторов; результаты могут зависеть от условий тестирования.

TechxGenus/starcoder2-3b-instruct — языковая модель семейства StarCoder2, дообученная разработчиком TechxGenus для следования инструкциям по программированию. В README указано обучение на дополнительных 0,7 млрд токенов, связанных с кодом, в течение трёх эпох; архитектура — плотная причинная модель Starcoder2ForCausalLM с 4,2 млрд параметров и контекстом до 16 384 токенов. Модель принимает инструкции в формате Alpaca без системного промпта и генерирует текст, в первую очередь программный код. Её можно применять для генерации и дополнения кода, решения задач программирования и ответов на запросы о коде. В README приведён результат 65,9 pass@1 на HumanEval-Python, но также отмечено, что модель ограниченно тестировалась и может ошибаться или хуже справляться с задачами вне программирования. Лицензия — BigCode OpenRAIL-M.

QuantFactory/starcoder2-7b-instruct-GGUF — квантованная версия модели TechxGenus/starcoder2-7b-instruct, созданная QuantFactory с использованием llama.cpp. Это текстовая генеративная модель, дообученная для работы с инструкциями, связанными с программированием и генерацией кода. В основе лежит StarCoder2-7B; модель была дообучена на 0,7 млрд дополнительных высококачественных токенов, связанных с кодом, в течение 3 эпох. Для обучения применялись DeepSpeed ZeRO 3 и Flash Attention 2. Заявленный результат на HumanEval-Python составляет 73,2 pass@1. Модель использует формат инструкций Alpaca без системного промпта. Сведения о поддерживаемых языках программирования, размере контекста и конкретных параметрах квантования в карточке не указаны. Модель предназначена прежде всего для генерации кода по инструкциям и других задач разработки программного обеспечения. Её сильные стороны — специализация на коде и заявленный результат на HumanEval-Python, а квантование может упростить локальный запуск. Ограничения включают возможные ошибки и вводящий в заблуждение результат, особенно при решении задач, не связанных с программированием; тестирование модели было ограниченным, поэтому перед применением в реальных системах рекомендуется дополнительная проверка безопасности. Лицензия — BigCode OpenRAIL-M.

Это GGUF-квантизованная версия языковой модели OmniCoder-9B, разработанной Tesslate и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и кода, включая агентские сценарии и задачи программирования. Доступна для запуска через llama.cpp и совместимые приложения, в том числе LM Studio, koboldcpp, Jan AI и Text Generation Web UI. Модель содержит около 9 млрд параметров и распространяется в вариантах от BF16 до различных форматов квантизации Q2–Q8 и IQ. Квантизация выполнена с использованием imatrix; варианты различаются размером файла, требованиями к памяти и качеством, при этом в README рекомендуются некоторые форматы Q4–Q6 как баланс качества и ресурсоёмкости. Заявлен английский язык, однако сведения о контекстном окне, точной архитектуре и поддерживаемых модальностях отсутствуют. В качестве ориентира приведены результаты на AIME 2025: pass@1 — 83,8%, pass@3 — 86,4% и pass@5 — 90,0%, но методика оценки подробно не описана. Сильными сторонами являются широкий выбор уровней квантизации и возможность локального запуска на различном оборудовании. Ограничения включают потенциальное снижение качества в младших вариантах квантизации, зависимость совместимости от обновлений используемых инструментов и отсутствие подробных данных о контекстной длине и языковых возможностях сверх заявленного английского. Лицензия модели — Apache-2.0.

Triumvirate — объединённая модель pragmaticcs, предназначенная для агентного программирования, работы с терминалом и многошаговых задач в репозиториях. Она построена на архитектуре Qwen3.5 MoE: в README указано около 34,1 млрд параметров и 3,1 млрд активных параметров на токен, а метаданные каталога сообщают 2,9 млрд параметров; заявленная длина контекста — 262 144 токена. Модель принимает текстовые запросы и выдаёт текст, включая код и вызовы инструментов. При слиянии KAT-Coder-V2.5-Dev служит базовой опорой для генерации кода и локальных правок, Ornith-1.5 добавляет алгоритмическое рассуждение, а Qwen-AgentWorld — отслеживание состояния среды и восстановление после ошибок инструментов. README описывает метод DARE-TIES с модуляцией вкладов по слоям. Модель ориентирована на агентные оболочки: она должна формировать точные изменения кода, разбирать сообщения об ошибках терминала и сохранять ход многошаговой работы. В метаданных указаны английский и китайский языки; подтверждения поддержки русского нет. Лицензия — Apache-2.0.

ZAYA1-reasoning-base — плотная по архитектуре MoE-языковая модель Zyphra, основанная на Zyphra/ZAYA1-base и дополнительно обученная на 1 трлн токенов с упором на рассуждения. Она предназначена для генерации текста и диалогов, особенно для сложных задач по математике, STEM и программированию, требующих многошагового анализа. Модель содержит 7,7 млрд параметров по метаданным, использует архитектуру ZayaForCausalLM, токенизатор Gemma 3 и контекст до 32 768 токенов. В архитектуре применены механизм внимания Compressed Convolutional Attention, нелинейный маршрутизатор экспертов и обучаемое масштабирование остаточных связей. Модель демонстрирует сильные результаты на сложных математических и кодовых задачах, но README отмечает, что полного RL-постобучения она не проходила. Для запуска требуется форк Transformers с поддержкой Zaya. Лицензия — Apache-2.0.

jondurbin подготовил эту плотную 65-миллиардную языковую модель на архитектуре LLaMA, дообучив её методом QLoRA на синтетических инструкциях, созданных GPT-4. Модель предназначена для диалоговой генерации текста и отвечает на запросы в формате, основанном на шаблоне Vicuna. Она рассчитана на программирование, математические задачи и рассуждения, викторины, ролевые диалоги, вопросы с вариантами ответа и по заданному контексту, а также общие запросы. Для промптов на написание кода предусмотрена инструкция PLAINFORMAT, которая просит вывести код без Markdown-разметки; автор отмечает, что она срабатывает не всегда. Модель содержит 65 млрд параметров, работает с контекстом до 2048 токенов и распространяется в формате PyTorch. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель может ошибаться, а следование формату PLAINFORMAT не гарантировано.

bartowski/codegeex4-all-9b-GGUF — это набор GGUF-квантизаций модели CodeGeeX4-ALL-9B, разработанной THUDM. Модель предназначена для генерации текста и, судя по названию и исходной модели, ориентирована прежде всего на работу с программным кодом и связанными текстовыми задачами. В README явно указана поддержка китайского и английского языков. Модель содержит около 9 млрд параметров в исходном варианте и подготовлена для запуска через llama.cpp. Доступны варианты квантизации от Q8_0 до IQ2_XS с размером файлов примерно от 3,61 до 9,99 ГБ. Более высокие разрядности обеспечивают лучшее качество, тогда как низкоразрядные варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для работы используется специальный формат промпта с маркерами системного, пользовательского и ассистентского сообщений. Размер контекста, дополнительные модальности и точная архитектура в README не указаны. К сильным сторонам относятся широкий выбор квантизаций, возможность локального запуска через llama.cpp и наличие вариантов с высоким качеством, включая Q6_K и Q6_K_L. Ограничения связаны с потерями качества при низкой разрядности, а также с отсутствием в предоставленных данных подробных результатов тестирования, характеристик контекстного окна и описания ограничений исходной модели. Лицензия указана как специальная CodeGeeX4; подробные условия следует уточнять в файле LICENSE исходной модели THUDM/codegeex4-all-9b.

QuantFactory/CodeLlama-7b-Instruct-hf-GGUF — это квантизированная версия CodeLlama-7b-Instruct-hf, разработанная на основе модели codellama/CodeLlama-7b-Instruct-hf. Репозиторий подготовлен с использованием llama.cpp и предназначен для локального запуска модели в формате GGUF. Модель относится к семейству Llama и ориентирована на генерацию текста и работу с программным кодом, включая сценарии инструкционного взаимодействия с разработчиком. В README указано, что исходная модель имеет размер 7 миллиардов параметров. Поддерживаются варианты квантизации Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_K_M, Q4_K_S, Q5_0, Q5_K_M, Q5_K_S, Q6_K и Q8_0, позволяющие выбирать компромисс между качеством, скоростью и требованиями к памяти. Ключевое преимущество модели — возможность более экономичного локального запуска благодаря квантизации и совместимости с llama.cpp. README не содержит сведений о поддерживаемых языках, размере контекста, точных характеристиках отдельных вариантов квантизации, лицензии или ограничениях применения. Также в заголовке README упоминается Mistral-7B-v0.1-GGUF, однако метаданные и описание указывают на CodeLlama-7b-Instruct-hf; поэтому идентификацию модели следует основывать прежде всего на метаданных репозитория.

CodeNinja — дообученная методом supervised fine-tuning модель beowolx на базе OpenChat 3.5-1210, предназначенная для помощи в программировании. Она обучалась на наборах glaiveai/glaive-code-assistant-v2 и TokenBender/code_instructions_122k_alpaca_style, включающих около 400 тысяч инструкций по коду. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Модель генерирует ответы и код по запросам на естественном языке, помогает с дополнением кода и повседневными задачами разработки. В README перечислены Python, C, C++, Rust, Java и JavaScript, а метаданные указывают английский язык. Контекст составляет 8192 токена; для диалогов используется формат запросов OpenChat 3.5. Модель доступна в формате safetensors, распространяется по лицензии MIT. Качество и полнота поддержки отдельных языков программирования могут различаться.

meituan/DeepSeek-R1-Block-INT8 — это версия DeepSeek-R1 с блочным квантованием весов в формат INT8. Исходная модель DeepSeek-R1 разработана DeepSeek AI и предназначена для задач рассуждения, включая математику, программирование и другие сложные интеллектуальные сценарии. Она обучалась с применением крупномасштабного reinforcement learning и демонстрирует способности к самопроверке, рефлексии и построению длинных цепочек рассуждений. В данной версии веса исходного BF16-чекпойнта преобразуются в INT8 с использованием блочных масштабов для блоков размером 128×128. README не содержит точных сведений о числе параметров, архитектуре, поддерживаемых языках, размере контекста и мультимодальности. Для инференса предусмотрена интеграция с SGLang и требуется конфигурация с динамическим квантованием активаций и методом blockwise_int8. По приведённым результатам на A100 квантованная версия показала 95,8% на GSM8K и 87,1% на MMLU, а пропускная способность составила 4450,02 запросов в секунду против 3342,29 у BF16-варианта, что соответствует приросту до 33%; при этом заявлена отсутствие потери точности. Ограничения связаны с необходимостью совместимого оборудования и программного стека, а также с тем, что результаты приведены для конкретной конфигурации. Лицензия — MIT.

DeepSeek-R1-Distill-Qwen-7B — языковая модель на 7,1 млрд параметров, разработанная DeepSeek и дообученная на Qwen2.5-Math-7B с использованием примеров рассуждений, созданных DeepSeek-R1. Она предназначена для генерации текста и диалогов с акцентом на решение математических задач, программирование и другие задачи, требующие многошагового рассуждения. Модель использует плотную архитектуру Qwen2 и принимает текст, выдавая текст. Контекстное окно составляет 131 072 токена. В README указана максимальная длина генерации 32 768 токенов для описанных оценок. Модель поддерживает чат; метаданные также отмечают интерфейс вызова инструментов, но README не описывает его применение. Модель компактнее исходного DeepSeek-R1 и показывает сильные результаты в приведённых бенчмарках для дистиллированных моделей. Это не универсальная гарантия качества: ответы могут содержать ошибки, а рекомендации по настройке следует сверять с полной карточкой модели. Лицензия — MIT.

mlx-community/dolphin3.0-llama3.2-3B-4Bit — 4-битная версия языковой модели Dolphin3.0-Llama3.2-3B, разработанной cognitivecomputations и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.21.1. Модель предназначена для локального запуска через библиотеку mlx-lm и генерации ответов в диалоговом формате с применением chat template, если он поддерживается токенизатором. Модель основана на архитектуре семейства Llama 3.2 и содержит около 3 миллиардов параметров; используется 4-битное квантование, уменьшающее требования к памяти по сравнению с полноформатной версией. В README указано, что основной язык — английский. Обучение или дообучение опиралось на наборы данных для программирования, математики, инструкций, function calling, агентных сценариев и диалогов, поэтому модель ориентирована на ответы по этим типам задач. Сильными сторонами являются компактный размер и готовность к запуску в экосистеме MLX, а ограничениями — возможное снижение точности из-за 4-битного квантования, неизвестные параметры контекстного окна и отсутствие в README подробных результатов оценки качества. Лицензия указана как llama3.2.

Это объединённая модель на архитектуре Gemma 4, опубликованная пользователем tepirale в формате SafeTensors для Transformers. Метаданные связывают её с двумя моделями: yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF и yuxinlu1/gemma-4-12B-it-Claude-4.6-4.8-Opus-GGUF. README описывает преобразование весов из GGUF в SafeTensors, но не приводит подробностей об обучении или оценке качества. Модель предназначена для генерации текста и, согласно pipeline_tag, работы с изображениями вместе с текстом. Теги указывают на сценарии программирования, агентных задач, использования инструментов и терминала. Репозиторий использует библиотеку Transformers; лицензия — Apache 2.0. Подтверждённых сведений о поддерживаемых языках, контекстном окне и точном числе параметров в предоставленных данных нет.

Карточка модели tepirale/gemma-4-12B-coder-fable5-composer2.5-v1-safetensors-yuxinlu1 на Hugging Face совпадает с карточкой tepirale/gemma-4-12B-coder-fable5-composer2.5-v1-assistant-safetensors-yuxinlu1, поэтому описание составлено по ней. Это объединённая модель на архитектуре Gemma 4, опубликованная пользователем tepirale в формате SafeTensors для Transformers. Метаданные связывают её с двумя моделями: yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF и yuxinlu1/gemma-4-12B-it-Claude-4.6-4.8-Opus-GGUF. README описывает преобразование весов из GGUF в SafeTensors, но не приводит подробностей об обучении или оценке качества. Модель предназначена для генерации текста и, согласно pipeline_tag, работы с изображениями вместе с текстом. Теги указывают на сценарии программирования, агентных задач, использования инструментов и терминала. Репозиторий использует библиотеку Transformers; лицензия — Apache 2.0. Подтверждённых сведений о поддерживаемых языках, контекстном окне и точном числе параметров в предоставленных данных нет.

Cerebras GLM-4.6-REAP-218B-A32B — сжатая разреженная языковая модель семейства GLM-4.6, полученная методом REAP из zai-org/GLM-4.6-FP8. Она предназначена для генерации текста и диалогов, включая написание кода, работу с агентными сценариями и вызов функций. Модель совместима с Transformers и, согласно карточке, разворачивается в vLLM. Архитектура — причинная языковая модель Mixture-of-Experts: в README указаны 218 млрд параметров и 32 млрд активируемых на токен; метаданные каталога указывают 23,4 млрд параметров. Контекст составляет 202 752 токена. Карточка сообщает об удалении 40% экспертов и почти сохранённой производительности относительно полной модели, но для этой BF16-версии результаты оценки не приведены. Метаданные указывают английский язык. Лицензия — MIT.

GLM-5.2-EXL3-TR3-3.40bpw-KVarN-K4V2 — это локально ориентированный serving-чекпойнт на базе GLM-5.2 от zai-org, подготовленный jpsequeira. Модель предназначена для генерации текста, прежде всего для задач программирования, рассуждений и агентских сценариев, с акцентом на эффективное развертывание на четырёх GPU RTX PRO 6000 Blackwell по 96 ГБ. Чекпойнт рассчитан на использование с форком local-inference-lab/vllm и специализированными компонентами b12x, KVarN и sparkinfer. Модель использует архитектуру GLM-5.2 размером 756B параметров с MoE и маршрутизацией экспертов. Применена смешанная EXL3-квантизация примерно 3,40 бит на вес, а для KV-кэша используется формат KVarN K4V2 с затратами 290 байт на токен на слой. Поддерживаются sparse MLA attention, paged top-k indexer и MTP3 speculative decoding. Для данного класса оборудования подтверждён контекст до 819K токенов; модель относится к текстовым моделям, однако сведения о поддерживаемых языках в README не указаны. Сильными сторонами являются высокая экономичность KV-кэша, большой практически проверенный контекст и оптимизация под локальное инференс-развёртывание. При этом качество квантизации зависит от домена: заявленные низкие значения KLD на калибровочном наборе не обобщаются на отложенные данные, где модель уступает некоторым общественным чекпойнтам GLM-5.2. Кроме того, для работы требуются совместимые GPU, специализированный runtime и соответствующие backend-компоненты. Чекпойнт распространяется по лицензии MIT.