II.4Отладка, тестирование и качество ПО

Карточка модели LIF1014/ptdbench-verl-coding-tasks-function-call на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

PollardWeights/Qwen2.5-14B-Instruct-Pollard — это квантизированная версия Qwen2.5-14B-Instruct, разработанная PollardWeights на основе модели Qwen от Qwen. Модель предназначена для генерации текста и диалоговых сценариев, включая объяснения, программирование, рассуждения и творческое продолжение текста. Поддерживает только текстовый ввод; заявленный язык — английский. Архитектура — qwen2, размер — около 14,8 млрд параметров, формат распространения — GGUF. Модель использует смешанную квантизацию PollardMix с распределением разрядности по чувствительности отдельных слоёв, а не равномерное сжатие. Доступны варианты от Q6_K размером около 12,12 ГБ до IQ1_KT размером 3,92 ГБ. Крупные варианты обеспечивают более высокое качество, а IQ4_XS позиционируется как оптимальный баланс размера и качества. IQ1_KT позволяет запускать модель при ограниченных ресурсах, но требует ik_llama.cpp и работает медленнее, чем некоторые более крупные варианты. Сильной стороной является существенное уменьшение размера по сравнению с F16-версией: примерно с 29,60 до 3,92 ГБ. По измерениям на WikiText-2 вариант Q6_K близок к F16 по perplexity, а PollardMix превосходит равномерную 1-битную квантизацию по указанным метрикам и сохраняет связность в чат-сценариях. Ограничения включают потери качества при агрессивной квантизации, зависимость IQ1_KT от ik_llama.cpp, отсутствие данных о других языках и неполные сведения о длине контекста. Лицензия — Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель на базе Qwen3.6-27B. Она создана в сотрудничестве авторов DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh с использованием Unsloth, специализированных датасетов и нескольких этапов fine-tuning и merge. Модель распространяется в формате GGUF, включая обычные и MTP-варианты с NEO IMATRIX-квантованием. Модель предназначена для широкого спектра задач: следования инструкциям, решения общих и сложных задач, рассуждений, генерации кода, творческого письма, ролевых сценариев и работы с текстом различных жанров. В README заявлена поддержка vision и языков English и Chinese. Указан размер 27B параметров, однако максимальная длина контекста не приведена. MTP-варианты используют multi-token prediction, а MTP-тензоры имеют точность Q8_0; для них рекомендуется температура не выше 1. К заявленным сильным сторонам относятся улучшенное следование инструкциям, рассуждение и общая способность к решению задач, а также высокая точность низкоразрядных квантованных вариантов. README утверждает превосходство над базовой Qwen3.6-27B в большинстве указанных бенчмарков, но эти результаты являются заявлениями автора и не сопровождаются здесь полной воспроизводимой методикой. Возможные ограничения включают зависимость качества и производительности от выбранного кванта и параметров MTP, а также отсутствие подробных данных о контекстном окне и системных требованиях. Модель заявлена как uncensored/heretic, поэтому её ответы могут требовать дополнительной модерации. Лицензия — Apache-2.0. В качестве источников дообучения указаны DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets.

Это конверсия в формат MLX модели DavidAU/Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored, выполненная с помощью mlx-vlm 0.6.10. Модель основана на плотной мультимодальной архитектуре Qwen3.5 с 40 млрд параметров и принимает текст и изображения, формируя текстовые ответы. Она предназначена для диалогов, рассуждений, программирования и творческого письма; в метаданных также заявлены режимы работы с изображениями. Модель поддерживает английский и китайский языки. Репозиторий содержит веса safetensors в формате MLX и распространяется по лицензии Apache-2.0. Подробности обучения и дополнительные ограничения в карточке этой конверсии не описаны; за характеристиками исходной модели следует обращаться к её карточке.

Solstice-AI/Qwen3.8-27B-TTURBO-Cold-Fusion-709-L-NM-DAU-UltraOptimised-VariableThinking-GGUF — это мультимодально заявленная GGUF-версия многоэтапной fine-tune и multi-stage merge-модели на базе Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored, разработанная авторами проекта с использованием Unsloth. В карточке указаны поддержка английского и китайского языков, а также pipeline image-text-to-text, однако подробности о реализации визуального ввода не приведены. Модель распространяется в обычных и MTP-квантизациях, включая варианты для 4- и 8-битного представления, ориентированные на запуск на потребительском оборудовании. Модель предназначена для широкого круга задач: общего диалога, рассуждений и решения задач, программирования, творческого письма, художественной прозы, ролевых сценариев и других универсальных применений. Заявлены пять режимов рассуждения и пять instruct-режимов, включая UltraXhigh и Einstein, с возможностью переключения через API, напрямую или на уровне сообщения. Основной акцент сделан на сокращении объёма reasoning-токенов, ускорении генерации и снижении избыточного «обдумывания» при сохранении детализации и качества ответа. К сильным сторонам относятся вариативные режимы работы, поддержка GGUF-квантизаций для локального использования, ориентация на подробные ответы и творческие задачи, а также заявленное улучшение качества по сравнению с базовыми моделями семейства Qwen. Ограничения состоят в том, что приведённые результаты бенчмарков и характеристики производительности не подтверждены независимыми данными, а контекстное окно, точные параметры архитектуры, требования к памяти и фактические возможности мультимодального ввода не указаны. Лицензия — Apache-2.0.

SmolLM3-3B — открытая языковая модель с 3 млрд параметров, разработанная HuggingFaceTB и преобразованная в формат LiteRT-LM для локального запуска на устройствах и компьютерах. Это decoder-only модель для генерации текста, диалогов, рассуждений и других задач, поддерживаемых базовой SmolLM3. Модель ориентирована на сценарии on-device и edge-инференса, включая Android-смартфоны, iPhone, Raspberry Pi, настольные системы и локальный OpenAI-совместимый API-сервер. Представленная версия использует блочную симметричную int4-квантизацию с размером блока 32 и оптимальным клиппингом OCTAV; эмбеддинги имеют формат INT8, вычисления выполняются в целочисленном формате. Файл основной версии занимает около 1,9 ГБ, контекст KV-кэша ограничен 4096 токенами. В архитектуре базовой модели заявлены GQA, расписание внимания NoPE, мультиязычная поддержка и обучение на длинном контексте. В комплект входят токенизатор и шаблон ChatML, поэтому отдельные файлы токенизатора не требуются. Сильные стороны модели — небольшой размер для класса 3B, открытая лицензия Apache-2.0, поддержка полностью локального инференса и наличие GPU-ускорения на совместимых устройствах. Производительность зависит от оборудования: в приведённых измерениях она достигала 93,2 токена/с при декодировании на Apple M4 Max и 22,5 токена/с на iPhone 17 Pro. Ограничения включают потери качества и возможные особенности поведения, связанные с int4-квантизацией, фиксированный контекст 4096 токенов и зависимость скорости от конкретного LiteRT-LM backend, устройства и объёма доступной памяти.

Trismal-NeurAmoclion-7B-Base-Ties — объединённая модель на основе Mistral, созданная JoPmt с помощью LazyMergekit. Она объединяет JoPmt/Trismal-HyperAmocles-7B-Base-Ties и Locutusque/NeuralHyperion-2.0-Mistral-7B методом TIES. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и принимает контекст до 32 768 токенов. Модель предназначена для генерации текста. Описание базовой модели указывает на поддержку сложных вопросов, научных рассуждений, генерации кода и диалогов; README не уточняет, насколько эти возможности сохраняются после слияния. Доступные сведения не описывают лицензию или языки модели.

VMware/xgen-7b-8k-open-instruct — языковая модель VMware с архитектурой LLaMA, дообученная для выполнения инструкций на основе SalesForce/xgen-7b-8k-base. Модель содержит 6,7 млрд параметров и поддерживает контекст до 8192 токенов; для токенизатора требуется библиотека tiktoken и параметр trust_remote_code=True. Модель предназначена для генерации ответов на инструкции и zero-shot рассуждений, в том числе на примерах из наборов Flan v2. Карточка описывает обучение на 140 тысячах инструкционных примеров, включая Open-instruct и подмножество задач COT. Указана лицензия CC BY 3.0; README заявляет возможность коммерческого использования.

Yuan2-2B-hf — плотная языковая модель с архитектурой YuanForCausalLM, разработанная IEIT System как часть семейства Yuan 2.0. Репозиторий содержит веса PyTorch; модель насчитывает около 1,9 млрд параметров и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста и диалогов, а также для сценариев, где нужны понимание семантики, математические рассуждения, работа с кодом и знаниями. Разработчик предоставляет инструменты для дообучения и развёртывания инференса. Карточка приводит оценочные наборы GSM8K, AGIEval-GK-Math, HumanEval и TruthfulQA, но не содержит результатов именно для этой версии в доступной таблице. В README заявлена коммерческая возможность использования при соблюдении лицензии Yuan 2.0; код оригинального репозитория распространяется по Apache 2.0. Модель может выдавать неточные ответы и поддаваться вводящим в заблуждение инструкциям.

hiyouga/Baichuan-7B-sft — двуязычная instruction-tuned LoRA-модель на архитектуре Baichuan, предназначенная для генерации текста в ответ на инструкции и вопросы. При дообучении использовались наборы Alpaca, Alpaca-ZH и CodeAlpaca, поэтому модель подходит для диалоговых запросов, следования инструкциям и задач по коду на китайском и английском языках. Модель содержит 6,7 млрд параметров, принимает текст и выдаёт текст; нативная длина контекста — 4096 токенов. Репозиторий содержит веса PyTorch, а для работы требуется базовая модель Baichuan-7B. Модель опубликована hiyouga в июне 2023 года и распространяется по лицензии Apache-2.0, хотя README также предписывает соблюдать лицензию Baichuan-7B; перед использованием следует проверить применимые условия обеих лицензий.

ReadyArt/gemma-4-31B-it-scotoma-2-GGUF — это набор GGUF-квантизированных вариантов модели gemma-4-31B-it-scotoma-2, опубликованный ReadyArt. В основе лежит Gemma 4 31B от Google DeepMind, доработанная методом γ-fold и тремя раундами DPO на 9,3 тыс. пар предпочтений. Модель предназначена для диалоговой генерации текста, рассуждений, программирования и мультимодального анализа изображений; GGUF-формат ориентирован на локальный запуск через llama.cpp и совместимые приложения. Базовая Gemma 4 31B — плотная модель примерно с 30,7 млрд параметров, гибридным вниманием, поддержкой текста и изображений и контекстом до 256 тысяч токенов. Семейство Gemma 4 поддерживает более 140 языков на уровне предобучения и имеет режимы рассуждений, но для конкретного производного варианта ReadyArt подробные отдельные языковые оценки не указаны. Доступны разные уровни квантизации, поэтому требования к памяти и качество зависят от выбранного GGUF-файла. Scotoma 2 изменяет поведение исходной instruction-tuned модели: ослабляет осторожные рефлексы и уменьшает повторяющиеся стилистические шаблоны, включая рефлексивные отрицания, конструкцию «not X, but Y», вставки с em dash и нагромождение прилагательных. По заявлению автора, модель сохраняет интеллект базовой версии и делает ответы более разнообразными, но это исследовательский артефакт, а не продукт; поведение зависит от запроса и контекста, а квантизация может дополнительно снижать качество. Модель не является полностью uncensored и в целом сохраняет отказы базовой модели. Указана лицензия Apache-2.0 с применением условий лицензии Gemma.

peasantsmith/gpt-oss-120b-PS-IQ4_NL.gguf — это квантизированная версия модели gpt-oss-120b от OpenAI, подготовленная PeasantSmith и BlackFrost AI в формате GGUF для задач генерации текста. Модель использует архитектуру mixture-of-experts; исходные данные README не содержат точных сведений о числе параметров активной части, поддерживаемых языках и модальностях, а также о максимальном контексте. Указано, что вариант IQ4_NL занимает около 71,75 ГБ и имеет показатель 4,91 BPW, поэтому для запуска требуется значительный объём оперативной или видеопамяти. Модель предназначена для локального применения в совместимых средствах инференса, включая llama.cpp, и подходит для диалоговой генерации, ответов на фактические вопросы, программирования и задач, требующих работы с контекстом до 8192 токенов в приведённых тестах. Разработчики сообщают об успешной проверке генерации, реализации LRU-кэша, извлечения значения из контекста длиной 8K и отсутствии ошибок выполнения. Для работы требуется учитывать специальный формат ответов harmony, а результаты тестирования не заменяют независимую оценку качества. Рекомендуемые параметры — temperature 1.0, top-k 0 и top-p 1.0. Это производная квантизация, поэтому лицензия и условия использования определяются лицензией исходной модели gpt-oss-120b от OpenAI и должны быть проверены перед распространением.

Josiefied-Qwen3-8B-abliterated-v1 — диалоговая языковая модель, разработанная Gökdeniz Gülmez на основе Qwen/Qwen3-8B и дообученная для более свободных ответов с сохранением следования инструкциям и поддержки вызова инструментов. Модель содержит 7,6 млрд параметров, использует плотную архитектуру Qwen3ForCausalLM и распространяется в формате safetensors для Transformers; заявленная длина контекста — 40 960 токенов. Модель предназначена для генерации текста в диалоге, ответов на инструкции и сценариев, где требуется менее ограниченная фильтрация ответов. Метаданные базовой модели указывают на многоязычные возможности, работу с рассуждениями и кодом. Автор перечисляет сторонние варианты в форматах GGUF и MLX, но карточка этого репозитория указывает safetensors. Модель разработал и распространяет Gökdeniz Gülmez. Лицензия в предоставленных данных не указана. Автор предупреждает о сниженной фильтрации безопасности: модель может выдавать чувствительный или спорный контент, а качество и безопасность ответов не гарантируются.

bark07/kanana-1.5-8b-instruct-2505-Persona-Merged — дообученная разработчиком bark07 диалоговая текстовая модель на архитектуре Llama, основанная на kakaocorp/kanana-1.5-8b-instruct-2505. Она предназначена для генерации текста в формате диалога; исходная модель также поддерживает программирование, математику и вызов инструментов. Модель содержит 7,5 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель опубликована в формате safetensors и обучалась с использованием Unsloth и библиотеки TRL от Hugging Face. Лицензия — Apache-2.0. Карточка не описывает отдельные характеристики обучения Persona или сравнительные результаты.

Это производный чекпойнт DeepSeek-V4.1-Flash, опубликованный drowzeys и подготовленный для запуска на компьютере Mac Studio с M3 Ultra и 256 ГБ памяти через oMLX и MLX. В README описана модель DeepSeek-V4.1-Flash размером 763 млрд параметров с архитектурой MoE и разреженным вниманием; для этого варианта веса маршрутизируемых экспертов в 27 из 40 слоёв переквантованы с 3 до 2 бит, чтобы снизить занимаемую память. Метаданные указывают формат safetensors и базовый репозиторий Jundot/DeepSeek-V4.1-Flash-oQ3e-mtp. Модель предназначена для генерации текста, в том числе кода и длинных ответов, с запуском локально на Apple Silicon. README сообщает о проверке контекста до 404 805 токенов и приводит замеры скорости для прозы и кода на конкретной конфигурации M3 Ultra. Для работы требуются значительный объём объединённой памяти и настройка системного лимита памяти GPU; описаны также ограничения пропускной способности при параллельных запросах и снижение точности спекулятивного декодирования из-за квантизации. Лицензия в предоставленных данных не указана.

Модель LeroyDyer/LeroyDyer-Mixtral_AI_CyberTron_Ultra — дообученная LeroyDyer текстовая генеративная модель на архитектуре Mistral с 7,1 млрд параметров. Она предназначена для диалогов и генерации текста, в том числе ответов на вопросы, программирования, математики, финансовых тем, проектирования продуктов и систем, а также ролевых сценариев. Разработчик сообщает о тренировке на учебных и математических материалах, наборах данных для кода и диалогов, а также о поддержке многошаговых ответов и нескольких стилей взаимодействия. Метаданные указывают контекст до 32 768 токенов, библиотеку Transformers и формат Safetensors. В карточке заявлена ориентация преимущественно на английский язык; среди датасетов также есть материалы на суахили и многоязычный корпус. Модель может подойти для прототипирования чат-помощников и генерации кода, однако утверждения о качестве основаны на описании разработчика и не сопровождаются результатами независимой оценки. Указана лицензия Apache-2.0.

PlumCode — слитая языковая модель, созданная автором репозитория sequelbox с помощью mergekit на основе Meta Llama 3.1 8B Instruct и моделей Llama3.1-8B-ShiningValiant2 и Llama3.1-8B-Enigma. Используется архитектура LlamaForCausalLM с плотной сетью примерно на 7,5 млрд параметров; веса опубликованы в формате safetensors. Контекстное окно составляет 131 072 токена. Модель предназначена для генерации текста и диалогов по инструкциям, включая помощь с кодом и техническими темами. В тегах указаны Python, информатика, естественные науки и инженерия; карточка не подтверждает отдельные специализированные возможности сверх генерации текста. Лицензия — llama3.1. README приводит результаты Open LLM Leaderboard, но не содержит полного набора оценок.

NANI-Nithin/Mellum2-12B-A2.5B-Instruct-GGUF — набор GGUF-квантизаций модели JetBrains/Mellum2-12B-A2.5B-Instruct, разработанной JetBrains. Модель предназначена для генерации текста и выполнения инструкций в формате ассистента, а репозиторий ориентирован на эффективный локальный запуск через llama.cpp, Ollama, LM Studio и другие совместимые среды. Указана архитектура Mellum2, контекстное окно до 131 072 токенов и поддержка английского языка. Доступны варианты Q4_K_M размером 8,07 ГБ и Q5_K_M размером 9,21 ГБ: первый рассчитан на экономию памяти при хорошем соотношении качества и размера, второй обеспечивает более высокое качество при умеренном увеличении требований к памяти. Обозначение модели содержит параметры 12B-A2.5B, однако дополнительные сведения о структуре, числе активных параметров и мультимодальности не приведены. Модель подходит для локального чата, программирования, экспериментов с использованием инструментов, а также CPU-ориентированного или ограниченного по памяти вывода. Ограничения связаны с потерями качества, возможными при квантизации, зависимостью от GGUF-совместимого программного обеспечения и отсутствием подробных данных о производительности и качестве на конкретных задачах. При конвертации некоторые тензоры могут использовать резервную квантизацию, что считается ожидаемым и не препятствует запуску. Модель распространяется по лицензии Apache 2.0.

MJPansa/MiniMax-M2.7-REAP-172B-A10B-AutoRound-W4A16 — экспериментальная сжатая и квантизированная версия модели семейства MiniMax-M2, разработанная на основе MiniMaxAI/MiniMax-M2.7. Это текстовая генеративная модель для продолжения текста, диалогов, программирования и других задач обработки естественного языка; предусмотрена интеграция с vLLM и Hugging Face Transformers. Заявленный язык — английский. Модель использует архитектуру Mixture-of-Experts: 62 трансформерных слоя, 192 эксперта на слой после сокращения исходных 256 экспертов на 25%, top-8 маршрутизацию, скрытый размер 3072, 48 attention heads и 8 KV heads. Всего около 172 млрд параметров, из которых примерно 10 млрд активируются на токен. REAP применён для pruning экспертов, а AutoRound — для квантизации весов в формате W4A16 с 4-битными весами, 16-битными активациями и group size 128. Размер checkpoint составляет около 86 GiB; заявлена поддержка контекста до 32768 токенов при использовании соответствующей конфигурации сервера. Сильная сторона модели — существенно уменьшенный размер и возможность запуска на одной NVIDIA GB10/DGX Spark с 128 GiB unified memory, а также на CUDA GPU с kernels Marlin или GPTQ-Marlin W4A16. Ограничения связаны с экспериментальным статусом: pruning и калибровка выполнены всего на 64 последовательностях длиной 512 токенов из evol-codealpaca-v1, поэтому качество ещё оценивается и может уступать исходной модели. Для Transformers требуется trust_remote_code=True. Модель распространяется по лицензии MiniMax M2.7, обозначенной в README как minimax-m2.7-license.

Noema 1.5 2B — открытая языковая модель NoemaAI-labs на 1,7 млрд параметров, дообученная от NoemaAI-labs/Noema-2B методом on-policy-дистилляции. Это плотная текстовая модель семейства Qwen3.5 с архитектурой Gated DeltaNet и gated attention; она предназначена для локальных диалоговых помощников, точного следования инструкциям и ограничениям в нескольких ходах, короткой генерации кода и эффективных рассуждений. Модель поддерживает контекст до 262 144 токенов, однако сама Noema 1.5 оценивалась только на контекстах до 24 576 токенов. В опубликованных тестах модель улучшила следование инструкциям и многошаговым ограничениям относительно базовой Qwen3.5-2B, а также показала преимущество в HumanEval+, сохранив результаты MMLU-Pro в пределах заданного критерия не меньшей эффективности. Она ориентирована преимущественно на английский язык и текстовые сценарии; мультимодальные возможности в этой версии не обучались и не оценивались. Модель может галлюцинировать, ответы в режиме рассуждений могут быть длинными или повторяющимися; для фактоёмких и важных задач рекомендуется проверять утверждения и использовать поиск по источникам. Для работы требуется версия Transformers с поддержкой qwen3_5_text; веса распространяются как safetensors. Лицензия в предоставленных данных не указана.

Olmo-3-1125-32B — плотная авторегрессионная языковая модель на архитектуре Transformer, разработанная Allen Institute for AI (Ai2). Это базовая модель семейства OLMo 3, обученная на 5,50 трлн токенов набора Dolma 3; в карточке также описаны этапы промежуточного обучения и обучения длинному контексту. Модель содержит 31,7 млрд параметров и поддерживает контекст до 65 536 токенов. Модель предназначена для генерации текста на английском языке и может служить основой для прикладных систем, дообучения и экспериментов с языковыми моделями. В обучающих данных представлены веб-страницы, код, математика, вопросы и ответы, инструкции и PDF-документы. Репозиторий содержит веса Safetensors для использования через Transformers версии 4.57.0 или выше. Модель выпущена по лицензии Apache 2.0. Как базовая языковая модель без фильтрации безопасности, она может генерировать вредный или предвзятый контент, а фактические ответы могут быть неточными и требуют проверки.

Orca-2.0-Tau-1.8B — диалоговая языковая модель M4-ai, дообученная на базе tau-1.8B как универсальный помощник. Она предназначена для генерации ответов, письма, решения математических задач и работы с кодом; также заявлены ответы на вопросы и рассуждения по шагам. Модель использует архитектуру Qwen2ForCausalLM, содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. Для общения применяется формат ChatML. В обучающий набор вошли данные для диалогов, программирования, математики и естественных наук. Карточка указывает английский язык и допускает поддержку китайского; метаданные подтверждают английский. Лицензия указана как tongyi-qianwen license (в метаданных — other). Оценка на Open LLM Leaderboard приведена в карточке, однако отдельная оценка качества для практических сценариев не заявлена.

Ornith-1.5-35B-A3B-REAP-20pct — разреженная MoE-модель для генерации текста, программирования и вызова инструментов, созданная oxfrug на основе Ornith-1.5-35B-A3B от ornith-ai. Модель предназначена для локального и самостоятельного развёртывания, особенно в сценариях кодирования, диалогового взаимодействия и tool calling. В метаданных указан английский язык. Модель использует гибридную архитектуру GatedDeltaNet + MoE с 40 слоями. После удаления 20% экспертов в каждом слое осталось 205 экспертов вместо 256, при этом для каждого токена активны 8 экспертов. Активный объём параметров составляет около 3B на токен, размер BF16-весов — примерно 56 ГБ вместо 67 ГБ у базовой модели. Общие эксперты, vision tower, эмбеддинги и lm_head не изменялись; архитектура обозначена как Qwen3_5MoeForConditionalGeneration, поэтому модель поддерживает текстово-мультимодальный интерфейс базовой архитектуры. Для работы требуются transformers версии 5.8.1 или новее; для vLLM заявлена конфигурация с контекстом до 262144 токенов. Главное преимущество — экономия около 11 ГБ дискового пространства при сохранении примерно 3B активных параметров на токен и совместимость с transformers и vLLM. Ограничения связаны с потерей качества из-за pruning: модель не является lossless-копией и не является квантизированной или дообученной. Для этого чекпойнта не проводились полноценные тесты SWE-bench, Terminal-Bench и GPQA, а опубликованные результаты родственной модели нельзя переносить на него. Калибровка выполнялась на последовательностях длиной 1024 токена, что также может повышать риск ухудшения специализированных возможностей, включая tool calling. Модель распространяется по лицензии MIT. Она требует значительных ресурсов: это не вариант для одной видеокарты на 24 ГБ; для длинного контекста в vLLM рекомендуется конфигурация с двумя GPU по 80 ГБ. Форматы GGUF для данного pruning в README не заявлены.

p-e-w_phi-4-heretic-GGUF — это набор GGUF-квантизаций модели phi-4-heretic, созданной p-e-w и подготовленной для распространения bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты от BF16 до низкобитных форматов Q8, Q6, Q5, Q4 и Q3. Модель предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель ориентирована на генерацию текста, диалоговое взаимодействие, задачи NLP, математику и программирование. В карточке указан английский язык. Доступны файлы разного размера: от 29,32 ГБ для BF16 до 6,25 ГБ для IQ3_XS, что позволяет выбирать компромисс между качеством и требованиями к памяти. Рекомендуемыми названы многие варианты Q4–Q6; Q4_K_M обозначен как стандартный вариант для большинства сценариев. К сильным сторонам относятся широкий выбор квантизаций, возможность локального запуска и применение imatrix для повышения качества квантованных версий. Ограничения — зависимость качества от выбранного формата, отсутствие в README сведений о точной архитектуре, числе параметров и размере контекста, а также неуказанный chat template: предложенный шаблон может быть некорректным и требует проверки по исходной карточке модели. Лицензия — MIT.

Qwen2-1.5B-Instruct-GGUF — инструкционная языковая модель из семейства Qwen2, разработанного командой Qwen. Она предназначена для диалоговых приложений, генерации и понимания текста, а также может применяться в задачах, связанных с многоязычностью, программированием, математикой и рассуждениями. Модель представлена в формате GGUF и подходит для локального запуска с помощью llama.cpp, включая развёртывание сервера с совместимым с OpenAI API интерфейсом. Модель содержит 1,5 млрд параметров и построена на архитектуре Transformer с активацией SwiGLU, смещениями в QKV-проекциях внимания и Group Query Attention. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования. В репозитории доступны варианты fp16 и квантованные варианты q2_k, q3_k_m, q4_0, q4_k_m, q5_0, q5_k_m, q6_k и q8_0. Обучение включало предварительное обучение, supervised fine-tuning и direct preference optimization. К сильным сторонам относятся небольшой размер, возможность локального запуска и наличие нескольких уровней квантования с различным компромиссом между качеством и требованиями к ресурсам. Ограничения связаны с размером 1,5 млрд параметров: по сравнению с более крупными моделями она может уступать в сложных задачах понимания, генерации, кодирования и рассуждений; конкретные языки и размер контекстного окна в README не указаны. Модель распространяется по лицензии Apache-2.0.

DavidAU/Qwen2.5-QwQ-35B-Eureka-Cubed-abliterated-uncensored — текстовая причинная языковая модель семейства Qwen2, предназначенная для диалогов, генерации текста и задач рассуждения. Это объединённая модель на основе huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated, huihui-ai/QwQ-32B-abliterated и huihui-ai/TinyR1-32B-Preview-abliterated; автор описывает её как вариант QwQ-32B, усиленный методом Cubed. Веса доступны в формате safetensors для использования с Transformers и преобразования в другие форматы. Модель содержит 33,9 млрд параметров и поддерживает контекст до 131 072 токенов. Карточка ориентирует её на диалоги, многошаговое рассуждение, планирование, ответы на вопросы, творческое письмо и генерацию развёрнутых текстов. Автор сообщает об улучшениях в детализации, качестве и креативности вывода, но эти оценки основаны на его собственных тестах. В карточке указана версия с удалёнными отказами и без цензурных ограничений; лицензия не указана в предоставленных данных. Для общения рекомендуется шаблон ChatML; результат зависит от шаблона и параметров генерации.

parmanu-lcs2/Qwen3-5B — текстовая генеративная модель на архитектуре Qwen3, полученная сокращением Qwen/Qwen3-8B методом SNIPER и последующим дообучением. После pruning в модели 5,406,974,208 параметров; метаданные каталога указывают 7,6 млрд. параметров и контекст до 40 960 токенов. Для восстановления использованы LoRA и 2 000 примеров SlimOrca в течение одной эпохи, после чего адаптеры объединены с весами модели. Модель предназначена для диалоговой генерации текста и выполнения инструкций. Её можно применять для ответов на вопросы, составления текстов и помощи с кодом — в пределах возможностей базовой Qwen3. README сообщает длину контекста 1 024 токена во время дообучения; это не следует путать с заявленным в метаданных родным контекстом модели. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Описание не содержит результатов оценки качества после pruning, поэтому фактическую сохранность способностей базовой модели следует проверять на целевых задачах.

Qwen3.6-14B-A3B-FableVibes-mlx-q4 — это 4-битная MLX-квантизированная версия модели tvall43/Qwen3.6-14B-A3B-FableVibes, подготовленная для локального запуска на компьютерах Apple Silicon. Исходная модель основана на REAP-pruned Qwen3.6-35B-A3B, дистиллирована с использованием QLoRA и reasoning-трасс Claude Fable 5. Она предназначена для генерации текста, решения задач и сценариев, требующих пошагового рассуждения, с выводом рассуждений в формате <think>...</think>. Модель использует гибридную архитектуру Qwen3.5 с линейным вниманием GatedDeltaNet, полным attention и разреженным MoE. Она содержит около 14 млрд параметров, из которых примерно 3 млрд активируются на каждом токене; используется 90 экспертов, 8 из которых выбираются для обработки токена. Квантизация выполнена в 4 бита с group size 64, размер модели составляет около 7,2 ГБ. Разреженность MoE обеспечивает высокую скорость декодирования — около 46 токенов в секунду на M4, а модель рассчитана на запуск на Mac с 16 ГБ памяти. Ограничением является некоторое снижение точности строгого рассуждения из-за 4-битной квантизации; для более высокой точности доступен вариант с квантизацией q6. Лицензия — Apache 2.0.

DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — многоэтапная дообученная и объединённая версия модели Qwen3.8 с 27 млрд параметров, созданная DavidAU и его командой с использованием Unsloth, методов Cold Fusion и Fable Fusion. Модель распространяется в формате GGUF с обычными и MTP-квантами, включая варианты с точностью 4 и 8 бит. Модель предназначена для решения общих задач, рассуждений, программирования, творческого письма, сторителлинга и ролевых сценариев. По заявлению автора, её настройка направлена на сокращение объёма рассуждений и ускорение генерации при сохранении детализации и качества ответов. В метаданных указаны английский и китайский языки, а также тег image-text-to-text, однако конкретные возможности обработки изображений в README не описаны. Размер контекста и точная архитектура также не указаны. К сильным сторонам относятся заявленные улучшения решения задач, генерации кода и художественного текста, поддержка нескольких режимов рассуждений, снижение избыточного расхода токенов и варианты для запуска на потребительском оборудовании. Автор сообщает о превосходстве базовой Qwen3.8 27B в ряде внутренних или указанных в README тестов, но независимая проверка этих утверждений не приведена. Ограничения включают возможные потери качества при использовании низкобитных квантов, а также отсутствие подробных сведений о контекстном окне, требованиях к ресурсам и фактической мультимодальной поддержке. Лицензия — Apache-2.0.

Карточка модели chrischain/Satoshi1337-8B на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B, поэтому описание составлено по ней. Meta Llama 3 8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Эта версия принимает текст и генерирует текст, в том числе код; карточка репозитория описывает предварительно обученные и настроенные варианты семейства, но не уточняет, какой именно вариант представлен в этом репозитории. Модель предназначена для генерации текста на английском языке. Предварительно обученную версию можно адаптировать для разных задач генерации естественного языка, а настроенные варианты предназначены для диалоговых сценариев. Архитектура основана на оптимизированном Transformer и использует Grouped-Query Attention; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель подходит для создания разговорных помощников, генерации и продолжения текста и кода. Результаты требуют проверки, а для приложения следует настроить дополнительные меры безопасности под конкретную аудиторию и сценарий. Лицензия — специальная коммерческая лицензия Meta Llama 3 с условиями использования и ограничениями; перед внедрением необходимо ознакомиться с её текстом и Acceptable Use Policy.