II.4Отладка, тестирование и качество ПО

Qwen1.5-32B-Chat-GPTQ-Int4 — чат-модель из серии Qwen, разработанная командой Qwen. Это decoder-only языковая модель на архитектуре Transformer, дообученная с применением supervised fine-tuning и direct preference optimization для диалогового взаимодействия и генерации текста. Она предназначена для создания виртуальных ассистентов, ответов на вопросы, ведения диалогов и других сценариев text-generation. Модель содержит 32 млрд параметров и предоставляется в формате GPTQ с 4-битным квантованием, что снижает требования к памяти по сравнению с полноразмерной версией. Для неё заявлена поддержка контекста до 32K токенов, мультиязычность и работа с естественными языками и кодом; в метаданных README явно указан английский язык. Архитектура включает SwiGLU, bias в QKV и group query attention для версии 32B. Модель поддерживает стандартный интерфейс Transformers без необходимости использовать trust_remote_code. К сильным сторонам относятся чатовая настройка, улучшенная работа с предпочтениями пользователей, большой контекст и более экономичное размещение благодаря Int4-квантованию. Ограничения включают beta-статус семейства, возможные проблемы при переключении между языками и необходимость подбора рекомендованных параметров генерации. README временно не рекомендует развёртывание этой версии через vLLM и советует использовать AWQ-модель. Для загрузки рекомендуется transformers версии 4.37.0 или новее. Лицензия указана как tongyi-qianwen; применяются условия лицензии, опубликованной разработчиками.

Qwen3-1.7B-GGUF — квантованная версия причинной языковой модели Qwen3-1.7B, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для локальной генерации текста, диалогов, следования инструкциям, решения математических и логических задач, программирования, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Она поддерживает переключение между режимом рассуждений для сложных задач и нерссуждающим режимом для более быстрых универсальных ответов. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к embedding, включает 28 слоёв и использует Grouped Query Attention: 16 голов для Q и 8 для KV. Заявленная длина контекста — 32 768 токенов. Формат GGUF и квантование q8_0 ориентированы на запуск через llama.cpp и Ollama. Поддерживаются более 100 языков и диалектов, при этом README не уточняет полный перечень языков. К сильным сторонам относятся компактный размер, мультиязычность, возможности рассуждения, следования инструкциям и работы с агентными сценариями. Ограничения включают меньший размер по сравнению с крупными моделями, возможное снижение качества из-за квантования и зависимость результатов от настроек декодирования и поддерживаемого шаблона чата. Для режима рассуждений рекомендуются специальные параметры sampling; жадное декодирование не рекомендуется из-за риска ухудшения качества и повторов. Модель распространяется по лицензии Apache-2.0.

XythicK/Qwen3-1.7B-GGUF — это GGUF-версия причинной языковой модели Qwen3-1.7B, разработанной командой Qwen. Модель предназначена для генерации и понимания текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческого письма и сценариев с интеграцией внешних инструментов. Она поддерживает более 100 языков и диалектов, включая английский; в предоставленных данных явно указан язык en. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к эмбеддингам, и имеет 28 слоёв. В архитектуре используется групповое совместное внимание (GQA) с 16 головами для Q и 8 для KV. Контекстное окно составляет 32 768 токенов. Qwen3-1.7B поддерживает переключение между режимом рассуждений для сложных логических, математических и программных задач и режимом без рассуждений для более эффективного универсального диалога. К сильным сторонам относятся компактный размер, поддержка многоязычных инструкций, рассуждений, генерации кода, диалогов и агентских сценариев. Ограничения, связанные с точностью, качеством на отдельных языках, ресурсоёмкостью и возможностями GGUF-квантизации, в README не указаны. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.6-35B-A3B-FP8-dynamic — мультимодальная модель семейства Qwen3.6 с архитектурой mixture-of-experts (MoE), разработанная RedHatAI на основе Qwen/Qwen3.6-35B-A3B от Alibaba Cloud. Модель принимает текст и изображения, а генерирует текст; заявлены улучшенные возможности рассуждений, вызова инструментов и обработки визуально-языковых запросов. Точные поддерживаемые языки и размер контекстного окна в представленном README не указаны. Модель оптимизирована для инференса в vLLM с помощью динамической FP8-квантизации весов и активаций. Квантизация применяется к линейным слоям трансформерных блоков, тогда как визуальный энкодер, MoE-маршрутизатор, общие эксперты, эмбеддинги и некоторые другие компоненты сохраняются в исходной точности. Это примерно на 50% снижает требования к дисковому пространству и памяти GPU по сравнению с 16-битным представлением. Поддерживаются текстовый и мультимодальный режимы, вызов инструментов, рассуждения и speculative decoding с Multi-Token Prediction. Модель распространяется по лицензии Apache 2.0; в README подтверждена валидация для vLLM 0.18.0, RHOAI 3.4 и RHAIIS 3.4.

ByteOtter/Qwen3.8-27B-TAK-Reasoning-GGUF — квантованная версия Qwen3.8-27B, разработанная ByteOtter на основе модели Qwen/Qwen3.8-27B. Это текстовая генеративная модель в формате GGUF для запуска через llama.cpp. Дообучение и слияние моделей не применялись: изменена только точность представления весов с использованием task-aware quantization (TAK), ориентированной на задачи рассуждения. Модель предназначена прежде всего для задач, требующих логического анализа и пошагового рассуждения, а также может применяться для генерации текста, ответов на вопросы, работы с кодом, математикой, извлечения и структурирования информации. Размер файла составляет 8,372 ГБ, используется смешанная точность с целевым форматом UD-IQ2_S. В опубликованной оценке модель набрала 82,81% в категории reasoning, превысив сопоставимую квантованную версию Unsloth на 5,47 процентного пункта и немного уступив исходной BF16-модели с результатом 83,59%. Сильной стороной является сохранение высокой способности к рассуждению при существенно меньшем размере по сравнению с BF16-версией, а также улучшенные относительно компаратора показатели по математике, следованию инструкциям, суммаризации, структурированному выводу и связности. Ограничения включают возможное изменение качества, стабильности и точности из-за квантования; результаты на диагностических наборах не следует считать универсальными гарантиями. Модель содержит только текстовый GGUF и не включает мультимодальный проектор. Языки и размер контекстного окна в README не указаны, поэтому их следует уточнять в карточке базовой модели. Производитель рекомендует использовать свежую сборку llama.cpp. Производная распространяется по лицензии Apache License 2.0 в соответствии с лицензией базовой модели.

IsValorum/Qwen3.8-35B-A3B-Distill-MTP-APEX-I-MiniPlus-V2.1-GGUF — это GGUF-квантизированная версия модели empero-ai/Qwen3.8-35B-A3B-Distill, подготовленная IsValorum. Модель предназначена для генерации текста, рассуждений, программирования и других задач, поддерживаемых llama.cpp и совместимыми инструментами. Архитектура основана на разреженной смеси экспертов (MoE): заявлены 35 млрд параметров и около 3 млрд активных параметров на токен, 40 слоёв и 256 микроэкспертов. Заявленный максимальный контекст — 256K токенов. Модель поддерживает английский, китайский, испанский, французский, немецкий, португальский, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Квантизация APEX-I-MiniPlus V2.1 использует комбинацию форматов IQ3_XXS, Q3_K, Q5_K, Q6_K, Q8_0 и F32; размер файла составляет приблизительно 13,74 GiB. В README заявлены сохранение маршрутизации экспертов в F32, оптимизация для работы с системной RAM и поддержка Multi-Token Prediction. Для мультимодальных сценариев упоминаются отдельные компоненты mmproj и MTP, однако основная карточка относится к текстовой GGUF-модели. Сильными сторонами заявлены компактный размер при сохранении качества, поддержка длинного контекста и возможность запуска с частичной или полной выгрузкой в GPU VRAM либо системную RAM. Производительность существенно зависит от видеопамяти, процессора, пропускной способности памяти и настроек llama.cpp; приведённые в README показатели скорости и perplexity являются заявленными авторами и не подтверждены независимой проверкой. Модель распространяется по лицензии Apache-2.0.

btbtyler09/Qwen3.8-Flash-Next-GPTQ-4bit — это GPTQ-квантизированная 4-битная версия Qwen/Qwen3.8-Flash-Next, разработанного командой Qwen. Модель представляет собой предварительную реализацию архитектуры Qwen4: разреженную мультимодальную MoE-модель, поддерживающую текст и изображения. Она предназначена для генерации и анализа текста, работы с кодом, обработки длинного контекста и мультимодальных сценариев, включая использование через Transformers и совместимые средства инференса, например vLLM. В составе модели 125 млрд параметров, из которых около 6 млрд активируются на один токен, а также 51 млрд параметров n-gram embedding table и 4 млрд параметров MTP-модуля; общий размер чекпойнта составляет около 180 млрд параметров. Архитектура включает 48 MoE-слоёв: 36 слоёв с линейным вниманием Gated DeltaNet и 12 слоёв с полным разреженным вниманием, 512 маршрутизируемых экспертов на слой, 4 параллельных residual-потока, vision encoder на базе 27-блочного ViT и однос layer MTP-модуль для speculative decoding. Нативный контекст составляет 262 144 токена и может быть расширен до 1 млн токенов с YaRN. Ключевые компоненты модели используют BF16, а эксперты и проекции полного внимания квантизированы в INT4 с group size 32. Главное преимущество чекпойнта — существенное сокращение объёма GPU-памяти: примерно до 80 ГБ для GPU-резидентной части вместо около 250 ГБ у исходной BF16-модели. При этом на тесте wikitext-2 ухудшение perplexity относительно BF16 составило 0,58%, а для Python-кода — 0,02%; однако качество и поведение в других сценариях могут отличаться. Для работы требуется около 188 ГБ общего хранилища или памяти, включая 102 ГБ BF16-таблицы n-gram, размещаемой в оперативной памяти, поэтому модель остаётся ресурсоёмкой и рассчитана на серверную инфраструктуру, например четыре GPU по 32 ГБ. Модель распространяется по лицензии qwen-community-1.0; в README она указана как license: other. Полные условия следует уточнять в файле LICENSE репозитория.

Qwen3-VL-32B-Thinking-GGUF — мультимодальная модель семейства Qwen, разработанная командой Qwen. Репозиторий содержит GGUF-веса базовой модели Qwen3-VL-32B-Thinking и предназначен для локального запуска через llama.cpp, Ollama и другие инструменты, совместимые с GGUF, на CPU, NVIDIA GPU, Apple Silicon и Intel GPU. Модель объединяет языковую модель и vision encoder, поддерживает обработку текста, изображений и видео. Она ориентирована на визуально-языковое понимание и рассуждение, включая анализ документов и сцен, OCR, пространственное восприятие, STEM- и математические задачи, генерацию кода и разметки по изображениям или видео, а также взаимодействие с графическими интерфейсами и инструментами. Заявлены контекст до 256K токенов с возможностью расширения до 1M, поддержка OCR на 32 языках и улучшенное понимание длительных видео с временной привязкой событий. Архитектурные особенности включают Interleaved-MRoPE для моделирования времени и пространственных измерений, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками. Доступны варианты языковой модели FP16, Q8_0 и Q4_K_M, а vision encoder — FP16 и Q8_0, что позволяет выбирать баланс качества, скорости и требований к памяти. Ограничения включают высокие вычислительные и ресурсные требования 32B-модели, а также возможное снижение качества при использовании более агрессивного квантования; конкретные результаты бенчмарков в README не приведены. Распространение указано по лицензии Apache-2.0.

Shuttle-3 — языковая чат-модель компании ShuttleAI Inc., выпущенная в бета-версии в октябре 2024 года. Это дообученная версия Qwen2.5-72B-Instruct с плотной архитектурой Qwen2 и 71,5 млрд параметров; для общения используется формат ChatML. Контекст составляет 32 768 токенов. Модель предназначена для сложных диалогов, многоязычного общения, рассуждений, агентных сценариев и ролевых бесед. В обучении использовались мультиязычные и программные данные, а дообучение включало 130 млн токенов и ролевые данные; модель также настраивали на стиль прозы Claude 3. Репозиторий распространяет веса в формате safetensors. В метаданных указана лицензия other, поэтому конкретные условия использования следует сверять с лицензией в репозитории. Модель помечена как beta; качество и поведение в отдельных языках и сценариях могут различаться.

Карточка модели Epharim/Ternary-Bonsai-2-27B-mlx-2bit на Hugging Face совпадает с карточкой TechnoBaptist/Ternary-Bonsai-2-27B-mlx-2bit, поэтому описание составлено по ней. Bonsai 2 27B — производная от Qwen/Qwen3.8-27B модель семейства Prism ML для генерации текста, рассуждений и диалогов. Это плотный трансформер с гибридным вниманием, SwiGLU, RoPE и RMSNorm; языковые веса представлены в троичном формате {-1, 0, +1} с блочной Hadamard-ротацией. Репозиторий содержит веса в формате safetensors для MLX; заявлены 27,36 млрд параметров и контекст до 262 тыс. токенов. Модель также включает башню зрения, однако карточка этого варианта указывает основной задачей генерацию текста. Модель рассчитана на локальный запуск на устройствах Apple Silicon и совместимых GPU, в том числе для продолжительного анализа документов и кода, диалогов, рассуждений и сценариев с вызовом инструментов. Автор заявляет сохранение 98,2% среднего результата FP16-версии на 14 тестах, включая математику, программирование и использование инструментов. Троичное представление сокращает размер весов, но требует специализированных низкоразрядных ядер; скорость зависит от аппаратуры и реализации. Модель основана на Qwen/Qwen3.8-27B и распространяется по лицензии Apache-2.0. Для использования нужны совместимый runtime MLX и соответствующие низкоразрядные ядра; заявленные характеристики скорости и качества являются результатами автора и могут отличаться на конкретном оборудовании.

Карточка модели luckyChenY/trainedmolde на Hugging Face совпадает с карточкой Qwen/Qwen3-1.7B, поэтому описание составлено по ней. Qwen3-1.7B — компактная плотная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 40 960 токенов по метаданным. Модель дообучена на базе Qwen/Qwen3-1.7B-Base и распространяется в формате safetensors под лицензией Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с внешними инструментами через соответствующий интерфейс. Она поддерживает более 100 языков и диалектов. Заявлены режимы рассуждения и обычного диалога; компактный размер подходит для приложений с ограниченными ресурсами по сравнению с более крупными моделями семейства. В README указана длина контекста 32 768 токенов, тогда как метаданные каталога приводят 40 960; для характеристики использовано значение метаданных. В README также отмечен риск бесконечных повторов при некоторых настройках генерации и рекомендована настройка presence_penalty. Качество ответов и точность фактов требуют проверки в целевом сценарии.

Misted v2 7B — языковая модель на архитектуре Mistral, созданная автором репозитория hflog слиянием нескольких моделей Mistral и misted-7b методом SLERP. Модель предназначена для генерации текста, написания кода, выполнения инструкций, решения загадок и диалогового общения. Модель содержит 7,1 млрд параметров, работает с контекстом до 32 768 токенов и распространяется в формате safetensors для Transformers. В метаданных указаны английский и испанский языки. Модель доступна по лицензии Apache 2.0.

XORTRON.CriminalComputing.LARGE.2026.3 — диалоговая языковая модель, опубликованная darkc0de и созданная дообучением Mistral-Large-Instruct-2411. Это плотная архитектура Mistral с 122,2 млрд параметров и контекстом до 131 072 токенов; модель работает через Transformers и распространяется в формате safetensors. Карточка сообщает о многоязычной поддержке, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Модель предназначена для генерации текста в диалоге, ответов на вопросы, рассуждений, программирования и сценариев с длинным контекстом. В README указана abliteration: в приведённом сравнении частота отказов составляет 2 из 100 против 87 из 100 у исходной модели, а KL-дивергенция — 0,0578. Это означает, что модель настроена на существенно меньшее число отказов; результаты таблицы не гарантируют поведение на всех запросах. По метаданным лицензия — WTFPL; значительный размер требует мощного оборудования для запуска.

Карточка модели gdorane01/XORTRON.CriminalComputing.larger на Hugging Face совпадает с карточкой darkc0de/XORTRON.CriminalComputing.LARGE.2026.3, поэтому описание составлено по ней. XORTRON.CriminalComputing.LARGE.2026.3 — диалоговая языковая модель, опубликованная darkc0de и созданная дообучением Mistral-Large-Instruct-2411. Это плотная архитектура Mistral с 122,2 млрд параметров и контекстом до 131 072 токенов; модель работает через Transformers и распространяется в формате safetensors. Карточка сообщает о многоязычной поддержке, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Модель предназначена для генерации текста в диалоге, ответов на вопросы, рассуждений, программирования и сценариев с длинным контекстом. В README указана abliteration: в приведённом сравнении частота отказов составляет 2 из 100 против 87 из 100 у исходной модели, а KL-дивергенция — 0,0578. Это означает, что модель настроена на существенно меньшее число отказов; результаты таблицы не гарантируют поведение на всех запросах. По метаданным лицензия — WTFPL; значительный размер требует мощного оборудования для запуска.

XVERSE-65B-Chat — диалоговая версия модели XVERSE-65B, разработанная компанией 元象 (XVERSE). Это плотная авторегрессионная языковая модель на архитектуре Transformer с 65,6 млрд параметров и контекстом до 16 384 токенов. Модель выровнена для диалоговой генерации; в обучающих данных уделялось внимание программированию, математике, ролевому общению, вызову инструментов, ответам на вопросы, генерации текста, безопасности, логическому рассуждению и пониманию языка. Модель предназначена для диалогов, ответов на вопросы, генерации текста, программирования и математики. В карточке приведён пример структурированного вызова инструмента поиска отеля, а также примеры общения на китайском и английском языках; модель заявлена как многоязычная. Для работы доступны веса в формате PyTorch и интеграция через Transformers. README предупреждает, что ответы могут быть неточными, предвзятыми или оскорбительными, и рекомендует проводить проверки безопасности перед развёртыванием. Исходный код распространяется по Apache-2.0; для весов действует отдельное соглашение, которое допускает академические исследования и бесплатное коммерческое использование.

Bigstral-12b-32k — диалоговая языковая модель от ehartford, созданная с помощью mergekit на основе Mistral-7B-Instruct-v0.2. Веса слоёв исходной модели расположены в чередующемся порядке, образуя плотную архитектуру MistralForCausalLM размером 12,3 млрд параметров; заявленная длина контекста — 32 768 токенов. Модель предназначена для генерации текста и ответов на инструкции в формате диалога [INST]…[/INST], включая написание кода. Большое окно контекста позволяет работать с длинными запросами и документами. Репозиторий использует формат safetensors и библиотеку Transformers; для запуска автор также приводит команду Ollama. Лицензия — Apache-2.0. README не приводит сведения о поддерживаемых языках или подробную оценку качества, поэтому их нельзя определить по имеющимся данным.

RedHatAI/DeepSeek-R1-Distill-Qwen-32B-quantized.w4a16 — квантизированная версия модели DeepSeek-R1-Distill-Qwen-32B, разработанная Neural Magic. Модель построена на архитектуре Qwen2ForCausalLM и предназначена для генерации и обработки текста, включая задачи рассуждения, решения математических задач, ответов на вопросы и использования в чат-сценариях. Модель имеет 32 миллиарда параметров и использует INT4-квантизацию весов линейных операторов в трансформерных блоках при формате W4A16. Применяется симметричная поканальная по группам схема с размером группы 128 и алгоритм GPTQ через библиотеку llm-compressor. Такой подход примерно на 75% сокращает размер модели на диске и требования к памяти GPU по сравнению с представлением весов в 16 битах. Входная и выходная модальности — текст; сведения о поддерживаемых языках и максимальном контексте в карточке явно не указаны. По приведённым оценкам, квантизированная версия сохраняет около 99,45% среднего результата исходной модели на наборе задач рассуждения, включая AIME 2024, MATH-500 и GPQA Diamond. Она оптимизирована для эффективного развёртывания с vLLM и может использоваться через OpenAI-совместимый сервер. Ограничением является возможное небольшое снижение точности из-за квантизации, а также зависимость эффективного запуска от совместимого GPU и программного стека vLLM. Модель распространяется по лицензии MIT.

Dirk-Qwen3.8-27B-GGUF — это GGUF-квантизированная версия базовой модели Qwen/Qwen3.8-27B, подготовленная разработчиком peculiar-ragdoll. Модель представляет собой плотную vision-language модель с 27 млрд параметров, поддерживающую работу с текстом и изображениями. В карточке заявлены английский и китайский языки, а также совместимость с llama.cpp. Модель предназначена для диалогов, анализа изображений, генерации кода и агентских сценариев. Она использует модифицированный Sharp chat template с настройкой краткости ответов и поддерживает Multi-Token Prediction (MTP) для ускорения генерации средствами speculative decoding. По умолчанию используется умеренный уровень рассуждений; его можно изменить через chat_template_kwargs, выбрав low, medium или xhigh. Поддерживается отключение рассуждений. Основное отличие от исходной модели заключается в шаблоне чата: веса и MTP-компоненты сохранены без изменений. Доступны варианты квантования от примерно 2 до 4 бит, включая GSQ-RCO и Unsloth Dynamic 3.0, с размерами файлов примерно от 8,8 до 17,6 ГБ. Это позволяет запускать модель на видеокартах с 12, 16 и 24 ГБ памяти, хотя более сильное квантование может снижать качество, а доступный объём памяти также зависит от длины контекста. Точный максимальный размер контекста в карточке не указан. Лицензия — Apache 2.0.

SL-AI/GRaPE-2.5-Helios-GGUF — мультимодальная инструкционная модель семейства GRaPE 2.5, разработанная командой SL-AI. Это версия модели GRaPE 2.5 Helios в формате GGUF; базовая модель указана как SL-AI/GRaPE-2.5-Helios. Helios позиционируется как модель среднего размера с примерно 10 млрд параметров для локального использования и общих задач. Модель принимает изображения, видео и текст, а генерирует текст. Она предназначена для диалогов, творческих задач, агентного программирования, математики, естественно-научных и других STEAM-сценариев, а также задач рассуждения и анализа. Поддерживаются языки English, Chinese, French, German, Spanish, Japanese, Korean, Portuguese, Russian и Arabic. Архитектура в README не раскрыта, размер контекста также не указан. Ключевая особенность — управляемая глубина рассуждений через тег <thinking_mode=xxx> с режимами minimal, low, medium, high и xtra-hi. Это позволяет выбирать компромисс между скоростью и качеством для простых запросов, сложного кода, многошаговой математики и глубокого анализа. Модель также ориентирована на более естественный стиль текста, многоязычное рассуждение и агентные сценарии. Ограничения включают отсутствие заявленных количественных бенчмарков, неизвестные технические характеристики архитектуры и контекстного окна, а также необходимость корректно поддерживать специальные режимы рассуждений в используемом интерфейсе. Лицензия — Apache-2.0.

Hermes 3 Llama 3.2 3B — это языковая модель Nous Research, дообученная на полной совокупности параметров базовой Meta Llama 3.2 3B. Она предназначена для диалогов общего назначения и следования инструкциям; карточка отмечает улучшения в многоходовом общении, рассуждении, ролевых сценариях, связности на длинном контексте, генерации кода, вызове функций и структурированном выводе. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 3,2 млрд параметров и поддерживает контекст до 131 072 токенов. Модель использует формат диалога ChatML и шаблон чата Transformers. Её можно применять для создания разговорных помощников, генерации кода и ответов в заданной JSON-схеме. Вызовы функций модель формирует как текст, который приложение должно разобрать и передать инструменту; сама по себе она не выполняет внешние вызовы. В метаданных указан английский язык. Лицензия — Llama 3 Community License (llama3).

Hermes-4-14B-abliterated-4bit-mlx — языковая модель, подготовленная divinetribe на основе Babsie/Hermes-4-14B-BF16-abliterated. Постобучение семейства Hermes 4 выполнено NousResearch, базовая архитектура Qwen3 разработана Alibaba, а abliteration применена Babsie. Модель преобразована в 4-битный формат MLX для локального запуска на устройствах Apple Silicon. Модель предназначена для генерации текста, следования инструкциям, работы с инструментами и структурированного вывода, включая локальные OpenAI-совместимые серверы и сценарии программирования. Она поддерживает английский язык, использует токенизатор и chat template Qwen3 и имеет контекст до 40 960 токенов. Квантование выполнено методом affine с размером группы 64; формат хранения — MLX safetensors. Размер на диске составляет около 8 ГБ, поэтому модель рассчитана на комфортную работу на Mac с 16 ГБ памяти и выше. К сильным сторонам относятся локальная работа без облака, API-ключей и телеметрии, относительно небольшой объём памяти и оптимизация для быстрой инференции на Apple Silicon. Abliteration уменьшает склонность исходной модели отказывать в ответах на допустимые, но потенциально спорные запросы, однако не является улучшением общих способностей и требует ответственного применения. Ограничения включают зависимость от оборудования Apple Silicon, поддержку только текстовых сценариев и возможное снижение качества по сравнению с полноточной версией из-за 4-битного квантования. Модель распространяется по лицензии Apache 2.0, унаследованной от upstream-семейства Hermes 4 и Qwen3.

Locutusque/Llama-3-Orca-1.0-8B — разговорная языковая модель, дообученная Locutusque на основе Meta Llama 3 8B. Для обучения использовались преимущественно SlimOrca, а также наборы данных для улучшения решения математических задач, программирования и письма. Модель построена на архитектуре Llama и содержит 7,5 млрд параметров; она принимает текст и генерирует текст, поддерживает контекст до 8192 токенов. Модель предназначена для диалогового ИИ, написания текстов, помощи с программированием и решения математических задач. В карточке указана лицензия Llama 3; метаданные классифицируют лицензию как other, поэтому условия применения следует сверять с лицензией Meta Llama 3.

Phi-4-mini-instruct-GGUF — квантизированная GGUF-версия модели Phi-4-mini-instruct, разработанной Microsoft и преобразованной компанией Second State Inc. Модель предназначена для генерации текста и диалогового применения, включая задачи обработки естественного языка и работы с кодом. Она распространяется в нескольких вариантах квантизации для запуска с llama.cpp и LlamaEdge. Модель работает с текстовой модальностью, поддерживает контекст размером до 128 000 токенов и заявлена как многоязычная. В README перечислена поддержка арабского, китайского, чешского, датского, нидерландского, английского, финского, французского, немецкого, иврита, венгерского, итальянского, японского, корейского, норвежского, польского, португальского, русского, испанского, шведского, тайского, турецкого и украинского языков. Размер исходной модели и сведения об архитектуре в README не указаны. Основное преимущество представленной версии — выбор между несколькими уровнями квантизации с размером файлов от 1,68 до 7,68 ГБ, что позволяет адаптировать модель к доступной памяти и требованиям к качеству. Варианты с низкой разрядностью экономичнее, но могут заметно снижать качество; наиболее сбалансированными в README названы Q4_K_M, Q5_K_M и Q5_K_S. Для использования требуется совместимый рантайм и шаблон prompt типа phi-4-chat. Модель распространяется по лицензии MIT.

QuantFactory/Qwen2.5-7B-GGUF — квантизированная в формате GGUF версия базовой языковой модели Qwen2.5-7B, созданной командой Qwen и подготовленной QuantFactory с использованием llama.cpp. Модель предназначена для генерации и обработки текста, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Это базовая модель после этапа предварительного обучения, поэтому разработчики не рекомендуют использовать её для диалогов без дополнительного дообучения, например SFT, RLHF или продолжительного предварительного обучения. Модель является авторегрессионной causal language model на архитектуре Transformer с RoPE, SwiGLU, RMSNorm и смещениями в QKV-проекциях внимания. Она содержит 7,61 млрд параметров, из которых 6,53 млрд не относятся к embedding-слою, имеет 28 слоёв и Grouped-Query Attention с 28 головами для Q и 4 для KV. Максимальная длина контекста составляет 131 072 токена, поддерживается генерация длинных текстов до 8K токенов. Qwen2.5 заявляет поддержку более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. К сильным сторонам относятся улучшенные знания, возможности в программировании и математике, следование инструкциям, обработка длинного контекста, понимание таблиц и генерация структурированных данных. К ограничениям относятся базовый, а не instruction-tuned характер модели, отсутствие указанных в README подробностей о конкретном методе и разрядности квантизации, а также необходимость учитывать требования к памяти и производительности среды запуска. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-9B, разработанная ByteShape с использованием метода ShapeLearn. ShapeLearn подбирает тип данных отдельно для каждого тензора, чтобы сохранять высокое качество при низкой разрядности. Модель предназначена для локального запуска через llama.cpp или LM Studio и поддерживает работу с изображениями; для vision-сценариев llama.cpp автоматически загружает vision projector. Модель ориентирована на текстовые и мультимодальные задачи, включая генерацию текста, рассуждения, программирование, решение математических задач, следование инструкциям и function calling. Доступны варианты для GPU и CPU с разрядностью от 2,81 до 5,10 bits per weight и размером примерно от 3,15 до 5,72 ГБ. GPU-варианты используют сочетание KQ- и IQ-квантизации, а CPU-варианты — преимущественно KQ-квантизацию; это позволяет выбирать баланс между скоростью, требованиями к памяти и качеством. Сильными сторонами являются малый размер, возможность запуска на широком спектре оборудования, включая Raspberry Pi, поддержка изображений и несколько вариантов квантизации. Ограничения связаны с потерями качества, возможными при низкой разрядности, зависимостью производительности от оборудования и отсутствием поддержки этой модели в Ollama на момент публикации README. README не указывает языки и размер контекстного окна. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Seven-GGUF — это GGUF-квантизированная версия модели nightmedia/Qwen3.6-27B-Seven, подготовленная mradermacher. Модель предназначена для генерации и понимания текста, диалогов, программирования, математических и STEM-задач, исследовательских сценариев, творческого письма и ролевого взаимодействия. Доступны варианты квантования от Q2_K до Q8_0, что позволяет выбирать баланс между размером файлов, скоростью работы и качеством; размер файлов составляет примерно от 11 до 29,1 ГБ. Заявлена поддержка английского, китайского, японского и испанского языков. Для мультимодального использования предоставляются отдельные компоненты mmproj в форматах Q8_0 и f16. README не содержит точных сведений об архитектуре, числе параметров базовой модели помимо обозначения 27B, фактическом размере контекстного окна и поддерживаемых типах входных данных, поэтому эти характеристики нельзя уточнить. Варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а Q8_0 — как вариант с лучшим качеством среди перечисленных. Модель распространяется по лицензии Apache-2.0. К ограничениям относятся неизбежные компромиссы квантования: более компактные варианты могут уступать по качеству более крупным, а для мультимодальной работы требуется отдельный mmproj-файл. Указание долгого контекста в тегах README не подтверждено подробными техническими параметрами.

fraQtl Qwen3.6-35B-A3B-Hi-Fi-GGUF — это квантизированная GGUF-версия базовой модели Qwen3.6-35B-A3B-Instruct, разработанной командой Qwen и подготовленной к квантизации fraQtl. Модель предназначена для локальной генерации текста, включая диалог, программирование, математические задачи, работу с инструментами и создание развернутых текстов. Заявлена поддержка английского и китайского языков. Модель использует архитектуру Mixture of Experts с общим размером около 35 млрд параметров, примерно 3 млрд активных параметров на токен и 256 маршрутизируемыми экспертами. Это стандартный Q4_K_M-файл для llama.cpp без необходимости в специальном runtime или измененных ядрах. Вариант Hi-Fi применяет распределение битов с учетом важности отдельных тензоров и калибровку imatrix, чтобы приблизить поведение к Q8-версии при сохранении размера обычной Q4_K_M-квантизации. К сильным сторонам относятся локальный запуск на Apple Silicon и потребительских GPU, совместимость с llama.cpp и оболочками на его основе, а также улучшенные по сравнению с некоторыми публичными Q4-квантами показатели близости распределения вывода и perplexity. Ограничения связаны с потерями точности, присущими квантизации, и значительным размером файла около 20 ГБ. На Apple M4 с 24 ГБ памяти подтвержден запуск в CPU-режиме, тогда как полная Metal-выгрузка для этой конфигурации не укладывается в доступную память; работа на системах с 32 ГБ и более обозначена как экспериментальная. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-heretic-ara-NVFP4 — производная модель hwkranger на базе Qwen/Qwen3.8-27B, прошедшая ARA-abliteration у trohrbaugh и последующую квантизацию NVFP4 от автора репозитория. Модель предназначена для генерации текста, агентных и программных сценариев, вызова инструментов, а также обработки изображений и видео. Она ориентирована прежде всего на запуск через vLLM на NVIDIA GB10 и DGX Spark с унифицированной памятью. Модель содержит 27B параметров и использует формат квантизации W4A16 NVFP4; размер на диске составляет около 20 ГБ вместо 52 ГБ у исходной BF16-версии. Vision tower и MTP-голова сохранены без квантизации, что обеспечивает работу с изображениями и видео и поддерживает speculative decoding через vLLM. Нативный контекст составляет 262 144 токена; в рекомендуемой конфигурации используется 131 072 токена. Поддерживаются шаблон чата Qwen3, reasoning-разметка с тегами <think> и вызов инструментов в формате qwen3_coder. К сильным сторонам относятся сниженные требования к памяти, высокая пропускная способность при параллельной обработке запросов и отсутствие отказов от ответов вследствие удаления исходного refusal-поведения. MTP может повысить скорость однопоточной и многопоточной генерации, но его draft-голова не обучалась на аблитерированных весах, поэтому acceptance rate ниже; также описан единичный сбой CUBLAS при смешанной нагрузке prefill и decode. Квантизация может снизить точность, поэтому критичные сценарии следует проверять сравнением с BF16-моделью. Модель унаследует знания, смещения и ограничения базовой модели; для публичного доступа необходимы собственные защитные механизмы. Лицензия — Apache-2.0.

Qwen3-VL-4B-Instruct-FP8 — FP8-квантизированная версия мультимодальной модели Qwen3-VL-4B-Instruct из семейства Qwen. Репозиторий содержит веса с мелкозернистой FP8-квантизацией и размером блока 128; по данным карточки, показатели почти идентичны исходной версии BF16. Разработчик в README явно не назван, но модель относится к серии Qwen. Модель предназначена для понимания и генерации текста по изображениям и видео, визуального анализа, OCR, пространственного рассуждения, обработки документов, STEM-задач, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. Она поддерживает анализ изображений и видео, включая временную привязку событий, а также сценарии visual agent для PC и мобильных GUI. Заявлена поддержка контекста 256K токенов с возможностью расширения до 1M и OCR на 32 языках; конкретный перечень языков в README не приведён. К ключевым архитектурным особенностям относятся Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками. Сильными сторонами являются мультимодальное рассуждение, распознавание текста в сложных условиях, понимание пространственных отношений и длинных видео. Ограничение состоит в том, что на момент публикации Transformers не поддерживает прямую загрузку этих весов; для развёртывания рекомендуются vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

Карточка модели TreezzZ/r2s-alfworld-qwen3-8b-student на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.