II.4Отладка, тестирование и качество ПО

unsloth/gemma-3-270m-it-unsloth-bnb-4bit — квантованная 4-битная версия instruction-tuned модели google/gemma-3-270m-it, подготовленная проектом Unsloth. Исходная модель разработана Google DeepMind как часть семейства Gemma — открытых моделей, созданных на основе исследований и технологий Gemini. Модель предназначена для генерации текста по инструкциям, ответов на вопросы, суммаризации документов, рассуждений и работы с программным кодом. Для версии с размером 270M заявлен контекст до 32K токенов на запрос. Обучение проводилось на данных более чем из 140 языков, включавших веб-тексты, код, математические материалы и изображения; дата отсечения знаний — август 2024 года. В данном репозитории модель представлена как text-generation-модель для Transformers, а 4-битное представление снижает требования к памяти и упрощает локальный запуск. К сильным сторонам относятся небольшой размер, экономичность и пригодность для развёртывания на устройствах с ограниченными ресурсами. Ограничениями являются существенно меньшая ёмкость по сравнению с крупными вариантами Gemma, возможные потери качества из-за квантования и отсутствие в README отдельных результатов оценки именно этой квантованной версии. Модель распространяется по лицензии Gemma; перед использованием необходимо учитывать соответствующие условия Google.

glm-4-9b-chat-GGUF — чат-модель семейства GLM-4 с примерно 9 млрд параметров, разработанная THUDM на базе THUDM/glm-4-9b-chat. Репозиторий содержит GGUF-квантизованные варианты, подготовленные Second State Inc., для локального запуска и интеграции с совместимыми инструментами, включая LlamaEdge. Модель предназначена для диалоговых сценариев: ведения беседы, обработки пользовательских запросов и генерации текстовых ответов. Заявлены китайский и английский языки. Для запуска через LlamaEdge указан контекст до 128 000 токенов и специальный шаблон prompt glm-4-chat; требуется LlamaEdge версии 0.12.3 или новее либо другой совместимый runtime для формата GGUF. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, размером примерно от 3,99 до 18,8 ГБ. Более компактные варианты экономят память, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые, обеспечивающие баланс между размером и качеством. Лицензия указана как glm-4 с типом other; условия следует уточнять в файле лицензии оригинальной модели.

GPT Chat Latest — псевдоним API OpenAI `chat-latest`, который указывает на актуальную Instant-модель для чата в ChatGPT. По мере выпуска обновлений OpenAI псевдоним переключается на новую версию модели. Модель предназначена для диалогов и задач, выполняемых через API OpenAI. Конкретные характеристики версии, на которую указывает псевдоним, могут меняться; README и метаданные не сообщают её архитектуру, размер, контекстное окно, языки, лицензию или отдельные ограничения.

Hermes-2-Pro-Mixtral-4x7B — разговорная языковая модель, собранная Isotonic как смесь экспертов (MoE) с помощью LazyMergekit из четырёх копий NousResearch/Hermes-2-Pro-Mistral-7B. Модель предназначена для диалогов по инструкциям и генерации текста; поддерживает формат чата ChatML, многошаговое общение, вызов функций и структурированные ответы в JSON. В карточке указано 7,1 млрд параметров и контекст длиной до 32 768 токенов. Репозиторий содержит веса Safetensors; для 4-битного инференса README приводит ориентир около 5 ГБ видеопамяти. Модель может подойти для чат-ботов, ассистентов и сценариев с вызовом инструментов. Лицензия — Apache-2.0. Данных о поддерживаемых естественных языках и конкретных оценках качества в карточке нет.

Hermes-4-14B-4bit — языковая instruction-модель, разработанная NousResearch и преобразованная сообществом mlx-community в формат MLX из NousResearch/Hermes-4-14B с использованием mlx-lm 0.27.0. Модель предназначена для генерации текста и диалоговых сценариев на английском языке, включая ответы общего назначения, рассуждения, ролевое взаимодействие, работу с функциями и инструментами, JSON Mode и структурированными ответами. Модель имеет размер 14 млрд параметров и использует 4-битное квантование. Она совместима с библиотекой mlx-lm и рассчитана на запуск в экосистеме MLX. В описании заявлены поддержка chat-сценариев, ChatML, function calling, tool use и long context, однако точный размер контекстного окна, архитектурные детали, модальности помимо текста и результаты benchmark-тестов не указаны. К сильным сторонам относятся instruction-настройка, возможности рассуждения, структурированной генерации и взаимодействия с инструментами, а также оптимизация в 4-битном формате для использования через MLX. Ограничения включают отсутствие подтверждённых количественных оценок качества и недостаток сведений о производительности, точной поддержке языков и поведении на задачах, не связанных с английским языком. Модель распространяется по лицензии Apache-2.0.

EXAONE-Deep-32B-GGUF — это квантованные версии языковой модели EXAONE-Deep-32B, разработанной LGAI-EXAONE и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Модель ориентирована на текстовые сценарии, включая диалоговое взаимодействие, написание и преобразование текста, программирование и другие задачи генерации на естественном языке. В README указаны английский и корейский языки. Базовый размер модели — 32B параметров; архитектура и размер контекстного окна не указаны. Доступны варианты от BF16 до квантований Q8_0, Q6, Q5, Q4, Q3 и IQ, размер файлов составляет примерно от 13 до 64 ГБ. Главное преимущество — возможность локального запуска при выборе подходящего уровня квантования: высокоточные варианты Q6 и Q5 обеспечивают качество, близкое к исходной модели, а более компактные Q4 и Q3 снижают требования к памяти. Ограничения связаны с существенными аппаратными требованиями 32B-модели, возможным снижением качества при сильном квантовании и отсутствием информации о мультимодальности, контекстном окне и результатах оценивания. Указана лицензия EXAONE; подробные условия следует уточнять в файле LICENSE.

Light-IF-32B — дообученная компанией Qihoo 360 языковая модель на базе Qwen/Qwen3-32B, предназначенная для точного выполнения сложных инструкций. В карточке указаны архитектура Qwen3ForCausalLM с плотными весами и 29,7 млрд параметров; модель работает с текстом, поддерживает диалог и интерфейс вызова инструментов, а нативный контекст составляет 40 960 токенов. При дообучении применялись Entropy-SFT и token-wise entropy-adaptive reinforcement learning (TEA-RL), чтобы улучшить планирование и самопроверку ответа при выполнении инструкций с множеством ограничений. В README сообщается о результатах на бенчмарках SuperClue, IFEval, CFBench и IFBench и о сравнении с более крупными моделями; приведённая таблица неполная, поэтому конкретные результаты Light-IF-32B из неё определить нельзя. Модель подходит для диалоговых систем и задач, где важно соблюдать сложные требования к ответу. Она унаследована от многоязычной Qwen3, однако конкретный список поддерживаемых языков в предоставленных данных не приведён. Лицензия — Apache-2.0.

Ling-3.0-flash-GGUF — это набор GGUF-конвертаций модели Ling-3.0-flash, разработанной inclusionAI и опубликованной пользователем bloomer010 для запуска через llama.cpp. Модель предназначена для генерации текста, диалоговых и агентских сценариев, включая вызов инструментов, рассуждения и speculative decoding. В основе лежит гибридная архитектура KDA и gated MLA с Mixture-of-Experts на 512 экспертов: общий размер составляет около 124 млрд параметров, из которых активно примерно 5,1 млрд. Конвертации напрямую созданы из BF16 safetensors и включают блок MTP/NextN, поэтому отдельная drafter-модель для этого режима не требуется. Поддерживается контекст до 256K токенов; README не указывает набор языков и наличие мультимодальных возможностей. Доступны варианты квантования от BF16 и Q8_0 до сильно сжатых IQ1 и MXFP4_MOE, что позволяет адаптировать модель к разному объёму памяти. Качество обычно выше у крупных файлов, а малые варианты требуют меньших ресурсов, но могут сильнее терять точность и стабильность. Для эффективного speculative decoding также предлагаются отдельные DSpark draft-модели. Агентское использование в llama.cpp зависит от поддержки актуальных изменений, связанных с Ling parser и обработкой некорректных UTF-8-последовательностей; без них возможны сбои при вызове инструментов в незавершённых блоках рассуждений. Модель распространяется по лицензии MIT.

Llama3.1-8b-Instruct-CPT-SFT-DPO-09022024 — плотная авторегрессионная языковая модель семейства Llama 3.1 с 7,5 млрд параметров, опубликованная на Hugging Face в формате safetensors для библиотеки Transformers. По названию это инструкционная модель, прошедшая этапы CPT, SFT и DPO; сведения о разработчике и подробностях обучения в карточке не приведены. Модель предназначена для генерации текста в диалоговом формате и поддерживает интерфейс вызова инструментов. Метаданные указывают контекст до 131 072 токенов. Подтверждённых сведений о поддерживаемых естественных языках, специальных прикладных областях и лицензии нет, поэтому область применения и условия распространения следует уточнять у владельца модели. Карточка не содержит результатов оценки или описания ограничений; как и другие генеративные языковые модели, она может выдавать ошибочные или необоснованные ответы.

Llama-3.1-Tulu-3-405B-DPO — большая языковая модель семейства Tülu 3, разработанная Allen Institute for AI (Ai2). Это плотная авторегрессионная модель на архитектуре Llama 3.1 с 403,7 млрд параметров, дообученная методом DPO на основе allenai/Llama-3.1-Tulu-3-405B-SFT. Она предназначена для диалогов и следования инструкциям, а также для широкого круга текстовых задач, включая математические рассуждения и выполнение заданий по заданным критериям. Контекстное окно составляет до 131 072 токенов; основной язык — английский. Модель подходит для создания чат-ассистентов, ответов на вопросы и решения сложных текстовых задач. Карточка приводит результаты оценки на нескольких бенчмарках, включая MATH, GSM8K и IFEval, и описывает её как модель с сильными результатами на разнообразных задачах. Для запуска доступны веса PyTorch и библиотека Transformers. Модель распространяется по Llama 3.1 Community License Agreement. Авторы отмечают, что обучение безопасности ограничено: без дополнительной фильтрации модель может выдавать проблемные ответы, особенно при соответствующих запросах. Для инференса также нужны значительные вычислительные ресурсы из-за размера модели.

Llama-3-Swallow-8B-v0.1 — плотная причинная языковая модель семейства Llama 3, разработанная командой Swallow-LLM из Токийского технологического института и AIST. Модель размером 7,5 млрд параметров создана продолжительным предварительным обучением модели семейства Llama 3 с добавлением японских данных; это базовая, не Instruct-версия. Репозиторий использует формат safetensors, а метаданные указывают на Transformers и контекст до 8192 токенов. Модель предназначена для генерации текста на японском и английском языках, включая ответы на вопросы, понимание прочитанного, суммаризацию, перевод, математические рассуждения и генерацию кода. В README приведены результаты оценки на японских и английских бенчмарках, в том числе задачах перевода, экзаменационных вопросах и программировании. Авторы отмечают, что модель находится на раннем этапе разработки и не настроена на соответствие человеческим намерениям и требованиям безопасности. Лицензия — Llama 3 (llama3); перед использованием следует соблюдать её условия.

unsloth/Meta-Llama-3.1-70B-Instruct — квантованная версия Meta-Llama-3.1-70B-Instruct, разработанная на основе модели Meta компанией Unsloth. Модель предназначена для диалоговых приложений, генерации и продолжения текста, а также дообучения на собственных наборах данных с использованием инструментов Unsloth. Она ориентирована прежде всего на англоязычные сценарии. Модель относится к семейству Llama 3.1, имеет размер 70B параметров и поддерживается библиотекой Transformers. README не содержит подробностей об архитектуре, модальностях и размере контекстного окна; по представленным данным модель является текстовой. Unsloth позиционирует свои инструменты как позволяющие ускорять дообучение и снижать потребление памяти, а также экспортировать результат в GGUF и использовать его через vLLM, однако эти характеристики относятся к процессу дообучения и экосистеме Unsloth, а не обязательно к самой модели. К сильным сторонам относятся большой размер модели и возможность адаптации под пользовательские данные. Ограничения включают отсутствие заявленной поддержки других языков и модальностей, а также отсутствие в README подробных оценок качества, требований к оборудованию и характеристик инференса. Модель распространяется по лицензии llama3.1; конкретные условия этой лицензии следует учитывать перед использованием.

MLX-Community/Meta-Llama-3.1-8B-Instruct-4bit — это 4-битная квантизованная версия инструкционно дообученной языковой модели Meta Llama 3.1, адаптированная сообществом mlx-community для запуска с использованием MLX. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, написание и преобразование текста, а также другие задачи обработки естественного языка. Модель относится к семейству Llama и содержит 8 миллиардов параметров. Она работает в текстовой модальности, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В README размер контекстного окна не указан. Квантизация до 4 бит снижает требования к памяти и может упростить локальный запуск, однако потенциально уменьшает точность по сравнению с полноразмерной версией. Модель разработана для практического применения в локальных и ресурсоограниченных средах, но README не содержит подробных результатов тестирования, сведений о производительности или известных ограничениях качества. Распространение и использование регулируются Llama 3.1 Community License от Meta; она предусматривает соблюдение Acceptable Use Policy, сохранение уведомления об авторских правах и дополнительные требования к атрибуции и перераспространению. Для продуктов с более чем 700 миллионами ежемесячно активных пользователей требуется отдельное разрешение Meta.

DevQuasar-9/microsoft.Phi-4-mini-instruct-GGUF — это квантизированная версия модели Phi-4-mini-instruct, разработанной Microsoft. Модель предназначена для генерации текста и использования в сценариях, где требуется работа с инструкциями и текстовыми запросами. В карточке указано, что модель относится к классу text-generation и распространяется в формате GGUF, подходящем для совместимого локального запуска. Сведения о точном размере, варианте квантизации, архитектуре, длине контекста, поддерживаемых языках и дополнительных модальностях не приведены. К сильным сторонам относятся уменьшенные требования к хранению и вычислительным ресурсам по сравнению с полной версией, однако квантизация может влиять на качество ответов. Лицензия и условия использования в README не указаны.

Ministral-8B-Instruct-2410-GGUF — квантизированная версия инструкционной языковой модели Ministral-8B-Instruct-2410, разработанной Mistral AI и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые и прикладные сценарии на поддерживаемых языках: английском, французском, немецком, испанском, итальянском, португальском, китайском, японском, русском и корейском. Из доступных данных известен размер базовой модели — 8B параметров; сведения о конкретном типе квантизации, архитектуре, размере контекста и численных характеристиках отсутствуют. Ключевые достоинства модели — инструкционная настройка, мультиязычность и возможность использования квантизированной сборки в совместимой с GGUF инфраструктуре. При этом README не содержит результатов тестирования, поэтому качество на отдельных языках и задачах оценить нельзя; также не указаны точные требования к памяти и производительности. Модель распространяется по Mistral AI Research License (MRL-0.1), которая ограничивает использование модели, производных моделей и результатов исследовательскими целями и устанавливает дополнительные требования к распространению, атрибуции и уведомлению о модификациях.

Sakalti/mont-xl-agi — языковая модель для генерации текста, созданная слиянием моделей с помощью mergekit и метода SLERP. В неё вошли allknowingroger/Qwen2.5-42B-AGI и Qwen/Qwen2.5-0.5B-Instruct; в метаданных также указан Qwen2 как семейство архитектуры и класс Qwen2ForCausalLM. Модель содержит 747,4 млн параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для диалогов, выполнения инструкций и генерации текста. Метаданные отмечают интерфейс для вызова инструментов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Сведения о лицензии и поддерживаемых естественных языках отсутствуют в предоставленной карточке и метаданных.

JANGQ-AI публикует Nemotron-Cascade-2-30B-A3B-JANG_2L — квантованный вариант NVIDIA Nemotron-Cascade-2-30B-A3B, подготовленный проектом JANG для запуска через MLX на Apple Silicon. Это языковая модель для диалогов, пошаговых рассуждений и задач с вызовом инструментов. В основе — гибридная архитектура Nemotron-H: Mamba-2, MoE и слои внимания; README указывает 52 слоя, включая 6 слоёв внимания. Метаданные сообщают о 1,9 млрд параметров и контексте до 262 144 токенов. README заявляет размер файлов 10,3 ГБ, скорость генерации до 130 токенов в секунду и результат 88% на тесте MMLU из 200 вопросов в режиме рассуждений. Модель ориентирована на Mac с Apple Silicon и унифицированной памятью от 16 ГБ; для загрузки автор рекомендует MLX Studio или пакет JANG для MLX. Эти показатели приведены в карточке модели и зависят от оборудования и методики измерения. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории. README называет представление JANG квантованием 2,3 бита с 8-битным вниманием, хотя метаданные перечисляют формат safetensors.

NeuralsirkrishnaShadow_NeuralsirkrishnaInex12 — объединённая модель семейства Mistral, созданная на основе automerger/NeuralsirkrishnaShadow-7B и automerger/NeuralsirkrishnaInex12-7B. Она предназначена для генерации текста и диалогов. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Распространяется в формате safetensors по лицензии Apache-2.0.

Nous-Hermes-2-Mixtral-8x7B-SFT-GGUF — это квантизированная GGUF-версия языковой модели Nous-Hermes-2-Mixtral-8x7B-SFT, разработанной NousResearch и подготовленной квантизацией компанией Second State Inc. Модель предназначена для диалоговых и инструкционных сценариев, включая генерацию текста и работу в чат-приложениях на базе LlamaEdge. Модель основана на архитектуре Mixtral и использует формат промптов ChatML. В README указан английский язык, контекстное окно составляет 4096 токенов. Доступны варианты квантизации от Q2_K до Q8_0 размером от 17,3 до 49,6 ГБ. Q4_K_M рекомендуется как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. Более сильная квантизация уменьшает размер, но может заметно ухудшать качество; точные сведения о числе параметров, поддерживаемых модальностях и дополнительных языках не указаны. Для запуска требуется LlamaEdge версии 0.2.8 или новее; предусмотрены режимы сервиса и командного чат-приложения. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия OpenCoder-8B-Instruct, разработанного infly. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в формате инструкций, включая сценарии локального запуска через llama.cpp и LM Studio. Модель содержит 8 миллиардов параметров и доступна в вариантах от F16 до различных Q2–Q8-квантизаций, что позволяет выбирать баланс между качеством, скоростью и потреблением памяти. В README указана поддержка английского и китайского языков. Формат взаимодействия использует специальные токены system, user и assistant. Данные о точной архитектуре, размере контекстного окна и поддерживаемых модальностях отсутствуют; по назначению это текстовая, а не мультимодальная модель. Сильной стороной являются многочисленные варианты квантизации, включая рекомендуемые Q4 и Q5, а также более качественные Q6 и Q8, благодаря чему модель можно адаптировать под разные аппаратные ограничения. Более компактные варианты снижают требования к памяти, но могут заметно уступать по качеству; ARM-оптимизированные варианты требуют соответствующих аппаратных инструкций и не рекомендуются для Mac или Windows. Модель основана на OpenCoder-8B-Instruct и распространяется с лицензией inf, подробные условия которой приведены в отдельном LICENSE-файле.

TheBloke/Orca-2-13B-GGUF — это квантизированная версия языковой модели Orca 2 13B, разработанной Microsoft и преобразованной TheBloke в формат GGUF. Модель предназначена для генерации текста и диалогового взаимодействия, включая работу через llama.cpp и совместимые графические интерфейсы и библиотеки. Для форматирования запросов используется шаблон ChatML с системным сообщением, запросом пользователя и ответом ассистента. Модель относится к архитектуре Llama и содержит около 13 миллиардов параметров. Она работает только с текстом; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. GGUF-файлы доступны с различными уровнями квантизации от 2 до 8 бит, что позволяет выбирать компромисс между размером модели, требованиями к памяти и качеством генерации, а также запускать её на CPU и GPU. К сильным сторонам относятся поддержка широкого набора локальных инструментов, возможность GPU-ускорения и выбор вариантов квантизации. Ограничения связаны с возможной потерей качества при низкой разрядности и с тем, что точные характеристики производительности и контекстного окна не приведены. В метаданных указана лицензия other, без уточнения конкретных условий использования.

Rubra Enhanced Phi-3 Mini 128k Instruct — языковая модель Rubra AI, полученная дополнительным постобучением microsoft/Phi-3-mini-128k-instruct на закрытом наборе инструкций, диалогов и примеров вызова функций. Модель предназначена для выполнения инструкций, многошаговых бесед и взаимодействия с инструментами через вызовы функций. Она построена на плотной архитектуре Phi-3 с 4,6 млрд параметров и использует Transformers и формат safetensors. README сообщает об оценках на наборах MMLU, GPQA, GSM-8K, MATH и MT-bench, а также о сравнительных результатах в задачах вызова функций. Указанная в метаданных длина контекста — 4096 токенов. Карточка описывает английский язык; модель генерирует текст и поддерживает чат. Лицензия — MIT. Модель может выдавать неверные или предвзятые ответы, поэтому её результаты требуют проверки, особенно в чувствительных и критически важных сценариях.

Qwen3.5-35B-A3B-uncensored-heretic-v2-Native-MTP-Preserved — дообученная мультимодальная модель независимого автора llmfan46 на базе Qwen/Qwen3.5-35B-A3B от Alibaba. Это диалоговая модель с архитектурой Qwen3.5 MoE и визуальным энкодером: всего 35 млрд параметров, из них активируется около 3 млрд. Репозиторий содержит веса Safetensors и сохраняет 785 тензоров MTP; заявленная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Модель предназначена для диалога, рассуждений, работы с изображениями и агентных сценариев с вызовом инструментов. Автор сообщает о снижении частоты отказов относительно исходной модели при сохранении её возможностей; приведённые метрики являются результатами автора. Модель работает в режиме рассуждений по умолчанию. В карточке заявлена поддержка 201 языка и диалекта, но перечень языков не приведён. Модель распространяется по лицензии Apache-2.0. Снижение ограничений может приводить к выдаче нежелательного или небезопасного содержимого; результаты тестов автора не гарантируют качество на других задачах.

Qwen3.6-35B-A3B-MXFP8-CRACK-MTP — мультимодальная модель dealignai на базе Qwen/Qwen3.6-35B-A3B, подготовленная для запуска через MLX на компьютерах Apple с Apple Silicon. Это доработанная и квантованная версия с архитектурой MoE и гибридом SSM и полного внимания; в README указаны 35 млрд параметров, 40 слоёв и 10 активных экспертов. Модель принимает текст и изображения, поддерживает понимание видео и генерирует текст в диалоге; также предоставляет интерфейс вызова инструментов. По заявлению автора, CRACK удаляет поведение отказа на уровне весов, а сохранённая голова MTP позволяет ускорять генерацию спекулятивным декодированием d3 примерно в 1,5 раза в совместимой среде vMLX. Автор приводит результаты HarmBench-320 99,4% и MMLU 84,6%; это заявленные оценки, а не независимая гарантия качества. Предназначена для диалогов, анализа изображений и видео, рассуждений и исследовательских сценариев, включая авторизованное тестирование безопасности. Распространяется по лицензии Apache-2.0. Версия описана как лишённая отказов и потому может выполнять запросы из разных категорий; пользователь отвечает за применение модели. Для видео и ускорения MTP требуется совместимый рантайм, а README рекомендует vMLX.

tripolskypetr/Qwen3.6-Uncensored-Aggressive-GGUF — это GGUF-квантизированная мультимодальная версия Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive, основанная на модели Qwen/Qwen3.6-35B-A3B. В README указано, что вариант разработан HauhauCS как версия без отказов в ответах; исходная архитектура относится к семейству Qwen. Модель предназначена для генерации текста, рассуждений, программирования и работы с изображениями и видео, включая сценарии, где требуется минимальное применение встроенных ограничений безопасности. Модель использует архитектуру MoE с 35 млрд общих параметров и примерно 3 млрд активных параметров на проход, 256 экспертами и маршрутизацией к 8 экспертам для каждого токена. Она содержит 40 слоёв, сочетает линейное внимание с полным softmax-вниманием в соотношении 3:1 и поддерживает нативный контекст до 262 тысяч токенов. Поддерживаются текст, изображения и видео; заявлены английский, китайский и другие языки. Для визуального ввода требуется отдельный файл mmproj. Сильными сторонами являются большой контекст, мультимодальность, высокая вычислительная эффективность MoE и широкий выбор квантизаций, включая оптимизированные K_P-варианты для llama.cpp, LM Studio и других GGUF-совместимых сред. Агрессивный вариант полностью снимает отказы, поэтому может генерировать потенциально небезопасный или нежелательный контент; это одновременно является его ключевой особенностью и ограничением для ответственных применений. README не сообщает результаты независимых бенчмарков и не уточняет точный набор языков. Модель распространяется по лицензии Apache-2.0.

Mirai’s Qwen3.8-27B Medium Quantization — это 4-битная квантованная версия модели Qwen3.8-27B, подготовленная Mirai Labs для эффективного локального запуска на устройствах Apple с Apple silicon. Модель предназначена для генерации текста и локальных сценариев использования, включая агентские задачи, диалоги и работу с длинным контекстом; подробности об исходной архитектуре, языках и размере контекста в представленном описании не указаны. Модель использует асимметричную целочисленную 4-битную квантизацию с 4-битными zero points, масштабами bfloat16 и размером группы 64. Для уменьшения выбросов активаций и весов применяются блочно-диагональные Random Hadamard Transforms. Квантование выполнено после обучения и дополнено quantization-aware distillation. По сочетанию размера и KL-дивергенции разработчики относят чекпойнт к Pareto-фронту; по уровню квантизации и размеру он сопоставим с Unsloth UD-Q4_K_M. Сильная сторона модели — компромисс между качеством и эффективностью при локальном инференсе на Apple silicon. Основные ограничения заключаются в текущей поддержке только Apple silicon и необходимости использовать совместимое программное обеспечение, например пакет mirai или сборку uzu. Лицензия — Apache-2.0. Для архитектурных характеристик, языков, контекстного окна, оценок и ограничений следует обращаться к карточке исходной модели Qwen3.8-27B.

Qwen3.8-27B-tq4-g64 — 27,8-миллиардная плотная мультимодальная модель семейства Qwen, подготовленная для Apple Silicon в формате 4-битной квантизации TurboQuant-MLX. Она сохраняет возможности обработки изображений и диалогового взаимодействия базовой модели, включая интерфейс вызова инструментов. Архитектура включает 64 декодерных слоя: 48 слоёв Gated DeltaNet с линейным вниманием и 16 слоёв полного внимания; также указана 27-блочная башня зрения. В метаданных библиотека модели — MLX, лицензия — Apache-2.0. Модель подходит для диалогов с изображениями, распознавания текста на изображениях, подсчёта объектов, анализа диаграмм, визуального описания и агентных сценариев с вызовом инструментов, в том числе для работы с кодом. README приводит тесты на Apple Silicon: файл занимает около 15,15 ГиБ, пиковое потребление памяти при контексте 16 тысяч токенов составляет около 22,5 ГБ, а скорость генерации — примерно 11 токенов в секунду. При запуске на Mac с 24 ГБ памяти рекомендуется размер шага предварительной обработки 256; на системах с 16 ГБ автор сообщает, что модель не помещается. Встроенный тест зрения пройден на четырёх синтетических примерах, но эти результаты не гарантируют качество на произвольных данных. README не сообщает поддерживаемые естественные языки или длину контекста базовой модели.

Карточка модели willhx/Qwen3-8B-Base-SeaSFT на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

dealignai/Qwen3.8-Flash-Next-CRACK-JANG_2L — это исследовательская CRACK-abliterated-версия модели JANGQ-AI/Qwen3.8-Flash-Next-JANG_2L, относящейся к preview-линейке qwen4_exp компании Alibaba. Модель предназначена для запуска на Apple Silicon через MLX и vMLX, а также для текстовых, мультимодальных и агентских сценариев: работы с изображениями и видео, рассуждений, использования инструментов и задач, требующих многошагового взаимодействия. В основе лежит гибридная архитектура Mixture-of-Experts примерно на 176 млрд параметров с 512 экспертами и около 6 млрд активных параметров. Используются Gated DeltaNet и Qwen Sparse Attention, хешированное n-gram-эмбеддирование и встроенная multi-token prediction head. Поддерживаются текст, изображения и видео; заявлены английский и китайский языки. Доступны режимы рассуждений off, low и xhigh. Для модели требуется около 65 ГБ дискового пространства и примерно 47 ГБ активной оперативной памяти, при этом около 18 ГБ таблицы хешированных n-gram-эмбеддингов подгружаются с диска по требованию. Ключевая особенность CRACK-сборки — удаление стандартного отказного поведения при сохранении рассуждений, инструментов и мультимодальных возможностей. На приведённом тесте MMLU точность составила 81,84%, что на 1,49 процентного пункта ниже базовой версии; в отдельных предметах наблюдалось заметное снижение качества. В тестах HarmBench заявлена высокая доля ответов, непосредственно выполняющих запросы, однако модель может генерировать китайский текст даже для некоторых других запросов, а отдельные ответы классифицировались как бессвязные. README также предупреждает, что это исследовательский артефакт и что ответственность за использование весов лежит на пользователе. Лицензия указана как qwen-community-1.0.

Qwen3.8-Flash-Next-ROCmFP4-STRIX-GGUF — это квантованная версия базовой модели Qwen/Qwen3.8-Flash-Next, опубликованная пользователем kingjones777. Модель предназначена для генерации текста, включая рассуждения, формирование JSON, программирование и суммирование длинных документов. Формат GGUF ориентирован на запуск через llama.cpp и совместимые среды. Модель использует архитектуру qwen4exp и типы тензоров ROCmFP4. Она оптимизирована прежде всего для AMD Ryzen AI Max+ 395, Strix Halo и GPU gfx1151 с ROCm, включая работу на интегрированной Radeon 8060S с общей памятью. В README указано, что размер модели составляет около 98 GiB, а работа с контекстом проверялась вплоть до 128K токенов. Доступна поддержка speculative decoding через дополнительную MTP-голову, однако измерения относятся к другим вариантам семейства и не гарантируют такой же прирост для этой сборки. Сильными сторонами являются возможность запуска очень крупной модели на системе с унифицированной памятью, поддержка длинного контекста и потенциальное ускорение генерации с MTP. Ограничения включают низкую пропускную способность общей памяти по сравнению с дискретными GPU, необходимость специальной ветки ROCmFPX с поддержкой qwen4exp и ROCmFP4, а также применения патчей перед сборкой; стандартный llama.cpp этот файл не загружает. Языки модели в предоставленных данных не указаны. Лицензия обозначена как other с названием qwen-community-1.0.