II.4Отладка, тестирование и качество ПО

AgentionAI Signal 3.8 27B — минимально изменённая fine-tune-модель Qwen3.8-27B, разработанная AgentionAI. Модель распространяется в формате GGUF и предназначена для использования в llama.cpp как замена Qwen3.8-27B. Обучение выполнено методом self-distillation на ответах самой базовой модели без внешних данных и выходов других моделей. Модель ориентирована на диалоговые, общие, математические и программные задачи, включая работу в режиме рассуждений и генерацию структурированного JSON-вывода. Её основная особенность — более прямые и компактные ответы: по заявленным оценкам, она генерирует на 25% меньше токенов ответа и на 41% меньше токенов рассуждений, сохраняя или улучшая качество на проверенных наборах. В тестах GSM8K точность составила 100% без рассуждений и 95% с рассуждениями; результаты зависят от набора данных и настроек. Signal использует архитектуру и возможности Qwen3.8-27B, включая встроенную multi-token-prediction draft head для speculative decoding. На заявленном оборудовании и при включённом draft head общее время обработки тестового набора было на 19% меньше, а медианное — на 28% меньше, чем у базовой модели. Ограничения включают зависимость эффективности от llama.cpp, оборудования, квантизации и параметров сэмплирования; для снижения риска повторов рекомендуется использовать min-p и presence_penalty, а при включении MTP draft head — специальный параметр llama.cpp. Языки и размер контекстного окна в README не указаны. Лицензия — Apache-2.0.

Spark-X2.5-4B-GGUF — набор общественных GGUF-квантизаций компактной универсальной языковой модели Spark-X2.5-4B, разработанной SparkLLM и опубликованной в исходном виде XHToken. Репозиторий ngquocvinh содержит только квантизированные файлы для локального запуска; обучение и дообучение в рамках этого выпуска не выполнялись. Модель предназначена для диалогов, написания текстов, перевода, рассуждений, программирования, использования инструментов и агентских сценариев. Исходная модель имеет 4B параметров, поддерживает английский, китайский и, по заявлению авторов, более 200 языков. Заявлено контекстное окно до 1 млн токенов и гибридное внимание: один слой с полным вниманием и три слоя со скользящим окном, что должно способствовать эффективной обработке длинного контекста. Квантизации представлены в форматах GGUF и совместимы с llama.cpp; также заявлена поддержка экосистем llama.cpp, vLLM, SGLang, MLX, Ollama и LM Studio. Основное преимущество — возможность локального запуска при разных ограничениях по памяти: Q8_0 ближе всего к исходному BF16 по результатам измерений, Q4_K_M предлагает компромисс между размером и качеством, а Q2_K требует меньше ресурсов ценой заметной потери точности. Ограничения включают снижение fidelity у низкобитных вариантов и отсутствие в README подробных сведений о точных требованиях к памяти, скорости, обучающих данных и результатах прикладных бенчмарков. Производные файлы распространяются по Apache License 2.0 с сохранением атрибуции исходной модели; это неофициальный community-релиз и не подтверждение со стороны XHToken или SparkLLM.

Карточка модели jondurbin/spicyboros-c34b-2.2 на Hugging Face совпадает с карточкой jondurbin/spicyboros-70b-2.2, поэтому описание составлено по ней. jondurbin/spicyboros-70b-2.2 — экспериментальная инструкционная языковая модель на архитектуре Llama, созданная Jondurbin на основе преимущественно синтетических данных Airoboros 2.2. Модель содержит 68,7 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 4096 токенов. Карточка описывает формат диалога с ролями USER и ASSISTANT и примерами для ответов по предоставленному контексту, написания текстов, программирования и генерации JSON или YAML для вызова функций. Модель рассчитана на широкий круг инструкционных задач и особенно ориентирована на пары «инструкция — ответ», а не на непринуждённый чат. В обучении использовались синтетические данные, включая примеры с ослабленными ограничениями на ответы. Разработчик предупреждает, что модель может выдавать ненормативную лексику и чувствительный или откровенный контент, а также рекомендует останавливать генерацию при появлении новой реплики USER. Лицензия указана как Llama 2; применение должно соответствовать её условиям.

Swift-Qwen3.8-27B-Uncensored-FP8 — модель от d0xin, представляющая собой независимую производную UkisAI Swift-Qwen3.8-27B. Она создана с применением rank-1 directional residual-stream ablation для удаления поведения отказа, после чего выполнено квантование в compressed-tensors FP8. Базовая модель — d0xin/Swift-Qwen3.8-27B-Uncensored-BF16. Модель предназначена для задач рассуждения, программирования, агентных сценариев, вызова инструментов и обработки изображений. Сохраняются мультимодальная архитектура Qwen с vision tower, поддержка tool calling и длинного контекста. Заявленный размер чекпойнта составляет около 29 ГБ, настроенный максимальный контекст — 262 144 токена; извлечение информации проверялось на запросах длиной до 235 032 токенов. Поддерживаются режимы reasoning_effort low, medium и xhigh; режим high в протестированном стеке отклоняется. К сильным сторонам относятся FP8-квантование, поддержка мультимодальных и агентных нагрузок, вызова инструментов и длинного контекста, а также отсутствие отказов в зафиксированном тесте из 100 запросов: 89 прямых ответов, 10 ответов с предупреждениями и 1 другая ошибка. При этом заявленный результат отражает только конкретный набор запросов и конфигурацию инференса и не гарантирует отсутствие отказов во всех условиях. На ограниченной валидации из 298 примеров FP8 показала 37,92% против 39,93% у модифицированной BF16-версии, поэтому статистическая эквивалентность не установлена. Языки модели в README не указаны. Лицензия — swift-open-license-1.0.

airoboros-l2-13b-gpt4-2.0 — языковая модель, дообученная Jondurbin на основе Llama 2 с использованием синтетических инструкций, созданных GPT-4 версии 0614. Это плотная авторегрессионная модель на 12,9 млрд параметров с контекстом до 4096 токенов, опубликованная в формате PyTorch. Модель предназначена для диалогов и выполнения инструкций: она отвечает на вопросы, в том числе по предоставленному контексту, помогает с программированием, формирует структурированные ответы и планы для сценариев с инструментами. Карточка описывает настройку формата промпта с метками USER и ASSISTANT; для контекстных вопросов рекомендуются явные разделители источников. Функциональность вызова инструментов требует внешнего механизма, который разбирает и исполняет сгенерированный план. Модель обучена на синтетических данных, поэтому ответы могут содержать ошибки или выдуманные сведения; инструкция «не выдумывай ответ» может помочь в вопросах по контексту, но не гарантирует точность. В карточке указана неоднозначная лицензия для вариантов Llama 2; коммерческие условия следует проверять по лицензии репозитория. Ограничение «только исследования» в README относится к оригинальным Llama-моделям 33B/65B, а не к этому варианту Llama 2.

Карточка модели jondurbin/airoboros-l2-7b-gpt4-2.0 на Hugging Face совпадает с карточкой jondurbin/airoboros-65b-gpt4-2.0, поэтому описание составлено по ней. airoboros-65b-gpt4-2.0 — плотная языковая модель семейства LLaMA на 65 млрд параметров, дообученная jondurbin для следования инструкциям на синтетических примерах, созданных GPT-4. Серия 2.0 использует данные GPT-4 версии 0614; вариант m2.0 дополнительно объединяет набор данных 1.4.1 без дубликатов и категории system. Модель предназначена для диалоговых ответов, вопросов по предоставленному контексту, программирования, построения планов и генерации структурированных аргументов функций в JSON или YAML. Для диалога используется текстовый шаблон с ролями USER и ASSISTANT; заявленная длина контекста — 2048 токенов. В README для моделей 65B отмечено QLoRA-дообучение. Это текстовая модель, и качество её ответов не гарантирует точность: карточка рекомендует явно просить не придумывать ответ при недостатке данных. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование; коммерческое использование запрещено.

Карточка модели hdcase/AliceAI-Foundation-80B-A3B-Base на Hugging Face совпадает с карточкой yandex/AliceAI-Foundation-80B-A3B-Base, поэтому описание составлено по ней. AliceAI-Foundation-80B-A3B-Base — базовая авторегрессионная языковая модель, разработанная Yandex и обученная с нуля. Это предобученная модель с гибридной архитектурой и смесью экспертов: всего 80 млрд параметров, из которых на каждом токене активируются около 3 млрд. Архитектура включает 48 слоёв, 512 экспертов и механизмы KDA и Gated Attention; контекст — до 262 144 токенов. Модель предназначена для генерации текста и дальнейшей адаптации под задачи рассуждений, математики, программирования, работы с фактами и взаимодействия с инструментами. По данным карточки, особенно сильна в фактологических задачах на русском языке; доступны русскоязычные бенчмарки WikiWebFacts и HardMultiQA. Это базовая модель, поэтому для диалогового применения и следования инструкциям может потребоваться дообучение и подходящий шаблон сообщений. Веса опубликованы в формате Safetensors и доступны по лицензии Apache 2.0. В README описан запуск через Transformers и vLLM; для выполнения KDA-слоёв на GPU требуется совместимая версия flash-linear-attention. Заявленные в README 80 млрд общих параметров расходятся с метаданными Hugging Face, где указано 3,1 млрд параметров.

Arcee Spark — разговорная языковая модель компании Arcee AI на 7,1 млрд параметров, основанная на Qwen2. По README, её обучали на 1,8 млн примеров, объединили с Qwen2-7B-Instruct и дополнительно улучшили с помощью Direct Preference Optimization (DPO). Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, анализ тональности, решение задач и работу с кодом. Модель принимает текст и генерирует текст; в метаданных указан контекст до 32 768 токенов. README заявляет контекст 128 тыс. токенов, поэтому его длина в источниках расходится. В метаданных перечислены английский, немецкий и арабский языки. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Небольшой размер может упростить локальное развёртывание, однако заявленные в README превосходство над другими моделями, скорость и результаты бенчмарков не следует считать гарантией качества для конкретной задачи.

jondurbin/bagel-8x7b-v0.2 — экспериментальный SFT-чекпойнт, созданный jondurbin на основе Mixtral-8x7B-v0.1 с помощью инструментария Bagel. Это языковая модель с архитектурой Mixtral MoE и 7,1 млрд параметров; она поддерживает контекст до 32 768 токенов и представлена в формате safetensors. Модель предназначена для диалогов и следования инструкциям, ответов на вопросы по предоставленному контексту, задач на рассуждение, математику, программирование и SQL, а также для ролевых диалогов. Для настройки использовались обучающие части разнообразных наборов данных: среди прочего, датасеты для чтения и понимания текста, общих знаний, математики, кода, чатов и ролевых сценариев. Карточка описывает модель после этапа SFT и до применения DPO; для общения предусмотрено несколько шаблонов промптов, а шаблон по умолчанию основан на Llama 2. Модель лицензирована по Apache 2.0. README называет настройку экспериментальной, поэтому качество на отдельных задачах следует проверять в целевом сценарии.

win10/DeepSeek-R1-Distill-sthenno-14b-0121 — объединённая языковая модель на 14 млрд параметров, созданная с помощью mergekit методом TIES на основе sthenno-com/miscii-14b-1225 и объединяющая веса DeepSeek-R1-Distill-Qwen-14B и tempesthenno-ppo-ckpt40. Она использует архитектуру Qwen2ForCausalLM, распространяется в формате safetensors и рассчитана на генерацию текста и диалоги; заявленная длина контекста — 131072 токена. Модель подходит для диалоговых сценариев и генерации ответов, включая задачи рассуждения, математики и программирования, указанные в описании базовой модели каталога. README приводит конфигурацию слияния и тип данных float16. Репозиторий не сообщает отдельные результаты оценки качества или подробные ограничения. Лицензия в предоставленных данных не указана.

suayptalha/Falcon3-Jessi-v0.4-7B-Slerp — языковая модель на 7,1 млрд параметров, полученная слиянием SLERP моделей neopolita/jessi-v0.4-falcon3-7b-instruct и tiiuae/Falcon3-7B-Instruct. Она предназначена для диалогов и генерации текста по инструкциям, включая задачи рассуждения, понимания языка, программирования и математики. Модель использует архитектуру LlamaForCausalLM, сохранена в формате safetensors и поддерживает контекст до 32 768 токенов. Заявлена поддержка английского, французского, испанского и португальского языков. В README приведены результаты оценки на Open LLM Leaderboard, включая IFEval и BBH, а также утверждение о высоком рейтинге модели на момент публикации. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели и у исходных моделей.

Ling-lite-1.5 — языковая модель с разреженной архитектурой MoE, разработанная InclusionAI для генерации текста и диалогового взаимодействия. Карточка относит её к семейству Ling и приводит для этой версии 16,8 млрд параметров, из которых активируется 2,75 млрд. В метаданных репозитория указано 794,8 млн параметров и контекст 32 768 токенов, тогда как README сообщает 128K контекста; поэтому характеристики размера и длины контекста в источниках расходятся. Модель предназначена для широкого круга задач с текстом, включая ответы на вопросы, решение задач и генерацию кода. В опубликованной таблице оценки приведены результаты на MMLU, GPQA и HumanEval; README также описывает тесты длинного контекста до 128K. Для запуска указана библиотека Transformers, веса представлены в формате safetensors. Лицензия — MIT.

Locutusque/Llama-3-Orca-2.0-8B — разговорная языковая модель, дообученная Locutusque на базе Meta Llama 3 8B преимущественно на SlimOrca и дополнительных данных. Модель использует плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Для диалога применяется шаблон ChatML. Модель предназначена для генерации текста в диалогах, а также для задач письма, программирования и математики. В карточке заявлены сильные результаты в написании текстов и коде; количественные оценки качества не приведены. Репозиторий содержит веса в формате Safetensors. Указана лицензия Llama 3; применяются условия лицензии Meta Llama 3.

mergekit-community/mergekit-model_stock-anvdilz — объединённая разговорная языковая модель на архитектуре Llama 3.1, созданная с помощью mergekit методом Model Stock. В слияние вошли FuseChat, Polypsyche, Tulu, LongCite и Skywork-o1; в качестве основы README называет Stheno v3.4 abliterated вместе с Llama-3.1-8b-smart-lora. Модель содержит около 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов. Объединённые модели ориентированы на следование инструкциям, программирование, математику, рассуждения и работу с длинными текстами, однако карточка не приводит отдельных оценок качества или подробных инструкций по применению. Доступные веса представлены в формате Safetensors. Лицензия в предоставленных данных не указана, поэтому условия использования следует сверить с карточкой модели и лицензиями исходных компонентов слияния. Как и другие языковые модели, она может генерировать неверную или вымышленную информацию.

RedHatAI/Meta-Llama-3.1-8B-Instruct-FP8-dynamic — квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая autoregressive-модель архитектуры LlamaForCausalLM для генерации текста, диалоговых ассистентов и tool calling. Модель получает текст на вход и генерирует текст на выходе; поддержка вызова инструментов реализована через специальный шаблон чата и парсер llama3_json. Модель содержит 8 млрд параметров и использует FP8-квантизацию весов и активаций. Квантизируются линейные операторы в трансформерных блоках с применением симметричной поканальной схемы для весов и динамической потокенной квантизации активаций. По сравнению с 16-битным представлением это примерно вдвое уменьшает размер на диске и требования к памяти GPU. Модель рассчитана на эффективный инференс с vLLM; заявлено восстановление качества на уровнях 99,7–105,4% относительно исходной модели в ряде тестов, включая Arena-Hard, OpenLLM и HumanEval. В метаданных указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, однако README отдельно ограничивает использование языком английским и указывает, что применение в других языках относится к сценариям вне области назначения. Контекст модели в README явно не указан. Модель предназначена для коммерческого и исследовательского использования с учетом условий лицензии Llama 3.1 и применимых законов и ограничений. Она была проверена с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4.

MiniCPM5-2B MLX 4-bit — это квантизированная версия языковой модели OpenBMB/MiniCPM5-2B, подготовленная для локального запуска в формате MLX. Исходная модель разработана OpenBMB; данный вариант представлен пользователем abenzerps. Модель предназначена для генерации текста, программирования, рассуждений, работы с длинным контекстом и использования инструментов. Модель имеет плотную Llama-подобную архитектуру и содержит около 2 млрд параметров. Это текстовая модель без поддержки изображений: в поставку не входят vision-проектор и файлы MTP. Поддерживаются английский и китайский языки. Заявленная нативная длина контекста исходной модели составляет 131 072 токена. Квантование выполнено методом affine 4-bit с размером группы 64; размер MLX safetensors-файлов — около 1,4 ГБ. Ключевые преимущества модели — небольшой размер, возможность локального запуска, поддержка длинного контекста и сценариев с инструментами при существенно сниженных требованиях к памяти. Ограничения связаны с 4-битным квантованием, текстовой модальностью и отсутствием заявленных в карточке подробных результатов тестирования для этой конкретной конвертации. Модель распространяется по лицензии Apache-2.0.

SanctumAI/Mistral-7B-Instruct-v0.3-GGUF — это квантизированная версия инструкционной языковой модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI и подготовленной в формате GGUF командой SanctumAI. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая использование через локальные приложения, поддерживающие GGUF. Она также поддерживает function calling. Модель основана на Mistral-7B-v0.3 и использует расширенный словарь размером 32 768 токенов и tokenizer v3. В репозитории доступны варианты квантизации от Q2_K до Q8_0, а также версия f16; размер файлов составляет примерно от 2,72 до 14,50 ГБ. Для полного контекста до 32 000 токенов заявленные требования к памяти варьируются от 6,78 до 17,74 ГБ в зависимости от варианта. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует считать текстовой. Ключевое преимущество — возможность запускать модель локально с выбором компромисса между размером, требованиями к памяти и сохранением качества. Ограничения связаны с потерями качества при низкой степени квантизации и с тем, что это сравнительно компактная 7-миллиардная модель, поэтому её возможности уступают более крупным моделям в сложных задачах. Модель распространяется по лицензии Apache-2.0.

MyAwesomeModel — языковая модель, опубликованная в репозитории mcptester0606/MyAwesomeModel-TestRepo. Разработчик явно не указан. Модель реализована на базе библиотеки Transformers и ориентирована на задачи рассуждения, понимания и генерации текста, включая математику, программирование, логику, ответы на вопросы, классификацию, анализ тональности, суммаризацию, перевод, диалоговую генерацию и следование инструкциям. Также заявлены поддержка function calling, системных промптов, загрузки файлов и генерации с использованием результатов веб-поиска через специальные шаблоны запросов. По данным README, обновлённая версия получила более глубокое рассуждение и улучшенные алгоритмы постобучения. На тесте AIME 2025 точность выросла с 70% до 87,5%, а средний объём рассуждений увеличился примерно с 12 до 23 тысяч токенов на задачу. В сравнительных оценках модель показывает наиболее заметные результаты в логическом рассуждении, генерации кода, понимании текста и следовании инструкциям, однако README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках и размере контекста. Увеличенная глубина рассуждений может повышать вычислительные затраты и задержку ответа; конкретные ограничения и результаты независимой оценки не указаны. Лицензия модели — MIT.

next-8b-i1-GGUF — квантизированная GGUF-версия языковой модели next-8b, разработанной thelamapi и подготовленной квантизатором mradermacher. В README также указана поддержка со стороны nethype GmbH. Модель предназначена для генерации текста, диалоговых сценариев, аналитических и рассуждающих задач, а также многоязычного применения. Это текстовая Transformer-модель примерно на 8 млрд параметров, обученная и дообученная с использованием наборов данных для instruction tuning, reasoning, диалогов, программирования, медицинских и других специализированных текстовых сценариев. Заявлены языки: турецкий, английский, немецкий, испанский, французский, русский, китайский, японский и корейский. Мультимодальность и размер контекстного окна в README не указаны. Модель доступна в большом наборе GGUF-квантизаций размером примерно от 2,2 до 6,8 ГБ. Варианты различаются балансом между скоростью, требованиями к памяти и качеством; для общего использования рекомендован i1-Q4_K_M как быстрый вариант, а i1-Q4_K_S описан как оптимальный по соотношению размера, скорости и качества. Более агрессивные квантизации имеют заметные ограничения качества, поэтому конкретный вариант следует выбирать с учётом доступной памяти и требований к результату. Лицензия — MIT.

Phi-3-medium-128k-instruct-GGUF — квантизированная версия инструкционной языковой модели Microsoft Phi-3-medium-128k-instruct, подготовленная пользователем bartowski в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для генерации текста, диалогового взаимодействия и задач, связанных с обработкой естественного языка и программным кодом. В README заявлена поддержка multilingual-сценариев и контекстное окно до 128 000 токенов. Доступны варианты от F32 до низкобитных квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, а также форматы IQ. Размер файлов составляет примерно от 5,14 до 55,84 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее сохранение качества, тогда как компактные варианты снижают требования к памяти ценой качества ответов. Ключевые характеристики исходной архитектуры, точное число параметров, перечень поддерживаемых языков и результаты тестирования в README не указаны. Модель подходит для локального инференса, чат-ботов, генерации и анализа текста, а также помощи с кодом при наличии оборудования с достаточным объёмом оперативной или видеопамяти. Ограничениями являются зависимость качества и требований к ресурсам от выбранной квантизации, а также отсутствие в предоставленных данных подробных оценок производительности и гарантий точности. Указана лицензия MIT, унаследованная от исходной модели Microsoft.

lunahr/Phi-4-mini-instruct-abliterated — изменённая версия компактной языковой модели Phi-4-mini-instruct от Microsoft. Это плотная авторегрессионная модель семейства Phi-3 с 3,8 млрд параметров; репозиторий содержит веса в формате Safetensors. Модель предназначена для генерации текста, диалогов, программирования и решения задач, особенно в средах с ограниченными ресурсами и требованиями к низкой задержке. Для исходной Phi-4-mini-instruct в README заявлено контекстное окно 128 тыс. токенов, однако метаданные этой модели указывают native context 4096 токенов. Модель поддерживает множество языков, включая английский, русский, китайский, арабский, японский и европейские языки. В README версия названа abliterated, то есть подвергшейся изменению механизмов отказа; степень и последствия этого изменения не описаны. Она унаследовала от базовой модели возможности диалогов, генерации кода и интерфейс вызова инструментов. Для вызовов инструментов возможны вымышленные имена функций или URL, а качество может различаться между языками; перед применением в чувствительных сценариях необходима оценка точности и безопасности. Лицензия — MIT.

Это чат-модель richardyoung на основе Qwen2.5-14B-Instruct, преобразованная методом abliteration с помощью Heretic v1.4.0 для снижения частоты отказов. По приведённому в карточке сравнению число отказов составило 11 из 100 запросов против 98 из 100 у исходной модели; это значение относится только к описанной в README оценке. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции, написание длинных текстов, работу с таблицами и структурированными форматами, а также задачи по математике и программированию. Это плотная авторегрессионная модель семейства Qwen2 с 14 млрд параметров, реализованная для Transformers и распространяемая в формате Safetensors. Метаданные указывают контекст до 32 768 токенов; README описывает возможность расширения контекста с помощью YaRN и указывает для семейства исходной модели предел до 131 072 токенов. Семейство поддерживает более 29 языков, однако карточка этой модели подтверждает английский; перечисление других языков относится к описанию Qwen2.5 в целом. Модель подходит для разговорных помощников и генерации текста, но указанное снижение отказов не означает отсутствия ограничений или гарантий качества. Лицензия — Apache-2.0.

Карточка модели aoiandroid/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

JunLee88999/Qwen3.5-35B-A3B-heretic-v2-GGUF — GGUF-квантизации модели Qwen3.5-35B-A3B, разработанной командой Qwen. Это децензурированная версия, созданная на основе llmfan46/Qwen3.5-35B-A3B-heretic-v2 с применением Heretic v1.2.0, Magnitude-Preserving Orthogonal Ablation и Self-Organizing Map Abliteration. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального понимания изображений и текста. Архитектура исходной Qwen3.5 включает гибридные Gated Delta Networks и разреженную Mixture-of-Experts; размер модели — 35B с конфигурацией A3B. Указана поддержка 201 языка и диалекта. Для мультимодальной работы требуется отдельный vision projector в формате GGUF; доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S. Модель совместима с llama.cpp, LM Studio, Ollama и другими инструментами, поддерживающими GGUF. Главная особенность версии — значительно меньшее количество отказов по сравнению с оригинальной моделью: 4 из 100 против 91 из 100, при заявленном KL divergence 0,0411, что указывает на относительно хорошее сохранение исходных возможностей. При этом снятие ограничений может повысить риски генерации нежелательного или небезопасного контента. README не содержит сведений о длине контекста и подробных результатах независимого тестирования. Лицензия — Apache-2.0.

Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — квантизированная GGUF-версия модели на базе Qwen3.5-9B, разработанная автором bernquant совместно с Nightmedia. Модель создана в результате многоэтапного дообучения и слияния нескольких fine-tune-моделей на локальном оборудовании. Она ориентирована на повышение общего интеллекта, следование инструкциям, рассуждения, программирование, творческое письмо, художественную литературу, ролевые сценарии и другие универсальные задачи. Заявлена как полностью uncensored и heretic-модель с ослабленным отказом от запросов. Модель поддерживает английский и китайский языки, имеет контекстное окно до 256 тысяч токенов и активированную обработку изображений. Для работы с vision требуется отдельный файл mmproj. Доступны обычные GGUF-квантизации и варианты MTP с multi-token prediction; NEO Imatrix-квантизация заявлена как улучшающая точность, особенно в длинном контексте. MTP-варианты могут обеспечивать более высокую скорость генерации, но чувствительны к температуре, repetition penalty и уровню token acceptance; при низком acceptance обычная версия может работать быстрее. Сильными сторонами заявлены компактный размер 9B, высокая производительность на ряде тестов, улучшенное следование инструкциям, режимы thinking и instruct, а также возможность локального запуска в стандартных приложениях с поддержкой GGUF. Приведённые бенчмарки показывают высокие результаты на ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, однако автор отдельно отмечает, что превосходство над более крупными моделями не гарантируется для всех задач. Ограничениями являются зависимость скорости и качества от выбранной квантизации и оборудования, необходимость отдельного mmproj для изображений и возможное снижение эффективности MTP при неподходящих параметрах. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-99B-A5B-Niwaki-3bit-mlx — текстовая Mixture-of-Experts-модель, созданная проектом Niwaki на базе Qwen3.8-Flash-Next от команды Qwen. Модель получена pruning, реконструкцией и distillation экспертов, после чего сохранена в 3-битном формате для MLX. Она предназначена для генерации текста, диалогов, программирования, рассуждений и творческого письма, прежде всего на устройствах Apple Silicon с unified memory. Vision tower в этой версии отсутствует, поэтому модель работает только с текстом. Модель содержит около 99 млрд параметров, из которых примерно 5,2 млрд активны для каждого токена; исходный размер составлял около 177 млрд параметров. Архитектура включает 48 слоёв, 512 маршрутизируемых экспертов и top-k=10, при этом эксперты используются в 24 слоях. Размер промежуточного слоя экспертов — 448, экспертные веса имеют 3-битную точность с group size 64, n-gram embedding table — 2-битную, а backbone сохранён в 4-битном формате. Размер модели на диске — 36,7 ГБ; она рассчитана на комфортную работу в 48 ГБ unified memory. Для MLX требуются mlx-vlm версии не ниже 0.7.0rc0, mlx не ниже 0.32 и специальный загрузчик из репозитория модели. Главное преимущество — существенное снижение требований к памяти при сохранении заявленных характеристик базовой модели: на опубликованном наборе задач среднее качество составило 96,6% от 4-битного reference-варианта. Модель сохраняет беглость и релевантность ответов, однако сжатие ухудшает perplexity и надёжность числовых и узкоспециализированных технических сведений. На многошаговых арифметических задачах она может рассуждать дольше и более повторно. Оценивание проводилось преимущественно на англоязычных веб-данных, поэтому поведение в редких предметных областях и языках, отличных от английского, исследовано ограниченно. Лицензия указана как other; применимые условия приведены в лицензии базовой модели Qwen3.8-Flash-Next. Доступны также сборки GGUF для llama.cpp, требующие форка neopolita-llama.cpp.

Карточка модели luckyChenY/think_99 на Hugging Face совпадает с карточкой Qwen/Qwen3-1.7B, поэтому описание составлено по ней. Qwen3-1.7B — компактная плотная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 40 960 токенов по метаданным. Модель дообучена на базе Qwen/Qwen3-1.7B-Base и распространяется в формате safetensors под лицензией Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с внешними инструментами через соответствующий интерфейс. Она поддерживает более 100 языков и диалектов. Заявлены режимы рассуждения и обычного диалога; компактный размер подходит для приложений с ограниченными ресурсами по сравнению с более крупными моделями семейства. В README указана длина контекста 32 768 токенов, тогда как метаданные каталога приводят 40 960; для характеристики использовано значение метаданных. В README также отмечен риск бесконечных повторов при некоторых настройках генерации и рекомендована настройка presence_penalty. Качество ответов и точность фактов требуют проверки в целевом сценарии.

WizardLM-2 7B — плотная авторегрессионная языковая модель семейства Mistral, разработанная командой WizardLM в Microsoft AI и дообученная на базе mistralai/Mistral-7B-v0.1 с использованием синтетической обучающей системы. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; нативная длина контекста — 32 768 токенов. Модель предназначена для диалогов и выполнения сложных инструкций, включая рассуждения, написание текстов, программирование, математические задачи и многоязычные запросы. Авторы позиционируют версию 7B как быструю модель, показывающую сильные результаты для своего размера; заявленные оценки основаны на MT-Bench и сравнении предпочтений людей. Модель распространяется под лицензией Apache 2.0. Карточка не приводит конкретный перечень поддерживаемых языков и не описывает отдельные механизмы вызова инструментов; качество ответов и результаты бенчмарков следует оценивать для целевых задач самостоятельно.