II.7DevOps, облако и эксплуатация IT-систем

GLM-4.7-Flash-bf16 — диалоговая языковая модель семейства GLM4 MoE Lite, подготовленная сообществом mlx-community в формате MLX из zai-org/GLM-4.7-Flash. Она предназначена для генерации текста в диалоге, включая рассуждения и программирование. Модель содержит 4,1 млрд параметров и поддерживает контекст до 202 752 токенов; карточка указывает поддержку английского и китайского языков. Модель построена на архитектуре Glm4MoeLiteForCausalLM и использует библиотеку MLX. Репозиторий содержит веса Safetensors и доступен по лицензии MIT. В README приведена команда установки mlx-lm для использования модели на MLX-совместимой платформе.

mlx-community/GLM-5 — версия GLM-5, преобразованная сообществом mlx-community для запуска с MLX на устройствах Apple. Это диалоговая языковая модель семейства GLM с архитектурой GlmMoeDsaForCausalLM и 30,4 млрд параметров; она предназначена для генерации текста и общения. В карточке базовая GLM-5 описана как модель для рассуждений, программирования и длительных агентных задач. Модель поддерживает английский и китайский языки и имеет контекстное окно 202 752 токена. Репозиторий содержит веса в формате Safetensors и рассчитан на использование с библиотекой MLX; README указывает преобразование из zai-org/GLM-5 с помощью mlx-lm версии 0.30.7. Лицензия — MIT. Метаданные указывают связь с базовой моделью как finetune, хотя README описывает именно преобразование в формат MLX; поэтому происхождение классифицировано как конверсия формата.

GPT-6.1 Sol Pro — вариант GPT-6.1 Sol, который, согласно карточке модели, использует ту же базовую модель с режимом reasoning.mode=pro для более качественных ответов на сложные задачи. Это модель для диалогового взаимодействия и решения сложных задач; подробности об архитектуре, размере, модальностях и поддерживаемых языках в предоставленных данных отсутствуют. Режим Pro расходует значительно больше ресурсов, поэтому его применение может быть дороже.

Granite-3.3-8B-Base — базовая языковая модель IBM Granite Team для генерации и преобразования текста. Это плотный decoder-only трансформер на 8,2 млрд параметров с контекстом до 131 072 токенов. Архитектура использует GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги; модель распространяется в формате safetensors и по лицензии Apache 2.0. Модель предназначена для продолжения текста и задач с длинным контекстом: суммаризации, классификации, извлечения информации и ответов на вопросы. Поддержка Fill-in-the-Middle позволяет генерировать код или текст с учётом заданного префикса и суффикса. README указывает поддержку английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Модель не проходила safety alignment, поэтому может выдавать проблемный контент; возможны предвзятость, дезинформация и дословное воспроизведение фрагментов обучающих данных. Для практических задач, требующих специализированного поведения, IBM рекомендует использовать базовую модель как основу для дообучения.

Granite-4.0-H-Tiny-Base — базовая языковая модель IBM Granite Team для генерации текста и кода. Это декодерный гибридный MoE-трансформер примерно на 500,2 млн параметров с компонентами GQA и Mamba2; модель обучена с нуля на смеси открытых и проприетарных данных. Контекст — до 131 072 токенов. Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы, генерации текста с длинным контекстом и автодополнения кода, включая Fill-in-the-Middle. В первую очередь поддерживает английский, а также немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Весы доступны в формате safetensors; лицензия Apache 2.0. Модель не прошла safety alignment, поэтому может генерировать проблемные ответы. Возможны предвзятость, дезинформация, галлюцинации и дословное воспроизведение фрагментов обучающих данных.

QuantFactory/Llama-3.1-8B-Instruct-Fei-v1-Uncensored-GGUF — это квантизированная версия модели Llama-3.1-8B-Instruct-Fei-v1-Uncensored, созданная с использованием llama.cpp. Базовая модель разработана на основе Llama 3.1 от Meta, а исходную модификацию подготовил пользователь aifeifei799. Модель предназначена для генерации текста, диалоговых помощников и других задач обработки естественного языка, включая работу с кодом. Это текстовая авторегрессионная модель с оптимизированной архитектурой Transformer и Grouped-Query Attention (GQA), содержащая 8B параметров. Она поддерживает ввод текста и генерирует текст или код, имеет контекст до 128k токенов и рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Квантизация в формате GGUF предназначена для более эффективного запуска, в том числе через llama.cpp, однако README не указывает конкретный тип квантизации, требования к памяти или характеристики производительности. Версия обозначена как uncensored, поэтому её поведение в части отказов и защитных ограничений может отличаться от стандартной instruction-tuned модели Meta; ответы по-прежнему могут быть неточными или небезопасными. Использование регулируется кастомной коммерческой лицензией Llama 3.1 Community License и связанными ограничениями Acceptable Use Policy.

QuantFactory/Llama-3.1-Storm-8B-GGUF — квантизированная версия модели Llama-3.1-Storm-8B, созданная с помощью llama.cpp. Исходную модель разработали Ashvini Kumar Jindal, Pawan Kumar Rajpoot, Ankur Parikh и Akshita Sukhlecha. Она основана на Llama-3.1-8B-Instruct и дополнительно обучена с применением целевого fine-tuning и объединения с Llama-Spark методом SLERP. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, ответов на вопросы, рассуждений и function calling. Заявлены улучшения по сравнению с Meta-Llama-3.1-8B-Instruct в instruction following, knowledge-driven QA, reasoning, truthful answer generation и агентских сценариях. В частности, авторы сообщают о лучших результатах на IFEval, GPQA, MMLU-Pro, ARC-C, MuSR, BBH, TruthfulQA и BFCL. Квантизация ориентирована на запуск модели с более ограниченными вычислительными ресурсами. Модель имеет около 8 миллиардов параметров и работает с текстом. В README указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Размер контекстного окна и конкретные варианты квантизации в представленном описании не указаны. GGUF-формат предназначен для использования в совместимых инструментах экосистемы llama.cpp, включая Ollama. Модель позиционируется как универсальная и улучшенная в следовании инструкциям, рассуждениях, function calling и снижении галлюцинаций, однако заявленные преимущества основаны на бенчмарках авторов и могут зависеть от сценария и настроек запуска. Условия использования определяются лицензией llama3.1; дополнительные ограничения или требования в README не приведены.

Meta-Llama-3.1-8B-Instruct-GGUF — это квантизированная GGUF-версия языковой модели Meta-Llama-3.1-8B-Instruct, разработанной Meta Llama и подготовленной для квантизации компанией Second State Inc. Модель предназначена для генерации текста, диалоговых приложений и использования инструментов через структурированные вызовы функций. Она поддерживает текстовый ввод и вывод, а также рассчитана на работу с LlamaEdge и совместимыми средствами запуска GGUF-моделей. Модель основана на архитектуре Llama и содержит 8 миллиардов параметров. Заявленный размер контекста составляет 128 000 токенов. В README указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Доступны варианты квантизации от 2 до 8 бит с размером файлов примерно от 3,18 до 8,54 ГБ; варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу размера и качества или минимальным потерям качества. К сильным сторонам относятся большой контекст, многоязычность, поддержка диалогового режима и вызова инструментов, а также возможность локального запуска с уменьшенными требованиями к памяти благодаря квантизации. Ограничения связаны с потерей качества при использовании низкобитных вариантов, особенно Q2_K и некоторых Q3/Q4-конфигураций; конкретные показатели производительности и качества в README не приведены. Модель распространяется по лицензии llama3.1.

Unsloth/Meta-Llama-3.1-8B-Instruct-unsloth-bnb-4bit — это 4-битная версия инструкционно настроенной текстовой языковой модели Meta Llama 3.1 с 8 млрд параметров, подготовленная Unsloth для использования с Transformers и форматом bitsandbytes. Модель предназначена для диалогов, генерации и обработки текста, выполнения инструкций, суммаризации и других задач, где требуется компактная LLM с пониженным потреблением памяти. Модель использует авторегрессионную архитектуру Transformer и работает в режиме «текст на входе — текст на выходе». Ключевая особенность версии — селективная динамическая 4-битная квантизация Unsloth, направленная на снижение требований к памяти при сохранении большей точности по сравнению со стандартной 4-битной квантизацией. В карточке официально указан английский язык; дополнительные языки, размер контекста и другие характеристики для данной версии не подтверждены. Разработчик базовой модели — Meta, адаптацию и квантизацию выпустила Unsloth. Ограничения включают возможные потери качества из-за квантизации и отсутствие в предоставленных данных подробной информации о производительности, контекстном окне и поддерживаемых сценариях за пределами текста. Модель распространяется по лицензии Llama 3.1.

Phi-4-reasoning-plus-GGUF — это набор квантизированных версий языковой модели Phi-4-reasoning-plus, разработанной Microsoft и преобразованной в формат GGUF автором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогового взаимодействия, решения математических задач, программирования и задач, требующих рассуждений. В README указана поддержка английского языка и рекомендована температура генерации 0. Доступны варианты от исходных весов BF16 размером 29,32 ГБ до квантизаций Q8_0, Q6_K, Q5_K, Q4_K и других объёмом примерно от 8,4 до 15,6 ГБ. Разные варианты позволяют выбирать баланс между качеством, размером и требованиями к ресурсам; наиболее качественными и рекомендуемыми названы Q6_K_L, Q6_K, Q5_K и Q4_K_M. Модель рассчитана на локальный запуск через LM Studio, llama.cpp и совместимые проекты. Архитектура, число параметров, размер контекста и мультимодальные возможности в README не указаны; заявлена только текстовая генерация. Лицензия — MIT. Ограничения связаны с использованием квантизированных весов: качество и требования к памяти зависят от выбранного варианта, а некоторые форматы обозначены как устаревшие. Для корректной работы требуется соблюдать рекомендованный шаблон промпта Phi и использовать совместимое программное обеспечение.

Aratako/Mixtral-8x7B-Instruct-v0.1-upscaled — экспериментальная инструктивная языковая модель, созданная автором Aratako с помощью mergekit: слои исходной mistralai/Mixtral-8x7B-Instruct-v0.1 чередуются методом passthrough. Архитектура — Mixtral MoE для генерации текста и диалогов; в репозитории указано 12,3 млрд параметров и контекст до 32 768 токенов. Модель предназначена для ответов на запросы, ведения диалога, написания текстов, извлечения сведений, программирования и рассуждений. Карточка приводит результаты MT-Bench, где модель показывает неоднородные изменения относительно исходника по отдельным категориям; это не гарантирует качества на других задачах. Указаны языки английский, французский, итальянский, немецкий и испанский. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Это экспериментальное слияние слоёв одной модели; README описывает метод и сравнительный бенчмарк, но не подтверждает независимую проверку результатов.

Abenzerps/Nex-N2.5-mini-MLX-4bit — это 4-битная конверсия модели Nex-N2.5-mini, разработанной Nex AI и опубликованной организацией nex-agi. Модель предназначена для локального запуска задач генерации текста, программирования, рассуждений и работы с длинным контекстом через библиотеку MLX и инструменты mlx-lm. Модель использует разреженную архитектуру MoE и поддерживает текстовую модальность. Заявлены английский и китайский языки, а исходный чекпойнт рассчитан на контекст до 262 144 токенов (256K). Веса представлены в формате MLX safetensors с аффинным 4-битным квантованием и размером группы 64; объём релиза составляет около 19,53 ГБ. В комплект входят веса генерации текста и токенизатор. К сильным сторонам относятся возможность локального инференса, сниженные требования к хранению по сравнению с полноразмерными весами и поддержка очень длинного контекста. Ограничения релиза заключаются в отсутствии MTP-весов и vision projector, поэтому он не предназначен для мультимодальной обработки изображений. В README приведены результаты бенчмарков исходной модели, но подробные численные показатели не указаны. Лицензия — Apache-2.0.

NovaMind — открытая 7-миллиардная плотная языковая модель-ассистент семейства Nova, разработанная NovaMind. Это обновлённая версия с более длительным этапом mid-training и расширенным post-training; модель предназначена для генерации текста, многошаговых рассуждений, программирования, логических задач и диалогового использования. В README также заявлены более надёжный вызов функций в многоходовых диалогах и снижение ошибок на внутренних проверках фактической точности. Авторы сообщают о результате 84,6% на GPQA Diamond и среднем расходе 26 тысяч токенов на вопрос в этой оценке; приведены также результаты по математическому, логическому и здравому рассуждению. Модель распространяется в формате PyTorch и использует класс NovaMindForCausalLM. Для локального запуска рекомендована температура 0,7; доступна также через размещённые авторами чат-интерфейс и API. Лицензия — Apache-2.0. README не приводит сведения о поддерживаемых языках и длине контекста.

NVIDIA-Nemotron-3-Nano-30B-A3B-FP8 — квантизированная версия большой языковой модели NVIDIA Nemotron-Nano-3-30B-A3B, разработанная NVIDIA Corporation. Модель обучена с нуля и предназначена для генерации текста, решения задач с рассуждением и без него, а также создания специализированных AI-агентов. Она поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Модель использует гибридную архитектуру Mixture-of-Experts, включающую 23 слоя Mamba-2 и MoE, а также 6 Attention-слоёв. Всего модель содержит 30 млрд параметров, из которых 3,5 млрд активируются для каждого токена. В каждом MoE-слое используются 128 экспертов и один общий эксперт, при этом на токен активируются 6 экспертов. Модель может сначала формировать reasoning trace, а затем итоговый ответ; режим рассуждений настраивается через chat template. Отключение промежуточных рассуждений сокращает вывод, но может немного снизить точность на сложных задачах. Размер контекста в README не указан. К сильным сторонам относятся сочетание эффективности разреженной MoE-архитектуры с возможностями рассуждения, поддержка нескольких языков и готовность к коммерческому использованию. FP8-квантизация может снизить требования к ресурсам по сравнению с полноточной версией, однако конкретные требования к оборудованию не приведены. Показатели на опубликованных тестах у FP8-версии немного ниже, чем у базовой BF16-версии, например 87,7 против 89,1 на AIME25 без инструментов и 78,1 против 78,3 на MMLU-Pro. Использование модели регулируется NVIDIA Nemotron Open Model License.

Occiglot-7B-ES-EN-Instruct — инструктивная языковая модель команды Occiglot Research Collective. Это плотный авторегрессионный трансформер-декодер Mistral с 7,1 млрд параметров, дообученный на инструкциях на английском и испанском языках; в обучающие данные также входили инструкции по программированию. Модель принимает диалог в шаблоне ChatML и генерирует текст. Нативный размер контекста составляет 32 768 токенов. Модель подходит для ответов на вопросы, диалоговых помощников и генерации текста на английском и испанском языках, а также для работы с кодом. Обучение включало англоязычные и испаноязычные наборы инструкций, но результаты некоторых неанглоязычных оценок основаны на частично машинно переведённых данных и англоязычных запросах. Разработчики отмечают, что модель не прошла выравнивание безопасности и может выдавать проблемные ответы. Лицензия — Apache 2.0.

Orca-4B-Thinking — языковая модель для диалогов и задач, требующих многошаговых рассуждений. Согласно README, модель разработана на основе Qwen3-4B и дообучена в стиле DeepSeek-R1 на наборах OpenThoughts-114k и Mixture-of-Thoughts; метаданные связывают её с Qwen/Qwen3.5-4B. Карточка описывает причинную плотную архитектуру Qwen3, а метаданные указывают 3,7 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации развёрнутых рассуждений и ответов в математике, программировании, естественных науках и головоломках, а также для следования инструкциям и работы с инструментами. README сообщает о режиме Thinking и приводит оценочные результаты бенчмарков, поэтому заявленные улучшения производительности не следует считать независимой проверкой. Поддерживаются английский, немецкий, испанский, французский и китайский языки по тегам метаданных. Лицензия — Apache-2.0.

Ornstein3.6-35B-A3B-GGUF — набор GGUF-квантизаций модели DJLougen/Ornstein3.6-35B-A3B, опубликованный для локального запуска. Это дообученная модель семейства Qwen 3.6 с архитектурой Qwen3_5MoeForCausalLM и поддержкой сценариев генерации текста; репозиторий также содержит мультимодальные конфигурации и файлы визуальной башни для обработки изображений и видео, однако существующие GGUF-бинарники при обновлении метаданных не переписывались. Модель использует архитектуру mixture-of-experts с 34,66 млрд параметров, из которых около 3 млрд активны для каждого токена. В ней 256 экспертов, выбираются 8 экспертов на токен, предусмотрены чередующиеся линейное и полноразмерное внимание, а также Gated Delta Net. Контекст составляет до 262 144 токенов, скрытый размер — 2048, число слоёв — 40, словарь — 248 320 токенов. Доступны варианты квантизации от 8 до примерно 2,6 бит; версии ниже 8 бит частично созданы с importance matrix на смешанном многоязычном корпусе. Сильная сторона модели — сочетание большого общего числа параметров с относительно небольшим числом активных параметров, что делает локальный инференс более доступным по памяти. Для лучшего качества рекомендуется Q4_K_M или выше; Q5_K_M описывается как удачный баланс качества и размера, а Q8_0 — как почти без потерь. Низкобитные варианты требуют компромисса по качеству, причём у MoE-моделей деградация при сильной квантизации может быть заметнее. Для запуска подходят llama.cpp, LM Studio, Ollama, koboldcpp и text-generation-webui при наличии поддержки Qwen3_5MoeForCausalLM и Gated Delta Net. Модель распространяется по лицензии Apache 2.0, унаследованной от базового релиза Qwen 3.6.

Qwen1.5-1.8B-Chat-GPTQ-Int4 — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это авторегрессионная языковая модель для генерации текста и диалоговых сценариев: виртуальных ассистентов, ответов на вопросы, написания и преобразования текста, а также работы с естественными языками и кодом. Модель прошла supervised fine-tuning и direct preference optimization для улучшения соответствия пользовательским предпочтениям. Модель основана на decoder-only архитектуре Transformer и содержит 1,8 млрд параметров. Вариант GPTQ-Int4 использует 4-битное квантование, что снижает требования к памяти и делает модель более подходящей для локального запуска. Указаны поддержка нескольких естественных языков и кода, текстовая модальность и контекст до 32K токенов. Для beta-версии Qwen1.5 заявлены SwiGLU, смещения в QKV attention и улучшенный токенизатор; group query attention и сочетание sliding window attention с полной attention в этой версии временно не включены, кроме модели 32B. Сильные стороны модели — небольшой размер, квантование, поддержка многоязычных сценариев и диалоговая настройка. Ограничения связаны с относительно малым числом параметров, возможными проблемами при переключении языков и более низкой точностью по сравнению с крупными моделями семейства. Модель распространяется по лицензии Tongyi Qianwen Research License; точные условия следует проверять в файле лицензии репозитория.

Qwen2.5-0.5B-Instruct-AWQ — компактная инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen компании Alibaba Cloud. Она предназначена для генерации текста, диалоговых приложений, следования инструкциям, обработки структурированных данных и создания структурированных ответов, включая JSON, а также для задач программирования и математики. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и корейский. Модель построена по архитектуре causal language model на базе Transformer с RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Она содержит около 0,49 млрд параметров, из которых 0,36 млрд приходятся на неэмбеддинговые параметры, 24 слоя и механизм GQA с 14 головами для Q и 2 для KV. Контекст составляет до 32 768 токенов, максимальная длина генерации — 8192 токена. AWQ-квантизация до 4 бит снижает требования к памяти и подходит для локального и ресурсно-ограниченного запуска, однако может приводить к некоторой потере качества по сравнению с исходной версией в формате bfloat16. README не содержит конкретных результатов бенчмарков, требований к объёму GPU-памяти или данных о пропускной способности. Модель распространяется по лицензии Apache-2.0. Для использования рекомендуется актуальная версия библиотеки transformers; версии ниже 4.37.0 могут быть несовместимы.

Qwen2.5-14B-DeepSeek-R1-1M — объединённая плотная языковая модель на архитектуре Qwen2, созданная с помощью MergeKit методом TIES. В качестве базовой использована Qwen/Qwen2.5-14B-Instruct-1M; в объединение также вошли DeepSeek-R1-Distill-Qwen-14B и Qwen2.5-14B-Instruct. Модель содержит 14 млрд параметров, распространяется в формате Safetensors и рассчитана на контекст до 1 010 000 токенов. Модель предназначена для диалогов и генерации текста по инструкциям, включая работу с длинным контекстом. Метаданные также указывают интерфейс для вызова инструментов. Данные карточки описывают способ объединения и состав моделей, но не приводят отдельные оценки качества или подробные рекомендации по применению. Лицензия в предоставленных данных не указана. Для использования следует учитывать условия лицензий исходных моделей; их совместимость здесь не подтверждена.

Qwen2.5-1.5B-Instruct-GPTQ-Int4 — это компактная инструкционно дообученная причинная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для чат-ботов, генерации и продолжения текста, следования инструкциям, работы со структурированными данными и формирования структурированных ответов, включая JSON, а также для задач программирования и математики. Она поддерживает более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, японский и корейский. Модель содержит 1,54 млрд параметров, 28 слоёв и использует архитектуру Transformers с RoPE, SwiGLU, RMSNorm, смещениями QKV в механизме внимания и связанными эмбеддингами слов. Применяется GQA с 12 головами для Q и 2 для KV. Контекст составляет до 32 768 токенов, максимальная длина генерации — 8192 токена. GPTQ-квантизация до 4 бит уменьшает требования к памяти по сравнению с полноразмерной версией, но квантизация может влиять на качество и производительность. Модель ориентирована на локальное и ресурсо-ограниченное развертывание через библиотеку Transformers; для работы рекомендуется использовать актуальную версию библиотеки. README не содержит конкретных результатов тестов, требований к видеопамяти или показателей скорости, поэтому практические характеристики зависят от оборудования и конфигурации. Модель распространяется по лицензии Apache-2.0.

Qwen3-0.6B-GPTQ-Int8 — квантованная 8-битная версия причинной языковой модели Qwen3-0.6B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, переводов, творческого письма и сценариев с интеграцией внешних инструментов. Она поддерживает переключение между режимами рассуждения и обычного диалога в рамках одной модели. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не являются параметрами эмбеддингов, имеет 28 слоёв и использует Grouped-Query Attention с 16 головами для запросов и 8 для ключей и значений. Контекстное окно составляет 32 768 токенов. Поддерживаются более 100 языков и диалектов, однако конкретный перечень языков в README не указан. Модель работает с текстовой модальностью и распространяется в формате GPTQ с 8-битной квантизацией. К сильным сторонам относятся компактный размер, поддержка многоязычных инструкций, режимов рассуждения и обычной генерации, а также возможности для агентских сценариев. Ограничения включают меньший размер по сравнению с крупными моделями Qwen3 и возможное появление повторов при неподходящих параметрах генерации; README рекомендует при таких проблемах использовать presence_penalty 1.5. Модель распространяется по лицензии Apache 2.0.

YOYO-AI/Qwen3-30B-A3B-YOYO-Thinking-Chimera — объединённая модель Qwen3, созданная YOYO-AI методом «сшивания» компонентов двух вариантов Qwen3-30B-A3B: Instruct-2507 и Thinking-2507. Веса экспертов маршрутизации и внимания взяты из Thinking, остальные компоненты — из Instruct. Модель предназначена для диалогов, выполнения инструкций и генерации текста с рассуждениями; метаданные также указывают интерфейс вызова инструментов. Архитектура — MoE с классом Qwen3MoeForCausalLM. В метаданных указано 2,6 млрд параметров, формат хранения — safetensors; README сообщает о точности bfloat16 и контексте до 262 144 токенов, а также упоминает вариант длины 1 010 000 токенов без пояснения его условий. Языки карточки — английский и китайский. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-122B-A10B-NVFP4-Full-GB10 — мультимодальная квантованная версия модели Qwen/Qwen3.5-122B-A10B. Квантование выполнено с помощью llm-compressor по схеме NVFP4 W4A4: линейные слои, включая lm_head, используют 4-битные веса, а vision encoder сохранён в BF16. Модель предназначена для запуска и вывода на NVIDIA DGX Spark с чипом GB10 и обслуживается через vLLM при использовании специальной поддержки для NVFP4 lm_head. Архитектура включает 48 слоёв гибридного внимания, из которых 36 используют GDN/Gated-DeltaNet, а 12 — полноценное внимание, 256 маршрутизируемых экспертов и один общий эксперт на слой; активируются 8 экспертов. Размер скрытого представления — 3072, словарь содержит 248 320 токенов, заявленный контекст — до 262K токенов. Модель поддерживает обработку текста и изображений, однако языки в README не указаны. На DGX Spark заявлена скорость последовательной генерации около 33–35 токенов в секунду. Главное преимущество модели — максимальная скорость декодирования среди описанных вариантов и сниженные требования к памяти: размер контрольной точки составляет около 66 ГБ. Ограничением является небольшое ухудшение качества по сравнению с вариантом FP8Dense, особенно в понимании и передаче нюансов при длительном использовании; 4-битные активации и квантованный lm_head слегка уплощают распределение выходов. В контрольной точке отсутствуют веса MTP, поэтому спекулятивное декодирование недоступно. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-abliterated-MAX-AIO-GGUF — экспериментальная серия моделей, разработанная prithivMLmods на основе Qwen3.5 от Alibaba. Репозиторий содержит GGUF-варианты размеров 0,8B, 2B, 4B и 9B, а также ссылки на вариант 27B. Модели предназначены для локального и периферийного развертывания с использованием llama.cpp и других совместимых средств инференса. Серия ориентирована на генерацию текста, рассуждения, программирование, математические задачи и мультимодальные сценарии с обработкой изображений и текста. Согласно README, модели используют гибридную архитектуру Gated DeltaNet, поддерживают контекст до 262K токенов, словарь для 201 языка и переключаемые режимы рассуждения. Для мультимодального применения доступны отдельные файлы mmproj, а для разных требований к памяти — варианты BF16, F16, F32 и Q8_0. Ключевая особенность — модификация alignment и снижение количества отказов следовать инструкциям, что может быть полезно для исследовательских задач, создания датасетов и приложений, требующих менее ограниченного поведения. При этом такие изменения ослабляют стандартные защитные механизмы, поэтому модели требуют самостоятельной оценки безопасности. Заявленные улучшения производительности основаны на сообщественных тестах и не подтверждены официальными оценками. Лицензия — Apache-2.0.

Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored-W4A16-AutoRound — это 40-миллиардная языковая модель для генерации текста, кода, рассуждений и творческих ответов. Она основана на модели DavidAU Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored и квантизирована с помощью Intel AutoRound. Заявлены языки английский, китайский, русский, украинский, греческий и иврит; модель поддерживает текстовую генерацию и визуальную башню, однако подробности мультимодального применения в README не описаны. Используется схема W4A16: 4-битные веса и 16-битные активации, размер группы 64, симметричная квантизация. Размер модели составляет около 38 ГБ против примерно 80 ГБ в BF16. Архитектура гибридная: 72 слоя линейного внимания Gated DeltaNet с Mamba SSM и 24 слоя полного внимания; сохранены MTP-компоненты для многотокенного предсказания и speculative decoding. Для запуска рекомендуются vLLM или SGLang, при этом в примерах указан контекст до 32768 токенов. Для квантизации использовалась длина последовательности 2048. По данным README, модель ориентирована на программирование, математические и логические задачи, рассуждения, длинные ответы и творческое письмо, включая русскоязычные тексты. Заявлены скорость около 35–47 токенов в секунду, рабочий MTP=3 в vLLM и возможность запуска на нескольких GPU, например двух ускорителях по 24 ГБ. Ограничения включают высокие требования к памяти, необходимость много-GPU конфигурации для комфортной работы, зависимость производительности от контекста и принятия MTP-токенов, а также обязательный batch size 1 при квантизации из-за особенностей гибридного внимания. Для SGLang MTP не работает при pipeline parallelism с PP=3. Лицензия модели наследуется от базовой модели; для AutoRound в README указана Apache-2.0. Отдельная лицензия базовой модели явно не приведена, поэтому условия коммерческого и иного использования следует уточнять в её репозитории.

Qwen3.8-27B-2bit-MLX-TextOnly — текстовая квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и преобразованная пользователем lukaskremla в формат MLX с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста, диалогов, рассуждений, работы с инструментами и задач с длинным контекстом; заявлена поддержка нескольких языков. Модель содержит около 27 млрд параметров и использует 2-битное weight-only-квантование с affine RTN-квантизацией и group size 64. Это text-to-text-модель: vision tower удалён, поэтому обработка изображений и другие визуальные сценарии не поддерживаются. Формат MLX ориентирован на запуск в экосистеме Apple MLX и mlx-lm. Точная длина контекста и архитектурные детали в README не указаны. Ключевое преимущество — существенно сниженные требования к памяти по сравнению с полноразмерной моделью, что делает её пригодной для локального запуска при сохранении возможностей исходной текстовой модели. Ограничения связаны с 2-битным квантованием, которое может снизить точность и качество по сравнению с исходной моделью, а также с отсутствием визуального ввода. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-3bit-MLX-TextOnly — текстовая квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и преобразованной в формат MLX пользователем lukaskremla с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и использования инструментов, включая задачи с длинным контекстом и многоязычные приложения. Модель сохраняет возможности преобразования текста в текст и не содержит vision tower, поэтому не поддерживает обработку изображений. Она использует 3-битное квантование весов с affine- и RTN-подходами и размером группы 64; заявленный размер базовой модели — 27B параметров. Формат MLX ориентирован на запуск с использованием экосистемы MLX и mlx-lm. Конкретные поддерживаемые языки и максимальная длина контекста в README не указаны. К преимуществам относятся сниженные требования к памяти по сравнению с полноразмерной моделью, поддержка текстовой генерации, рассуждений, инструментов и длинного контекста. Ограничения связаны с отсутствием мультимодальности и возможными потерями качества из-за 3-битного квантования; точные показатели производительности не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B Abliterated MLX MXFP4-MTP — vision-language модель на основе Qwen/Qwen3.8-27B, упакованная Shiftedx для экосистемы MLX. Это квантованная версия полной 27-миллиардной архитектуры: языковая часть использует MXFP4 с размером группы 32, а неизменённая vision tower — веса BF16. Пакет также содержит 15 BF16-тензоров native MTP для ускорения спекулятивной генерации; рекомендованная глубина MTP — 3. Для работы требуется MTPLX версии 2.0.2 или новее. Модель предназначена для генерации и анализа текста, обработки изображений, задач с длинным контекстом, tool calling и сценариев, где важна высокая скорость вывода на совместимом Apple Silicon-оборудовании. В опубликованном тестировании эффективный проверенный контекст составлял до 131 072 токенов; языки README не уточняет. На Apple M4 Max с 64 ГиБ unified memory модель показала 100% в тестах tool calling, 86,7% в тестах длинного контекста и 75% в vision-тестах, однако результаты зависят от версии весов, runtime, настроек и оборудования. Изменение refusal-направления снизило измеренные отказы в специально подготовленном наборе с 12/12 до 0/12, но авторы подчёркивают, что это не доказывает универсальную «нецензурированность». Модель может чаще выдавать вредные или ошибочные ответы; результаты бенчмарков также показывают ограничения в общей проверке качества и agentic-сценариях. Использовать её следует с осторожностью, особенно при работе с инструментами, изображениями и генерируемым кодом. Лицензия — Apache-2.0; ограничения исходной модели сохраняются.

OsaurusAI Spark-X2.5-4B-JANG_6M — производная версия Spark-X2.5-4B от XHToken, подготовленная Jinho Jang для Apple Silicon и MLX. Это плотная авторегрессионная модель примерно на 3,8 млрд параметров для генерации текста, диалога, рассуждений и вызова инструментов; веса упакованы в смешанной точности: внимание и связанные эмбеддинги — 8-битные, MLP — 6-битный, масштабы групп — bfloat16, отдельные компоненты и нормы сохранены в полной точности. Репозиторий занимает около 3,41 GiB. Модель предназначена для запуска в оболочке Osaurus и поддерживает разговорный шаблон с включённым по умолчанию режимом рассуждений и интерфейсом вызова инструментов. В README заявлен нативный контекст до 1 048 576 токенов, при этом в контракте конкретной сборки указан контекст 131 072. По данным измерений авторов, скорость декодирования на M5 Max составила 104,7 токена в секунду; результаты получены в заданном тестовом режиме и не гарантируют такую же скорость на другом оборудовании. Карточка указывает английский и китайский языки; исходная модель описана как многоязычная и предназначенная также для кода, перевода и агентных задач. Сборка ориентирована на Apple Silicon и требует совместимой среды MLX и оболочки Osaurus; это текстовая модель. Лицензия Apache-2.0 унаследована от базовой модели XHToken/Spark-X2.5-4B.