I.5Создание и редактирование текста

MiniCPM3-4B — плотная языковая модель третьего поколения семейства MiniCPM, разработанная командой OpenBMB. Она содержит 4,9 млрд параметров и предназначена для диалогов и генерации текста; также поддерживает вызов функций и работу с интерпретатором кода. Модель принимает текст и формирует текстовые ответы. Контекстное окно составляет 32 768 токенов. В README заявлена возможность теоретически обрабатывать контекст неограниченной длины с помощью LLMxMapReduce без резкого увеличения памяти. Модель ориентирована на китайский и английский языки и доступна для использования через Transformers; для vLLM в README требуется форк библиотеки. Модель подходит для диалоговых помощников, генерации и классификации текста, а также сценариев с вызовом инструментов и выполнением кода через интерпретатор. README сообщает о результатах, сопоставимых с рядом моделей большего размера, но конкретная таблица оценок в предоставленных данных отсутствует. Лицензия — Apache-2.0. Разработчики предупреждают, что ответы следует самостоятельно проверять.

Abiray/MiniCPM5-2B-GGUF — набор квантованных весов модели MiniCPM5-2B, разработанной OpenBMB и входящей в серию MiniCPM5. Это плотная Transformer-модель примерно на 2 млрд параметров, представленная в формате GGUF для локального запуска через llama.cpp, Ollama и LM Studio, включая сценарии on-device и edge AI. Модель ориентирована на генерацию текста и поддерживает английский и китайский языки. Модель предназначена для генерации кода и текста, решения математических задач, работы с длинным контекстом до 128 тысяч токенов, вызова инструментов и многошаговых агентских сценариев. Доступны варианты квантования от Q3_K_M до Q8_0 размером примерно от 1,29 до 2,68 ГБ; Q4_K_M указан как рекомендуемый баланс скорости, качества и занимаемой памяти, а Q8_0 — как вариант с минимальными потерями относительно исходных весов. Квантование уменьшает требования к памяти, но может влиять на точность, особенно в компактных вариантах. Модель распространяется по лицензии Apache-2.0.

MiniCPM5-2B MLX 8-bit — это квантованная версия текстовой языковой модели OpenBMB MiniCPM5-2B, подготовленная в формате MLX для локального запуска. Модель имеет плотную Llama-based архитектуру и около 2 млрд параметров; конверсия использует аффинное 8-битное квантование с размером группы 64 и занимает примерно 2,5 ГБ в формате MLX safetensors. Поддерживаются английский и китайский языки, максимальная длина контекста составляет 131 072 токена. Модель предназначена для генерации текста, программирования, рассуждений, задач с длинным контекстом и использования инструментов, включая сценарии локального развертывания через mlx-lm. Это text-only модель: компоненты для обработки изображений и MTP-файлы отсутствуют, поэтому мультимодальные задачи не поддерживаются. Лицензия — Apache-2.0; приведённые в README результаты тестирования относятся к исходной версии MiniCPM5-2B от OpenBMB, а не непосредственно к этой MLX-конверсии.

Mistral-Large-218B-Instruct — плотная языковая модель на 217,7 млрд параметров из семейства Mistral, созданная автором репозитория путём слияния исходной Mistral Large 2. Модель предназначена для генерации текста и диалоговых сценариев. Она поддерживает несколько естественных языков, а также обучена на более чем 80 языках программирования; заявленное контекстное окно — 128 тыс. токенов. Для запуска нужны значительные вычислительные ресурсы: в карточке рекомендованы восемь ускорителей H100 с суммарно 640 ГБ памяти либо распределённый запуск на нескольких машинах. Лицензия Mistral Research License разрешает использование и модификацию для исследований и некоммерческих целей. Автор описывает модель как экспериментальную тестовую сборку; встроенных механизмов модерации нет, ответы могут отражать предвзятость обучающих данных и требуют проверки в чувствительных сценариях.

Motif 3 — мультиязычная авторегрессионная языковая модель Motif Technologies с архитектурой Mixture-of-Experts (MoE), представленная как диалоговая версия базовой Motif-3-Base. По метаданным, модель содержит 11 млрд параметров; README описывает конфигурацию на 314 млрд параметров всего, из которых 13,2 млрд активируются на токен, поэтому сведения о размере в источниках расходятся. Модель принимает текст и генерирует текст, поддерживает контекст до 262 144 токенов и рассчитана на английский и корейский языки, а также на код и математические задачи. Модель предназначена для диалога, генерации и продолжения текста, программирования, рассуждений и агентных сценариев с использованием инструментов, включая решение задач через терминал. В архитектуре заявлены Grouped Differential Latent Attention, 384 маршрутизируемых эксперта, Multi-Token Prediction для ускорения генерации и другие собственные компоненты. README сообщает о сильных результатах на агентных и инструментальных тестах, но не предоставляет полную таблицу оценок в доступном тексте. Веса доступны для скачивания; лицензия по метаданным — MIT.

Это квантованная в NVFP4 сборка NVIDIA Nemotron-3.5-Lightning-30B-A3B, подготовленная в формате GGUF для запуска через llama.cpp. Модель разработана NVIDIA и имеет гибридную архитектуру MoE с чередованием слоёв Mamba-2 и MoE, а также отдельными слоями Attention; всего в ней 30 млрд параметров, из которых активны 3 млрд. В репозитории также есть черновая модель DFlash для спекулятивного декодирования. Модель предназначена для диалоговой генерации текста, рассуждений, ответов на вопросы и задач программирования. В README заявлена длина контекста до 1 млн токенов при нативном значении по умолчанию 256 тыс. Поддерживаются английский, испанский, французский, немецкий, итальянский и японский языки. Для коммерческого использования указана лицензия OpenMDW-1.1. Квантованная сборка может отличаться по качеству от исходной BF16-версии; показатели README приведены лишь для отдельных бенчмарков.

Neuron-46x4B-Instruct — инструкция бойынша жауап беруге бапталған, Neura Tech AI әзірлеген сирек сарапшылар қоспасы (MoE) бар тілдік модель. Ол мәтін генерациясы мен диалогқа арналған. README 46 сарапшы, токенге шаққанда шамамен 8 млрд белсенді параметр және жалпы шамамен 125 млрд параметр барын мәлімдейді; метадеректерде модель көлемі 3,7 млрд параметр деп көрсетілген. Архитектурасы Qwen3 MoE, файлдары Safetensors форматында, ал контекст терезесі 262 144 токенге дейін. Модель код жазу мен түсіндіру, математикалық және көп қадамды пайымдау, көптілді әңгімелесу, аудару, құжаттарды талдау және құралдарды қолданатын агенттерге негіз болу сценарийлеріне арналған. Карточкада ағылшын, қытай, хинди, араб, жапон, корей, еуропалық тілдер, орыс және басқа тілдер аталған. Деректерде Neura-Tech-AI/Neuron-4B-Instruct және Qwen3-4B-Instruct-2507, Qwen3-4B-Thinking-2507 базалық модельдерімен merge байланысы көрсетілген; лицензиясы — Apache-2.0. Модель қате, толық емес немесе ойдан шығарылған жауап беруі мүмкін. Нәтижелерді, әсіресе қауіпсіздікке, құқыққа, қаржыға немесе медицинаға қатысты қолданар алдында тексеру керек; өнімділігі инференс ортасына, жабдыққа, квантизацияға және сұрау пішіміне тәуелді.

Nexa-AI-4B-Instruct — мультиязычная инструкционная языковая модель, совместно разработанная Neura Tech AI и Lumina AI на основе Qwen/Qwen3-4B-Instruct-2507. Это плотный декодерный Transformer с 3,7 млрд параметров, предназначенный для диалогов и выполнения инструкций; модель распространяется в формате Safetensors через библиотеку Transformers. Модель подходит для генерации ответов, помощи с программированием, математических и логических задач, а также сценариев с вызовом инструментов и агентами. Она поддерживает английский, хинди и китайский; в карточке также заявлены другие языки. Контекстное окно составляет до 262 144 токенов. Разработчики сообщают о дообученной настройке на полезные ответы и приводят результаты сравнительных тестов, но в карточке нет достаточных подробностей об условиях оценки для независимой проверки этих заявлений. Лицензия — Apache-2.0.

Это GGUF-представление NVIDIA Nemotron 3.5 Lightning — гибридной языковой модели NVIDIA с архитектурой Mixture-of-Experts, слоями Mamba-2 и выборочными слоями Attention. Модель содержит 30 млрд параметров, из которых при генерации активны около 3 млрд; контекст достигает 1 млн токенов, а на одной H100 — 256 тыс. токенов. В карточке представлены варианты F16, Q4_K_M и Q5_K_M; метаданные также указывают GGUF BF16. Модель предназначена для диалога и генерации текста, включая задачи с кодом, математикой, наукой, вызовом инструментов и структурированными ответами. Она поддерживает настраиваемый режим рассуждений и английский, испанский, французский, немецкий, итальянский и японский языки. Контрольные результаты в README показывают конкурентный уровень, но уступание более крупным моделям NVIDIA в большинстве приведённых агентных задач программирования и рассуждений. Этот чекпойнт описан как полноточечная основа для дальнейшей настройки, адаптации и выпуска квантованных вариантов; для непосредственного развёртывания NVIDIA рекомендует сопутствующий NVFP4-вариант. Репозиторий заявлен под лицензией OpenMDW-1.1.

Это текстовая модель NVIDIA Nemotron-3.5-Lightning-30B-A3B-BF16 с изменёнными параметрами отказов: автор карточки сообщает, что после abliteration модель отказала в 1 из 100 тестовых запросов против 98 из 100 у исходной версии. Она предназначена для генерации текста, диалога и рассуждений, а также для дообучения и адаптации разработчиками. В карточке приведены результаты проверок на задачах знаний, рассуждений, программирования и использования инструментов. Модель использует гибридную архитектуру Mixture-of-Experts с Mamba-2, MoE и слоями Attention; всего в ней 30 млрд параметров, из которых активны 3 млрд. Формат весов — BF16, заявленная длина контекста в метаданных — 262 144 токена. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский. README указывает лицензию исходной модели как допускающую коммерческое использование, но метаданные этой копии обозначают лицензию как other, поэтому условия распространения и использования именно этой производной версии следует сверять с лицензией репозитория.

Это версия NVIDIA Nemotron 3 Nano 30B A3B, подготовленная сообществом mlx-community для запуска в формате MLX на устройствах Apple Silicon. Модель преобразована из nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 с помощью mlx-lm 0.29.1; в названии указано 4-битное представление. Это диалоговая языковая модель NVIDIA с разреженной архитектурой MoE: 30 млрд параметров всего, около 3 млрд активных на токен. Модель предназначена для генерации текста в чате, рассуждений, программирования и агентных приложений. Карточка и метаданные указывают поддержку английского, испанского, французского, немецкого, японского и итальянского языков. В README не приведены отдельные сведения о длине контекста этой версии. Репозиторий распространяется по лицензии «other»; для условий использования следует обратиться к лицензии базовой модели NVIDIA.

NVIDIA Nemotron-3-Super-120B-A12B-BF16-heretic-v2 — это модифицированная сообществом версия языковой модели NVIDIA Nemotron-3-Super-120B-A12B-BF16. В ней применена аблитерация слоёв 23–61, снижающая частоту отказов: в приведённой оценке отказы были в 11 случаях из 100 против 100 из 100 у исходной модели. Модель содержит 120 млрд параметров, из которых 12 млрд активны; её гибридная архитектура LatentMoE сочетает Mamba-2, MoE, слои внимания и Multi-Token Prediction. Репозиторий использует формат safetensors и библиотеку Transformers, поддерживает контекст до 262 144 токенов по метаданным и генерацию текста в диалоговых сценариях. Модель предназначена для рассуждений, чата, следования инструкциям, задач с длинным контекстом и создания агентных систем, включая чат-боты, RAG и автоматизацию IT-заявок. Заявлены английский, французский, испанский, итальянский, немецкий, японский и китайский языки; также модель подходит для кода. README называет исходную модель коммерчески применимой, но лицензия этой производной указана как other, поэтому условия её использования следует уточнить в репозитории. Модель снижает склонность к отказам, что может быть нежелательно в сценариях, где важна строгая фильтрация запросов.

NVIDIA-Nemotron-Nano-9B-v2-NVFP4 — квантованная модель NVIDIA Corporation для диалогов, следования инструкциям и задач с рассуждением. Это вариант NVIDIA-Nemotron-Nano-9B-v2 с NVFP4-квантизацией и восстановлением точности методом дистилляции с учетом квантования. Архитектура Nemotron-Hybrid объединяет слои Mamba-2, MLP и четыре слоя Attention; заявленный контекст — до 128K токенов. Модель принимает текст и генерирует текст. Режим рассуждений можно управлять системным или пользовательским маркером: генерация рассуждений обычно помогает на сложных запросах, а ответ без промежуточных рассуждений может быть менее точным. Модель поддерживает английский, немецкий, испанский, французский, итальянский и японский; README также заявляет поддержку китайского, корейского, португальского и русского, но не описывает её отдельно. Модель предназначена для чат-ботов, AI-агентов, RAG-систем, программирования и общих задач следования инструкциям. Для инференса рекомендуются NVIDIA GPU и поддерживаются Transformers, vLLM и TRT-LLM; в vLLM неверный тип кэша Mamba может снизить точность. В README указано, что модель готова к коммерческому использованию, однако точные условия лицензии в предоставленных данных не раскрыты.

OpenChat 3.5-1210 — диалоговая языковая модель, разработанная командой OpenChat и созданная дообучением Mistral-7B-v0.1 на смешанных данных разного качества. Модель с плотной архитектурой Mistral содержит 7,1 млрд параметров и поддерживает контекст до 8192 токенов; доступны веса в формате Safetensors. Она предназначена для генерации ответов в чате, написания и объяснения кода, решения математических задач и других общих текстовых запросов. В карточке также описаны экспериментальные сценарии оценки ответов и предоставления обратной связи. Модель поддерживает два режима диалога: общий режим для чата, программирования и широкого круга задач, а также режим, настроенный на математические рассуждения. Разработчик приводит результаты тестов по программированию, математике и общим знаниям, однако бенчмарки не гарантируют точность в практических задачах. Модель может ошибаться или выдавать убедительно звучащие неверные ответы; режимы и шаблон диалога следует применять согласно карточке. Лицензия — Apache-2.0. Для работы с моделью автор рекомендует OpenChat и сервер с API, совместимым с OpenAI ChatCompletion; в карточке заявлен запуск на потребительском GPU с 24 ГБ памяти. Языки обучения или поддержки явно не перечислены, поэтому языковые возможности сверх текстового диалога здесь не уточняются.

QuantFactory/openchat-3.6-8b-20240522-GGUF — квантизированная версия языковой модели OpenChat 3.6 8B от openchat/openchat, созданная с использованием llama.cpp. Модель предназначена для генерации текста, диалогов, программирования и решения общих задач через чат-интерфейсы и OpenAI-совместимый API. Модель имеет около 8 млрд параметров и поддерживает контекст до 8192 токенов. Это текстовая autoregressive-модель; сведения о поддерживаемых языках и конкретном формате квантизации в README не указаны. Для работы рекомендуются OpenChat и llama.cpp, а исходная модель также рассчитана на запуск через vLLM; заявлена возможность развёртывания на потребительском GPU с 24 ГБ памяти. К сильным сторонам относятся компактный размер, возможность локального запуска и оптимизация для диалоговых, кодовых и общих сценариев. Ограничения включают отсутствие сведений о точном варианте квантизации, языковом покрытии и результатах независимого тестирования. Модель распространяется по лицензии Llama 3.

OpenHermes 2.5 Mistral 7B — языковая модель Teknium, дообученная на базе Mistral-7B-v0.1 для диалогов и следования инструкциям. Она содержит около 7,1 млрд параметров, использует плотную архитектуру Mistral и формат диалога ChatML; заявленная длина контекста — 32 768 токенов. Модель обучалась на наборе примерно из миллиона примеров, преимущественно сгенерированных GPT-4, включая дополнительные данные по программированию. Модель предназначена для многошагового общения, ответов на вопросы, выполнения инструкций и помощи с программированием. В карточке приводится результат HumanEval 50,7% при Pass@1, а также сообщается об улучшении ряда общих бенчмарков по сравнению с предыдущей версией; это результаты авторов, не гарантия качества в конкретных сценариях. Указанный в метаданных язык — английский. Модель принимает текстовые запросы и генерирует текст. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Как и другие генеративные языковые модели, она может выдавать неверные сведения или код с ошибками; результаты следует проверять.

Ornith-1.0-35B-GGUF-llamacpp-tp1 — это GGUF-версия языковой модели Ornith-1.0-35B, разработанной deepreinforce-ai, подготовленная для запуска через llama.cpp на одной GPU. Модель предназначена для генерации текста и кода, а также для сценариев локального сервинга с различными требованиями к скорости, объёму памяти и точности. В комплект входят варианты квантования Q3_K_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также вариант IQ4_XS-MTP с интегрированной головой multi-token prediction для ускорения спекулятивной генерации при низкой конкуренции. Размер исходной модели составляет 35B параметров. Доступны артефакты объёмом примерно от 15,61 до 34,37 GiB на диске, с требованиями к загруженной VRAM примерно от 17,27 до 34,77 GiB в зависимости от квантования. Вариант Q4_K_M позиционируется как сбалансированный по скорости и памяти, Q6_K и Q8_0 обеспечивают наиболее высокую точность, а Q3_K_M предназначен для минимального потребления памяти. Для MTP-варианта заявлено ускорение однопоточной генерации примерно в 1,3 раза; при этом длинные детерминированные последовательности не являются побитно идентичными режиму без MTP. Сильными сторонами являются широкий выбор квантований, высокая скорость инференса через llama.cpp и возможность локального запуска на одной GPU. Ограничениями выступают требование режима tp=1, отсутствие поддержки multi-GPU tensor parallel serving в этой версии и неизбежная потеря точности у более компактных квантований. Лицензия — MIT.

ianshank/phi-35-moe-instruct — инструктивная языковая модель семейства Phi-3.5-MoE на архитектуре mixture-of-experts, опубликованная под лицензией MIT. Она предназначена для диалоговых и генеративных приложений, включая сценарии с ограничениями по вычислительным ресурсам или задержке, а также задачи рассуждения, программирования, математики и логики. В README указано, что модель прошла supervised fine-tuning и этапы оптимизации предпочтений PPO и DPO; метаданные каталога указывают 4 млрд параметров, а карточка заявляет 6,6 млрд активных параметров. Эти значения приведены в источниках по-разному и могут отражать разные способы подсчёта. Модель поддерживает многоязычные запросы и рассчитана на чатовый формат. В README заявлена длина контекста 128 тыс. токенов, тогда как метаданные указывают нативный контекст 4096 токенов; фактическую длину для этой копии следует проверять по её конфигурации. Репозиторий использует safetensors и библиотеку Transformers. Модель подходит для генерации текста и кода, но качество и безопасность для конкретного применения требуют отдельной оценки; README отмечает уязвимость к длинным многошаговым jailbreak-запросам и необходимость осторожности в высокорисковых сценариях.

microsoft/phi-4-gguf — GGUF-версия модели phi-4, разработанной Microsoft Research. Это открытая языковая модель для генерации текста, ориентированная преимущественно на английский язык. Она предназначена для исследовательских задач, создания генеративных функций и универсальных AI-систем, особенно в средах с ограниченными ресурсами и требованиями к низкой задержке, а также для задач рассуждения, логики, математики, программирования, диалогового взаимодействия и следования инструкциям. Модель построена как плотный decoder-only Transformer с 14 млрд параметров и поддерживает текстовые входы и выходы. Контекстное окно составляет 16K токенов; рекомендуемый формат взаимодействия — chat-промпты. Обучение проводилось на 9,8 трлн токенов в период с октября по ноябрь 2024 года, а выпуск состоялся 12 декабря 2024 года. Данные включали синтетические учебные материалы, отфильтрованные общедоступные документы, код, академические книги, наборы вопросов и ответов и данные для supervised fine-tuning и direct preference optimization. Мультиязычные данные составляли около 8% корпуса, поэтому основной акцент сделан на английском языке. К сильным сторонам относятся компактный для своих возможностей размер, ориентация на рассуждение и логические задачи, а также дополнительное выравнивание для соблюдения инструкций и повышения безопасности. Ограничения включают статичность модели и отсечение общедоступных данных июнем 2024 года, преимущественную ориентацию на английский язык и необходимость самостоятельной проверки точности, безопасности, справедливости и соответствия требованиям законодательства в конкретных сценариях, особенно в высокорисковых областях. Модель распространяется по лицензии MIT.

unsloth/phi-4-unsloth-bnb-4bit — 4-битная версия модели Phi-4, разработанной Microsoft Research и подготовленной Unsloth. Модель основана на dense decoder-only Transformer с 14 млрд параметров, преобразована в архитектуру, совместимую с Llama, и предназначена для более удобного использования и дообучения. Квантизация выполнена в формате Unsloth BNB 4-bit с динамическим выбором параметров, что призвано сохранить более высокую точность по сравнению со стандартной 4-битной квантизацией. Модель работает с текстом, лучше всего подходит для запросов в чат-формате и предназначена для генерации текста, диалоговых приложений, задач NLP, математики и программирования. Поддерживаемый язык — английский. Контекстное окно составляет 16K токенов. Базовая Phi-4 обучалась на сочетании синтетических данных, отфильтрированных общедоступных веб-источников, академических книг и наборов вопросов и ответов, а также проходила supervised fine-tuning и direct preference optimization для следования инструкциям и повышения безопасности. К сильным сторонам относятся компактность по сравнению с более крупными моделями, возможности рассуждения, а также сниженные требования к памяти благодаря 4-битному представлению; Unsloth заявляет о преимуществах для последующего fine-tuning. Ограничения включают текстовую модальность, ориентацию прежде всего на английский язык и возможные потери качества из-за квантизации, хотя динамический подход должен их уменьшать. Модель распространяется по лицензии MIT.

lopezhansel/phined-tuned-2 — конвертированная в формат MLX версия модели microsoft/Phi-3-mini-4k-instruct. Это плотная авторегрессионная языковая модель семейства Phi-3 с 3,7 млрд параметров, предназначенная для генерации текста в диалоговом и кодовом сценариях. Модель принимает текст и выдаёт текст; заявленный контекст — 4096 токенов. В метаданных указаны английский язык и поддержка чата и кода. Модель опубликована в формате safetensors и подготовлена с помощью mlx-lm версии 0.15.3 для использования с MLX. Лицензия — MIT. Карточка не приводит отдельных сведений о качестве или дополнительных ограничениях.

Карточка модели nttruong1007/qb-phi4-mini на Hugging Face совпадает с карточкой microsoft/Phi-4-mini-instruct, поэтому описание составлено по ней. Phi-4-mini-instruct — компактная языковая модель Microsoft семейства Phi-4 с архитектурой Phi-3 и 3,8 млрд параметров. Она обучена на синтетических данных и отфильтрованных общедоступных веб-материалах, а затем дообучена с учителем и оптимизирована по предпочтениям для следования инструкциям и повышения безопасности. Метаданные указывают контекст 4096 токенов; в README заявлен контекст до 128K токенов. Модель предназначена для диалоговых и генеративных приложений общего назначения, особенно при ограниченных вычислительных ресурсах или требованиях к низкой задержке. Среди заявленных сильных сторон — рассуждения, в особенности математические и логические задачи, следование инструкциям, работа с кодом и интерфейс вызова инструментов. Поддерживается многоязычная работа, включая русский и английский; качество может различаться между языками. Модель принимает текст и генерирует текст. Она выпущена под лицензией MIT. README предупреждает о возможных ошибках и вредных ответах, уязвимости к длительным многоходовым jailbreak-атакам и галлюцинациях имён функций или URL при вызове инструментов; для конкретных сценариев рекомендуется оценивать точность, безопасность и справедливость.

Qwen3-30B-A3B-FP8-block — квантизированная версия языковой модели Qwen3-30B-A3B, разработанная Red Hat. Это текстовая модель для генерации текста, диалоговых сценариев, решения задач общего характера и программирования. Модель построена на архитектуре Qwen3MoeForCausalLM и работает с текстом на входе и выходе; сведения о поддерживаемых языках и максимальной длине контекста в карточке не указаны. В модели применена FP8-квантизация весов и активаций линейных операторов внутри трансформерных блоков с пок блочной квантизацией весов и динамической токен-ориентированной квантизацией активаций. Квантизация снижает представление параметров с 16 до 8 бит и примерно на 50% уменьшает размер модели на диске и требования к видеопамяти. Исходная модель имеет обозначение 30B-A3B; более подробные сведения о числе активных параметров и конфигурации MoE в README не приведены. По результатам оценки на OpenLLM и наборах для генерации кода FP8-версия сохраняет близкую к исходной точность: средний результат OpenLLM V1 составил 73,52 против 73,75 у исходной модели. Основные преимущества — снижение требований к памяти и возможность развертывания через vLLM, включая использование tensor parallelism. Ограничения — возможная потеря точности из-за квантизации, отсутствие данных о языковом покрытии и контексте, а также необходимость совместимой инфраструктуры для эффективного запуска. Модель распространяется по лицензии Apache-2.0.

shatu/Qwen3.5-27B — публикация Шашанка, содержащая веса и конфигурацию Qwen3.5-27B в формате Transformers. По README, веса идентичны Qwen/Qwen3.5-27B, а изменённый шаблон чата сохраняет промежуточные рассуждения между ходами диалога. Это мультимодальная причинная языковая модель с визуальным энкодером: плотная архитектура Qwen3.5 объединяет Gated Delta Networks и разреженные блоки внимания. В модели 27 млрд параметров и 64 слоя; нативный контекст — 262 144 токена, с расширением до 1 010 000 токенов. Модель предназначена для диалогов, анализа изображений, рассуждений, программирования и сценариев с вызовом инструментов. Она поддерживает 201 язык и диалект согласно README. Репозиторий использует safetensors и совместим с Transformers и рядом движков инференса. Лицензия — Apache-2.0. Это изменённая публикация существующих весов, а не новое обучение; качество и поведение шаблона зависят от используемого движка и его совместимости с Qwen3.5.

Qwen3.5-35B-A3B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-35B-A3B, разработанная ByteShape с использованием ShapeLearn. ShapeLearn подбирает оптимальный тип данных для каждого тензора, стремясь сохранить качество при малой разрядности. Модель распространяется в вариантах для GPU и CPU с различными компромиссами между размером, скоростью и качеством; размер доступных вариантов в приведённой таблице составляет от 9,41 до 17,9 ГБ при 2,17–4,12 бит на вес. Модель предназначена для текстовых и визуально-текстовых задач, включая диалоговое применение, программирование, агентные сценарии, function calling и обработку изображений. Она поддерживает vision-возможности при запуске через llama.cpp с автоматической загрузкой vision projector. Для работы рекомендуются llama.cpp или LM Studio; на момент публикации Ollama не поддерживает эту модель на базе Llama.cpp GGUF. В README не указаны языки и размер контекстного окна. К сильным сторонам относятся доступность нескольких уровней квантизации, оптимизация под разные аппаратные платформы и заявленная ориентация на сохранение качества при низкой разрядности. Ограничения включают зависимость характеристик от выбранного варианта квантизации и оборудования, а также отсутствие в README подробных численных результатов benchmark-тестов для конкретных файлов. Модель распространяется по лицензии Apache-2.0.

hamishivi/Qwen3.5-9B — дообученная мультимодальная модель на 9 млрд параметров, основанная на Qwen/Qwen3.5-9B-Base. Это причинная языковая модель с визуальным энкодером, реализованная в архитектуре Qwen3.5 и представленная в формате Transformers с весами safetensors; она поддерживает чат и интерфейс вызова инструментов. Модель предназначена для диалога и рассуждений по тексту и изображениям, визуального понимания, программирования и агентных сценариев с использованием инструментов. В README заявлена поддержка 201 языка и диалекта. Контекст составляет 262 144 токена и может расширяться до 1 010 000 токенов; по умолчанию модель работает в режиме рассуждений. Архитектура сочетает Gated Delta Networks и разреженную смесь экспертов. Для обслуживания доступны Transformers, vLLM, SGLang и KTransformers; README рекомендует современные версии этих фреймворков и специализированные движки для высокой пропускной способности. Длинный контекст может требовать значительных ресурсов памяти. Лицензия — Apache-2.0.

FreedomAISVR подготовил GGUF-вариант мультимодальной инструктивной модели Qwen3.5-9B с квантизацией MXFP4. Модель содержит 32 трансформерных блока с гибридной архитектурой attention, FFN и SSM, дополнительную голову Multi-Token Prediction и проектор SigLIP для обработки изображений. Размер модели — 9 млрд параметров, контекст — до 262 144 токенов; веса представлены в 4-битном формате MXFP4, а проектор — в F16. Модель предназначена для генерации ответов и диалога на нескольких языках, понимания изображений и видео, вызова инструментов, рассуждений и задач по коду. Режим рассуждений в этой сборке выключен по умолчанию и включается параметром enable_thinking=true. Для мультимодального запуска требуется подключить файл проектора mmproj; использовать сборку можно через llama.cpp и совместимые инструменты для GGUF. Модель основана на Qwen/Qwen3.5-9B и распространяется по лицензии Apache-2.0. Квантизация уменьшает требования к памяти, но может повлиять на точность по сравнению с исходными весами. В README указана поддержка английского, китайского и кода; метаданные также отмечают многоязычность.

Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-NVFP4 — это квантизированная версия модели AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16, опубликованная sakamakismile. Сама базовая модель разработана AEON-7 на основе семейства Qwen; данный репозиторий содержит только квантизированные веса. Модель предназначена для генерации текста, включая диалоговые сценарии, рассуждения, программирование и многоязычные задачи. Используется квантизация NVFP4 W4A4 с размером группы 16: большая часть параметров представлена в 4-битном формате, а lm_head, vision tower, conv1d DeltaNet и MTP head сохранены в bf16. Размер весов уменьшен с 55,6 до 20,58 ГБ. Сохранена MTP-голова для speculative decoding; модель рассчитана на GPU Blackwell SM120 и работу через vLLM. В README указана конфигурация с контекстом до 32 768 токенов и KV-кэшем FP8. Проверялись японское самопредставление, арифметика, проверка простоты чисел и генерация Python-кода; также приведены тесты на английском и французском языках. Сильные стороны модели — существенно меньший размер по сравнению с BF16-версией, возможность размещения на двух видеокартах по 16 ГБ с запасом для KV-кэша и ускорение за счёт speculative decoding. Для длинных запросов рекомендуется устанавливать reasoning_effort в medium: при максимальном уровне модель может чрезмерно долго генерировать блок рассуждений, зацикливаться и не выдавать итоговый ответ. В длинном одnofайловом коде иногда пропускается закрывающая скобка, поэтому рекомендуется использовать синтаксическую проверку. Модель лицензирована по Apache-2.0.

cyankiwi/Qwen3.8-27B-AWQ-FP8 — квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем cyankiwi. Модель предназначена для работы в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и TokenSpeed. Это плотная причинно-следственная языковая модель с vision-энкодером, поддерживающая понимание текста, изображений и видео. Она ориентирована на программирование, профессиональные и исследовательские задачи, обработку документов и STEM-материалов, а также многошаговые агентские сценарии. Доступны управляемый режим рассуждений, настройка глубины рассуждений через reasoning_effort и сохранение контекста рассуждений между сообщениями через preserve_thinking. Модель содержит 27 млрд параметров, 64 слоя и имеет нативную длину контекста 262 144 токена с возможностью расширения до 1 000 000 токенов. Заявлена поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Размер опубликованных файлов составляет 31,28 ГБ. К сильным сторонам относятся мультимодальность, длинный контекст и ориентация на сложные многошаговые задачи; конкретные ограничения производительности в представленном фрагменте README не указаны. Модель распространяется по лицензии Apache 2.0.

Это квантизированная в формате GGUF BF16 версия модели Qwen3.8-27B-Brainwaves-WFH-BF16 от nightmedia, подготовленная mradermacher. Репозиторий содержит взвешенные imatrix-кванты, включая варианты для разных требований к размеру и качеству; README также приводит вариант IQ1_S размером 7,2 ГБ и IQ1_M размером 7,7 ГБ. Модель предназначена для генерации текста в диалоговом и инструкционном режиме. Метаданные указывают на применение в программировании, математике, рассуждениях и творческом письме; заявлены английский, китайский, японский и испанский языки. Для использования требуются совместимый с GGUF движок и выбранный файл квантизации. Лицензия — Apache-2.0.