II.1Анализ требований и архитектура ПО

ssmits опубликовал текстовую диалоговую модель Llama-3.1-Nemotron-92B-Instruct-HF-late, полученную слиянием через mergekit методом passthrough на основе nvidia/Llama-3.1-Nemotron-70B-Instruct-HF. Модель с плотной архитектурой LlamaForCausalLM содержит 90,9 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Модель предназначена для диалога, генерации ответов на инструкции и запросы, а также сценариев с интерфейсом вызова инструментов. Она распространяется в формате safetensors через библиотеку Transformers. Сведения о лицензии и конкретных ограничениях качества или безопасности в предоставленных данных отсутствуют.

unsloth/Llama-3.2-3B-Instruct — текстовая диалоговая модель семейства Llama 3.2, разработанного Meta и опубликованного Unsloth в виде модели на базе meta-llama/Llama-3.2-3B-Instruct. Это плотный авторегрессионный трансформер с архитектурой LlamaForCausalLM и примерно 3,2 млрд параметров; веса представлены в формате safetensors. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и предназначена для многоязычных диалогов. Модель подходит для генерации ответов, суммаризации, поиска знаний в диалоговых сценариях и построения приложений с вызовом инструментов. В карточке Unsloth также приведены ноутбуки для дообучения и экспорта моделей, но это описание относится к самому чекпойнту. README указывает поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; метаданные отдельно отмечают английский. Использование регулируется лицензией Llama 3.2 Community License — специальной коммерческой лицензией Meta.

v2ray/Llama-3-70B-Instruct — перезагрузка модели Meta Llama 3 70B Instruct, предназначенной для диалогового использования. Это авторегрессионная плотная языковая модель на базе оптимизированного Transformer с Grouped-Query Attention; объём модели — 69,5 млрд параметров, контекст — 8192 токена. Модель принимает текст и генерирует текст, включая код. Модель подходит для англоязычного диалогового помощника и задач генерации текста. В карточке описана настройка инструкционных версий с помощью supervised fine-tuning и обучения с подкреплением на основе человеческой обратной связи. Разработчик — Meta; версия выпущена 18 апреля 2024 года. Модель рассчитана прежде всего на английский язык. Для использования действует пользовательская коммерческая лицензия Meta Llama 3 и связанные с ней условия допустимого использования. Ответы могут требовать проверки и дополнительных мер безопасности в зависимости от приложения.

unsloth/llama-3-8b-bnb-4bit — это 4-битная квантованная версия 8-миллиардной языковой модели Llama 3, подготовленная Unsloth на базе Meta-Llama-3-8B. Исходную модель разработала Meta. Она предназначена для генерации текста и кода, диалоговых сценариев, текстового автодополнения и последующего дообучения на пользовательских наборах данных. Модель принимает только текст и генерирует текст или код. В основе лежит авторегрессионная архитектура оптимизированного Transformer; заявлены Grouped-Query Attention и контекстное окно 8 тысяч токенов. Модель обучалась на смеси общедоступных онлайн-данных; дата отсечения знаний — март 2023 года. Квантование до 4 бит снижает требования к памяти и делает модель более удобной для локального запуска и тонкой настройки, однако может уменьшать качество по сравнению с полноточной версией. Модель не поддерживает изображения и другие модальности, а качество ответов зависит от исходной Llama 3 и конкретного сценария использования. В README указана лицензия Llama 3 (license: llama3).

Llama-3-Giraffe-70B-Instruct — разговорная языковая модель Abacus.AI, созданная на основе Meta Llama 3 70B Instruct с расширенным контекстом. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров; в метаданных указана длина контекста 8192 токена, а авторы заявляют эффективную длину около 128 тысяч токенов. Для расширения контекста применялись PoSE и динамическая NTK-интерполяция; обучающий адаптер переносили с Llama-3-70B-Base на Instruct-версию и выпустили слитую модель. Модель предназначена для диалогов, следования инструкциям и ответов на вопросы по длинным текстам, включая поиск информации в большом контексте. В README приведены результаты MT-Bench, близкие к исходной Llama 3 70B Instruct, и эксперименты Needle-in-a-Haystack до 128 тысяч токенов; оценивание эффективности авторы продолжают. Модель принимает текст и генерирует текст, карточка указывает английский язык. Репозиторий содержит веса Safetensors. Лицензия — Llama 3 License (llama3).

Meta-Llama-3.1-70B-Instruct-iMat-GGUF — это квантизированная версия инструкционной языковой модели Meta-Llama-3.1-70B-Instruct, разработанной Meta. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. Доступна в формате GGUF для использования с совместимыми инструментами, в частности с актуальными версиями llama.cpp. Модель содержит около 70 миллиардов параметров и работает с текстовыми данными. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Представлены варианты квантизации от Q8_0 до IQ1_S, включая экспериментальные варианты; при квантизации использовалась importance matrix (imatrix), призванная уменьшить потери качества. Длина контекста в README не указана. Сильной стороной модели является сочетание крупного размера, инструкционного обучения и широкого набора вариантов квантизации, позволяющих выбирать компромисс между качеством, скоростью и требованиями к памяти. Ограничения связаны с тем, что качество и ресурсоёмкость зависят от выбранного варианта квантизации, а для работы требуется современная сборка совместимого программного обеспечения. Модель распространяется по лицензии llama3.1.

unsloth/Meta-Llama-3.1-8B-Instruct — инструкционно настроенная плотная авторегрессионная языковая модель семейства Llama, опубликованная Unsloth на основе Meta-Llama-3.1-8B-Instruct. Она предназначена для диалогов, генерации текста и выполнения пользовательских инструкций; каталог также отмечает интерфейс вызова инструментов. В репозитории указаны 7,5 млрд параметров, формат safetensors и библиотека Transformers. Заявленная длина контекста — 131 072 токена. Модель подходит для создания чат-ботов, генерации и продолжения текста, а также приложений, использующих интерфейс вызова инструментов. В метаданных указан английский язык; README посвящён настройке Llama 3.1 и не сообщает результатов оценки качества именно этой версии. Лицензия — llama3.1; условия использования следует сверять с лицензией семейства Llama 3.1.

Карточка модели vy22215/Meta-Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

QuantFactory/Meta-Llama-3-8B-GGUF — это GGUF-квантизированная версия Meta Llama 3 8B, разработанная Meta и опубликованная QuantFactory. Модель предназначена для генерации текста и кода, включая текстовые приложения и диалоговые сценарии. Она принимает только текстовые входные данные и генерирует текст или программный код. Модель представляет собой авторегрессионную языковую модель на основе оптимизированной архитектуры Transformer с Grouped-Query Attention (GQA). Она содержит 8 млрд параметров, имеет контекстное окно 8 тысяч токенов и обучалась на новом сочетании общедоступных онлайн-данных объёмом более 15 трлн токенов. В README указан английский язык. Квантизация в формате GGUF может повысить эффективность локального вывода, однако конкретные параметры квантизации и требования к ресурсам не указаны. Сильными сторонами модели являются компактный для семейства Llama 3 размер, поддержка генерации текста и кода, а также оптимизация GQA для масштабируемости инференса. Ограничения включают текстовую модальность, статичность обученной версии и дату отсечения знаний — март 2023 года. Для instruction-tuned вариантов Llama 3 заявлены оптимизация диалогового взаимодействия, полезности и безопасности, но README не уточняет, является ли данный GGUF-файл предварительно обученной или instruction-tuned версией. Использование регулируется специальной коммерческой лицензией Llama 3 от Meta.

Meta-Llama-3-8B-Instruct-llamafile — это инструкционная версия языковой модели Llama 3, разработанная Meta и упакованная в исполняемый формат llamafile проектом Mozilla Ocho. Версия содержит около 8 млрд параметров и предназначена для локального запуска на Linux, macOS, Windows, FreeBSD, OpenBSD и NetBSD на платформах AMD64 и ARM64. Указанный вариант связан с квантованием, выполненным jartine, и основан на meta-llama/Meta-Llama-3-8B-Instruct. Модель принимает только текст и генерирует текст и код. Она ориентирована прежде всего на англоязычные диалоговые сценарии, работу в формате ассистента и задачи генерации естественного языка. Архитектура представляет собой авторегрессионный оптимизированный Transformer с Grouped-Query Attention; модель дообучена с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Длина контекста составляет 8k токенов, данные обучения включают более 15 трлн токенов общедоступных онлайн-данных, дата отсечения знаний — март 2023 года. Сильными сторонами являются возможность автономного локального запуска без отдельной сложной инфраструктуры, поддержка распространённых настольных операционных систем и оптимизация для диалогового взаимодействия. Ограничения включают работу преимущественно с английским языком, текстовую модальность, статичность обученной версии и возможные потери качества или рост галлюцинаций при использовании более агрессивных форматов квантования. Модель распространяется по пользовательской коммерческой лицензии Llama 3; применение должно соответствовать условиям Llama 3 Community License, Acceptable Use Policy и действующему законодательству.

Карточка модели lucyknada/microsoft_WizardLM-2-7B на Hugging Face совпадает с карточкой dreamgen/WizardLM-2-7B, поэтому описание составлено по ней. WizardLM-2 7B — плотная авторегрессионная языковая модель семейства Mistral, разработанная командой WizardLM в Microsoft AI и дообученная на базе mistralai/Mistral-7B-v0.1 с использованием синтетической обучающей системы. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; нативная длина контекста — 32 768 токенов. Модель предназначена для диалогов и выполнения сложных инструкций, включая рассуждения, написание текстов, программирование, математические задачи и многоязычные запросы. Авторы позиционируют версию 7B как быструю модель, показывающую сильные результаты для своего размера; заявленные оценки основаны на MT-Bench и сравнении предпочтений людей. Модель распространяется под лицензией Apache 2.0. Карточка не приводит конкретный перечень поддерживаемых языков и не описывает отдельные механизмы вызова инструментов; качество ответов и результаты бенчмарков следует оценивать для целевых задач самостоятельно.

MiniCPM5-2B MLX 8-bit — это квантованная версия текстовой языковой модели OpenBMB MiniCPM5-2B, подготовленная в формате MLX для локального запуска. Модель имеет плотную Llama-based архитектуру и около 2 млрд параметров; конверсия использует аффинное 8-битное квантование с размером группы 64 и занимает примерно 2,5 ГБ в формате MLX safetensors. Поддерживаются английский и китайский языки, максимальная длина контекста составляет 131 072 токена. Модель предназначена для генерации текста, программирования, рассуждений, задач с длинным контекстом и использования инструментов, включая сценарии локального развертывания через mlx-lm. Это text-only модель: компоненты для обработки изображений и MTP-файлы отсутствуют, поэтому мультимодальные задачи не поддерживаются. Лицензия — Apache-2.0; приведённые в README результаты тестирования относятся к исходной версии MiniCPM5-2B от OpenBMB, а не непосредственно к этой MLX-конверсии.

hermes42/Mistral-7B-Instruct-v0.3-imatrix-GGUF — это GGUF-квантизированная версия Mistral-7B-Instruct-v0.3, разработанного командой Mistral AI. Модель представляет собой инструкционно дообученную большую языковую модель примерно на 7 млрд параметров для генерации текста и диалогового взаимодействия. Модель предназначена для следования инструкциям, чат-сценариев, ответов на вопросы, создания и обработки текста, а также задач, связанных с программным кодом. Исходная Mistral-7B-Instruct-v0.3 поддерживает function calling, использует tokenizer v3 и расширенный словарь размером 32768 токенов. Поддержка языков и размер контекстного окна в предоставленных данных не указаны. Версия в данном репозитории дополнительно обработана с помощью importance matrix на наборе group_10_merged.txt, что направлено на улучшение perplexity, и подготовлена с использованием llama.cpp. К сильным сторонам относятся компактный размер по меркам современных LLM, возможность локального запуска через совместимые инструменты GGUF и llama.cpp, инструкционное обучение и поддержка вызова функций в исходной модели. Ограничения включают отсутствие встроенных механизмов модерации, возможные потери качества из-за квантизации и отсутствие сведений о конкретном формате квантизации, контекстном окне и языковом покрытии этой сборки. Модель распространяется по лицензии Apache-2.0.

Mistral-Large-Extra — языковая модель для генерации текста, созданная автором softwareweaver с помощью mergekit на основе mistralai/Mistral-Large-Instruct-2407. В README описано объединение модели с самой собой методом passthrough: в конфигурации используются слои 0–70 и 17–87, а веса представлены в bfloat16. Модель предназначена для творческого письма, диалога и других задач генерации текста; метаданные также указывают интерфейс для вызова инструментов. Архитектура — плотная MistralForCausalLM, размер — 194,2 млрд параметров, заявленный контекст — до 131 072 токенов. Базовая модель Mistral Large Instruct поддерживает диалог, рассуждения и программирование. Лицензия в предоставленных данных не указана.

NeoHorse-1-9B — текстовая причинно-следственная языковая модель TokenRhythm, дообученная на базе Qwen3.5-9B для работы с агентными системами. Модель имеет 7,2 млрд параметров, использует архитектуру Qwen3.5 и принимает только текст; визуальные веса в этом выпуске отсутствуют. Заявленная длина контекста — 262 144 токена. Модель предназначена для диалогов, следования инструкциям, вызова инструментов, программирования и рассуждений в текстовых агентных сценариях. В техническом отчёте авторы сообщают о среднем результате 69,04 по десяти тестам против 65,60 у базовой Qwen3.5-9B; это результаты авторской оценки, а не гарантия качества в конкретном применении. Доступны веса в формате safetensors и интерфейс для вызова инструментов. Лицензия — Apache-2.0.

Nex-N2.5-mini-GGUF — это квантизированное представление модели Nex-N2.5-mini, разработанной Nex-AGI и преобразованной в формат GGUF с использованием llama.cpp. Модель предназначена для генерации текста, программирования, агентских сценариев, вызова инструментов, работы с компьютером и мультимодальных задач. Поддерживаются английский и китайский языки. Исходная модель заявлена с контекстным окном до 262 144 токенов и может использоваться в текстовом режиме или с дополнительным vision-проектором mmproj-Nex-N2.5-mini-F16.gguf для мультимодальной обработки. Репозиторий содержит варианты квантизации от Q8_0 до IQ1_S и TQ1_0, поэтому можно выбирать между качеством, размером файлов и требованиями к памяти. Размеры файлов составляют примерно от 7,48 до 36,90 ГБ, а проектор занимает 899 МБ. Сильными сторонами являются поддержка длинного контекста, инструментов и мультимодальных сценариев, а также возможность локального запуска через llama.cpp и OpenAI-совместимый сервер. Ограничения связаны с необходимостью значительного объёма памяти, возможной потерей качества при агрессивной квантизации и зависимостью корректной работы вызова инструментов от возможностей конкретного runtime и его интеграции. Приведённые в README результаты тестов относятся к исходному семейству Nex-N2.5, а не непосредственно к этой GGUF-конверсии. Модель распространяется по лицензии Apache-2.0.

NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF — GGUF-версия крупной языковой модели NVIDIA-Nemotron-3-Ultra-550B-A55B, подготовленная Unsloth на основе модели NVIDIA. Разработчик исходной модели — NVIDIA Corporation. Модель предназначена для сложного рассуждения, многошаговых агентных сценариев, использования инструментов, анализа длинного контекста, мультиязычного reasoning и высокоточного RAG в критически важных задачах. Режим рассуждения можно включать или отключать через параметр chat template enable_thinking=True/False. Модель содержит 550 млрд параметров, из которых 55 млрд активны. Она использует гибридную архитектуру LatentMoE, объединяющую Mamba-2, Mixture-of-Experts и attention, а также Multi-Token Prediction (MTP). Максимальная длина контекста заявлена до 1 млн токенов. Поддерживаются английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, хинди, арабский, китайский и иврит. Для развёртывания полной модели требуется значительная инфраструктура: минимум указаны 8 ускорителей GB200/B200/GB300/B300, 16 H100 или 8 H200. Сильными сторонами модели являются масштаб, поддержка длинного контекста, reasoning, агентные рабочие процессы, работа с инструментами и мультиязычность. Ограничениями выступают очень высокие требования к GPU и вычислительным ресурсам; конкретные характеристики производительности GGUF-квантования в README не приведены. Модель распространяется по лицензии OpenMDW License Agreement версии 1.1.

OpenChat 3.5 — диалоговая языковая модель, разработанная командой OpenChat и дообученная методом C-RLFT на смеси публичных инструкционных данных разного качества. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и принимает текстовые сообщения, выдавая текстовые ответы в формате диалога. Модель предназначена для общения с пользователем, ответов на вопросы и выполнения инструкций; её также можно применять для генерации и объяснения кода, математики и рассуждений. Заявленный контекст — 8192 токена. В README приведены результаты на нескольких бенчмарках, включая MT-Bench, HumanEval и GSM8K; эти результаты зависят от методики оценки и не гарантируют качество в конкретной задаче. Модель распространяется по лицензии Apache-2.0. Разработчики предупреждают о возможных ошибках и вымышленных сведениях, слабых местах в сложных рассуждениях, математике и программировании, а также о вероятности вредных или предвзятых ответов; важные результаты следует проверять, а для чувствительных сценариев применять дополнительные меры безопасности.

Orion-14B-LongChat — многоязычная плотная авторегрессионная языковая модель компании OrionStarAI, обученная с нуля. Версия LongChat предназначена для диалогов и работы с очень длинными текстами; заявленная длина контекста составляет 200 000 токенов, а максимальная поддерживаемая длина — до 320 000 токенов. Размер модели — 14,1 млрд параметров, формат весов в репозитории — PyTorch. Модель рассчитана на генерацию текста и может применяться для диалогов, анализа длинных документов и работы с кодом. В карточке заявлена поддержка китайского, английского, японского и корейского языков; модель обучена на многоязычном корпусе объёмом 2,5 трлн токенов. OrionStarAI указывает на высокие результаты для длинных последовательностей, но качество ответов и фактическая точность могут зависеть от задачи и входного контекста. Условия лицензирования в предоставленной карточке не описаны.

Ornith-1.5-9B-OptiQ-4bit — квантованная версия языковой reasoning-модели Ornith-1.5-9B-MLX, разработанной ornith-ai и адаптированной сообществом mlx-community для MLX. Модель предназначена для локального запуска на устройствах Apple Silicon без PyTorch и облачных сервисов, а также для генерации текста, рассуждений, работы с длинным контекстом, function calling, tool use и агентских сценариев. Указан английский язык. Модель основана на архитектуре Qwen3.5 с 9 млрд параметров и 32 слоями. Используется смешанная покомпонентная квантизация OptiQ: 116 компонентов представлены в 4-битном формате, 134 — в 8-битном, размер группы — 64. На диске модель занимает около 7 ГБ; обозначение 4bit относится к семейству квантов, а не к среднему числу бит на параметр. Для запуска используются mlx-lm и mlx-optiq, доступен совместимый с OpenAI и Anthropic серверный интерфейс с поддержкой смешанной точности KV-кэша. Сильными сторонами являются уменьшенный размер, локальная работа на Apple Silicon и сохранение более высокой точности в чувствительных слоях за счёт смешанной квантизации. Ограничения включают специализацию на экосистеме MLX и Apple Silicon, а также необходимость выделять модели достаточный бюджет токенов для reasoning-сценариев. Модель распространяется по лицензии Apache-2.0.

Phi-3-medium-128k-instruct-GGUF — квантизированная версия инструкционной языковой модели Phi-3-medium-128k-instruct, разработанной Microsoft и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, работу с длинными документами и программным кодом. В README указана поддержка multilingual, однако конкретный перечень языков не приведён. Архитектура и точное число параметров не указаны; модель относится к типу phi-msft и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, размером примерно от 5,14 до 27,9 ГБ. Варианты с более сильной квантизацией требуют меньше памяти, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые для баланса между размером и качеством. Модель рассчитана на запуск через совместимые инструменты, включая LlamaEdge, с использованием шаблона phi-3-chat. Лицензия — MIT; дополнительные ограничения или сведения о мультимодальности в README не указаны.

unsloth/phi-4-bnb-4bit — это 4-битная версия модели Phi-4, разработанной Microsoft Research и преобразованной Unsloth в архитектуру, совместимую с Llama, для более удобного использования и дообучения. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, решения математических задач и работы с программным кодом. Она принимает текстовые входы, предпочтительно в формате чата, и генерирует текстовые ответы. Исходная Phi-4 представляет собой плотную decoder-only Transformer-модель с 14 млрд параметров и контекстным окном до 16 000 токенов. В карточке указано, что модель ориентирована на английский язык. Для обучения использовались синтетические данные, отфильтрованные общедоступные веб-источники, академические книги и наборы вопросов и ответов; модель прошла supervised fine-tuning и direct preference optimization. К сильным сторонам относятся компактность относительно более крупных моделей, акцент на качестве данных и рассуждениях, а также сниженные требования к памяти благодаря 4-битному представлению. Ограничения включают текстовую модальность, англоязычную специализацию, статичность модели и отсечение публичных данных на июнь 2024 года; актуальные сведения она самостоятельно не получает. Лицензия — MIT.

phi-4-GGUF — это квантизированная в формате GGUF версия языковой модели Phi-4, разработанной Microsoft. Квантизация выполнена bartowski на основе llama.cpp, релиз b4456. Модель предназначена для генерации текста, диалогового взаимодействия, решения математических задач, программирования и других задач обработки естественного языка. Модель поддерживает контекст до 16 000 токенов и обучалась на 9,8 триллиона токенов, включая синтетические данные, отфильтрованные общедоступные веб-страницы, академические книги и наборы вопросов и ответов. В метаданных указан английский язык. Формат GGUF и совместимость с llama.cpp делают модель пригодной для локального запуска в приложениях, поддерживающих этот формат, включая LM Studio. К сильным сторонам относятся широкий набор обучающих данных, поддержка длинного контекста и специализация на задачах диалога, математики и кода. Модель может генерировать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. В README не указаны конкретная архитектура, число параметров и характеристики отдельных вариантов квантизации. Модель распространяется по лицензии MIT.

Qwen2.5-Coder-32B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-Coder-32B-Instruct, разработанной Qwen и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и работы с программным кодом, включая сценарии чат-взаимодействия и задачи, где требуется понимание или создание кода. В README указан английский язык, а для общения используется шаблон ChatML. Модель имеет размер 32 млрд параметров и поддерживает контекст до 128 000 токенов при запуске через LlamaEdge. Доступны варианты с разной степенью квантизации — от Q2_K до Q8_0, а также F16; размер файлов составляет примерно от 12,3 до 34,8 ГБ, причём варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу между качеством и размером. Более сильная квантизация уменьшает требования к ресурсам, но может заметно снижать качество. Модель подходит для локального развёртывания и использования через LlamaEdge версии 0.14.14 или новее, включая запуск как сервиса или командного приложения. README не указывает мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Распространение осуществляется по лицензии Apache 2.0.

YOYO-AI/Qwen3-30B-A3B-YOYO-Thinking-Chimera — объединённая модель Qwen3, созданная YOYO-AI методом «сшивания» компонентов двух вариантов Qwen3-30B-A3B: Instruct-2507 и Thinking-2507. Веса экспертов маршрутизации и внимания взяты из Thinking, остальные компоненты — из Instruct. Модель предназначена для диалогов, выполнения инструкций и генерации текста с рассуждениями; метаданные также указывают интерфейс вызова инструментов. Архитектура — MoE с классом Qwen3MoeForCausalLM. В метаданных указано 2,6 млрд параметров, формат хранения — safetensors; README сообщает о точности bfloat16 и контексте до 262 144 токенов, а также упоминает вариант длины 1 010 000 токенов без пояснения его условий. Языки карточки — английский и китайский. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-4B-bf16 — конверсия модели Qwen/Qwen3-4B в формат MLX, выполненная сообществом mlx-community; веса представлены в bf16. Это плотная авторегрессионная языковая модель Qwen3 с примерно 3,7 млрд параметров, предназначенная для генерации текста и диалогов. Она поддерживает контекст до 40 960 токенов, а метаданные также указывают интерфейс для вызова инструментов. Модель можно применять для ответов в чате, рассуждений, генерации кода и многоязычных текстовых задач. Для запуска используется библиотека MLX и пакет mlx-lm; карточка README описывает преобразование исходной модели Qwen/Qwen3-4B в формат MLX. Лицензия — Apache-2.0.

Qwen3.5-9B-Qworus-V2 — гибридная языковая модель для генерации текста, разработанная на основе объединения моделей empero-ai/Qwen3.8-9B-Distill и ornith-ai/Ornith-1.5-9B. Модель создана методом 50/50 DARE-TIES merge и предназначена для задач программирования, рассуждений, вызова инструментов, планирования, проектирования и ответов на вопросы. Модель доступна через Transformers и ориентирована на text generation. Указан размер 9B; поддерживаются форматы Safetensors и GGUF. Для GGUF предоставлены варианты квантования Q4_K_L для систем с ограниченными ресурсами и Q6_K_L для более высокой точности. В этих вариантах слои токенов и вывода повышены до Q8_0, а тензоры ssm_* используют BF16 или Q8_0 для повышения точности на длинных контекстах. Для квантований imatrix обучена на смеси данных, включающей код, бизнес-тексты, математику и Wikipedia. Модель не является полностью uncensored по умолчанию, поскольку обе исходные модели не были uncensored. В README не указаны поддерживаемые языки, максимальная длина контекста и лицензия, поэтому эти характеристики нельзя определить по имеющимся данным.

Red Hat AI публикует открытые веса Qwen3.6-35B-A3B — постобученную причинную языковую модель с MoE-архитектурой и визуальным энкодером. Она предназначена для диалогов, программирования и агентных сценариев с вызовом инструментов, включая работу с изображениями и видео. Модель содержит 35 млрд параметров, из которых активируются 3 млрд; в языковой части 40 слоёв и 256 экспертов, из которых на токен задействуются 8 маршрутизируемых и один общий. Нативный контекст составляет 262 144 токена и может расширяться до 1 010 000. Среди заявленных сильных сторон — программирование на уровне репозитория, создание интерфейсов и сохранение контекста рассуждений между сообщениями. Модель поддерживает обработку изображений и видео, а примеры оценивания программирования включают английский и китайский; README не позволяет надёжно определить полный список поддерживаемых языков. Веса доступны в формате Safetensors и совместимы с Transformers, vLLM и другими указанными средами. Лицензия — Apache-2.0. Для запуска на длинном контексте нужны значительные вычислительные ресурсы; README советует уменьшать контекст при нехватке памяти, сохраняя по возможности не менее 128K токенов.

Esper 3.1 — дообученная Valiant Labs модель на базе Qwen3.6-35B-A3B, предназначенная для рассуждений о программировании, архитектуре систем и DevOps. Она ориентирована на помощь разработчикам и инженерам: решение сложных задач по коду, проектирование инфраструктуры, настройку CI/CD и работу с MLOps и AI-системами. Модель построена на архитектуре Qwen MoE; в метаданных указано 2,9 млрд параметров и контекст до 262 144 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Карточка также указывает поддержку анализа изображений наряду с генерацией текста. Модель рассчитана прежде всего на английский язык. Модель распространяется по лицензии Apache-2.0. Карточка позиционирует её как специалиста по коду, архитектуре и DevOps, но не приводит независимых оценок качества; её ответы и сгенерированные конфигурации следует проверять перед применением.

Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-Llama — модель от oktayd, распространяемая в формате GGUF для запуска через llama.cpp. Это локальный мультимодальный conversational-модельный вариант с поддержкой работы с текстом и изображениями, включая скриншоты, документы, диаграммы и сцены. Модель ориентирована на ответы на вопросы, объяснение научных и рабочих тем, программирование и отладку, работу с инструментами и агентскими сценариями, анализ визуальных данных, написание текстов, ролевое общение и настройку стиля диалога. Модель относится к семейству Qwen3.6-35B-A3B и использует архитектуру Mixture of Experts с примерно 35 млрд параметров всего и около 3 млрд активных параметров на токен; конфигурация выбирает 8 из 256 маршрутизируемых экспертов. Заявленный нативный контекст составляет 262 144 токена, однако для рекомендуемого запуска указан профиль на 131 072 токена. Доступны квантованные GGUF-варианты разных размеров, а исходная BF16-версия сохраняет vision- и MTP-тензоры. Поддержка языков подробно не указана, но в обучающих материалах присутствуют многоязычные подписи. Сильные стороны модели — сочетание текстовых, программных, инструментальных и визуальных сценариев, относительно экономичная по вычислениям MoE-архитектура и возможность локального запуска. При этом общий объём параметров требует значительных ресурсов хранения и памяти даже при активации только части экспертов. Модель может ошибаться или повторяться, её ответы требуют проверки, а заявленные возможности не являются гарантией высокой точности. В README также указана аблитерированная, uncensored-направленность и наличие материалов для взрослой тематики, поэтому модель подходит не для всех аудиторий. Лицензия — Apache-2.0.