II.6Документация и сопровождение разработки

Omega AI 70B — диалоговая языковая модель семейства Omega AI, представленная как дообученная на базе meta-llama/Llama-3.3-70B-Instruct. По метаданным, модель содержит 71,5 млрд параметров, использует архитектуру Qwen2ForCausalLM и принимает текст для генерации ответов; доступны интерфейсы чата и вызова инструментов. Контекст составляет до 32 768 токенов. Модель предназначена для диалоговых ассистентов и генерации текста. README характеризует репозиторий как справочный и уточняет, что фирменное название Omega AI не меняет архитектуру или предварительно обученные веса базовой модели. Условия исходной лицензии и требования к атрибуции продолжают действовать; конкретная лицензия в предоставленных данных не приведена.

OpenChat-3.5-0106-128k — диалоговая языковая модель OpenChat, созданная на основе дообученной Mistral-7B-v0.1. Она содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и предназначена для генерации ответов в чате, программирования, общих задач и математических рассуждений. Поддерживает контекст до 131 072 токенов; в README также описан режим оценивания ответов, обозначенный как экспериментальный. Модель рассчитана на текстовый ввод и генерацию текста. README приводит результаты бенчмарков по коду и математике, но не описывает поддерживаемые естественные языки. Веса опубликованы в формате safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache-2.0.

pandafish-7b — инструктивная языковая модель на 7,1 млрд параметров, созданная методом Model Stock merge из моделей Mistral-7B-v0.1, Mistral-7B-Instruct-v0.2, NeuralTrix-bf16 и mistral-ft-optimized-1227 с помощью LazyMergekit. Модель использует плотную архитектуру Mistral для генерации текста и ответов на инструкции; контекст составляет до 32 768 токенов. Она подходит для диалоговых сценариев, ответов на вопросы и других задач генерации текста по запросу. В приведённых в README оценках pandafish-7b набрала в среднем 51,99 балла; результаты отдельных бенчмарков различаются относительно Mistral-7B-Instruct-v0.2. Модель опубликована в формате safetensors под лицензией Apache-2.0.

unsloth/phi-4-bnb-4bit — это 4-битная версия модели Phi-4, разработанной Microsoft Research и преобразованной Unsloth в архитектуру, совместимую с Llama, для более удобного использования и дообучения. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, решения математических задач и работы с программным кодом. Она принимает текстовые входы, предпочтительно в формате чата, и генерирует текстовые ответы. Исходная Phi-4 представляет собой плотную decoder-only Transformer-модель с 14 млрд параметров и контекстным окном до 16 000 токенов. В карточке указано, что модель ориентирована на английский язык. Для обучения использовались синтетические данные, отфильтрованные общедоступные веб-источники, академические книги и наборы вопросов и ответов; модель прошла supervised fine-tuning и direct preference optimization. К сильным сторонам относятся компактность относительно более крупных моделей, акцент на качестве данных и рассуждениях, а также сниженные требования к памяти благодаря 4-битному представлению. Ограничения включают текстовую модальность, англоязычную специализацию, статичность модели и отсечение публичных данных на июнь 2024 года; актуальные сведения она самостоятельно не получает. Лицензия — MIT.

Карточка модели thetoprated76/pMistral-7B-Instruct-v0.2 на Hugging Face совпадает с карточкой mistralai/Mistral-7B-Instruct-v0.2, поэтому описание составлено по ней. Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

Prox 7B SFT — языковая модель OpenVoid AI, дообученная на данных о программировании, взломе и кибербезопасности. В основе лежит Mistral-7B-v0.2; модель имеет плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Она принимает текст и генерирует текст, поддерживает диалоговый режим и контекст до 32 768 токенов. Модель предназначена для генерации и объяснения кода, создания документации, ответов на вопросы о методах взлома и кибербезопасности, а также помощи в программных проектах. Карточка указывает английский язык. Обучающий набор OpenVoid AI описан как собственный набор материалов по программированию и взлому. Модель распространяется по лицензии Apache-2.0. Ответы модели могут быть ошибочными и требуют проверки специалистом; авторы не рекомендуют полагаться на неё в критически важных задачах безопасности и использовать для незаконной деятельности.

Prox-Llama-3-8B-abliterated — дообученная OpenVoid версия Meta-Llama-3-8B-Instruct, ориентированная на генерацию кода и задачи кибербезопасности. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для диалогового взаимодействия и работы с текстом; заявленная длина контекста — 8192 токена. Модель подходит для написания и объяснения кода, подготовки документации, ответов на вопросы о методах взлома и кибербезопасности, а также анализа программных проектов. Карточка описывает её как uncensored-модель, поэтому ответы на темы атак и взлома требуют особенно внимательной проверки. Разработчик рекомендует проверять результаты и соблюдать применимые законы. Лицензия — Apache-2.0.

Prox-Llama-3-8B-abliterated-orpo — языковая модель OpenVoid на архитектуре Llama 3 с 7,5 млрд параметров. Это дообученная версия Meta-Llama-3-8B-Instruct, рассчитанная на генерацию и объяснение кода, а также вопросы по кибербезопасности и техникам взлома. Модель поддерживает диалог и работу с кодом, принимает текст и генерирует текст; для английского указана поддержка в карточке. Контекст составляет 8192 токена. В README приведены результаты HumanEval v1.0 pass@1 0,537 и EvalPlus v1.1 pass@1 0,482. Модель описана как uncensored; ответы могут быть предвзятыми или непоследовательными, поэтому их следует проверять, особенно в критически важных сценариях. Доступна по лицензии Apache-2.0.

attashe/q-2.5-deepseek-r1-veltha-v0.4 — объединённая модель языковой модели, созданная с помощью mergekit методом Linear DELLA. В качестве базовой использована arcee-ai/SuperNova-Medius; в объединение также вошли allura-org/TQ2.5-14B-Aletheia-v1, huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2, EVA-UNIT-01/EVA-Qwen2.5-14B-v0.2 и v000000/Qwen2.5-Lumen-14B. Модель построена на архитектуре Qwen2 с плотной 14-миллиардной языковой моделью и предназначена для диалогов и генерации текста. Она загружается через Transformers, использует формат safetensors и поддерживает контекст до 131 072 токенов; метаданные также отмечают интерфейс вызова инструментов. Лицензия в предоставленных данных не указана.

Qwen1.5-4B-Chat-GPTQ-Int4 — диалоговая языковая модель серии Qwen1.5, разработанная командой Qwen. Это decoder-only модель на архитектуре Transformer, предназначенная для генерации текста и взаимодействия в формате чата: ответов на вопросы, ведения диалога, подготовки текстов и других задач обработки естественного языка. Модель содержит около 4 миллиардов параметров и представлена в формате GPTQ с 4-битным квантованием Int4, что снижает требования к памяти при запуске. Она поддерживает текстовую модальность, многоязычную работу и контекст до 32K токенов. В архитектуре заявлены активация SwiGLU, смещения в QKV-внимании и улучшенный токенизатор, адаптированный к естественным языкам и программному коду. Модель была предварительно обучена на большом объёме данных, а затем дообучена с использованием supervised fine-tuning и direct preference optimization. К сильным сторонам относятся компактный размер, удобный для локального развертывания квантованный формат, чатовая настройка и поддержка длинного контекста. Ограничения включают статус beta-версии, возможные проблемы при переключении между языками и отсутствие в описании данных о гарантированной точности, безопасности или поддерживаемых языках, кроме заявленной многоязычности. Указана лицензия Tongyi Qianwen Research; подробные условия приведены в файле лицензии репозитория.

Qwen1.5-MoE-A2.7B-Chat — диалоговая языковая модель на архитектуре Transformer с декодером и смесью экспертов (MoE), разработанная командой Qwen. Она создана на основе Qwen-1.8B и предназначена для генерации текста в чате и ответов на запросы. По карточке модели, всего в ней 14,3 млрд параметров, из которых при генерации активируются 2,7 млрд; каталог Hugging Face указывает 1,5 млрд параметров. Контекст модели — до 32 768 токенов. Разработчики сообщают о сопоставимой с Qwen1.5-7B производительности при меньших затратах на обучение и о более высокой скорости инференса. Карточка советует использовать параметры генерации из generation_config.json при проблемах с переключением языков или других нежелательных результатах. Модель рассчитана на текстовый ввод и выдачу текста; в метаданных указан английский язык. Лицензия обозначена как other, поэтому конкретные условия использования следует сверять с лицензией репозитория.

CultriX/Qwen2.5-14B-Hyperionv4 — объединённая языковая модель на архитектуре Qwen2.5, созданная с помощью mergekit. В качестве базовой модели использована CultriX/Qwen2.5-14B-Wernickev3; слияние выполнено методом DARE TIES с участием нескольких моделей семейства Qwen и других производных 14B-моделей. Модель предназначена для генерации текста и диалогового общения, включая сценарии с длинным контекстом до 131 072 токенов. Она поставляется в формате Safetensors и поддерживает интерфейс вызова инструментов. В карточке не заявлена специализация на конкретном языке или прикладной области. Модель содержит 14 млрд параметров. Лицензия в доступных данных не указана.

Qwen2.5-14B-Instruct-MLX-8bit — квантованная 8-битная версия языковой модели Qwen2.5-14B-Instruct, адаптированная для MLX и Apple Silicon Mac. Исходную модель разработала команда Qwen, а MLX-квантизацию предоставил bartowski на основе инструментов mlx-examples. Модель предназначена для генерации текста, диалоговых сценариев и задач, требующих понимания и генерации структурированных данных. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Она обучена на большом наборе данных и заявлена как поддерживающая более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Архитектура и точное число параметров исходной модели обозначены в идентификаторе как 14B; сведения о конкретной архитектуре в README не приведены. К сильным сторонам относятся широкий языковой охват, длинный контекст, возможности работы со структурированными данными и локальный запуск на совместимых Mac с Apple Silicon. Ограничения включают зависимость от MLX и совместимого оборудования, а также типичные для генеративных моделей риски неточностей, вредного или неподходящего содержания. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-1.5B-Instruct-AWQ — квантизированная 4-битная AWQ-версия инструкционно дообученной языковой модели Qwen2.5, разработанной командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, написания кода, решения математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель относится к каузальным языковым моделям и использует архитектуру на базе transformers с RoPE, SwiGLU, RMSNorm, смещениями в attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, 28 слоёв и механизм GQA с 12 головами для Q и 2 для KV. Поддерживаются контекст до 32 768 токенов и генерация до 8192 токенов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся компактный размер, сниженные требования к памяти благодаря 4-битной квантизации, улучшенные возможности следования инструкциям, работы с длинными текстами, кодом, математикой и JSON. Ограничения включают возможную потерю качества относительно исходной версии в формате bfloat16 из-за квантизации; конкретные результаты тестов в README не приведены. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Qwen2.5-1.5B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Qwen2.5-1.5B-Instruct, созданная QuantFactory с использованием llama.cpp на основе модели Qwen от Alibaba Cloud. Это каузальная текстовая модель для диалогов, генерации текста, следования инструкциям, работы со структурированными данными и формирования структурированных ответов, включая JSON. Она также улучшена для задач программирования и математики. Модель содержит 1,54 млрд параметров, из которых 1,31 млрд не относятся к эмбеддингам, и включает 28 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV внимания, связанные эмбеддинги слов и GQA с 12 головами для Q и 2 для KV. Поддерживаются контексты до 32 768 токенов и генерация до 8192 токенов. Модель многоязычная и поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Квантизация в формате GGUF может снизить требования к ресурсам и упростить локальный запуск, однако README не содержит сведений о конкретном типе квантизации, размере файлов, точности или производительности. Модель предназначена для текстовых сценариев и не заявляет поддержку изображений или других модальностей. Распространяется по лицензии Apache-2.0.

Qwen2.5-32B-Instruct-MLX-8bit — квантованная 8-битная версия инструкционной языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантование в формате MLX выполнено bartowski на основе инструментов mlx-examples. Модель предназначена для генерации текста и диалоговых сценариев, включая понимание и создание структурированных данных, работу с широким спектром знаний и использование в совместимых приложениях на Mac с Apple Silicon. Модель содержит 32 миллиарда параметров, поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Заявлена поддержка более 29 языков, среди которых английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Квантование снижает требования к ресурсам по сравнению с полной версией, однако README не приводит точных показателей производительности или требований к памяти. Как и другие генеративные модели, она может создавать неточный, вредный или неподходящий контент. Модель распространяется по лицензии Apache-2.0.

Карточка модели adrianxu9778/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели Yahel666/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

duyntnet/Qwen2.5-3B-Instruct-imatrix-GGUF — набор imatrix-квантизаций в формате GGUF для instruction-tuned модели Qwen2.5-3B-Instruct, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалоговых ассистентов, следования инструкциям, работы со структурированными данными и форматированными ответами, включая JSON, а также для задач программирования и математики. Это авторегрессионная causal language model на архитектуре Transformers с RoPE, SwiGLU, RMSNorm, смещениями в QKV attention и связанными эмбеддингами слов. Модель содержит 3,09 млрд параметров, 36 слоёв и использует GQA с 16 головами для Q и 2 для KV. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Поддерживается более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенное следование инструкциям, генерация длинных текстов, обработка таблиц и других структурированных данных, а также возможности в программировании и математике. Формат GGUF и совместимость с llama.cpp, KoboldCPP, text-generation-webui и Ollama подходят для локального запуска, однако конкретные требования к памяти, производительность и качество зависят от выбранной квантизации. В репозитории указана лицензия other; дополнительные условия лицензирования не раскрыты.

AtomicChat/Qwen2.5-7B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct, подготовленная Atomic Chat из оригинальных весов Qwen. Модель предназначена для генерации текста, диалоговых приложений и локального офлайн-использования через совместимые инструменты, включая llama.cpp, Ollama, LM Studio и Jan. Модель имеет 7,6 млрд параметров, 28 слоёв и архитектуру плотного декодера Qwen2ForCausalLM с гибридным вниманием: sliding-window attention и глобальным вниманием. Заявленная длина контекста составляет 32 768 токенов, размер словаря — 152 064 токена. Поддерживается только текстовый ввод и вывод; заявлена многоязычная работа более чем с 29 языками, включая китайский, английский, французский, испанский, немецкий, русский, японский, корейский, вьетнамский, тайский и арабский. Репозиторий содержит варианты GGUF-квантизации Q4_K_M, UD-Q4_K_XL, Q5_K_M, Q6_K и Q8_0. Квантизация с importance matrix помогает сохранить качество исходной модели при уменьшении размера; Q4_K_M рекомендуется как компромисс между размером, скоростью и качеством, а Q8_0 обеспечивает практически исходную точность, но требует около 8,1 ГБ. Ограничения связаны с потерями качества у низкобитных вариантов и необходимостью применять шаблон чата Qwen2.5; в llama.cpp следует использовать параметр --jinja. Исходная модель распространяется по лицензии Apache 2.0; квантизация выполнена Atomic Chat.

Qwen2.5-Coder-32B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-Coder-32B-Instruct, разработанной Qwen и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и работы с программным кодом, включая сценарии чат-взаимодействия и задачи, где требуется понимание или создание кода. В README указан английский язык, а для общения используется шаблон ChatML. Модель имеет размер 32 млрд параметров и поддерживает контекст до 128 000 токенов при запуске через LlamaEdge. Доступны варианты с разной степенью квантизации — от Q2_K до Q8_0, а также F16; размер файлов составляет примерно от 12,3 до 34,8 ГБ, причём варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу между качеством и размером. Более сильная квантизация уменьшает требования к ресурсам, но может заметно снижать качество. Модель подходит для локального развёртывания и использования через LlamaEdge версии 0.14.14 или новее, включая запуск как сервиса или командного приложения. README не указывает мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Распространение осуществляется по лицензии Apache 2.0.

Карточка модели OP12138/qwen3-1.7b-base на Hugging Face совпадает с карточкой Qwen/Qwen3-1.7B, поэтому описание составлено по ней. Qwen3-1.7B — компактная плотная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 40 960 токенов по метаданным. Модель дообучена на базе Qwen/Qwen3-1.7B-Base и распространяется в формате safetensors под лицензией Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с внешними инструментами через соответствующий интерфейс. Она поддерживает более 100 языков и диалектов. Заявлены режимы рассуждения и обычного диалога; компактный размер подходит для приложений с ограниченными ресурсами по сравнению с более крупными моделями семейства. В README указана длина контекста 32 768 токенов, тогда как метаданные каталога приводят 40 960; для характеристики использовано значение метаданных. В README также отмечен риск бесконечных повторов при некоторых настройках генерации и рекомендована настройка presence_penalty. Качество ответов и точность фактов требуют проверки в целевом сценарии.

NVIDIA Qwen3-235B-A22B-Instruct-2507-NVFP4 — квантизированная версия языковой модели Qwen3-235B-A22B-Instruct-2507 от Alibaba, подготовленная с помощью TensorRT Model Optimizer. NVIDIA указывает, что модель не принадлежит и не разработана NVIDIA, а создана на основе сторонней модели для соответствующих сценариев применения. Модель предназначена для генерации текста и может использоваться в AI Agent системах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Это авторегрессионная текстовая модель с архитектурой Transformers и сетевой архитектурой Qwen3MoeForCausalLM. Она принимает текстовые строки и генерирует текст; число параметров не раскрыто. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Ключевое преимущество версии NVFP4 — квантизация весов и активаций линейных операторов внутри transformer-блоков с 16 до 4 бит, что примерно в 3,4 раза снижает требования к дисковому пространству и памяти GPU. Модель оптимизирована для инференса через TensorRT-LLM и систем на базе NVIDIA Blackwell, предпочтительно под Linux. Ограничения включают неизвестное количество параметров, отсутствие раскрытых сведений о тренировочных и тестовых данных, а также необходимость дополнительного тестирования на данных конкретного сценария. Модель распространяется по лицензии Apache 2.0 и допускает коммерческое и некоммерческое использование.

RedHatAI/Qwen3-32B-FP8-dynamic — языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на основе Qwen/Qwen3-32B. Она предназначена для рассуждений, вызова функций, многоязычного следования инструкциям, перевода и адаптации под специализированные предметные области посредством дообучения. Модель работает с текстом на входе и выходе и построена на архитектуре Qwen3ForCausalLM. Модель использует FP8-квантизацию весов и активаций линейных операторов внутри transformer-блоков. Веса квантизуются статически по каналам, активации — динамически по токенам; слой lm_head не квантуется. По заявлению разработчиков, это примерно вдвое снижает требования к памяти GPU и размер на диске, а также может примерно вдвое увеличить пропускную способность матричных умножений по сравнению с представлением FP16. Модель рассчитана на эффективное развертывание с vLLM, включая OpenAI-совместимую подачу. К сильным сторонам относятся сочетание возможностей базовой Qwen3-32B с уменьшенными требованиями к памяти и поддержка рассуждений, многоязычных инструкций и function calling. При этом FP8-квантизация может влиять на точность по сравнению с исходной моделью, а README не содержит подробностей о поддерживаемых языках, длине контекста и количественных результатах оценки. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

Qwen3-4B-Instruct-2507-heretic — производная диалоговая модель на базе Qwen3-4B-Instruct-2507, созданная с помощью abliteration для заметного снижения частоты отказов. По приведённому в карточке тесту отказов стало 5 из 100 запросов против 100 из 100 у исходной модели; это измерение относится к конкретному тесту и не гарантирует поведение на других запросах. Модель плотная, с архитектурой Qwen3ForCausalLM и примерно 3,7 млрд параметров, принимает текст и генерирует текст. Поддерживает контекст до 262 144 токенов и рассчитана на диалоги и режим без пошагового рассуждения. Модель подходит для ответов на вопросы, следования инструкциям, написания и анализа текстов, решения задач, программирования и использования инструментов. В карточке базовой модели заявлена поддержка нескольких языков, но конкретные языки для этой версии не перечислены. Версия опубликована в формате safetensors и предназначена для запуска через Transformers. Лицензия — Apache-2.0.

DavidAU/Qwen3-53B-A3B-2507-TOTAL-RECALL-v2-MASTER-CODER — дообученная на базе Qwen/Qwen3-30B-A3B-Instruct-2507 модель для генерации текста и диалогов. Автор позиционирует её как универсальную, с особым упором на программирование и решение задач на коде. Указаны 53 млрд параметров, 84 слоя и архитектура MoE с 128 экспертами и 8 активируемыми экспертами; модель распространяется в формате safetensors и совместима с Transformers. Модель рассчитана на контекст до 262 144 токенов. Она поддерживает несколько языков, а в метаданных перечислены английский, французский, китайский и немецкий. Базовый режим — без рассуждений; автор предлагает опциональный системный промпт для включения специального режима «thinking». Модель может использоваться в диалогах, генерации и объяснении кода, работе с длинными контекстами и сценариях с вызовом инструментов. Лицензия — Apache-2.0. Карточка не приводит независимых оценок именно этой производной версии, поэтому заявленное превосходство в программировании следует считать описанием автора; качество и скорость могут зависеть от выбранного числа активных экспертов и способа запуска.

Qwen3.5-9B — мультимодальная модель Qwen, разработанная командой Qwen и представленная в формате Hugging Face Transformers. Это дообученная версия Qwen/Qwen3.5-9B-Base: причинная языковая модель с визуальным энкодером, 9 млрд параметров и гибридной архитектурой с Gated Delta Networks и разреженными Mixture-of-Experts. Модель принимает текст и изображения и генерирует текст; поддерживает чат и вызов инструментов. Модель предназначена для диалога, рассуждений, программирования, визуального понимания и агентных сценариев с использованием инструментов. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000; в режиме по умолчанию перед ответом генерируется содержимое рассуждений. В карточке заявлена поддержка 201 языка и диалекта, но список языков в предоставленных данных опущен. В README заявлены высокая эффективность гибридной архитектуры и улучшенные результаты на задачах рассуждения, кода и визуального понимания; независимых оценок в предоставленном тексте недостаточно для проверки этих утверждений. Для длинного контекста могут потребоваться значительные ресурсы, а совместимость и пропускная способность зависят от версии и конфигурации сервера. Лицензия — Apache-2.0.

batiai/Qwen3.6-27B-GGUF — это квантизированная GGUF-версия плотной мультимодальной модели Qwen3.6-27B, разработанной Alibaba и подготовленной BatiAI для локального запуска, прежде всего на компьютерах Mac с Apple Silicon. Модель распространяется через llama.cpp и Ollama и ориентирована на автономные сценарии, не требующие отправки данных во внешние облачные сервисы. Модель предназначена для генерации текста, программирования, репозиторного и агентного кодинга, многошагового рассуждения и работы с инструментами. Заявлены поддержка tool calling, thinking mode, нативного контекста до 262 000 токенов и расширения до 1 010 000 токенов с помощью YaRN. Доступны языки английский, корейский, японский и китайский. Варианты с vision projector поддерживают обработку изображений в мультимодальном режиме. Преимущество модели — сочетание 27 млрд параметров, плотной архитектуры и нескольких уровней квантизации с imatrix-калибровкой, что позволяет выбрать баланс качества, скорости и требований к памяти: от вариантов для систем с 16 ГБ RAM до почти потерьной Q6_K для конфигураций от 32 ГБ. Плотная архитектура заявлена как особенно подходящая для сложных длинных цепочек агентного кодинга, однако она обычно медленнее MoE-моделей с меньшим числом активных параметров. Для режима thinking ответы могут содержать блок рассуждений, а для получения чистого JSON при вызове инструментов требуется отключить размышление. Модель распространяется по лицензии Apache 2.0. Приведённые в README сравнительные заявления основаны преимущественно на позиционировании upstream; конкретные итоговые значения ряда бенчмарков для этой версии не указаны, поэтому их следует интерпретировать с осторожностью.

Qwen3.6-35B-A3B-UDT-MTP-GGUF — это квантизированная в формате GGUF версия модели Qwen3.6-35B-A3B, подготовленная Atomic Chat на основе оригинальных весов Qwen. Модель предназначена для локального и полностью офлайн-использования в llama.cpp, Ollama, LM Studio, Jan и Atomic Chat, включая диалоговые сценарии, агентное программирование, работу с фронтенд-задачами и рассуждения на уровне репозиториев. Модель имеет 36 млрд параметров, 40 слоёв и архитектуру Mixture-of-Experts с 256 экспертами, из которых выбираются 8, а также 16 attention heads и 2 KV heads. Заявленный контекст составляет 262 144 токена. Поддерживаются текстовая и визуальная модальности; для обработки изображений в репозитории доступен vision-проектор mmproj-BF16.gguf. Квантизация выполнена с использованием importance matrix для разных уровней точности, что должно помогать сохранять качество при низкобитных форматах. К сильным сторонам относятся мультимодальность, большой контекст, MoE-архитектура, локальная работа без передачи данных во внешние сервисы и квантизация, откалиброванная importance matrix. Ограничения включают необходимость выбора подходящего GGUF-кванта, значительные требования к ресурсам и обязательное применение шаблона чата Qwen3.6 через параметр --jinja; для изображений требуется vision-проектор и совместимый интерфейс. Базовая модель выпущена под лицензией Apache 2.0, квантизация выполнена Atomic Chat.

infosave/Qwen3.8-27B-cmf — это квантизированная версия модели Qwen3.8-27B, преобразованная в контейнер CMF. Исходная модель разработана командой Qwen, а данный репозиторий содержит её представление для запуска через cortiq — нативный Rust-бинарник без Python и ML-фреймворков. Модель предназначена для генерации текста, диалогов, объяснения технических тем и работы через API, совместимый с OpenAI, а также через Ollama-совместимый интерфейс. Модель имеет 27 млрд параметров и гибридную архитектуру: 48 слоёв GatedDeltaNet с линейным вниманием и 16 слоёв полного внимания. Заявлено контекстное окно до 262 тысяч токенов и режим рассуждений. Поддерживаются английский, русский и китайский языки. Доступны варианты квантизации 4-bit и 8-bit; наиболее компактный q4tp занимает 14,3 ГБ, q4t — 15,4 ГБ, а q8_2f — 27,4 ГБ. К сильным сторонам относятся большое контекстное окно, поддержка различных GPU через Vulkan, Metal и DX12, работа на CPU, совместимость с NVIDIA, AMD, Intel и Apple silicon, а также возможность спекулятивного декодирования для ускорения жадной генерации. Ограничения связаны с высокими требованиями к памяти, зависимостью производительности от оборудования и характера запроса, а также с тем, что спекулятивное декодирование применяется преимущественно для greedy-генерации и не всегда ускоряет свободный текст. Модель распространяется по лицензии Apache-2.0.