II.2Создание и понимание программного кода

jondurbin/nontoxic-bagel-34b-v0.2 — экспериментальная чат-модель Джона Дарбина, полученная дообучением Yi-34B-200K с использованием набора Bagel и частичного DPO. Она предназначена для диалогов, ответов на вопросы, следования инструкциям, написания текстов и кода, математических задач и ролевого общения. Модель имеет плотную архитектуру LlamaForCausalLM примерно на 33,9 млрд параметров и поддерживает контекст до 200 000 токенов. При обучении использовались разнообразные наборы данных для диалогов, чтения с пониманием, программирования, математики и ролевых сценариев. Модель принимает текст и генерирует текст; README описывает форматы запросов Vicuna, Llama 2, Alpaca и ChatML. Карточка характеризует эту версию как довольно сильно цензурированную. Указана лицензия other, поэтому условия использования следует уточнять в карточке модели и у правообладателя.

Это конвертированная в формат MLX версия языковой модели NVIDIA Nemotron 3 Nano 30B A3B, опубликованная mlx-community. Исходная модель — nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; README указывает, что преобразование выполнено с помощью mlx-lm 0.29.1. Метаданные описывают модель как диалоговую и указывают поддержку английского, испанского, французского, немецкого, японского и итальянского языков. Модель предназначена для генерации текста в диалоге и может использоваться для ответов на вопросы, написания текстов и программного кода. Репозиторий рассчитан на запуск с библиотекой MLX. В README не приведены дополнительные сведения о размере активной части MoE, длине контекста или оценках качества; базовая модель описана в каталоге как гибридная языковая модель для рассуждений, программирования и агентных приложений. Лицензия указана как other, поэтому конкретные условия использования следует сверить с лицензией исходной модели.

Olmo-3.1-32B-Instruct-DPO — авторегрессионная трансформерная языковая модель Allen Institute for AI (Ai2), дообученная методом DPO на основе allenai/Olmo-3.1-32B-Instruct-SFT. Модель содержит 31,7 млрд параметров, работает с текстом и предназначена для диалогов и выполнения инструкций. Разработчики отмечают задачи математики, программирования, общих знаний и чата; контекстная длина составляет 65 536 токенов. Модель обучалась на английском языке и распространяется в формате Safetensors для использования с Transformers. Ai2 публикует семейство Olmo для исследований языковых моделей; лицензия Apache 2.0. В README приведены результаты оценивания, но они не гарантируют точность ответов в конкретных сценариях.

RedHatAI/OpenHermes-2.5-Mistral-7B-pruned50 — разреженная версия диалоговой модели OpenHermes-2.5-Mistral-7B, подготовленная Neural Magic для обслуживания через движок nm-vllm. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров; заявленное окно контекста — 32 768 токенов. Она принимает текстовые запросы и генерирует текстовые ответы в диалоговом режиме. Модель подходит для локального запуска чат-ассистента, ответов на вопросы, генерации текста и помощи с кодом. Репозиторий содержит веса PyTorch, оптимизированные разреживанием для высокой пропускной способности и меньшего потребления памяти при инференсе через nm-vllm. Она унаследовала возможности базовой OpenHermes-2.5-Mistral-7B, но карточка не приводит отдельной оценки качества именно разреженной версии. Лицензия в предоставленных данных не указана.

Open-Instruct ShareGPT 65B — языковая модель AllenAI на архитектуре LLaMA с 65 млрд параметров, дообученная на очищенном наборе ShareGPT. Она предназначена для генерации ответов на инструкции и диалоговые запросы; карточка также приводит результаты на тестах знаний, математики, рассуждений, вопросов и ответов и генерации кода. Модель принимает текст и выдаёт текст, рассчитана на английский язык и поддерживает контекст до 2048 токенов. Это diff-модель: для использования нужны исходные веса LLaMA в формате Hugging Face, к которым применяются изменения модели. В README указаны лицензия AI model license и исходная лицензия LLaMA; перед использованием необходимо учитывать условия обеих лицензий. Качество генерации зависит от соблюдения описанного в карточке формата входного запроса.

Phi-3.1 Mini 128K Instruct — компактная языковая модель Microsoft, представленная в формате GGUF для запуска через llama.cpp и LM Studio. Квантование подготовлено bartowski на основе Phi-3-mini-128k-instruct. Модель предназначена для диалогов, генерации и анализа текста, следования инструкциям, многошаговых рассуждений, решения математических задач, программирования, работы с общеизвестными сведениями и поддержания многоходовых бесед. Модель представляет собой плотный decoder-only Transformer примерно с 3,8 млрд параметров. Она обучалась на 3,3 трлн токенов, включая отфильтрованные общедоступные документы, образовательные и синтетические учебные данные, код, а также качественные диалоговые наборы. Для настройки применялись supervised fine-tuning и Direct Preference Optimization. Контекстное окно составляет до 128K токенов и реализовано с использованием технологии LongRoPE. Поддерживается английский язык; заявленные модальности ограничены текстом. К сильным сторонам относятся улучшенное следование инструкциям, структурирование ответов, поддержка тега system, качество многоходового диалога и усиленные способности к рассуждению при относительно небольшом размере. Ограничениями являются текстовая специализация, заявленная языковая поддержка английского и возможные неточные, вредные или вводящие в заблуждение ответы. Модель распространяется по лицензии MIT.

Phi-3-medium-128k-instruct-GGUF — квантизированная версия инструкционной языковой модели Phi-3-medium-128k-instruct, разработанной Microsoft и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, работу с длинными документами и программным кодом. В README указана поддержка multilingual, однако конкретный перечень языков не приведён. Архитектура и точное число параметров не указаны; модель относится к типу phi-msft и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, размером примерно от 5,14 до 27,9 ГБ. Варианты с более сильной квантизацией требуют меньше памяти, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые для баланса между размером и качеством. Модель рассчитана на запуск через совместимые инструменты, включая LlamaEdge, с использованием шаблона phi-3-chat. Лицензия — MIT; дополнительные ограничения или сведения о мультимодальности в README не указаны.

bartowski/Phi-3-medium-4k-instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Phi-3-medium-4k-instruct, разработанной Microsoft. Модель предназначена для генерации текста и кода, диалоговых сценариев, ответов на пользовательские инструкции и локального запуска через llama.cpp или совместимые приложения, включая LM Studio. В README указана поддержка multilingual-сценариев, однако конкретный перечень языков не приведён. Модель работает с текстом и имеет контекст длиной 4K токенов, что следует из её названия и исходной модели. Доступны варианты от F32 до Q2_K и IQ-квантизаций с размером файлов примерно от 4,72 до 55,84 ГБ. Квантизации подготовлены bartowski с использованием llama.cpp и imatrix; обновление llama.cpp также учитывает исправление rope scaling. Более высокие варианты обычно обеспечивают лучшее качество, а низкобитные требуют меньше оперативной памяти, но могут заметно уступать по точности. Основные ограничения связаны с ограниченным контекстом 4K токенов, отсутствием заявленной поддержки изображений или других немультимодальных входов и возможной потерей качества при сильной квантизации. Формат prompt требует специальных маркеров ролей <|user|>, <|end|> и <|assistant|>. Для модели указана лицензия MIT.

Это конвертированная в формат MLX версия Phi-3-mini-4k-instruct от Microsoft, подготовленная mlx-community. Модель представляет собой плотную авторегрессионную языковую модель семейства Phi-3 с 3,7 млрд параметров и контекстом 4096 токенов; карточка указывает 4-битную версию для запуска на устройствах Apple через mlx-lm. Модель предназначена для диалоговой генерации текста и помощи с кодом. Вход и выход — текст; в метаданных указан английский язык. Репозиторий создан 23 апреля 2024 года. Модель распространяется по лицензии MIT. Подробности о качестве и ограничениях предлагается смотреть в карточке исходной модели.

Phi-3-mini-4k-instruct-llamafile — переносимая исполняемая упаковка модели Microsoft Phi-3-mini-4k-instruct, подготовленная в формате llamafile. Она предназначена для локальной генерации текста, диалоговых приложений, ответов на инструкции, суммаризации, задач на понимание языка, математику, программирование и логическое рассуждение. Модель ориентирована на коммерческое и исследовательское использование на английском языке. Модель содержит 3,8 млрд параметров и поддерживает контекст до 4 096 токенов. Это текстовая instruction-tuned модель, прошедшая supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и мер безопасности. В поставку входят исполняемые веса, запускаемые на Linux, macOS, Windows, FreeBSD, OpenBSD и NetBSD на платформах AMD64 и ARM64; предусмотрены CLI-интерфейс, веб-интерфейс и совместимый с OpenAI API режим. Для запуска рекомендуется не менее 32 ГБ оперативной памяти. К сильным сторонам относятся компактный размер, возможность локального автономного запуска и высокая производительность среди моделей с менее чем 13 млрд параметров по ряду задач, включая понимание языка, здравый смысл, математику, код и рассуждение. Ограничения — поддержка английского языка, контекст 4K и потребность в значительных вычислительных ресурсах; конкретные возможности зависят от выбранного формата весов и оборудования. Сам llamafile распространяется по лицензии Apache 2.0, а содержащиеся веса Phi-3 опубликованы Microsoft под лицензией MIT.

EasierAI/Phi-4-14B — текстовая языковая модель на 14 млрд параметров, разработанная Microsoft Research и основанная на Microsoft Phi-4. В данном варианте модель преобразована в архитектуру, совместимую с Llama, для более удобного использования и дообучения; также заявлены исправления Unsloth. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, решения математических задач и программирования. Она принимает текстовые входы и лучше всего работает с запросами в чат-формате. Модель представляет собой плотный decoder-only Transformer с контекстом до 16 000 токенов и поддерживает английский язык. Phi-4 обучалась на сочетании синтетических данных, отфильтрованных общедоступных веб-источников, академических книг и наборов вопросов и ответов, а для улучшения поведения использовались supervised fine-tuning и direct preference optimization. К сильным сторонам относятся ориентация на качественные данные, развитое рассуждение, следование инструкциям и возможности для локального запуска и дообучения в форматах, поддерживаемых экосистемой Unsloth и llama.cpp. Ограничения включают текстовую модальность, заявленную специализацию на английском языке и необходимость учитывать ресурсы, требуемые для запуска 14B-модели; конкретные показатели качества в README не приведены. Лицензия указана как MIT. README описывает этот репозиторий как конверсию Phi-4 и ссылается на базовую модель microsoft/phi-4; сведения о точном формате или квантовании данной версии в предоставленных данных отсутствуют.

unsloth/Phi-4-mini-instruct-GGUF — GGUF-версия модели Phi-4-mini-instruct от Microsoft, подготовленная Unsloth с исправлениями токенизации и шаблона чата. Исправлены совпадение токенов padding и EOS, лишний EOS-токен в шаблоне, корректно настроен токен завершения <|end|> и изменён unk_token. Модель распространяется как открытая модель семейства Phi-4. Модель предназначена для генерации текста, диалоговых сценариев и следования инструкциям, включая задачи программирования, математики, обработки естественного языка и рассуждений. Она обучалась на синтетических данных и отфильтрованных общедоступных веб-источниках, а также прошла supervised fine-tuning и direct preference optimization для повышения точности следования инструкциям и безопасности. Поддерживается контекст длиной до 128K токенов и многоязычное использование. Ключевые сведения об архитектуре и точном размере модели в README не указаны. GGUF и динамическая квантизация Unsloth ориентированы на более эффективное локальное использование при сохранении качества по сравнению со стандартной 4-битной квантизацией, однако конкретный уровень квантизации и требования к ресурсам зависят от выбранного файла. Модель ограничена возможными ошибками генерации и не гарантирует абсолютную безопасность или корректность ответов. Указана лицензия MIT.

Qwen1.5-32B-Chat-GPTQ-Int4 — чат-модель из серии Qwen, разработанная командой Qwen. Это decoder-only языковая модель на архитектуре Transformer, дообученная с применением supervised fine-tuning и direct preference optimization для диалогового взаимодействия и генерации текста. Она предназначена для создания виртуальных ассистентов, ответов на вопросы, ведения диалогов и других сценариев text-generation. Модель содержит 32 млрд параметров и предоставляется в формате GPTQ с 4-битным квантованием, что снижает требования к памяти по сравнению с полноразмерной версией. Для неё заявлена поддержка контекста до 32K токенов, мультиязычность и работа с естественными языками и кодом; в метаданных README явно указан английский язык. Архитектура включает SwiGLU, bias в QKV и group query attention для версии 32B. Модель поддерживает стандартный интерфейс Transformers без необходимости использовать trust_remote_code. К сильным сторонам относятся чатовая настройка, улучшенная работа с предпочтениями пользователей, большой контекст и более экономичное размещение благодаря Int4-квантованию. Ограничения включают beta-статус семейства, возможные проблемы при переключении между языками и необходимость подбора рекомендованных параметров генерации. README временно не рекомендует развёртывание этой версии через vLLM и советует использовать AWQ-модель. Для загрузки рекомендуется transformers версии 4.37.0 или новее. Лицензия указана как tongyi-qianwen; применяются условия лицензии, опубликованной разработчиками.

Qwen1.5-72B-Chat-GPTQ-Int4 — чат-модель семейства Qwen1.5, разработанная командой Qwen. Это decoder-only языковая модель на архитектуре Transformer, дообученная с применением supervised fine-tuning и direct preference optimization для повышения качества диалогов и соответствия человеческим предпочтениям. Вариант GPTQ-Int4 содержит 72 млрд параметров и предназначен для генерации текста в формате чата. Модель подходит для диалоговых помощников, ответов на вопросы, создания и обработки текстов, а также работы с естественными языками и программным кодом. Заявлена мультиязычная поддержка, однако точный перечень языков в README не указан. Модель поддерживает контекст до 32K токенов и может загружаться через Transformers с использованием AutoModelForCausalLM и AutoTokenizer; для работы рекомендуется transformers версии 4.37.0 или новее. К сильным сторонам относятся большой размер, улучшенная по сравнению с предыдущим поколением производительность в оценках человеческих предпочтений, чатовая настройка и 4-битная GPTQ-квантизация, снижающая требования к памяти. К ограничениям относятся beta-статус семейства, возможные проблемы с переключением между языками и деградация результатов некоторых бенчмарков после DPO. В README также указано, что для этой beta-версии временно не включены GQA и комбинация sliding window attention с полной attention. Лицензия обозначена как other; используется лицензия tongyi-qianwen, полный текст доступен по ссылке в карточке модели.

ibrahimkettaneh/Qwen2.5-72B-Instruct-abliterated-AWQ — производная версия Qwen2.5-72B-Instruct, опубликованная пользователем Ibrahim Kettaneh на Hugging Face. Исходную модель разработала команда Qwen компании Alibaba Cloud. Репозиторий содержит веса в формате Safetensors, квантизированные методом AWQ до 4 бит, и предназначен для локального запуска текстовой генерации и диалоговых приложений на совместимом оборудовании. Отдельная карточка модели для этого производного репозитория отсутствует, поэтому сведения о специфических изменениях, внесённых в вариант «abliterated», не задокументированы надёжно. Архитектурно это causal language model семейства Qwen2.5 с примерно 72,7 млрд параметров, 80 слоями, RoPE, SwiGLU, RMSNorm и grouped-query attention: 64 головы для Q и 8 для KV. Исходная instruction-tuned модель поддерживает генерацию текста, следование инструкциям, программирование, математику, структурированные данные и JSON; заявлена поддержка более 29 языков, включая русский. Полный контекст составляет до 131 072 токенов, а рекомендуемая длина генерации — до 8192 токенов; для очень длинного контекста требуется настройка YaRN. К сильным сторонам относятся большой масштаб, развитые способности к рассуждению, коду и обработке длинного контекста, а 4-битная AWQ-квантизация уменьшает требования к памяти по сравнению с полноразмерными весами. Ограничения — высокая вычислительная требовательность даже после квантизации, возможное снижение качества из-за квантизации и отсутствие надёжно опубликованных оценок именно этого варианта. На странице производного репозитория отдельная лицензия не указана; у исходной Qwen2.5-72B-Instruct указана лицензия Qwen, поэтому условия использования следует проверять по лицензии исходной модели и файлам конкретного репозитория.

Qwen2.5-7B-DeepSeek-R1-1M — объединённая плотная языковая модель на архитектуре Qwen2 с 7,1 млрд параметров. Её создал prithivMLmods методом TIES с помощью MergeKit, объединив DeepSeek-R1-Distill-Qwen-7B и Qwen2.5-7B-Instruct на базе Qwen2.5-7B-Instruct-1M. В репозитории веса представлены в формате safetensors; конфигурация слияния использует точность bfloat16. Модель предназначена для диалогов и генерации текста, включая ответы в стиле рассуждений. Заявленная длина контекста — до 1 010 000 токенов; модель работает через библиотеку Transformers. Она принимает текст и генерирует текст, а метаданные также отмечают интерфейс для вызова инструментов. Сведения о лицензии в предоставленных данных отсутствуют. Качество и поведение после слияния могут отличаться от исходных моделей; заявленная длина контекста не гарантирует одинаковую точность на всём объёме.

SirSahOl подготовил конверсию инструктивной языковой модели Qwen2.5-7B-Instruct для запуска через MLX на устройствах Apple Silicon. Это плотная авторегрессионная модель Qwen2 с архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров. Репозиторий содержит веса в формате safetensors с точностью 16 бит; модель поддерживает контекст до 32 768 токенов. Она предназначена для диалогов, генерации текста, кода и структурированных ответов, а также для локальной оценки и сравнения результатов на совместимых устройствах Apple. Модель подходит для разработки и тестирования чат-приложений, помощи с кодом и ответов на инструкции. Для запуска требуется около 15,2 ГБ объединённой памяти по оценке README; фактическая скорость зависит от устройства и длины контекста. Конверсия оптимизирована для GPU Apple Silicon и не предназначена для обычного запуска в других средах MLX. Лицензия — Apache-2.0.

DreamFast/Qwen2.5-7B-Instruct-heretic-1.3.0 — производная версия Qwen2.5-7B-Instruct, созданная сообществом с помощью Heretic v1.3.0. Это плотная причинная языковая модель на архитектуре Qwen2 с 7,1 млрд параметров в формате bfloat16 и safetensors; квантизация не применялась. В README описано удаление поведения отказа от ответа ортогональной проекцией направления отказа в слоях внимания 9–27. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции, код, математику и структурированные данные. Модель принимает текст и выдаёт текст. Метаданные указывают контекст до 32 768 токенов; README поясняет, что для более длинных входов можно включить YaRN, а исходная серия Qwen2.5 поддерживает множество языков, включая русский. В README приведены результаты сравнений на стандартных бенчмарках и тест HarmBench, где авторы сообщают о высокой готовности отвечать на запросы без отказов. Это означает, что встроенные механизмы безопасного отказа намеренно ослаблены. Репозиторий распространяется по лицензии Apache-2.0.

duyntnet/Qwen2.5-7B-Instruct-imatrix-GGUF — набор imatrix-квантизированных версий инструкционно дообученной текстовой модели Qwen2.5-7B-Instruct. Исходную модель разработала команда Qwen компании Alibaba Cloud. Репозиторий предназначен для локального запуска и генерации текста через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Модель представляет собой авторегрессионную causal language model на базе архитектуры Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Она содержит 7,61 млрд параметров, 28 слоёв и использует GQA с 28 головами запросов и 4 головами ключей и значений. Модель ориентирована на диалог, следование инструкциям, генерацию длинных текстов, работу со структурированными данными и создание структурированных ответов, включая JSON, а также на задачи программирования и математики. Поддерживается более 29 языков, включая русский, английский, китайский, французский, немецкий, испанский, японский и корейский. Заявленная длина контекста составляет до 131 072 токенов, а максимальная длина генерации — 8192 токена. При этом исходная конфигурация рассчитана на 32 768 токенов; для работы с более длинными входами требуется включение расширения YaRN с указанными параметрами. Квантизация снижает требования к ресурсам и упрощает локальный запуск, но конкретные характеристики качества, скорости и потребления памяти зависят от выбранного варианта GGUF. В репозитории указана лицензия other, без подробного описания условий использования.

Qwen2-7B-Instruct-GGUF — инструкционная языковая модель из серии Qwen2, разработанная командой Qwen. Это вариант Qwen2-7B-Instruct, представленный в формате GGUF для локального запуска и инференса с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, работу с инструкциями, понимание и создание текста, программирование, математику, рассуждения и многоязычные задачи. Модель содержит 7 миллиардов параметров и построена на архитектуре Transformer с активацией SwiGLU, смещениями QKV в механизме внимания и group query attention. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования. В репозитории доступны версия fp16 и квантизованные варианты GGUF: q5_0, q5_k_m, q6_k и q8_0. Точная длина контекста и полный список поддерживаемых языков в README не указаны. Модель работает только с текстом; сведения о поддержке других модальностей отсутствуют. К сильным сторонам относятся инструкционная настройка, пригодность для локального развёртывания, совместимость с llama.cpp и возможность выбирать между несколькими уровнями квантизации, балансируя качество и требования к ресурсам. Ограничения включают зависимость производительности и качества от выбранного формата GGUF и аппаратной конфигурации, а также отсутствие в предоставленных данных подробных результатов по прикладным задачам и информации о безопасностных ограничениях. Лицензия — Apache-2.0.

mlx-community/Qwen3-1.7B-bf16 — конверсия модели Qwen/Qwen3-1.7B в формат MLX, подготовленная сообществом mlx-community с помощью mlx-lm версии 0.24.0. Это плотная авторегрессионная языковая модель семейства Qwen3 с 1,7 млрд параметров; она предназначена для генерации текста и диалогов, следования инструкциям, рассуждений и работы с кодом. Метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Нативная длина контекста — 40 960 токенов. Репозиторий использует safetensors, а вариант bf16 рассчитан на запуск в экосистеме MLX. Лицензия — Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-REAM — сжатая версия Qwen3-30B-A3B-Instruct-2507, представленная как модель Samsung SAIL Montréal. Она предназначена для диалогов, выполнения инструкций и генерации текста. В MoE-слоях число экспертов уменьшено со 128 до 96 методом REAM; README сообщает о 23 млрд параметров и объёме файлов 44 ГБ против 31 млрд параметров и 57 ГБ у исходной модели. Это снижает требования к хранению и памяти GPU примерно на 25%. По оценке авторов, модель сохраняет не менее 94% исходной производительности на ряде тестов, хотя результаты зависят от задачи. Модель принимает текст и генерирует текст. Метаданные указывают контекст до 262 144 токенов, библиотеку Transformers и формат safetensors. В README приведены тесты на следование инструкциям, математические задачи, вопросы с вариантами ответа и генерацию кода. Метаданные указывают лицензию Apache-2.0. В README заявлено 23 млрд параметров, тогда как метаданные каталога указывают 2,6 млрд; размер параметров стоит сверить с файлами модели перед планированием вычислительных ресурсов.

JunHowie/Qwen3-4B-Instruct-2507-GPTQ-Int4 — это 4-битная GPTQ-квантованная версия инструкционной языковой модели Qwen3-4B-Instruct-2507, созданная на базе модели Qwen/Qwen3-4B-Instruct-2507. Репозиторий содержит квантование с размером группы 128 и настройкой desc_act=False, которая, согласно описанию, повышает эффективность генерации токенов по сравнению с более ранними квантованными версиями. Модель предназначена для генерации текста и выполнения инструкций, включая понимание текста, логическое рассуждение, математику, науку, программирование, использование инструментов и открытые творческие задачи. Она поддерживает несколько языков и рассчитана на работу в режиме без рассуждений: модель не генерирует блоки <think></think>. Базовая архитектура — causal language model с 4,0 млрд параметров, 3,6 млрд параметров без учёта эмбеддингов, 36 слоями и Grouped Query Attention: 32 головы для Q и 8 для KV. Нативная длина контекста составляет 262 144 токена. Квантование уменьшает требования к памяти и может быть полезно для локального или высокопроизводительного развертывания, в частности через vLLM; для работы указана зависимость vllm>=0.9.2. Ограничения связаны с потерями качества, возможными при 4-битном квантовании, а также с тем, что это текстовая, а не мультимодальная модель. Лицензия — Apache 2.0.

arnomatic/Qwen3-4B-Instruct-2507-heretic-av2 — производная чат-модель семейства Qwen3, созданная на основе Qwen3-4B-Instruct-2507 методом abliteration, который снижает склонность исходной модели отказывать в ответах. Это плотная причинная языковая модель с архитектурой Qwen3ForCausalLM, примерно 3,7 млрд параметров и нативным контекстом до 262 144 токенов; поддерживает только режим без «thinking». Предназначена для диалогов и генерации текста по инструкциям, включая рассуждения, математику, программирование, ответы на вопросы и вызовы инструментов. Карточка сообщает о многоязычных возможностях исходной модели, но не перечисляет поддерживаемые языки. В сравнении с исходной моделью в приведённом тесте число отказов снизилось с 100 из 100 до 19 из 100; это не означает полного отсутствия отказов и не является гарантией качества. Доступна в формате Safetensors для Transformers. Лицензия — Apache-2.0.

RobinsonLabs Qwen3.5-122B-A10B-REAP-30-abliterated-GGUF — набор квантованных GGUF-версий языковой модели, созданный Robinson Labs на основе 0xSero/Qwen3.5-88B. Исходная модель представляет собой примерно 30%-ную экспертную pruning-версию Qwen/Qwen3.5-122B-A10B, уменьшенную с 122B до примерно 88B параметров при сохранении архитектуры qwen35moe и бюджета из 10B активных экспертов. Модель поддерживает стандартное предсказание одного токена, без Multi-Token Prediction; конфигурация содержит 48 слоёв и 879 тензоров. Данные о поддерживаемых языках и размере контекстного окна в карточке не указаны. Модель предназначена для генерации текста, рассуждений, программирования, математических и фактических задач, а также следования инструкциям. Abliteration уменьшает склонность к отказам в ответах на запросы, связанные со взрослым и творческим содержанием, при этом заявлено сохранение защитных механизмов против самоповреждения и содействия реальному неправомерному поведению. В опубликованных проверках модель получила 5/5 на тесте способностей, 2 отказа из 25 на общем тесте отказов и 10/10 на ограниченном наборе проверок детской безопасности, однако эти результаты не гарантируют сохранность защитных механизмов во всех сценариях. Распространение выполняется в формате GGUF с importance-matrix-квантизацией и вариантами Q6_K, Q5_K_M, Q4_K_M, Q4_K_S, IQ4_XS, Q3_K_M, IQ3_M, IQ3_XS, IQ2_M и IQ2_XS. Качество, требования к памяти и скорость зависят от выбранного варианта квантизации. Модель лицензирована по Apache-2.0; использование должно быть ответственным, поскольку она помечена как предназначенная не для всех аудиторий.

HauhauCS/Qwen3.5-122B-A10B-Uncensored-HauhauCS-Aggressive — мультимодальная версия модели Qwen3.5-122B-A10B, разработанная HauhauCS на базе исходной модели Qwen. Это вариант в формате GGUF с усиленным снятием ограничений на отказы; по заявлению автора, изменения наборов данных и базовых возможностей не вносились. Модель предназначена для генерации и понимания текста, программирования, рассуждений, а также работы с изображениями и видео. Поддерживаются текстовая, графическая и видео-модальности, 201 язык и контекст до 262 тысяч токенов. Модель использует гибридную архитектуру MoE с 122 млрд общих параметров и примерно 10 млрд активных параметров на один проход. В ней 256 экспертов, из которых для каждого токена выбираются 8 маршрутизируемых и 1 общий; архитектура включает Gated DeltaNet linear attention и полноформатное softmax-внимание в соотношении 3:1, всего 48 слоёв. Доступны квантизации от IQ2_M до Q8_K_P размером примерно от 40 до 145 ГБ; специальные квантизации K_P оптимизированы для сохранения качества. Модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами, а для поддержки изображений требуется отдельный файл mmproj. Сильными сторонами являются большой контекст, мультимодальность, высокая ёмкость MoE при меньшем числе активных параметров и широкий выбор квантизаций. Агрессивный вариант практически не использует отказы и защитные оговорки, поэтому может быть удобен для сценариев, где требуется минимальная модерация, но одновременно повышает риск небезопасных или нежелательных ответов. Для запуска необходимы значительные объёмы оперативной или видеопамяти, особенно для высококачественных квантизаций. Модель распространяется по лицензии Apache-2.0.

QuantTrio/Qwen3.5-35B-A3B-AWQ — это AWQ-квантизированная версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen. Репозиторий QuantTrio содержит веса в формате, совместимом с Transformers и сервером инференса vLLM; квантизация выполнена методом data-free, без калибровочного датасета. Модель предназначена для генерации текста, программирования, рассуждений, агентских сценариев и анализа изображений с текстовыми запросами. Модель представляет собой causal language model с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженный Mixture-of-Experts. Всего заявлено 35B параметров, из которых при обработке активируется около 3B; указаны 40 слоёв, hidden dimension 2048 и контекст до 32768 токенов в рекомендуемой конфигурации vLLM. Поддерживаются 201 язык и диалект. Доступны вызовы инструментов, reasoning-режим и speculative decoding через соответствующие возможности vLLM. Ключевые преимущества — существенно меньшие требования к памяти по сравнению с полной версией модели, эффективный MoE-инференс и поддержка текстово-визуальных задач. Ограничения включают зависимость от очень новых версий vLLM и Transformers, CUDA 12.8, специальных параметров запуска и настройки expert parallelism при распределённом инференсе; README не содержит независимых результатов бенчмарков для этой AWQ-версии. Модель распространяется по лицензии Apache-2.0.

QuantTrio/Qwen3.5-397B-A17B-AWQ — квантизированная AWQ-версия модели Qwen3.5-397B-A17B, разработанной командой Qwen и распространяемой через Hugging Face. Репозиторий содержит веса и конфигурацию в формате Transformers, полученные методом data-free quantization без калибровочного набора данных. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений. Это каузальная языковая модель со зрительным энкодером, поддерживающая мультимодальные входы. Архитектура сочетает Gated Delta Networks и разреженный Mixture-of-Experts. Общее число параметров составляет 397 млрд, из них 17 млрд активируются при обработке запроса; указаны 60 слоёв и размер скрытого представления 4096. Заявлена поддержка 201 языка и диалекта. В README для запуска через vLLM рекомендуется максимальная длина контекста 32768 токенов. Сильные стороны модели — мультимодальность, широкий языковой охват, высокая вычислительная эффективность разреженной MoE-архитектуры и поддержка вызова инструментов и режимов рассуждения в совместимой инфраструктуре. Ограничения включают очень крупный размер файлов — около 228 ГиБ, высокие требования к GPU-инфраструктуре и зависимость от экспериментальных или предварительных версий vLLM и Transformers; для эффективного запуска также требуется CUDA 12.8 и корректная настройка экспертного параллелизма. Лицензия — Apache 2.0.

NVIDIA Qwen3.5-397B-A17B NVFP4 V2 — квантизированная версия авторегрессионной мультимодальной модели Qwen3.5-397B-A17B, разработанной Alibaba и оптимизированной NVIDIA с помощью Model Optimizer. Модель предназначена для коммерческого и некоммерческого использования в AI Agent-системах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Модель использует архитектуру Transformers и содержит 397 млрд параметров, из которых активируется 17 млрд. Она принимает текст, изображения и видео, а генерирует текст; заявленная длина контекста составляет до 262 тысяч токенов. Поддерживаются входные данные в строковом формате, изображения RGB и видео MP4/WebM. Модель оценивалась на задачах мультимодального рассуждения, научного программирования, работы с длинным контекстом, следования инструкциям и агентского использования инструментов. Вариант NVFP4 2.0 предназначен для ускоренного инференса на GPU NVIDIA, прежде всего на архитектуре Blackwell, с использованием SGLang и Linux. Веса и активации линейных операторов внутри transformer-блоков квантизированы в NVFP4; attention и shared experts используют per-tensor FP8. Ограничения включают нераскрытые данные обучения и отсутствие приведённых численных результатов бенчмарков, поэтому перед развёртыванием необходимы тестирование на целевых данных и проверка безопасности. Модель распространяется по лицензии Apache 2.0.

DavidAU/Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking — плотная мультимодальная модель семейства Qwen 3.5 с 40 млрд параметров, созданная автором DavidAU на основе DavidAU/Qwen3.5-27B-Deckard-PKD-Heretic-Uncensored-Thinking. По карточке, модель дообучали на внутренних наборах Deckard/PDK и наборе высокоуровневых рассуждений Claude 4.5 Opus; также применялись расширение модели с 27B до 40B параметров и шаблон Unsloth. Архитектура использует 96 слоёв, заявлено окно контекста 256 тысяч токенов и переменная длина рассуждений. Модель предназначена для диалогов, рассуждений, написания художественных текстов, генерации кода и анализа изображений. Автор отмечает сохранённую обработку изображений, проверенную генерацию кода и отсутствие ограничений на взрослый и графический контент. В метаданных указаны задачи image-text-to-text, возможности chat и vision, языки английский и китайский, библиотека Transformers и формат safetensors. Автор сообщает о склонности к зацикливанию при низких квантизациях или слишком коротких запросах и рекомендует более качественные кванты и содержательные промпты. Модель распространяется по лицензии Apache-2.0; заявление о превосходстве над базой основано на бенчмарках автора и не является независимой оценкой.