II.4Отладка, тестирование и качество ПО

cyankiwi/Qwen3.5-27B-AWQ-BF16-INT4 — квантизированная версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Репозиторий содержит веса и конфигурации в формате Hugging Face Transformers и совместим с Transformers, vLLM, SGLang и KTransformers. Модель построена как каузальная языковая модель с vision-энкодером и гибридной архитектурой, объединяющей Gated Delta Networks, Gated Attention и разреженный Mixture-of-Experts. Она содержит 27 млрд параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Название репозитория указывает на представление AWQ с использованием BF16 и INT4, что должно снижать требования к памяти и ускорять инференс, однако подробные характеристики квантизации в README не приведены. Сильными сторонами являются мультимодальность, длинный контекст, широкая языковая поддержка и эффективность гибридной архитектуры. Ограничения включают потенциальные потери качества и совместимости, связанные с квантизацией, а также отсутствие в предоставленных данных подробного описания ограничений, требований к оборудованию и результатов для конкретной квантизированной сборки. Лицензия — Apache-2.0.

surogate/Qwen3.5-2B-FP8 — вариант модели Qwen3.5-2B, опубликованный Surogate и основанный на Qwen/Qwen3.5-2B-Base. Это каузальная языковая модель с vision encoder для текстово-визуальных задач, включая рассуждения, программирование, агентские сценарии и анализ изображений. В README вариант рекомендован для движка обучения агентов Surogate и совместим с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель содержит около 2 млрд параметров, 24 слоя, скрытое измерение 2048 и нативное контекстное окно до 262 144 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Представленные веса подвергнуты мелкозернистому FP8-квантованию с размером блока 128. По данным README, такая оптимизация сохраняет показатели, близкие к исходной модели, одновременно снижая требования к памяти и повышая эффективность инференса. Сильными сторонами являются мультимодальность, большое контекстное окно, компактный размер и пригодность для высокопроизводительного развертывания и агентских систем. Ограничения включают возможную потерю точности, характерную для квантования, а также то, что README не содержит подробных сведений о качестве на всех языках, ограничениях безопасности и результатах визуальных тестов. Модель распространяется по лицензии Apache 2.0.

RedHatAI/Qwen3.5-9B-quantized.w8a8 — квантизированная версия мультимодальной модели Qwen/Qwen3.5-9B, разработанная RedHatAI. Модель принимает текст и изображения и генерирует текст, поэтому предназначена для диалоговых систем, анализа изображений, ответов на вопросы, следования инструкциям и задач рассуждения. Модель содержит около 9 млрд параметров и использует INT8-квантизацию весов и активаций линейных операторов в трансформерных блоках. Размер модели на диске составляет около 14,0 ГБ вместо 19,3 ГБ в формате BF16. Энкодер изображений, токеновые эмбеддинги и слои linear attention оставлены в BF16. Заявлена поддержка контекста до 262 144 токенов при развертывании через vLLM; доступен также текстовый режим с пониженным потреблением памяти. Ключевое преимущество модели — существенное сокращение размера и требований к памяти при сохранении качества, близкого к исходной Qwen/Qwen3.5-9B: на приведённых тестах показатели квантизированной версии находятся практически на уровне базовой модели. Ограничения включают зависимость от совместимого стека vLLM и частичную, а не полную квантизацию компонентов. Модель распространяется по лицензии Apache 2.0.

Dingdust/Qwen3.8-27B-heretic — производная от Qwen3.8-27B версия, созданная методом abliteration: в README приведены параметры изменения весов и сравнение частоты отказов с исходной моделью. Это плотная причинная языковая модель с визуальным энкодером на 27 млрд параметров, совместимая с Transformers и рассчитанная на диалог с текстом и изображениями. Семейство поддерживает также понимание видео; карточка этой версии описывает её как vision-language модель. Модель предназначена для диалога, анализа изображений и видео, а также сложных многошаговых задач, включая программирование, исследования и работу с документами. Архитектура основана на Qwen3.5 и сочетает Gated DeltaNet и Gated Attention; базовая модель имеет контекст 262 144 токена с расширением до 1 000 000. README сообщает, что режим рассуждений включён по умолчанию и может настраиваться. В сравнении с исходной моделью в карточке указано меньше отказов: 10 из 100 против 89 из 100; это указывает на ослабление отказного поведения, но не гарантирует конкретные ответы. Для производных весов модели отдельные оценки качества не приведены. Репозиторий распространяется по лицензии Apache-2.0.

TelperionAI/Qwen3.8-27B-NVFP4-AWQ-GPTQ — это квантованная версия базовой модели Qwen/Qwen3.8-27B, опубликованная под лицензией Apache-2.0. Модель предназначена для запуска большой языковой модели с меньшими требованиями к памяти, прежде всего в задачах генерации и обработки текста, включая программирование, математику, STEM, диалоги и многоязычные сценарии. В README также указана поддержка speculative decoding через MTP и возможность FP8-квантизации KV-кэша. Модель использует смешанную точность: основные MLP-слои квантованы в NVFP4 с группами размера 16 и FP8-масштабами, часть MLP-слоёв, attention- и GDN-модули работают в динамическом FP8, а эмбеддинги, lm_head, нормализации, параметры состояния GDN, MTP-голова и vision tower сохранены в BF16. Квантизация выполнена методом AWQ с последующим GPTQ и калибровкой на сбалансированном наборе данных из кода, математики, STEM, диалогов и многоязычных текстов. Размер чекпойнта составляет около 24,7 ГБ. По приведённому сравнению модель точнее других рассмотренных NVFP4-чекпойнтов и заметно компактнее FP8-версии, сохраняя высокую скорость инференса. AWQ повышает устойчивость к потере качества без увеличения размера или снижения пропускной способности. Ограничения включают необходимость Blackwell-класса GPU, совместимый vLLM с compressed-tensors и то, что оценка проводилась только на одном внутреннем корпусе; качество vision tower отдельно не оценивалось. Acceptance rate для MTP не измерялся.

Модель представляет собой INT4-квантованную версию Qwen/Qwen3.8-27B, опубликованную под идентификатором philbert440/Qwen3.8-27B-W4A16-AWQ. Базовая модель разработана командой Qwen и является плотной vision-language-моделью с поддержкой текстовых и визуальных данных. В README не указано, кто именно выполнил квантование, однако сохранены исходная башня зрения и голова MTP для speculative decoding. Модель предназначена для диалогов, рассуждений, программирования, анализа изображений, математических задач, агентных сценариев и генерации длинных текстов. Архитектура включает 27 млрд параметров, 64 слоя, гибрид GatedDeltaNet linear attention и GatedAttention, контекст до 262 144 токенов с возможностью расширения до 1 млн через YaRN. Квантованы линейные слои внимания и MLP в формате W4A16, group size 128, при этом vision tower, эмбеддинги, lm_head и MTP head сохранены в BF16. Размер модели составляет около 19,5 ГБ. Сильные стороны сборки — сохранение мультимодальности и режима reasoning, совместимость с vLLM, поддержка MTP и возможность запуска на двух GPU V100 по 32 ГБ. В README приведены успешные проверки понимания изображений, математики, длинной генерации и корректного поведения think-тегов, а также измерения производительности до примерно 59 токенов в секунду в отдельных режимах на двух V100. Ограничения заключаются в том, что приведённые бенчмарки качества относятся к базовой BF16-модели, а не к данной квантованной версии; фактическая совместимость и скорость зависят от аппаратного обеспечения и используемого сервера. Лицензия — Apache-2.0.

Darwin-35B-A3B-Opus — мультимодальная модель типа mixture-of-experts, разработанная командой FINAL-Bench и опубликованная в GGUF-квантизациях пользователем bartowski. Модель предназначена для генерации текста, сложных рассуждений, работы с мультиязычными запросами, задачами программирования, агентскими сценариями и вызовами инструментов. Заявлена поддержка обработки изображений и текста, а также длинного контекста до 262 тысяч токенов. Модель содержит 35 миллиардов параметров, из которых около 3 миллиардов активируются на один запрос, однако конкретные архитектурные детали в README не указаны. Заявлена поддержка 201 языка; среди явно перечисленных — английский, китайский, корейский, японский, немецкий, французский, испанский, русский и арабский. В качестве ориентиров приведены непроверенные результаты: 90% на GPQA Diamond и 85% на MMMLU. Доступны варианты от BF16 и Q8_0 до более компактных IQ4 и Q4, причём README рекомендует ряд Q4–Q6-квантизаций как компромисс между качеством и размером. Сильными сторонами модели являются заявленные продвинутые способности к рассуждению, мультимодальность, многоязычность, поддержка длинного контекста и широкий выбор квантизаций для локального запуска через llama.cpp и совместимые приложения. Ограничения включают крупные требования к дисковому пространству и вычислительным ресурсам, зависимость возможностей от используемого варианта квантизации и отсутствие подтверждённых в README результатов тестирования. Модель и её квантизации распространяются по лицензии Apache-2.0.

llmfan46/gemma-4-12B-it-uncensored-heretic — производная от Google Gemma 4 12B IT модель, опубликованная независимым автором. По README это мультимодальная модель для диалога, рассуждений, программирования и понимания текста, изображений, видео и аудио. Вариант 12B построен на плотной архитектуре Gemma 4 Unified с чередованием локального скользящего и глобального внимания; заявленный контекст базовой модели — до 256K токенов. Модель поддерживает многоязычные сценарии и вызов инструментов. В названии и тегах автор характеризует эту версию как uncensored, decensored и abliterated; README сообщает о целевом компоненте attn.o_proj, но не раскрывает конкретную методику изменения модели. Заявлены распознавание речи и перевод речи в текст, а также анализ изображений и последовательностей видеокадров. Возможные применения включают диалоговых помощников, извлечение сведений из документов и изображений, суммаризацию и генерацию кода. Ответы могут содержать фактические ошибки, отражать смещения обучающих данных и быть ненадёжными при неоднозначных или сложных запросах. Указанная в метаданных лицензия — Apache-2.0.

Gemma-4-26B-A4B-it-NVFP4 — community-квантизированная версия инструкционной модели google/gemma-4-26B-A4B-it, опубликованная пользователем или организацией bg-digitalservices. Это мультимодальная модель для генерации текста, обработки изображений и видео, предназначенная для диалоговых приложений, следования инструкциям, рассуждений и работы с длинным контекстом. Модель использует архитектуру Mixture-of-Experts с 25,2 млрд параметров, из которых 3,8 млрд активны для каждого токена. В ней 128 экспертов, одновременно выбираются 8. Поддерживается контекст до 256K токенов и мультиязычный режим. Квантизация выполнена в формате W4A4: веса представлены в FP4, активации — в FP16. Размер модели на диске составляет около 16,5 ГБ вместо примерно 49 ГБ у версии BF16, что обеспечивает примерно двукратное ускорение генерации в протестированной конфигурации. Сильной стороной модели является существенное сокращение требований к памяти при сохранении около 97,6% среднего качества относительно BF16-версии в указанных тестах. Следование инструкциям почти не ухудшается, однако задачи математического рассуждения теряют около 4 процентных пунктов из-за накопления ошибок округления. Для запуска рекомендуется совместимая сборка vLLM с поддержкой Gemma 4 и NVIDIA Model Optimizer; тестирование проводилось на NVIDIA DGX Spark с GPU GB10 Blackwell. Веса vision encoder оставлены в BF16. Модель распространяется по лицензии Apache-2.0.

gemma-4-E2B-it-GGUF — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google и представленная в формате GGUF пользователем prithivMLmods. Она предназначена для локального запуска на смартфонах, ноутбуках, Raspberry Pi, IoT-устройствах и потребительских GPU, включая сценарии с llama.cpp. Модель подходит для агентных рабочих процессов, OCR, включая многоязычный и рукописный текст, анализа документов и PDF, понимания интерфейсов и экранов, диаграмм и объектов, помощи в программировании, извлечения структурированных данных и задач, требующих рассуждений. Заявлены 2,3 млрд эффективных параметров и 5,1 млрд параметров всего, 35 слоёв, 512-токенное скользящее окно, контекст до 128K токенов и словарь из 262K элементов. Модель поддерживает текст, изображения с переменным соотношением сторон и разрешением, а также аудио; предусмотрены настраиваемые режимы рассуждений. Указан английский язык. Доступны варианты BF16, F16 и квантизации от Q2_K до Q8_0, а также отдельные multimodal projector-файлы, что позволяет выбирать между качеством, размером и требованиями к памяти. Сильные стороны модели — мультимодальность, большой контекст, локальное выполнение и низкие требования к ресурсам; заявлена оптимизация для чипов Qualcomm и MediaTek через Android AICore. Ограничения включают зависимость мультимодальных возможностей от совместимого projector-файла и программного обеспечения, а также отсутствие в README подробных результатов бенчмарков, сведений о поддерживаемых языках кроме английского и точных требований к аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.

Gemma-4-E4B-it-GGUF — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google и представленная в формате GGUF пользователем prithivMLmods. Модель предназначена для локального запуска на ноутбуках, производительных смартфонах и потребительских GPU, включая сценарии с повышенными требованиями к конфиденциальности и задержке ответа. Модель поддерживает работу с текстом, изображениями и аудио; заявлены анализ документов и PDF, распознавание текста и рукописного ввода, анализ интерфейсов и экранов, интерпретация диаграмм, обнаружение объектов с указанием их положения, программирование, агентские сценарии и понимание речи. Указана поддержка английского языка. Архитектура описана как плотная мультимодальная модель с 42 слоями, эффективным числом параметров около 4,5 млрд и общим объёмом 8 млрд параметров с Per-Layer Embeddings. Заявлены контекст до 128K токенов, словарь размером 262K и скользящее окно на 512 токенов, а также настраиваемые режимы рассуждения. Сильными сторонами являются мультимодальность, большой контекст, возможность локального инференса и наличие вариантов квантизации размером примерно от 4,4 до 8,01 ГБ, а также BF16 и F16. Ограничения включают отсутствие в карточке результатов независимого тестирования, подробностей о поддерживаемых языках помимо английского и конкретных требований к производительности; для мультимодального режима может потребоваться отдельный файл mmproj и совместимый runtime, например llama.cpp. Модель распространяется по лицензии Apache-2.0.

lyf/Huihui-gemma-4-31B-it-abliterated-v2-NVFP4 — мультимодальная 31-миллиардная модель, представляющая собой NVFP4-квантизированную версию Huihui-gemma-4-31B-it-abliterated-v2 от huihui-ai, созданную на базе Google Gemma 4 31B IT. Релиз предназначен для диалогов, генерации и анализа текста, следования инструкциям, программирования, структурированного вывода, а также обработки изображений и видео. В README также указана abliteration-интервенция, направленная на удаление отказов модели. Модель поддерживает сценарии «текст—текст», «изображение—текст» и «видео—текст»; аудио не поддерживается, поскольку в 31B-чекпойнте отсутствует аудиоэнкодер. Визуальная башня сохранена в формате BF16, а большинство линейных слоёв текстового стека, включая слои self-attention, квантизированы в NVFP4. Эмбеддинги, lm_head и визуальная часть также остаются в BF16. Размер файлов составляет около 19,5 ГБ, что позволяет запускать модель на одной видеокарте RTX 5090 с 32 ГБ памяти; заявленная скорость декодирования — около 69 токенов в секунду. К сильным сторонам относятся уменьшенный размер, сохранение мультимодальных возможностей исходной модели, улучшенное по сравнению с предыдущей версией значение perplexity и более строгое следование инструкциям по результатам локального тестирования. Ограничения связаны с отсутствием аудиоподдержки, требовательностью к совместимому программному стеку и аппаратному обеспечению, а также возможным влиянием агрессивной NVFP4-квантизации на качество. Для работы рекомендуется vLLM с поддержкой Gemma 4 и NVFP4. Лицензия указана как gemma.

Карточка модели eth-dl-rewards/internlm2-7b-mod на Hugging Face совпадает с карточкой internlm/internlm2-7b, поэтому описание составлено по ней. InternLM2-7B — плотная авторегрессионная языковая модель второго поколения InternLM, разработанная командой InternLM. Это базовая модель для продолжения текста и адаптации под прикладные задачи; README отдельно рекомендует версию internlm2 для большинства применений, а чат-версии описывает как отдельные варианты. Модель содержит 7,4 млрд параметров и поддерживает контекст до 32 768 токенов согласно метаданным. Разработчик заявляет о сильных результатах на задачах длинного контекста, рассуждений, математики и программирования, включая поиск сведений в длинных текстах. Модель принимает текст и генерирует текст; сведения о конкретных поддерживаемых естественных языках в источниках отсутствуют. Как и другие вероятностные языковые модели, InternLM2-7B может выдавать фактические ошибки, предвзятые или вредоносные ответы. Код распространяется по Apache-2.0; для весов README указывает академический доступ и возможность запросить бесплатное коммерческое разрешение, поэтому условия использования весов следует сверять с лицензией и соответствующим разрешением.

Saxo/Linkbricks-Horizon-AI-Avengers-V2-32B — многоязычная языковая модель Linkbricks, дообученная на базе Saxo/Linkbricks-Horizon-AI-Avengers-V1-32B методами SFT и предпочтительной оптимизации. Это плотная авторегрессионная модель семейства Qwen2 с 32 млрд параметров и контекстом до 32 768 токенов; веса доступны в формате Safetensors, библиотека — Transformers. Модель предназначена для диалога и генерации текста, перевода между корейским, японским, китайским и английским языками, суммаризации, анализа отзывов и публикаций в соцсетях, написания текстов и кода, а также решения математических и логических задач. В карточке заявлена поддержка вызова функций и инструментов. Обучение включало многоязычные новостные и вики-корпуса, а также данные по задачам; токенизатор оставлен от базовой модели. Модель ориентирована прежде всего на корейский и другие восточноазиатские языки вместе с английским. Качество может различаться между языками и типами задач; описание не приводит количественных результатов оценки. Лицензия — Apache-2.0.

NVIDIA разработала Nemotron-UltraLong-8B как серию языковых моделей на базе Llama 3.1; этот вариант рассчитан на контекст до 2 млн токенов. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и предназначена для генерации текста в диалоговом формате, следования инструкциям и работы с очень длинными последовательностями. Модель прошла продолженное предварительное обучение на длинных последовательностях и дообучение на инструкциях по общим задачам, математике и программированию. В README заявлена работа с длинным контекстом и конкурентные результаты на стандартных тестах. Метаданные указывают английский язык; карточка также описывает интерфейс вызова инструментов. Для запуска README рекомендует Transformers версии 4.43.0 или выше. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Meta-Llama-3.1-70B-Instruct-GGUF — инструкционная большая языковая модель семейства Llama 3.1, разработанная Meta и представленная в формате GGUF сообществом backyardai. Она предназначена для генерации текста, диалоговых приложений, ответов на вопросы и выполнения инструкций. Модель является производной от meta-llama/Meta-Llama-3.1-70B-Instruct и ориентирована на сценарии локального или специализированного инференса с использованием совместимых инструментов. Модель имеет размер 70 миллиардов параметров и работает с текстовыми данными. В карточке заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Конкретная архитектура, длина контекста и параметры квантования для данной сборки не указаны. Большой размер может обеспечивать высокое качество генерации, однако требует значительных вычислительных ресурсов; практические характеристики зависят от используемого варианта GGUF и среды запуска. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 миллионами активных пользователей в месяц предусмотрено требование получить отдельную лицензию Meta.

Mungert/Meta-Llama-3-8B-Instruct-GGUF — это версия инструкционно дообученной языковой модели Meta Llama 3, подготовленная пользователем или организацией Mungert в формате GGUF. Базовую модель разработала Meta. Она предназначена для генерации текста по инструкциям и диалоговых сценариев; в карточке указана специализация text-generation и поддержка английского языка. Из идентификатора следует, что модель относится к семейству Llama 3 с размером около 8 миллиардов параметров и ориентирована на локальный инференс в совместимых инструментах, поддерживающих формат GGUF. Точные характеристики архитектуры, размер контекста, варианты квантования, системные требования и перечень модальностей в README не указаны; по доступным данным модель является текстовой и не предназначена для обработки изображений или других мультимодальных входов. Лицензия — Meta Llama 3 Community License: она допускает использование, копирование, модификацию и распространение с установленными условиями, включая соблюдение Acceptable Use Policy, указание атрибуции и требований к маркировке продуктов. Для крупных сервисов с более чем 700 миллионами месячных пользователей предусмотрено получение отдельного разрешения Meta.

RedHatAI/Ministral-3-14B-Instruct-2512-FP8-dynamic — текстовая генеративная языковая модель на архитектуре MistralForCausalLM, разработанная Red Hat совместно с Neural Magic. Она основана на mistralai/Ministral-3-14B-Instruct-2512-BF16 и предназначена для генерации текста по инструкциям. Модель ориентирована на рассуждения, вызов функций, многоязычное следование инструкциям, перевод и создание предметно-ориентированных решений посредством дообучения. Она принимает текст и генерирует текст. В README указано использование контекстного окна до 262144 токенов в конфигурации оценки. Поддержка конкретного набора языков не уточняется. Ключевая особенность — динамическое FP8-квантизование весов и активаций линейных операторов внутри transformer-блоков. По сравнению с BF16 это уменьшает число бит на параметр с 16 до 8, размер на диске и требования к GPU-памяти примерно на 50%, что делает модель удобнее для инференса. Рекомендуемый backend развертывания — vLLM, включая OpenAI-совместимый сервер. Ограничения включают возможное снижение точности из-за квантизации и отсутствие в представленном README итоговых числовых результатов бенчмарков. Модель предназначена для законного использования и распространяется по лицензии Apache 2.0.

Mistral-Nemo-Instruct-2407-GGUF — квантизированная GGUF-версия инструкционной языковой модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI (mistralai) и подготовленной квантизацией компанией Second State Inc. Модель предназначена для диалоговых приложений, генерации и обработки текста, запуска локально через совместимые инструменты, включая LlamaEdge и llama.cpp. Доступны варианты квантизации от Q2_K до Q8_0, а также f16; размер файлов составляет примерно от 4,79 до 24,5 ГБ. Для запуска используется шаблон запросов mistral-instruct, а заявленный размер контекста — 128 000 токенов. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский языки. Это текстовая модель без заявленной поддержки других модальностей. Основное преимущество набора — возможность выбрать баланс между размером, требованиями к ресурсам и качеством: Q4_K_M и Q5_K_M отмечены как рекомендуемые варианты, тогда как низкобитные версии сильнее теряют качество. Ограничения включают зависимость качества и производительности от выбранной квантизации и оборудования; архитектура и точное число параметров в README не указаны. Модель распространяется по лицензии Apache-2.0.

Mistral-Small-Instruct-2409 — плотная языковая модель на 22 млрд параметров от команды Mistral AI, дообученная следовать инструкциям. Она предназначена для диалогов, генерации текста и вызова функций в приложениях и inference-сервисах. Модель поддерживает контекст до 32 768 токенов и, согласно карточке, функцию вызова инструментов; для запуска рекомендуются vLLM или mistral-inference. Для работы на одном GPU требуется не менее 44 ГБ видеопамяти, либо можно распределить нагрузку между несколькими устройствами. В карточке перечислена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому условия использования следует проверять в материалах модели на Hugging Face.

MyAwesomeModel — языковая модель, распространяемая через библиотеку Transformers; разработчик в представленном README не указан. Модель ориентирована на задачи, требующие рассуждений и генерации текста, включая математические и логические задачи, программирование, ответы на вопросы, классификацию текстов, анализ тональности, суммаризацию, перевод, диалог, творческое письмо и следование инструкциям. Также заявлена поддержка function calling, загрузки файлов и генерации с использованием результатов веб-поиска. По данным README, обновлённая версия получила улучшения в глубине рассуждений, возможностях вывода и постобучении, а также сниженный уровень галлюцинаций. На тесте AIME 2025 точность выросла с 70% до 87,5%, при этом среднее число токенов рассуждения увеличилось примерно с 12 тысяч до 23 тысяч на задачу. В сводных оценках модель показывает наиболее заметные результаты в рассуждениях и генерации, однако конкретные архитектура, число параметров, поддерживаемые языки, модальности и размер контекстного окна не указаны. Для использования рекомендуется библиотека Transformers, системный промпт с текущей датой и температура 0,6. Специальные токены в начале ответа для включения определённого режима рассуждений не требуются. README также упоминает вариант MyAwesomeModel-Small, но не приводит его подробных характеристик. Модель распространяется по лицензии MIT.

Qwen1.5-4B-Chat-GPTQ-Int4 — диалоговая языковая модель серии Qwen1.5, разработанная командой Qwen. Это decoder-only модель на архитектуре Transformer, предназначенная для генерации текста и взаимодействия в формате чата: ответов на вопросы, ведения диалога, подготовки текстов и других задач обработки естественного языка. Модель содержит около 4 миллиардов параметров и представлена в формате GPTQ с 4-битным квантованием Int4, что снижает требования к памяти при запуске. Она поддерживает текстовую модальность, многоязычную работу и контекст до 32K токенов. В архитектуре заявлены активация SwiGLU, смещения в QKV-внимании и улучшенный токенизатор, адаптированный к естественным языкам и программному коду. Модель была предварительно обучена на большом объёме данных, а затем дообучена с использованием supervised fine-tuning и direct preference optimization. К сильным сторонам относятся компактный размер, удобный для локального развертывания квантованный формат, чатовая настройка и поддержка длинного контекста. Ограничения включают статус beta-версии, возможные проблемы при переключении между языками и отсутствие в описании данных о гарантированной точности, безопасности или поддерживаемых языках, кроме заявленной многоязычности. Указана лицензия Tongyi Qianwen Research; подробные условия приведены в файле лицензии репозитория.

Qwen1.5-72B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это дообученная версия базовой Qwen1.5-72B: плотная авторегрессионная языковая модель на архитектуре Transformer с примерно 71 млрд параметров, предназначенная для диалоговой генерации текста. Для работы используется библиотека Transformers, веса опубликованы в формате safetensors. Модель подходит для ведения диалога, ответов на вопросы, составления и редактирования текстов, а также генерации кода. В README заявлена многоязычная поддержка; метаданные карточки указывают английский язык. Контекст составляет до 32 768 токенов. Улучшения серии Qwen1.5 включают поддержку длинного контекста и качество чат-моделей, однако в README отмечены возможные ошибки переключения между языками; для генерации рекомендуется использовать параметры из generation_config.json. Карточка указывает лицензию «other», но конкретные условия в предоставленных данных не раскрыты, поэтому перед использованием следует проверить лицензионные сведения репозитория. Это крупная модель, для запуска которой требуются значительные вычислительные ресурсы.

Qwen1.5-72B-Chat-GPTQ-Int4 — чат-модель семейства Qwen1.5, разработанная командой Qwen. Это decoder-only языковая модель на архитектуре Transformer, дообученная с применением supervised fine-tuning и direct preference optimization для повышения качества диалогов и соответствия человеческим предпочтениям. Вариант GPTQ-Int4 содержит 72 млрд параметров и предназначен для генерации текста в формате чата. Модель подходит для диалоговых помощников, ответов на вопросы, создания и обработки текстов, а также работы с естественными языками и программным кодом. Заявлена мультиязычная поддержка, однако точный перечень языков в README не указан. Модель поддерживает контекст до 32K токенов и может загружаться через Transformers с использованием AutoModelForCausalLM и AutoTokenizer; для работы рекомендуется transformers версии 4.37.0 или новее. К сильным сторонам относятся большой размер, улучшенная по сравнению с предыдущим поколением производительность в оценках человеческих предпочтений, чатовая настройка и 4-битная GPTQ-квантизация, снижающая требования к памяти. К ограничениям относятся beta-статус семейства, возможные проблемы с переключением между языками и деградация результатов некоторых бенчмарков после DPO. В README также указано, что для этой beta-версии временно не включены GQA и комбинация sliding window attention с полной attention. Лицензия обозначена как other; используется лицензия tongyi-qianwen, полный текст доступен по ссылке в карточке модели.

Это инструкционная чат-модель Qwen2.5-3B, размещённая Unsloth и основанная на Qwen/Qwen2.5-3B-Instruct. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, помощь с кодом и математикой, работу со структурированными данными и формирование JSON. Модель имеет плотную архитектуру Qwen2 с 3,1 млрд параметров; в README указаны 36 слоёв, поддержка контекста до 32 768 токенов и генерация до 8 192 токенов. Модель работает с текстом и рассчитана на многоязычное использование: README заявляет поддержку более 29 языков, включая английский, русский, китайский, французский, немецкий и японский. Среди отмеченных сильных сторон семейства — следование инструкциям, генерация длинных текстов и структурированные ответы. Метаданные указывают библиотеку Transformers, формат Safetensors и интерфейс чата с поддержкой вызова инструментов. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с карточкой репозитория. Приведённый README в основном описывает семейство Qwen2.5 и материалы Unsloth; он не содержит отдельной оценки качества именно этой публикации модели.

ThomasBaruzier/Qwen2.5-3B-Instruct-GGUF — набор GGUF-квантизированных версий инструкционно дообученной языковой модели Qwen2.5-3B-Instruct. Исходную модель разработала команда Qwen компании Alibaba Cloud; данный репозиторий содержит квантизации, созданные с помощью llama.cpp и метода imatrix с использованием калибровочного файла Bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая следование инструкциям, создание длинных текстов, работу со структурированными данными и JSON, программирование и математические задачи. Она поддерживает более 29 языков, среди явно указанных — китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Это каузальная Transformer-модель с RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Модель содержит 3,09 млрд параметров, 36 слоёв и использует Grouped-Query Attention с 16 головами для Q и 2 для KV. Заявлена длина контекста до 32 768 токенов и генерация до 8192 токенов. Главное преимущество репозитория — выбор компромиссов между размером файлов, качеством и требованиями к памяти: варианты занимают примерно от 755 МБ до 5,9 ГБ, при этом качество квантования различается, поэтому наиболее компактные версии могут заметно уступать F16. Лицензия указана как qwen-research; применяются условия лицензии исходной модели Qwen2.5-3B-Instruct.

Qwen2-7B-Instruct-GGUF — инструкционная языковая модель из серии Qwen2, разработанная командой Qwen. Это вариант Qwen2-7B-Instruct, представленный в формате GGUF для локального запуска и инференса с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, работу с инструкциями, понимание и создание текста, программирование, математику, рассуждения и многоязычные задачи. Модель содержит 7 миллиардов параметров и построена на архитектуре Transformer с активацией SwiGLU, смещениями QKV в механизме внимания и group query attention. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования. В репозитории доступны версия fp16 и квантизованные варианты GGUF: q5_0, q5_k_m, q6_k и q8_0. Точная длина контекста и полный список поддерживаемых языков в README не указаны. Модель работает только с текстом; сведения о поддержке других модальностей отсутствуют. К сильным сторонам относятся инструкционная настройка, пригодность для локального развёртывания, совместимость с llama.cpp и возможность выбирать между несколькими уровнями квантизации, балансируя качество и требования к ресурсам. Ограничения включают зависимость производительности и качества от выбранного формата GGUF и аппаратной конфигурации, а также отсутствие в предоставленных данных подробных результатов по прикладным задачам и информации о безопасностных ограничениях. Лицензия — Apache-2.0.

RedHatAI/Qwen3-30B-A3B-quantized.w4a16 — квантизированная версия языковой модели Qwen3-30B-A3B, разработанная Red Hat (Neural Magic). Это авторегрессионная текстовая модель на архитектуре Qwen3ForCausalLM: принимает текст и генерирует текст. Она предназначена для рассуждений, вызова функций, дообучения под предметные области, многоязычного следования инструкциям и перевода. Модель использует INT4-квантизацию весов линейных операторов в трансформерных блоках. Применяется симметричная поканальная по группам схема с размером группы 128 и алгоритм GPTQ, реализованный в библиотеке llm-compressor; веса имеют формат W4A16. По сравнению с 16-битным представлением это примерно на 75% уменьшает размер на диске и требования к памяти GPU. Доступно эффективное развертывание через vLLM, включая OpenAI-совместимый сервер. В README конкретно не указаны языки, точное окно контекста и результаты оценок. К сильным сторонам относятся существенная экономия памяти и дискового пространства при сохранении назначения базовой модели, а также поддержка сценариев рассуждения и многоязычной работы. Ограничения связаны с возможными потерями качества из-за 4-битной квантизации и зависимостью рекомендованного развертывания от совместимого стека, включая vLLM. Модель выпущена под лицензией Apache-2.0; использование не должно нарушать применимое законодательство и требования экспортного контроля.

dnotitia подготовила вариант Qwen3-4B с изменённым шаблоном чата для удобства обучения. Веса совпадают с официальными весами Qwen3; шаблон вынесен в файл chat_template.jinja и дополнен тегами generation для поддержки assistant_only_loss в библиотеке TRL. Модель построена на плотной причинной архитектуре Qwen3ForCausalLM и содержит 3,7 млрд параметров по метаданным. Она принимает текст и предназначена для генерации текста, диалога, следования инструкциям, рассуждений, написания кода и многоязычных задач; заявлена поддержка более 100 языков и диалектов. Указанное в карточке контекстное окно составляет 32 768 токенов, тогда как метаданные каталога приводят 40 960 токенов; это расхождение требует проверки для конкретной конфигурации. Для обучения рекомендована актуальная версия Transformers. Лицензия — Apache-2.0.

Qwen3-4B-quantized.w4a16 — квантизированная версия языковой модели Qwen3-4B, разработанная Red Hat (Neural Magic). Это авторегрессионная текстовая модель архитектуры Qwen3ForCausalLM: принимает текст и генерирует текст. Модель предназначена для рассуждений, function calling, многоязычного следования инструкциям, перевода и создания предметно-ориентированных решений посредством дообучения. В модели применена квантизация весов до INT4, выполненная с использованием алгоритма GPTQ и библиотеки llm-compressor. Квантизируются веса линейных операторов в блоках трансформера; используется асимметричная поканально-групповая схема с размером группы 64. Формат W4A16 снижает число бит на параметр с 16 до 4, что примерно на 75% уменьшает размер на диске и требования к памяти GPU. В README не указаны поддерживаемые языки и точный максимальный контекст, однако при оценке использовалась длина контекста до 40 960 токенов. Модель оптимизирована для эффективного развертывания с backend vLLM, включая OpenAI-совместимый режим обслуживания. Квантизация снижает требования к ресурсам, но может влиять на качество по сравнению с исходной Qwen3-4B; конкретные результаты оценки в представленном README не приведены. Лицензия — Apache 2.0, при этом использование должно соответствовать применимым законам и нормативным требованиям.