II.2Создание и понимание программного кода

Карточка модели Undi95/Meta-Llama-3-8B-Instruct-hf на Hugging Face совпадает с карточкой kuotient/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. kuotient/Meta-Llama-3-8B-Instruct — чат-модель, разработанная Meta на основе семейства Llama 3. Это авторегрессионная плотная трансформерная модель класса LlamaForCausalLM с примерно 7,5 млрд параметров и механизмом Grouped-Query Attention. Она принимает текст и генерирует текст или код; версия с инструкционной настройкой предназначена для диалогов и работы в роли помощника. Модель рассчитана прежде всего на английский язык, а её контекстное окно составляет 8192 токена. Модель подходит для диалоговых помощников, ответов на вопросы, генерации и редактирования текста и кода. Инструкционные варианты Llama 3 настроены с помощью supervised fine-tuning и обучения с обратной связью от людей для повышения полезности и безопасности. Модель статична и обучена на офлайн-данных. Для использования действует специальная коммерческая лицензия Meta Llama 3; необходимо соблюдать её условия и политику допустимого использования.

Карточка модели NostraEmpire/mirror-phi-3.5-mini-instruct на Hugging Face совпадает с карточкой microsoft/Phi-3.5-mini-instruct, поэтому описание составлено по ней. Phi-3.5-mini-instruct — компактная языковая модель Microsoft из семейства Phi-3 для генерации текста и диалогов. Это плотная авторегрессионная модель на 3,7 млрд параметров, доступная в формате Safetensors и предназначенная для запуска в условиях ограниченных вычислительных ресурсов и низкой задержки. В README также описаны варианты с контекстом до 128 тыс. токенов; метаданные этой карточки указывают нативный контекст 4096 токенов, поэтому заявленную длину контекста для данного репозитория следует сверять с используемой конфигурацией. Модель дообучена следованием инструкциям и рассчитана на многоязычные диалоги, рассуждения, задачи по математике и логике, а также помощь с кодом. Её можно использовать как основу генеративных функций, для ответов на вопросы по длинным документам и их суммаризации. В карточке отмечены улучшения качества многоязычных многоходовых диалогов и рассуждений относительно Phi-3 Mini Instruct. Лицензия — MIT. Как и другие языковые модели, она может ошибаться и не оценивалась для всех возможных сценариев; перед применением в ответственных областях требуется проверка качества и безопасности. README также отмечает возможную уязвимость к длительным многоходовым jailbreak-атакам, в том числе на разных языках.

grimjim/mistralai-Mistral-Nemo-Instruct-2407 — инструктивно дообученная языковая модель на базе Mistral Nemo, разработанной совместно Mistral AI и NVIDIA. Она предназначена для диалога, следования инструкциям, генерации текста и вызова инструментов. Модель использует плотную архитектуру Transformer семейства Mistral с 40 слоями, GQA и 12,1 млрд параметров; контекстное окно составляет 131 072 токена. Доступны веса в формате Safetensors. Модель рассчитана на многоязычные задачи, включая английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский; обучающие данные также включают код. Подходит для чат-ботов, помощников и генерации ответов по инструкциям. Выпускается по лицензии Apache 2.0. В карточке разработчика модель названа демонстрацией возможностей базовой модели; встроенных механизмов модерации нет.

RedHatAI/Mistral-Small-24B-Instruct-2501-quantized.w8a8 — квантизированная INT8-версия Mistral-Small-24B-Instruct-2501, разработанная Red Hat совместно с Neural Magic. Модель предназначена для генерации текста и поддерживает текстовые и визуальные входные данные с текстовым выводом. Заявленные сценарии включают диалоговых агентов с быстрым откликом, вызов функций с низкой задержкой, программирование, математическое рассуждение, анализ длинных документов, визуальное понимание, локальный инференс и специализированные решения после дообучения. Модель имеет архитектуру Mistral3ForConditionalGeneration и содержит 24 млрд параметров в базовой версии. Веса и активации линейных операторов в трансформерных блоках квантизированы до INT8: для весов используется статическая симметричная поканальная схема, для активаций — динамическая симметричная потокенная схема. При заявленных характеристиках это примерно вдвое снижает требования к памяти GPU и размер файлов весов, а также может увеличить производительность матричных умножений примерно в два раза. Квантизация выполнена с использованием SmoothQuant и GPTQ через библиотеку llm-compressor. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Модель валидирована с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4; в документации приведён контекст до 32768 токенов. Ограничения включают возможное снижение точности из-за квантизации и запрет использования с нарушением применимых законов и в неподдерживаемых языках. Лицензия — Apache 2.0.

RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-FP8-dynamic — мультимодальная instruction-модель, разработанная Red Hat совместно с Neural Magic на базе Mistral-Small-3.1-24B-Instruct-2503 от Mistral AI. Архитектура Mistral3ForConditionalGeneration принимает текст и изображения, а генерирует текст. Заявлены поддержка 27 языков, включая русский, английский, французский, немецкий, испанский, китайский и японский, а также задачи text-to-text и image-text-to-text. Модель предназначена для быстрых диалоговых агентов, вызова функций с низкой задержкой, программирования, математического рассуждения, анализа длинных документов и визуального понимания. Она также подходит для дообучения под предметные области и локального развертывания, в том числе в сценариях с чувствительными данными. Размер модели составляет 24 млрд параметров; README не указывает точное максимальное окно контекста. Модель оптимизирована с помощью FP8-квантизации весов и активаций: это примерно вдвое снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных вычислений по сравнению с FP16. Для весов используется статическая симметричная поканальная квантизация, для активаций — динамическая симметричная потокенная квантизация; квантизуются линейные операторы внутри трансформерных блоков. Ограничения включают необходимость соблюдать законодательство и официально поддерживаемые языки. Модель распространяется по лицензии Apache-2.0.

stelterlab/Mistral-Small-3.2-24B-Instruct-2506-FP8 — экспериментальная FP8 W8A8-квантизированная версия Mistral-Small-3.2-24B-Instruct-2506, разработанная stelterlab с использованием llm-compressor. Базовая модель создана Mistral AI. Формат FP8 предназначен для запуска модели с меньшими требованиями к памяти и вычислительным ресурсам при сохранении основных возможностей исходной модели. Модель рассчитана на выполнение инструкций, диалоговые сценарии, генерацию текста, решение задач STEM, программирование, работу с изображениями и вызов функций. Она поддерживает текстово-изобразительный ввод и заявлена для английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. По сравнению с версией 3.1 улучшены следование точным инструкциям, устойчивость к бесконечным повторениям и function calling; для сервинга рекомендуется vLLM. К ограничениям относятся экспериментальный статус FP8-квантизации и отсутствие в предоставленных данных сведений о точном размере контекста и детальной архитектуре. Качество может немного отличаться от полной версии модели, а по отдельным vision-бенчмаркам зафиксировано небольшое снижение результатов. Модель распространяется по лицензии Apache-2.0.

unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF — это GGUF-квантизированная версия мультимодальной инструкционной модели Mistral-Small-3.2-24B-Instruct-2506, разработанной Mistral AI и опубликованной в формате GGUF командой Unsloth. Модель предназначена для диалоговых приложений, выполнения инструкций, анализа изображений и текста, программирования, STEM-задач, обработки документов и вызова функций или инструментов. Модель содержит 24 млрд параметров, поддерживает текстовые и визуальные входные данные, а также языки English, French, German, Spanish, Portuguese, Italian, Japanese, Korean, Russian, Chinese, Arabic, Persian, Indonesian, Malay, Nepali, Polish, Romanian, Serbian, Swedish, Turkish, Ukrainian, Vietnamese, Hindi и Bengali. Заявленная длина контекста — до 128K токенов. По сравнению с Mistral-Small-3.1 улучшены следование точным инструкциям, устойчивость к повторяющимся или бесконечным генерациям и надёжность function calling. GGUF-версия включает исправления chat template; для llama.cpp рекомендуется включать режим Jinja. Сильные стороны модели — широкий языковой охват, поддержка зрения, длинный контекст, улучшенные результаты в instruction following, программировании и вызове функций. В опубликованных тестах отдельные показатели зрения немного ниже, чем у версии 3.1, поэтому качество зависит от конкретного типа визуальной задачи. Для запуска требуются совместимые GGUF-инструменты, например llama.cpp или Ollama; рекомендуется низкая температура около 0,15. Модель распространяется по лицензии Apache-2.0.

mnma_qwen3.8_27b_nvfp4 — квантизированная версия языковой модели Qwen3.8-27B, разработанная Minima на основе посттренировочной квантизации. Модель предназначена для генерации текста, диалоговых сценариев, решения математических и экзаменационных задач, программирования и работы с длинным контекстом. Это текстовая модель без vision-компонента, сохраняющая поддерживающий рассуждения chat template. Все 496 линейных слоёв backbone, включая 48 слоёв Gated DeltaNet, 16 attention-слоёв и 64 MLP-слоя, переведены в формат NVFP4 W4A4 с размером группы 16. Embeddings, lm_head, conv1d, нормализации, A_log и dt_bias сохранены в BF16, а KV-cache использует откалиброванные статические FP8-масштабы. Заявлены существенное снижение потребления памяти и ускорение: 17,53 GiB против 50,13 GiB для BF16, 1154 против 621 токена в секунду при указанной нагрузке и время prefill 32K около 4,03 секунды против 6,90 секунды. Модель требует vLLM не ниже 0.27 и GPU с аппаратной поддержкой NVFP4, например NVIDIA Blackwell SM120. По приведённым измерениям качество в большинстве задач близко к BF16: результаты GSM8K и AIME'25 совпадают, а различия на MMLU-Pro, GPQA-Diamond и LiveCodeBench невелики. Ограничениями являются зависимость от совместимого оборудования и vLLM, а также некоторое ухудшение perplexity, особенно на контексте 4K; сравнение корректно только при одинаковых настройках обслуживания. Модель распространяется по лицензии Apache-2.0.

Карточка модели Darth-Coder/my-model3-30b-it на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B-Instruct-2507, поэтому описание составлено по ней. Qwen3-30B-A3B-Instruct-2507 — языковая модель компании Qwen на архитектуре причинного MoE-декодера. В модели 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; она включает 48 слоёв и 128 экспертов, из которых активны восемь. Модель обучена для режима без рассуждений в специальном формате и доступна под лицензией Apache 2.0. Модель предназначена для диалогов и выполнения инструкций, генерации и понимания текста, логических и математических задач, вопросов по науке, программирования и вызова инструментов. Она поддерживает многоязычные сценарии и нативный контекст до 262 144 токенов; в README также описана экспериментальная настройка обработки контекста около миллиона токенов с DCA и разреженным вниманием, требующая примерно 240 ГБ видеопамяти. К сильным сторонам относятся следование инструкциям, работа с длинным контекстом и инструментами. Ограничение: модель работает только в режиме без рассуждений; обработка около миллиона токенов требует дополнительной настройки и значительных ресурсов.

WhiskyAKM/Nemotron-3.5-Lightning-30B-A3B-GGUF — это набор моделей в формате GGUF, созданный на основе NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 и разработанный NVIDIA Corporation. Файлы были конвертированы и квантизированы с помощью llama.cpp и предназначены для локального запуска и генерации текста, включая программирование, рассуждения, задачи общего назначения и агентские сценарии. Модель использует гибридную архитектуру Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE, а также отдельными слоями Attention. Всего модель содержит 30 млрд параметров, из которых активно используется около 3 млрд. Поддерживаются английский, испанский, французский, немецкий, итальянский и японский языки, а также языки программирования. Заявлена длина контекста до 1 млн токенов при нативном значении по умолчанию 256 тыс. токенов. Доступны режимы рассуждения с включением и отключением через chat template, а также методы ускорения генерации DSpark, DFlash и MTP. Сильными сторонами модели являются высокая вычислительная эффективность MoE-архитектуры, поддержка длинного контекста, многоязычность и несколько вариантов квантизации — от BF16 до 4-битных форматов. Качество, скорость и требования к памяти зависят от выбранного файла; более компактные варианты экономичнее, но могут уступать полноточной версии по качеству. Модель ориентирована на текстовые задачи и не заявлена как мультимодальная. Распространение и коммерческое использование регулируются лицензией OpenMDW License Agreement версии 1.1.

Nex-N2.5-mini — разговорная модель семейства агентных моделей Nex-N2.5 от Nex-AGI, основанная на архитектуре Qwen3.5 MoE. Она предназначена для длительных многошаговых задач: работы с компьютером и браузером, выполнения и проверки программ, а также научной и офисной работы. Модель использует визуальную обратную связь для восприятия интерфейсов, проверки результатов и продолжения действий; поддерживает режимы рассуждения и вызов функций. Для запуска автор приводит конфигурацию на двух ускорителях H100 и рекомендует параметры генерации temperature 0.7, top_p 0.95 и top_k 40. В метаданных указаны Transformers и формат safetensors; лицензия — Apache-2.0. README описывает мультимодальные возможности семейства и отдельно позиционирует Nex-N2.5-Max как текстовую модель, поэтому точные размер, контекст и перечень входов и выходов именно mini по этим данным установить нельзя.

NVIDIA Nemotron-3-Super-120B-A12B-BF16 — разговорная большая языковая модель NVIDIA для рассуждений, следования инструкциям и построения агентных систем. В карточке указаны 120 млрд параметров, из которых активно используются 12 млрд; архитектура LatentMoE сочетает слои Mamba-2, Mixture-of-Experts и внимания, а Multi-Token Prediction (MTP) предназначен для ускорения генерации. Метаданные каталога указывают архитектуру Nemotron-H и 6,6 млрд параметров, что расходится с числами в README; эти характеристики требуют осторожной интерпретации. Модель рассчитана на чат, сложные инструкции, код, математику, длинноконтекстные рассуждения и работу в совместных агентных сценариях, включая автоматизацию IT-заявок, RAG и обработку нескольких документов. README заявляет контекст до 1 млн токенов, тогда как метаданные указывают 262 144 токена. Поддерживаются английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Модель принимает текст и генерирует текст. Модель опубликована как BF16, но в README также описано обучение с NVFP4-квантизацией; формат файлов репозитория в метаданных — safetensors. Указана лицензия other, а README заявляет готовность к коммерческому использованию; конкретные условия лицензии следует сверять с карточкой. Модель версии v1.0 GA предназначена для практического применения.

NVIDIA-Nemotron-Nano-9B-v2-FP8 — языковая модель NVIDIA для диалогов, следования инструкциям и задач с рассуждением. Это FP8-квантизированная версия NVIDIA-Nemotron-Nano-9B-v2; гибридная архитектура Nemotron-H сочетает слои Mamba-2 и MLP с четырьмя слоями внимания. В FP8 переведены слои Mamba и MLP, а слои внимания и компоненты Conv1d сохранены в BF16. Метаданные указывают 15,1 млрд параметров и контекст до 131 072 токенов. Модель принимает и генерирует текст, поддерживает чат и интерфейс вызова инструментов. Режим рассуждения можно включать или отключать через системный промпт; она подходит для чат-ботов, AI-агентов, RAG-систем, программирования и типовых задач по инструкциям. Основные языки по карточке — английский, немецкий, испанский, французский, итальянский и японский; README также перечисляет корейский, португальский, русский и китайский как поддерживаемые во входных данных. Доступна коммерческая эксплуатация; в метаданных лицензия обозначена как other. Для инференса указана оптимизация под GPU NVIDIA; README предупреждает, что в vLLM точность может снизиться без параметра mamba_ssm_cache_dtype float32.

CallComply/openchat-3.5-0106-11b — дообученная компанией OpenChat чат-модель на архитектуре Mistral, представленная в формате Safetensors. Метаданные указывают 10,6 млрд параметров, контекст до 32 769 токенов и лицензию Apache 2.0. В README приведены сведения о варианте OpenChat-3.5-0106 на 7 млрд параметров с контекстом 8192 токена; поэтому заявленные там размеры и контекст расходятся с метаданными именно этого репозитория. Модель предназначена для диалогов, генерации текста, программирования и математических рассуждений. В README описаны общий режим и отдельный режим математических задач, а также экспериментальные возможности оценки ответов и предоставления обратной связи. Карточка рекомендует запускать её через OpenChat API-сервер с vLLM и указывает поддержку шаблона чата. README приводит результаты тестов на задачах кодирования, математики и общего рассуждения, но эти цифры не гарантируют качество в конкретных сценариях. Это текстовая модель: данные не подтверждают работу с изображениями или аудио. Лицензия репозитория — Apache 2.0.

OpenChat-3.5-0106 Gemma — диалоговая языковая модель OpenChat, дообученная методом C-RLFT на данных OpenChat-3.5-0106 на базе Gemma. Это плотная архитектура Gemma для генерации текста, в том числе ответов в диалоге; заявленный размер в метаданных — 8,2 млрд параметров, контекст — до 8192 токенов. README приводит результаты тестов по программированию, математике, общим знаниям и диалоговому качеству. Модель предназначена для чат-ботов, ответов на вопросы, написания и преобразования текста, а также задач рассуждения и генерации кода. Для развертывания авторы рекомендуют OpenChat с OpenAI-совместимым сервером на базе vLLM. README указывает лицензию Apache 2.0, тогда как метаданные Hugging Face содержат значение «other»; условия распространения стоит сверить с файлами лицензии репозитория. Модель может выдумывать факты и выдавать вредные, предвзятые или небезопасные ответы, поэтому важные результаты нужно проверять, а для безопасных сценариев нужна дополнительная модерация.

Карточка модели yindeshuai/Phi-3.5-mini-instruct на Hugging Face совпадает с карточкой microsoft/Phi-3.5-mini-instruct, поэтому описание составлено по ней. Phi-3.5-mini-instruct — компактная языковая модель Microsoft из семейства Phi-3 для генерации текста и диалогов. Это плотная авторегрессионная модель на 3,7 млрд параметров, доступная в формате Safetensors и предназначенная для запуска в условиях ограниченных вычислительных ресурсов и низкой задержки. В README также описаны варианты с контекстом до 128 тыс. токенов; метаданные этой карточки указывают нативный контекст 4096 токенов, поэтому заявленную длину контекста для данного репозитория следует сверять с используемой конфигурацией. Модель дообучена следованием инструкциям и рассчитана на многоязычные диалоги, рассуждения, задачи по математике и логике, а также помощь с кодом. Её можно использовать как основу генеративных функций, для ответов на вопросы по длинным документам и их суммаризации. В карточке отмечены улучшения качества многоязычных многоходовых диалогов и рассуждений относительно Phi-3 Mini Instruct. Лицензия — MIT. Как и другие языковые модели, она может ошибаться и не оценивалась для всех возможных сценариев; перед применением в ответственных областях требуется проверка качества и безопасности. README также отмечает возможную уязвимость к длительным многоходовым jailbreak-атакам, в том числе на разных языках.

unsloth/phi-4-GGUF — это конвертированная в формат GGUF версия модели Phi-4, разработанной Microsoft Research и основанной на microsoft/phi-4. Unsloth адаптировала модель под архитектуру Llama, чтобы упростить использование и дообучение, а также внесла исправления, связанные с Phi-4. Модель распространяется для запуска через llama.cpp и других совместимых инструментов. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения математических задач и программирования. Это плотный decoder-only Transformer на 14 млрд параметров с текстовым вводом, оптимизированным для запросов в чат-формате. Заявленная длина контекста составляет 16K токенов, основной язык — английский. В репозитории доступны варианты квантования GGUF, включая phi-4-Q2_K_L.gguf, что позволяет запускать модель с различными компромиссами между качеством, скоростью и требованиями к памяти. Сильными сторонами модели являются ориентация на качественные данные, развитое рассуждение, точное следование инструкциям и поддержка сценариев дообучения. Ограничения включают текстовую модальность, преимущественную ориентацию на английский язык, ограничение контекста в 16K токенов и возможные потери качества, зависящие от выбранного уровня квантования. Модель распространяется по лицензии MIT.

unsloth/Phi-4-mini-instruct-bnb-4bit — это 4-битно квантованная версия Phi-4-mini-instruct, разработанная Unsloth на базе модели Microsoft Phi-4-mini-instruct. Модель предназначена для генерации текста, диалогов и выполнения инструкций, включая задачи программирования, математики, рассуждений и NLP. Она поддерживает мультиязычное применение и относится к семейству Phi-4. Модель имеет контекст длиной до 128K токенов и оптимизирована для запуска при сниженных требованиях к памяти благодаря формату 4-bit. В версии Unsloth исправлены проблемы с padding и EOS-токенами, шаблоном чата и unk-токеном; также заявлено использование Dynamic Quants, которые должны обеспечивать более высокую точность по сравнению со стандартным 4-битным квантованием. Базовая модель обучалась на синтетических данных и отфильтрованных общедоступных веб-источниках, а затем проходила supervised fine-tuning и direct preference optimization. Сильные стороны модели — компактность, большой контекст, поддержка инструкций, диалогов, кода и математических задач, а также исправления, повышающие корректность инференса. Ограничения включают снижение точности по сравнению с полноразмерной или менее квантованной версией и отсутствие в предоставленных данных подробностей об архитектуре, точном числе параметров и перечне языков. Модель распространяется по лицензии MIT.

Qwen/Qwen1.5-32B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это бета-версия Qwen2: плотная авторегрессионная языковая модель на архитектуре Transformer, предназначенная для диалогов и генерации текста. В этой версии 31,7 млрд параметров; контекст — до 32 768 токенов. Модель обучена на больших массивах данных и адаптирована для общения. Семейство поддерживает несколько естественных языков, а токенизатор рассчитан на работу с разными языками и кодом; в карточке модели отдельно отмечен английский. Для варианта 32B применяются Group Query Attention, а также SwiGLU и смещение в проекциях QKV. Модель работает через Transformers и формат safetensors; для загрузки README рекомендует transformers версии 4.37.0 или новее. Модель подходит для чат-ботов, ответов на вопросы и свободной генерации текста. При переключении между языками или нестабильном качестве генерации README советует использовать параметры из generation_config.json. Лицензия в метаданных указана как other, поэтому конкретные условия использования следует сверить с файлами репозитория.

RedHatAI/Qwen2.5-14B-Instruct-FP8-dynamic — производная FP8 dynamic-квантизованная версия Qwen2.5-14B-Instruct, опубликованная Red Hat AI. Исходная модель разработана командой Qwen и представляет собой инструкционно дообученную авторегрессионную языковую модель для генерации текста и диалогового взаимодействия. Модель предназначена для чат-ботов, следования инструкциям, генерации длинных и структурированных ответов, включая JSON, а также для задач программирования, математики, анализа таблиц и других текстовых сценариев. Это текстовая, не мультимодальная модель с архитектурой Qwen2ForCausalLM; в исходной версии около 14,7 млрд параметров. Заявлена поддержка контекста до 128K токенов и генерации до 8K токенов. Модель мультиязычная; среди явно указанных языков есть английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество варианта RedHatAI — FP8 dynamic-квантизация, рассчитанная на уменьшение требований к памяти и ускорение инференса при сохранении назначения исходной instruct-модели. Ограничения включают типичные для языковых моделей риск ошибок, галлюцинаций и зависимости качества от формулировки запроса; конкретные результаты тестирования именно этой квантизованной версии в найденном репозитории не приведены. Для исходной Qwen2.5-14B-Instruct указана лицензия Apache 2.0; отдельная карточка модели RedHatAI лицензионные условия явно не описывает.

unsloth/Qwen2.5-14B-Instruct-unsloth-bnb-4bit — это 4-битная квантованная версия инструкционно дообученной языковой модели Qwen2.5-14B-Instruct. Базовую модель разработала команда Qwen, а квантованный вариант подготовлен Unsloth. Модель предназначена для диалогов, выполнения инструкций, генерации текста, работы со структурированными данными и JSON, а также для задач программирования и математики. Модель относится к классу causal language models и содержит около 14 миллиардов параметров. Для семейства Qwen2.5 заявлена поддержка контекста до 128 тысяч токенов и генерации до 8 тысяч токенов. Поддерживаются китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский, арабский и другие языки — всего более 29 языков. Мультимодальные возможности для этой модели не заявлены. Ключевое преимущество версии — сниженные требования к памяти благодаря 4-битному формату, при этом Unsloth заявляет улучшение точности по сравнению со стандартным 4-битным квантованием за счёт выборочной квантовки. Ограничения включают потенциальные потери точности, характерные для квантованных моделей, а также обычные для больших языковых моделей риски фактических ошибок и нестабильности результатов; конкретные показатели качества в README не приведены. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen2.5-32B-Instruct-FP8-dynamic — это опубликованная Red Hat AI FP8-квантизованная версия Qwen2.5-32B-Instruct, исходная модель разработана командой Qwen компании Alibaba. Она предназначена для диалогов, следования инструкциям, генерации текста и структурированных ответов, а также задач программирования, математики и работы с длинными текстами. Модель относится к causal language models и поддерживает только текстовые входы и выходы. В основе используется архитектура Qwen2ForCausalLM с 64 слоями, 40 attention heads для Q и 8 для KV по схеме GQA; размер исходной модели составляет около 32,5 млрд параметров. Репозиторий RedHatAI содержит формат compressed-tensors с FP8-представлением весов и динамическим квантованием активаций; в конфигурации указано максимальное положение на 32 768 токенов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский, английский, китайский и другие. Сильные стороны — сочетание крупного размера, улучшенных возможностей следования инструкциям, программирования, математики и более экономичного инференса благодаря FP8-квантизации. Ограничения включают возможные потери качества по сравнению с полной точностью, необходимость совместимого ПО для compressed-tensors и отсутствие отдельной карточки модели с подробными бенчмарками и описанием ограничений. Для исходной Qwen2.5-32B-Instruct указана лицензия Apache 2.0; отдельная лицензия производного репозитория RedHatAI в найденных материалах явно не указана.

Alignment Lab AI выпустила дообученную на инструкциях плотную языковую модель Qwen2.5 на 71,5 млрд параметров. Она предназначена для диалогов и генерации текста, включая ответы на инструкции, длинные тексты, структурированные данные и вывод в формате JSON; метаданные также отмечают интерфейс вызова инструментов. Архитектура — Qwen2ForCausalLM с RoPE, SwiGLU, RMSNorm и групповым запросным вниманием. Модель принимает текст и генерирует текст. Карточка заявляет поддержку более 29 языков, включая русский и английский. Контекст в конфигурации репозитория составляет 32 768 токенов; для обработки до 131 072 токенов README описывает расширение контекста с помощью YaRN. Генерация может достигать 8 192 токенов. Модель подходит для многоязычных чат-ботов, работы с кодом и математикой, длинных текстов и структурированных ответов. Для контекстов свыше 32 768 токенов требуется настройка YaRN; её статический коэффициент масштабирования в vLLM может снижать качество или производительность на коротких текстах. Лицензия указана как other, поэтому условия использования следует проверять в файлах репозитория.

Qwen2-57B-A14B-Instruct — инструктивная чат-модель семейства Qwen2, разработанная командой Qwen. Это языковая модель с архитектурой Transformer и смесью экспертов (MoE): всего около 57 млрд параметров, из которых при генерации активируется примерно 14 млрд. В метаданных репозитория указано 7,1 млрд параметров; модель распространяется в формате Safetensors и использует лицензию Apache 2.0. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, понимание и создание текстов, рассуждения, математику и программирование. Карточка заявляет контекст до 65 536 токенов с применением YARN для обработки длинных запросов; метаданные каталога указывают нативный контекст 32 768 токенов. Многоязычный токенизатор рассчитан на естественные языки и код, однако метаданные карточки подтверждают только английский язык. Среди сильных сторон — большая длина контекста и широкая направленность на языковые задачи; в README также приведены сравнительные оценки на бенчмарках. Для длинного контекста с YARN описана настройка развёртывания через vLLM, причём фиксированный коэффициент масштабирования может снижать качество на коротких текстах. Для работы с архитектурой Qwen2MoE рекомендуется Transformers версии 4.40.0 или новее.

Qwen2-57B-A14B-Instruct-GGUF — инструкционная языковая модель серии Qwen2, разработанная командой Qwen. Это текстовая модель для генерации и понимания текста, диалоговых приложений, решения задач на естественных языках, программирования, математики и рассуждений. Модель ориентирована на сценарии, где требуется чат-ассистент или локально развёртываемый сервис с совместимым с OpenAI API интерфейсом. Модель построена на декодерной архитектуре Transformer и использует Mixture-of-Experts с 57 млрд параметров, из которых 14 млрд активны (57B-A14B). Среди архитектурных особенностей указаны активация SwiGLU, bias в QKV и Grouped Query Attention. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования; в карточке явно указан английский язык. Модель прошла дообучение с учителем и Direct Preference Optimization. Доступны GGUF-квантизации от q2_k до q8_0, что позволяет выбирать компромисс между размером, скоростью и качеством. Сильными сторонами заявлены конкурентоспособность в задачах понимания и генерации текста, многоязычность, программирование, математика и рассуждения, а также возможность запуска через llama.cpp. Ограничения включают высокие требования к вычислительным ресурсам из-за размера модели, зависимость характеристик от выбранного уровня квантизации и отсутствие в README данных о максимальной длине контекста, точном наборе поддерживаемых языков и производительности. Модель распространяется по лицензии Apache 2.0.

Модель Krishnasri2027/qwen25-coder-1.5b-instruct-fine-tuned-merged разработана как дообученная версия Qwen/Qwen2.5-Coder-1.5B-Instruct для модернизации Python-кода, особенно при переходе к синтаксису и практикам, совместимым с Python 3.14. Это плотная причинная языковая модель семейства Qwen2 размером 1,5 млрд параметров, работающая в диалоговом формате и принимающая текстовые инструкции и исходный код. Нативная длина контекста — 32 768 токенов. Модель предназначена для переписывания устаревшего Python-кода, рефакторинга и помощи в миграции версий; её можно встроить в IDE, инструменты разработчика и автоматизированные конвейеры модернизации кода. Обучение выполнено методом QLoRA с 4-битной NF4-квантизацией базовой модели и LoRA-адаптером, после чего адаптер был объединён с исходными весами. В репозитории находятся самостоятельные веса FP16, поэтому отдельный адаптер при использовании не нужен. Лицензия — Apache-2.0. Модель может выдавать синтаксически некорректный код, менять поведение программ, пропускать граничные случаи или выполнять ненужный рефакторинг. Токенная точность и снижение функции потерь не гарантируют семантическую эквивалентность; сгенерированный код нужно проверять, запускать тесты и просматривать перед применением, особенно в критичных системах.

Qwen2-72B-Instruct-GGUF — крупная языковая модель с 72 миллиардами параметров, разработанная командой Qwen. Это instruction-tuned версия Qwen2, предназначенная для диалогов, генерации и понимания текста, многоязычных задач, программирования, математики и рассуждений. Модель относится к семейству decoder-only языковых моделей и распространяется в формате GGUF для запуска с помощью llama.cpp. Модель построена на архитектуре Transformer с активацией SwiGLU, смещениями в QKV-внимании и group query attention. В README указана улучшенная токенизация для нескольких естественных языков и языков программирования, однако точный список языков и размер контекстного окна не приведены. Доступны варианты квантования q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать компромисс между качеством, размером модели и требованиями к памяти. Поддерживается локальный запуск через llama.cpp и совместимый с OpenAI API сервер. К сильным сторонам относятся заявленная конкурентоспособность с проприетарными моделями и высокое качество на задачах понимания, генерации, многоязычности, кодинга, математики и рассуждений. Основные ограничения — очень большой размер, высокие требования к вычислительным ресурсам и возможная потеря качества при агрессивном квантовании. В метаданных указана лицензия other; конкретные условия использования в README не описаны.

qwp4w3hyb/Qwen2-72B-Instruct-iMat-GGUF — это квантованная GGUF-версия инструкционно дообученной языковой модели Qwen2-72B-Instruct, разработанной командой Qwen/Tongyi Qianwen. Модель предназначена для диалогов, генерации и понимания текста, решения задач рассуждения, программирования, математики и работы с многоязычными запросами. Модель основана на архитектуре Transformer с активацией SwiGLU, смещениями в QKV внимания, group query attention и токенизатором, адаптированным к естественным языкам и коду. Размер модели — 72 миллиарда параметров. Указана поддержка контекста до 131 072 токенов с применением YARN для обработки длинных текстов. Модель работает в текстовой модальности; в карточке явно указан английский язык, при этом оригинальная модель заявляет многоязычные возможности. Доступен широкий набор квантований от Q8_0 до IQ1_S, выполненных с использованием importance matrix для снижения потерь точности при квантовании. Сильные стороны модели — большой размер, расширенный контекст, широкий выбор уровней квантования и заявленная конкурентоспособность в понимании и генерации текста, кодировании, математике и рассуждениях. Ограничения включают высокие требования к вычислительным ресурсам для крупных вариантов квантования и возможное снижение точности у более агрессивных вариантов. Для развёртывания длинного контекста рекомендуется vLLM с настройкой YARN. Лицензия указана как other; в качестве лицензионного соглашения приведена Tongyi Qianwen.

JunHowie/Qwen3-14B-GPTQ-Int4 — это 4-битная GPTQ-квантизированная версия большой языковой модели Qwen3-14B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, творческого письма, перевода и многоязычных сценариев, включая интеграцию с внешними инструментами и агентами. Модель использует каузальную языковую архитектуру и содержит около 14,8 млрд параметров, из которых 13,2 млрд приходятся на параметры без учёта эмбеддингов. Она имеет 40 слоёв и групповое многоголовое внимание с 40 головами для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Поддерживаются более 100 языков и диалектов. Qwen3 позволяет переключаться между режимами рассуждения и обычной генерации. Квантизация выполнена в формат GPTQ Int4 с размером группы 128. По данным README, настройка desc_act=False повышает эффективность по скорости генерации токенов по сравнению с более ранними квантизированными версиями, что делает модель более подходящей для ресурсоограниченного развертывания. Для запуска рекомендуется vLLM версии 0.9.2 или новее; также заявлена совместимость с экосистемой vLLM и другими инструментами локального инференса. Ограничения включают возможное снижение точности из-за 4-битной квантизации, а также высокие требования к вычислительным ресурсам при использовании длинного контекста и режима рассуждения. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-14B-unsloth-bnb-4bit — 4-битная версия модели Qwen3-14B, подготовленная Unsloth на базе Qwen/Qwen3-14B, разработанной командой Qwen. Это авторегрессионная языковая модель для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, ролевого взаимодействия и агентских сценариев с использованием внешних инструментов. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд не относятся к embedding, и включает 40 слоёв. Используется Grouped-Query Attention с 40 головами для Q и 8 для KV. Поддерживаются режимы рассуждения и обычного ответа, между которыми можно переключаться в рамках одной модели. Заявлена поддержка более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Ключевое преимущество этой версии — 4-битное представление, снижающее требования к памяти и удобное для локального запуска и дообучения. Ограничения включают возможное снижение точности по сравнению с полноформатной моделью из-за квантования, а также высокие вычислительные требования, связанные с размером 14B. README не содержит подробных результатов бенчмарков и требований к конкретному оборудованию. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется использовать актуальную версию библиотеки transformers; в README указано, что версии ниже 4.51.0 могут вызывать ошибку, связанную с поддержкой Qwen3.