II.2Создание и понимание программного кода

unsloth/Llama-3.1-8B-bnb-4bit — это 4-битно квантованная версия языковой модели Meta Llama 3.1 8B, опубликованная Unsloth. Модель предназначена для генерации и обработки текста, диалоговых сценариев, работы с кодом, а также для последующего дообучения, включая создание reasoning-моделей с использованием GRPO. Она совместима с экосистемой Transformers и может быть экспортирована в форматы GGUF и vLLM. В основе лежит авторегрессионная модель с оптимизированной архитектурой Transformer и механизмом Grouped-Query Attention (GQA). Модель работает только с текстом: принимает многоязычный текст и генерирует многоязычный текст и код. Размер базовой модели — 8 млрд параметров, контекст — до 128 тысяч токенов. Обучение выполнено на смеси общедоступных онлайн-данных; дата отсечения знаний — декабрь 2023 года. В README явно указан английский язык, однако семейство Llama 3.1 описано как многоязычное. Ключевое преимущество этой версии — 4-битное представление, снижающее требования к памяти и упрощающее запуск и дообучение по сравнению с полноразмерной моделью. Ограничения включают текстовую модальность, возможную потерю качества из-за квантования и ограниченную актуальность знаний. Модель распространяется по лицензии Llama 3.1; условия использования следует уточнять в тексте этой лицензии Meta.

unsloth/Llama-3.1-8B-Instruct-bnb-4bit — 4-битная версия инструкционной модели Llama 3.1 8B, разработанной Meta и подготовленной в формате bnb-4bit сообществом Unsloth. Модель предназначена для многоязычного диалога, генерации текста и кода, выполнения инструкций, а также последующего дообучения, включая сценарии с GRPO и созданием reasoning-моделей. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer с 8 млрд параметров, поддержкой Grouped Query Attention и контекстом до 128 тысяч токенов. Она работает только с текстом на входе и генерирует многоязычный текст и код. Базовая инструкционная версия обучалась с использованием supervised fine-tuning и reinforcement learning from human feedback; заявленный срез знаний — декабрь 2023 года. README указывает английский язык, а описание Llama 3.1 заявляет многоязычную поддержку. Ключевое преимущество варианта — 4-битное квантование, снижающее требования к памяти и облегчающее локальный запуск и дообучение по сравнению с полноразмерными весами. Ограничения включают возможное снижение качества из-за квантования, текстовую модальность и отсутствие в README подробных сведений о точной процедуре квантования и измерениях качества именно этой сборки. Использование регулируется лицензией Llama 3.1.

unsloth/Llama-3.1-8B-Instruct-unsloth-bnb-4bit — это 4-битная версия инструкционной модели Llama 3.1 8B, разработанной Meta и подготовленной для распространения Unsloth. Модель предназначена для многоязычного диалога, генерации текста и кода, выполнения инструкций, а также локального запуска и последующей тонкой настройки. README также указывает на сценарии дообучения, включая создание reasoning-моделей с использованием GRPO. Модель представляет собой авторегрессионную языковую модель на оптимизированной архитектуре Transformer с 8 миллиардами параметров и поддержкой Grouped-Query Attention. Она работает только с текстом: принимает многоязычный текст и генерирует многоязычный текст и код. Контекстное окно составляет до 128 тысяч токенов, обучающие данные включают более 15 триллионов токенов из общедоступных онлайн-источников, дата отсечения знаний — декабрь 2023 года. Инструкционная версия использует supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности. Ключевое преимущество этой сборки — 4-битное представление, снижающее требования к памяти и подходящее для эффективного локального инференса и дообучения. Ограничения включают текстовую модальность, возможные ошибки и ограничения базовой языковой модели, а также устаревание знаний после декабря 2023 года. Для использования применяется лицензия Llama 3.1; её условия необходимо соблюдать при распространении и эксплуатации модели.

Esper 2 — языковая модель Valiant Labs для задач DevOps, облачной архитектуры и программирования. Она дообучена на базе Meta Llama 3.2 3B Instruct и содержит 3,2 млрд параметров; для генерации текста использует архитектуру Llama и формат safetensors. Обучающие данные включают синтетические инструкции по DevOps и коду, а также примеры общего диалога. Модель предназначена для ответов на вопросы и генерации кода и конфигураций для AWS, Azure, GCP, Terraform, Docker, CI/CD-пайплайнов и shell-скриптов. Она следует формату инструкций Llama 3.2 Instruct и поддерживает английский язык. Указанное окно контекста — 131 072 токена. Распространяется по лицензии Llama 3.2; перед использованием следует учитывать её условия.

RedHatAI/Llama-3.3-70B-Instruct — инструктивная языковая модель Meta, распространяемая Red Hat AI. Это плотная авторегрессионная модель семейства Llama на архитектуре Transformer с 69,5 млрд параметров, обученная для следования инструкциям и диалогов; настройка включает supervised fine-tuning и обучение с обратной связью от людей. Модель принимает текст и генерирует текст, в том числе код, поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Модель предназначена для многоязычных диалоговых ассистентов, генерации текста и кода, а также коммерческих и исследовательских сценариев. В карточке указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель статична и обучена на офлайн-данных; знания ограничены данными обучения с отсечкой декабря 2023 года. Для вызова внешних инструментов требуется интеграция со стороны приложения. Использование регулируется пользовательским соглашением Llama 3.3 Community License и соответствующей политикой допустимого использования.

unsloth/Llama-3.3-70B-Instruct-bnb-4bit — 4-битная версия модели Llama 3.3 70B Instruct, разработанной Meta и подготовленной для квантованного запуска сообществом Unsloth. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer с Grouped-Query Attention (GQA), дообученная с применением supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей для повышения полезности и безопасности. Модель предназначена для многоязычного диалога, генерации и обработки текста и кода. Она принимает и формирует текст, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, имеет контекстное окно 128k токенов и содержит 70 млрд параметров. Объём предобучающих данных превышает 15 трлн токенов, а дата отсечения знаний — декабрь 2023 года. Ключевые преимущества — большой контекст, широкий языковой охват, диалоговая настройка и сниженные требования к памяти благодаря 4-битному формату bnb. Модель остаётся статичной и обучена на офлайн-данных, поэтому её знания не обновляются автоматически и могут содержать ошибки или устаревшую информацию. Лицензия — Llama 3.3 Community License Agreement с особыми условиями коммерческого использования.

unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Meta Llama 3.1 8B, подготовленная с использованием Unsloth. Модель разработана Meta и предназначена для генерации текста и кода, диалоговых сценариев, ответов на инструкции и других задач обработки текста. Она работает только с текстовыми данными на входе и выдаёт текст или код. Модель построена на авторегрессионной оптимизированной архитектуре Transformer, использует Grouped-Query Attention (GQA) и содержит около 8 млрд параметров. Заявленная длина контекста составляет 128 тысяч токенов. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Instruction-тюнинг выполнен с применением supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности ответов. 4-битное представление снижает требования к памяти и может быть удобно для локального запуска и инференса на доступном оборудовании, однако потенциально ограничивает точность по сравнению с полноразмерными вариантами. Модель является статической и обучена на офлайн-данных; дата отсечения знаний — декабрь 2023 года. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License.

unsloth/meta-Llama-3.1-8B-unsloth-bnb-4bit — 4-битная версия модели Meta Llama 3.1 8B Instruct, подготовленная Unsloth. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer, дообученная с применением supervised fine-tuning и reinforcement learning from human feedback для более полезного и безопасного поведения. Модель предназначена для многоязычного диалога, генерации текста и кода, а также локального запуска и последующей тонкой настройки, включая обучение reasoning-моделей. Она работает только с текстом на входе и выдаёт текст или код на выходе, поддерживает контекст до 128 тысяч токенов и использует Grouped-Query Attention. Заявленный объём модели — 8 миллиардов параметров; данные обучения — новый набор общедоступных онлайн-данных, срез знаний — декабрь 2023 года. Ключевое преимущество этой редакции — 4-битное квантование, снижающее требования к памяти и делающее модель более подходящей для эффективного локального использования и дообучения. Ограничения включают текстовую модальность, устаревание знаний после декабря 2023 года и потенциальные потери качества, связанные с квантованием. В README указана лицензия llama3.1; разработчик базовой модели — Meta, формат и оптимизацию предоставляет Unsloth.

Mistral-Medium-3.5-128B-NVFP4 — квантизированная в формате NVFP4 версия Mistral Medium 3.5 128B, разработанная Mistral AI и оптимизированная NVIDIA с помощью Model Optimizer v0.44.0. NVIDIA не является разработчиком исходной модели. Это плотная Transformer-модель Mistral со 128 млрд параметров и визуальным энкодером, предназначенная для генерации текста, диалогов, программирования, сложных рассуждений, работы с изображениями и агентных сценариев. Модель принимает текст и изображения RGB с переменными размерами и соотношениями сторон, поддерживает контекст до 262 144 токенов и генерирует текст. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Доступны вызов функций, JSON-вывод, настраиваемая интенсивность рассуждений и следование системным инструкциям. Модель рассчитана на использование с vLLM на NVIDIA GPU архитектуры Blackwell и в Linux. Сильные стороны — единые веса для задач следования инструкциям, рассуждений и кодирования, длинный контекст, мультимодальное понимание изображений и поддержка структурированного и агентного взаимодействия. Ограничения включают отсутствие раскрытых сведений о тренировочных данных и необходимость дополнительного тестирования на данных конкретного применения для оценки качества, безопасности и соответствия требованиям. Модель готова к коммерческому и некоммерческому использованию; применяются условия Modified MIT license Mistral, а для развёртывания и настройки рекомендуется связаться с Mistral.

Qwen2.5-14B-Instruct-AWQ — инструкционная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для диалоговых систем, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, а также создания структурированных ответов, включая JSON. Модель содержит около 14,7 млрд параметров, из них 13,1 млрд без учёта эмбеддингов, и включает 48 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV-проекциях внимания; применяется GQA с 40 головами для Q и 8 для KV. Это AWQ-квантизированная версия с точностью 4 бит, предназначенная для более экономичного развёртывания. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Полная заявленная длина контекста составляет до 131 072 токенов, а максимальная длина генерации — 8192 токена. В текущей конфигурации доступно 32 768 токенов; для более длинных входов требуется настройка YaRN, причём статическое масштабирование может ухудшать качество или производительность на коротких текстах. Сильные стороны модели — улучшенное следование инструкциям, работа с длинными текстами, структурированными данными, программированием и математикой. Ограничения включают возможные потери качества из-за 4-битной квантизации и повышенные требования к настройке при использовании длинного контекста. Модель распространяется по лицензии Apache 2.0.

Qwen2.5-14B-Instruct-GPTQ-Int4 — инструкционно дообученная причинная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, работы с кодом и математическими задачами, обработки структурированных данных и формирования структурированных ответов, включая JSON. Она поддерживает более 29 языков, среди которых английский, китайский, русский, французский, немецкий, испанский, японский и корейский. Модель содержит 14,7 млрд параметров, из них 13,1 млрд непараметров эмбеддингов, и включает 48 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV-внимании и Grouped Query Attention с 40 головами для Q и 8 для KV. Применяется 4-битная GPTQ-квантизация, уменьшающая требования к памяти по сравнению с полноразмерной версией. Заявленная максимальная длина контекста составляет 131 072 токена, а генерации — 8192 токена; в текущей конфигурации без дополнительной настройки доступно до 32 768 токенов, для более длинных входов требуется YaRN. Сильные стороны модели — улучшенное следование инструкциям, генерация длинных текстов, работа с кодом, математикой, таблицами и JSON, а также поддержка мультиязычных сценариев. GPTQ-квантизация может упростить развёртывание, однако квантование способно влиять на качество относительно исходной bfloat16-версии. Использование статического YaRN в vLLM может снижать производительность на коротких текстах. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-14B-Instruct-GPTQ-Int8 — инструкцияно дообученная каузальная языковая модель из серии Qwen2.5, разработанная командой Qwen. Модель предназначена для диалоговых приложений, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, понимания таблиц и других структурированных данных, а также формирования структурированных ответов, включая JSON. Поддерживает более 29 языков, среди которых английский, китайский, русский, французский, немецкий, испанский, японский, корейский и арабский. Модель содержит около 14,7 млрд параметров, из которых 13,1 млрд приходятся на параметры без учёта эмбеддингов, и включает 48 слоёв. Архитектура основана на transformers и использует RoPE, SwiGLU, RMSNorm и смещения в Attention QKV; применяется GQA с 40 головами для Q и 8 для KV. Это GPTQ-квантизированная 8-битная версия, что может снизить требования к памяти по сравнению с полноразмерной моделью. Заявленная максимальная длина контекста составляет 131 072 токена, а генерации — 8192 токена; для контекстов свыше 32 768 токенов требуется настройка YaRN, которая может ухудшать производительность на коротких текстах. Модель подходит для локального или серверного развёртывания через Transformers и совместимые инструменты, включая vLLM. Для работы рекомендуется актуальная версия Transformers. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-32B-Instruct-GPTQ-Int8 — инструкцияно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen при Alibaba Cloud. Это каузальная текстовая модель для генерации текста и диалоговых сценариев, включая ответы на инструкции, написание длинных текстов, программирование, математические задачи, работу со структурированными данными и формирование структурированных ответов, в том числе JSON. Модель содержит около 32,5 млрд параметров, из которых 31 млрд приходятся на непараметрическую часть без эмбеддингов, и включает 64 слоя. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV-внимании; применяется Grouped Query Attention с 40 головами Q и 8 головами KV. Модель поддерживает текстовый ввод и вывод, более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Заявленная максимальная длина контекста составляет 131 072 токена, а генерации — 8192 токена; для контекстов свыше 32 768 токенов требуется настройка YaRN. GPTQ-квантизация до 8 бит снижает требования к памяти и подходит для локального или серверного развертывания, однако квантизация может влиять на качество по сравнению с исходной версией в формате bfloat16. При использовании YaRN со статическим коэффициентом масштабирования производительность на коротких текстах может ухудшаться. Для работы рекомендуется актуальная версия библиотеки Transformers, а для длинного контекста — vLLM. Модель распространяется по лицензии Apache-2.0.

Карточка модели Devastaticglitch/Qwen2.5-72B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-72B-Instruct, поэтому описание составлено по ней. Qwen2.5-72B-Instruct — инструкция-настроенная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на архитектуре Qwen2 с 71,5 млрд параметров по метаданным; карточка описывает 80 слоёв, RoPE, SwiGLU, RMSNorm и контекст до 131 072 токенов с генерацией до 8 192 токенов. В текущей конфигурации репозитория задан контекст 32 768 токенов, а для более длинных входов README предлагает YaRN. Модель предназначена для диалогов и следования инструкциям, генерации длинных текстов и структурированных ответов, включая JSON, а также для задач программирования, математики и понимания таблиц. Она поддерживает более 29 языков, включая русский и английский, и предоставляет интерфейс для вызова инструментов. Модель принимает и генерирует текст. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers; README рекомендует актуальную версию библиотеки и vLLM для развёртывания. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели. Удлинение контекста через статический YaRN может снижать производительность на коротких запросах.

unsloth/Qwen2.5-72B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-72B-Instruct, опубликованная Unsloth. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы с длинными документами, структурированными данными и форматированными ответами, включая JSON. Она также ориентирована на задачи программирования и математики. Это каузальная языковая модель с архитектурой на базе Transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-слоях внимания. Модель содержит 72,7 млрд параметров, из них 70,0 млрд без учёта embedding-слоёв, 80 слоёв и использует Grouped-Query Attention с 64 головами Q и 8 головами KV. Поддерживается контекст до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенные способности к программированию и математике, следованию инструкциям, генерации длинных текстов, обработке структурированных данных и устойчивости к разнообразным системным промптам. 4-битное представление снижает требования к памяти по сравнению с полноразмерной моделью, но README не содержит точных требований к оборудованию, результатов оценки или подробностей о качестве квантования. Модель текстовая и не предназначена для обработки изображений или других мультимодальных входов. Лицензия указана как other, без дополнительных условий в представленном README.

Карточка модели aertsimon90/Qwen2.5-7B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

Qwen2.5-7B-Instruct-AWQ — инструкционная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы со структурированными данными и JSON, а также задач программирования и математики. Модель содержит около 7,61 млрд параметров, 28 слоёв и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm и смещениями в механизме внимания. Применяется AWQ-квантизация до 4 бит, что снижает требования к памяти при развёртывании. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Заявлена длина контекста до 131 072 токенов и генерация до 8192 токенов, однако конфигурация репозитория рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN. Сильные стороны модели — улучшенное следование инструкциям, генерация длинных текстов, работа со структурированными данными, кодом и математикой, а также экономичность 4-битной версии. Использование статического YaRN в vLLM может снижать производительность на коротких текстах. Для работы требуется актуальная версия библиотеки transformers; версии ниже 4.37.0 не поддерживаются. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen2.5-7B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-7B, подготовленная Unsloth на основе Qwen/Qwen2.5-7B-Instruct. Это каузальная текстовая модель для диалогов, следования инструкциям, генерации связных текстов, работы со структурированными данными и JSON, программирования и математических задач. Модель содержит 7,61 млрд параметров, из которых 6,53 млрд — без учёта эмбеддингов, и имеет 28 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm и GQA с 28 головами для Q и 4 для KV. Поддерживается контекст до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество версии — 4-битное квантование, позволяющее снизить требования к памяти и упростить локальный запуск, однако квантование может влиять на точность по сравнению с полноточной моделью. Модель рассчитана на текстовые сценарии и не предназначена для обработки изображений или других модальностей. Лицензия — Apache-2.0.

QuantFactory/Qwen2.5-7B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Qwen2.5-7B-Instruct, созданная QuantFactory на основе модели Qwen от Alibaba Cloud с использованием llama.cpp. Модель предназначена для диалоговых сценариев, генерации текста, следования инструкциям, работы со структурированными данными и JSON, а также для задач программирования и математики. Это авторегрессионная causal language model с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещений QKV в механизме внимания. Модель содержит 7,61 млрд параметров, 28 слоёв и использует Grouped Query Attention с 28 головами Q и 4 головами KV. Заявлена поддержка контекста до 131 072 токенов и генерации до 8192 токенов; для контекстов свыше 32 768 токенов требуется настройка YaRN. Поддерживается более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, японский, корейский и другие. Сильные стороны модели — улучшенное следование инструкциям, генерация длинных текстов, понимание таблиц и других структурированных данных, формирование JSON, а также развитые навыки в кодировании и математике. К ограничениям относятся возможное снижение качества или производительности на коротких текстах при статическом масштабировании YaRN и необходимость учитывать особенности используемого GGUF-квантизированного варианта. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-7B-Instruct-GPTQ-Int8 — инструкционная каузальная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалоговых приложений, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, создания длинных текстов и структурированных ответов, включая JSON. Модель поддерживает более 29 языков, в том числе английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Модель содержит 7,61 млрд параметров, из них 6,53 млрд — без учёта embedding, и включает 28 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV attention и Grouped Query Attention: 28 голов для Q и 4 для KV. Применена 8-битная GPTQ-квантизация, снижающая требования к памяти по сравнению с полноразмерной версией. Заявлена поддержка контекста до 131 072 токенов и генерации до 8192 токенов; для входов длиннее 32 768 токенов требуется настройка YaRN, которая может ухудшать производительность на коротких запросах. Для работы рекомендуется актуальная версия Transformers, а для развёртывания длинного контекста — vLLM. Сильные стороны модели — улучшенные возможности в кодировании, математике, следовании инструкциям, обработке таблиц и структурированных данных, а также многоязычность и поддержка длинного контекста. Ограничения включают возможное снижение качества или скорости из-за квантизации и потенциальное ухудшение производительности на коротких текстах при включённом статическом YaRN. Модель распространяется по лицензии Apache-2.0.

Qwen2-7B-Instruct — инструктивно дообученная языковая модель серии Qwen2, разработанная командой Qwen. Это плотная decoder-only модель на архитектуре Transformer с 7,1 млрд параметров, предназначенная для диалогов и генерации текста. Она подходит для ответов на вопросы, суммаризации, написания текстов, программирования, математики и рассуждений. Модель принимает текст и выдаёт текст. Карточка описывает поддержку нескольких естественных языков и кода; в метаданных указан английский язык. Заявленная длина контекста в метаданных — 32 768 токенов; README описывает расширение до 131 072 токенов с помощью YARN. Для запуска рекомендована версия Transformers 4.37.0 или новее, а README также приводит вариант развёртывания через vLLM. Модель демонстрирует сильные результаты в приведённых бенчмарках по пониманию и генерации языка, мультиязычным задачам, программированию, математике и рассуждениям. Расширенный контекст через YARN требует настройки и может снижать качество на коротких текстах при статическом масштабировании. Лицензия — Apache-2.0.

unsloth/Qwen3-14B-128K-GGUF — формат GGUF модели Qwen3-14B, опубликованный Unsloth на основе модели Qwen/Qwen3-14B. Это причинная языковая модель с 14,8 млрд параметров, предназначенная для генерации текста, диалогов, следования инструкциям, математических рассуждений, программирования, творческого письма и агентских сценариев с интеграцией внешних инструментов. Модель поддерживает переключение между режимом рассуждений и нерассуждающим режимом, что позволяет выбирать между качеством решения сложных задач и более эффективным общим диалогом. Указана поддержка более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Архитектура включает 40 слоёв и Grouped-Query Attention с 40 головами запросов и 8 головами ключей и значений. Базовый контекст составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Сильными сторонами являются развитые способности к рассуждениям, коду, многошаговому диалогу, следованию инструкциям и работе с инструментами, а также возможность локального запуска в формате GGUF. Ограничения и требования к аппаратному обеспечению для этой конкретной сборки в README подробно не указаны; характеристики длинного контекста зависят от корректной поддержки YaRN и используемого программного обеспечения. Лицензия — Apache-2.0.

Qwen3-14B-AWQ — квантизированная 4-битная версия языковой модели Qwen3-14B, разработанной командой Qwen. Это причинная языковая модель для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческих сценариев и интеграции с внешними инструментами в агентных системах. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд не являются embedding-параметрами, и включает 40 слоёв. Она использует Grouped Query Attention с 40 головами для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Поддерживаются более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Модель поддерживает переключение между режимом рассуждений и обычным режимом генерации. Сильные стороны модели — развитые возможности рассуждений, генерации кода, многоязычного общения, многошагового диалога и использования инструментов. Формат AWQ 4-bit снижает требования к памяти по сравнению с полноразмерной версией, но README не содержит количественной оценки возможной потери качества, требований к аппаратному обеспечению или результатов бенчмарков. Для работы рекомендуется использовать актуальную версию Transformers; также поддерживается развёртывание через SGLang и vLLM. Модель распространяется по лицензии Apache 2.0.

Qwen3-14B-GGUF — квантизированная версия причинной языковой модели Qwen3-14B, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов и агентных возможностей. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд приходятся на параметры без учёта эмбеддингов, и имеет 40 слоёв. Используется Grouped-Query Attention: 40 голов для запросов и 8 для ключей и значений. Поддерживаются режимы с рассуждением и без рассуждения, между которыми можно переключаться в рамках одной модели. Заявлена поддержка более 100 языков и диалектов. Нативная длина контекста составляет 32 768 токенов; с использованием YaRN проверена работа с контекстом до 131 072 токенов. Доступны варианты квантования q4_K_M, q5_0, q5_K_M, q6_K и q8_0 в формате GGUF. Сильные стороны модели — сочетание рассуждений и эффективного общего диалога, развитое следование инструкциям, мультиязычность и интеграция с инструментами. Формат GGUF ориентирован на локальный запуск через llama.cpp и Ollama. Ограничения связаны с возможным снижением качества из-за квантования; при использовании статического YaRN производительность на коротких текстах может ухудшаться, поэтому его рекомендуется включать только для длинного контекста. Модель распространяется по лицензии Apache-2.0.

Qwen3-14B-MLX-4bit — это 4-битная MLX-версия причинной языковой модели Qwen3-14B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, перевода, написания кода, математического и логического рассуждения, творческих задач и сценариев с агентами и внешними инструментами. Она поддерживает переключение между режимом рассуждения и обычным режимом без рассуждения в рамках одной модели. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд не относятся к embedding, и имеет 40 слоёв. Используется Grouped Query Attention: 40 голов для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Заявлена поддержка более 100 языков и диалектов. Формат MLX и 4-битное квантование ориентированы на эффективный запуск в экосистеме MLX, однако README не содержит конкретных требований к памяти и производительности. Сильными сторонами являются развитые способности к рассуждению, математике, программированию, многоязычному взаимодействию, многошаговым диалогам и использованию инструментов. Режим без рассуждения может повысить эффективность, а режим рассуждения предназначен для более сложных задач. Ограничения включают зависимость от совместимых версий mlx_lm и transformers, а также необходимость подбора параметров генерации: для режима рассуждения не рекомендуется жадное декодирование из-за возможных повторов. Модель распространяется по лицензии Apache-2.0.

Карточка модели ygal33/Qwen3-235B-A22B на Hugging Face совпадает с карточкой Qwen/Qwen3-235B-A22B, поэтому описание составлено по ней. Qwen3-235B-A22B — большая языковая модель семейства Qwen3 от команды Qwen, разработанная Alibaba. Это причинная языковая модель архитектуры Mixture of Experts: всего 235 млрд параметров, из которых при генерации активируются 22 млрд; используются 128 экспертов, из них активны 8. Модель доступна в формате safetensors и рассчитана на работу через Transformers. Модель предназначена для диалогов и генерации текста, следования инструкциям, рассуждений, математики, программирования, творческого письма, перевода и сценариев с вызовом внешних инструментов. В одном чекпойнте можно переключать режимы рассуждения и обычного ответа. README заявляет поддержку более 100 языков и диалектов. Контекст в README указан как 32 768 токенов нативно и до 131 072 с YaRN; метаданные каталога указывают нативную длину 40 960 токенов. Модель принимает текст и выдаёт текст. Репозиторий лицензирован по Apache-2.0. Для практического использования следует учитывать большой общий размер модели и требования к инфраструктуре; README не приводит конкретных аппаратных требований или оценок качества для отдельных задач.

Qwen3-235B-A22B-FP8 — крупная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-квантованный вариант базовой модели Qwen3-235B-A22B, предназначенный для генерации текста, диалогов, следования инструкциям, сложного логического рассуждения, математики, программирования, творческого письма, перевода и агентских сценариев с интеграцией внешних инструментов. Модель использует архитектуру Mixture of Experts (MoE): 235 млрд параметров всего, из которых 22 млрд активируются при обработке каждого запроса; заявлены 94 слоя, 128 экспертов, 8 активируемых экспертов и Grouped Query Attention с 64 головами для Q и 4 для KV. Нативный контекст составляет 32 768 токенов, а с YaRN — до 131 072 токенов. Поддерживаются более 100 языков и диалектов. Модель умеет переключаться между режимами thinking для сложных рассуждений и non-thinking для более быстрых универсальных ответов. К сильным сторонам относятся развитые способности к рассуждению, многоязычность, следование инструкциям, многошаговый диалог и работа с инструментами. FP8-квантизация с блочным размером 128 может повысить эффективность инференса, однако модель остаётся очень ресурсоёмкой. Для распределённого инференса в transformers указаны известные проблемы с fine-grained FP8; при использовании нескольких устройств может потребоваться CUDA_LAUNCH_BLOCKING=1. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-235B-A22B-GGUF — GGUF-версия модели Qwen3-235B-A22B, подготовленная Unsloth на основе разработки Qwen. Это каузальная языковая MoE-модель для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, перевода и агентских сценариев с интеграцией внешних инструментов. Модель содержит 235 млрд параметров, из которых 22 млрд активируются при обработке запроса. Она включает 94 слоя, архитектуру GQA с 64 головами внимания для Q и 4 для KV, 128 экспертов, из которых активируются 8. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN может достигать 131 072 токенов. Поддерживаются более 100 языков и диалектов. Модель позволяет переключаться между режимами рассуждения и обычной генерации, сочетая качество решения сложных задач с более эффективными ответами в общем диалоге. К сильным сторонам относятся развитые способности к рассуждению, программированию, многоязычному взаимодействию, следованию инструкциям и работе в агентских системах. GGUF-формат удобен для локального запуска через llama.cpp, Ollama, LM Studio и совместимые инструменты, однако модель остаётся крайне крупной и требует значительных вычислительных ресурсов; конкретные требования зависят от выбранной квантизации, сведения о которой в карточке не приведены. Модель предназначена для текстовых задач, данных о поддержке изображений или других модальностей нет. Указана лицензия Apache-2.0.

Qwen3-235B-A22B-Instruct-2507 — большая языковая модель, разработанная командой Qwen и представленная в формате GGUF компанией Unsloth. Это каузальная модель для генерации текста, дообученная для выполнения инструкций. Она предназначена для диалогов, следования указаниям, логического рассуждения, понимания текста, математики, научных задач, программирования, использования инструментов и работы с открытыми субъективными запросами. Модель поддерживает широкий спектр языков и рассчитана на приложения, требующие высокого качества ответов и обработки длинных документов. Модель построена на архитектуре Mixture of Experts: содержит 235 млрд параметров, из которых 22 млрд активируются при обработке токена, 94 слоя, 128 экспертов и 8 активируемых экспертов. Используется Grouped Query Attention с 64 головами Q и 4 головами KV; контекстное окно составляет 262 144 токена. Модель работает только в нережиме рассуждений и не генерирует блоки <think></think>. К сильным сторонам относятся улучшенные знания, многоязычность, следование инструкциям, математическое и логическое рассуждение, программирование, работа с инструментами и понимание длинного контекста. Ограничения включают отсутствие режима рассуждений и высокие требования к вычислительным ресурсам, характерные для модели такого размера; точные требования к оборудованию в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0. Указанный репозиторий содержит GGUF-представление, подготовленное Unsloth; базовая модель — Qwen/Qwen3-235B-A22B-Instruct-2507.