I.5Создание и редактирование текста

SlimOrca Mixtral 8x7B — дообученная языковая модель, выпущенная OpenAccess AI Collective и OpenOrca на базе mistralai/Mixtral-8x7B-v0.1 с использованием датасета Open-Orca/SlimOrca. Это авторегрессионная модель генерации текста с архитектурой Mixtral sparse Mixture of Experts; она подходит для генерации продолжений и ответов на текстовые запросы. Модель поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Лицензия — Apache 2.0.

Natsumura Assistant 1.0 — разговорная модель общего назначения из серии Natsumura, разработанная Tohur. Это плотная авторегрессионная модель семейства Llama 3.1 с 7,5 млрд параметров и контекстом до 131 072 токенов; она предназначена для диалогов и помощи с широким кругом текстовых задач. Модель дообучена на основе meta-llama/Meta-Llama-3.1-8B-Instruct с использованием наборов Natsumura Identity, Dolphin, Dolphin Coder, OpenHermes 2.5 Uncensored и UltraChat Uncensored. Карточка характеризует её как uncensored и отмечает высокую готовность следовать запросам. Модель принимает текст и генерирует текст; заявлена лицензия Llama 3.1 Community License.

OceanLabs/Ocean-1-4B-DSpark — дообученная компактная языковая модель общего назначения, основанная на D-Spark-4B и разработанная OceanLabs. Она предназначена для диалогов, написания и перевода текстов, рассуждений, повседневного программирования, вызова инструментов и агентных сценариев. Модель содержит 3,5 млрд параметров по метаданным и использует плотную архитектуру DSparkForCausalLM с чередованием слоёв скользящего и разреженного полного внимания. Контекстное окно достигает 1 048 576 токенов; заявлена поддержка более 200 языков. Модель оптимизирована для эффективного инференса на маломощных устройствах: архитектура снижает расход памяти KV-кэша и вычисления при работе с длинным контекстом. Указана совместимость с NVIDIA, Apple Silicon и CPU, а также с распространёнными средствами запуска и агентными фреймворками. В README приведены параметры базовой модели D-Spark-4B, отличающиеся от размера в метаданных; здесь указан размер из метаданных каталога. Репозиторий распространяется под лицензией Apache-2.0.

OpenHermes-2.5-DPO-No-Robots — диалоговая языковая модель на архитектуре Mistral, разработанная OpenAccess AI Collective. Это версия OpenHermes-2.5-Mistral-7B, дополнительно обученная методом DPO на датасете предпочтений, созданном на основе наборов HuggingFace No Robots. Модель содержит 7,1 млрд параметров и принимает текстовые запросы, генерируя текстовые ответы; контекст составляет до 32 768 токенов. Модель предназначена для диалога, следования инструкциям, генерации текста и помощи с кодом. Доступна в формате Safetensors. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.

Qwen/Qwen1.5-110B-Chat — чат-модель из серии Qwen1.5, разработанной командой Qwen. Это бета-версия Qwen2: плотная авторегрессионная языковая модель на архитектуре Transformer с 110 млрд параметров, предназначенная для диалогов и генерации текста. Модель обучена следовать инструкциям и выдана в формате safetensors. Модель поддерживает многоязычное общение, а её контекстное окно составляет 32 768 токенов. В архитектуре серии используются SwiGLU, смещение в проекциях внимания QKV и, для версии 110B, групповое внимание запросов (GQA). Для работы подходит актуальная версия библиотеки Transformers; удалённый код модели не требуется. Модель подходит для диалоговых ассистентов, генерации и редактирования текста, а также ответов на вопросы по длинным входным материалам. Карточка не приводит конкретные результаты оценки качества и не перечисляет поддерживаемые языки по отдельности. Лицензия указана как other, поэтому условия использования следует проверять в карточке репозитория.

Qwen/Qwen1.5-32B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это бета-версия Qwen2: плотная авторегрессионная языковая модель на архитектуре Transformer, предназначенная для диалогов и генерации текста. В этой версии 31,7 млрд параметров; контекст — до 32 768 токенов. Модель обучена на больших массивах данных и адаптирована для общения. Семейство поддерживает несколько естественных языков, а токенизатор рассчитан на работу с разными языками и кодом; в карточке модели отдельно отмечен английский. Для варианта 32B применяются Group Query Attention, а также SwiGLU и смещение в проекциях QKV. Модель работает через Transformers и формат safetensors; для загрузки README рекомендует transformers версии 4.37.0 или новее. Модель подходит для чат-ботов, ответов на вопросы и свободной генерации текста. При переключении между языками или нестабильном качестве генерации README советует использовать параметры из generation_config.json. Лицензия в метаданных указана как other, поэтому конкретные условия использования следует сверить с файлами репозитория.

Qwen1.5-4B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это бета-версия Qwen2 на архитектуре Transformer с декодером для авторегрессионной генерации текста; в репозитории указано около 3,6 млрд параметров. Модель предназначена для диалогов и генерации текста по запросу. Модель поддерживает несколько естественных языков, а её контекстное окно составляет 32 768 токенов. Карточка описывает улучшенную для разных языков и программного кода токенизацию и отмечает улучшение предпочтений пользователей в чат-сценариях относительно предыдущей версии Qwen. Для запуска рекомендуется Transformers версии 4.37.0 или новее. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с лицензией репозитория. В карточке также отмечено, что при переключении между языками и некоторых других проблемах генерации могут помочь параметры из generation_config.json.

Qwen1.5-72B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это дообученная версия базовой Qwen1.5-72B: плотная авторегрессионная языковая модель на архитектуре Transformer с примерно 71 млрд параметров, предназначенная для диалоговой генерации текста. Для работы используется библиотека Transformers, веса опубликованы в формате safetensors. Модель подходит для ведения диалога, ответов на вопросы, составления и редактирования текстов, а также генерации кода. В README заявлена многоязычная поддержка; метаданные карточки указывают английский язык. Контекст составляет до 32 768 токенов. Улучшения серии Qwen1.5 включают поддержку длинного контекста и качество чат-моделей, однако в README отмечены возможные ошибки переключения между языками; для генерации рекомендуется использовать параметры из generation_config.json. Карточка указывает лицензию «other», но конкретные условия в предоставленных данных не раскрыты, поэтому перед использованием следует проверить лицензионные сведения репозитория. Это крупная модель, для запуска которой требуются значительные вычислительные ресурсы.

Qwen/Qwen2.5-14B-Instruct — инструкционно дообученная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель с архитектурой Qwen2ForCausalLM, 14,7 млрд параметров, RoPE, SwiGLU, RMSNorm и групповой обработкой запросов внимания. Репозиторий содержит веса в формате Safetensors и предназначен для генерации текста в диалоговом формате. Модель подходит для чат-ботов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. В README заявлена поддержка более 29 языков, в том числе русского и английского. Метаданные указывают контекст в 32 768 токенов; README сообщает о возможности расширения контекста до 131 072 токенов с YaRN и генерации до 8 192 токенов. Модель также заявлена как улучшенная для программирования и математики, но результаты зависят от запроса и не гарантируют точности. Для контекстов длиннее 32 768 токенов требуется настройка YaRN; её статический коэффициент масштабирования в vLLM может снижать качество на коротких входах. Лицензия Apache-2.0 допускает использование на её условиях.

Qwen2.5-14B-Instruct-AWQ — инструкционная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для диалоговых систем, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, а также создания структурированных ответов, включая JSON. Модель содержит около 14,7 млрд параметров, из них 13,1 млрд без учёта эмбеддингов, и включает 48 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV-проекциях внимания; применяется GQA с 40 головами для Q и 8 для KV. Это AWQ-квантизированная версия с точностью 4 бит, предназначенная для более экономичного развёртывания. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Полная заявленная длина контекста составляет до 131 072 токенов, а максимальная длина генерации — 8192 токена. В текущей конфигурации доступно 32 768 токенов; для более длинных входов требуется настройка YaRN, причём статическое масштабирование может ухудшать качество или производительность на коротких текстах. Сильные стороны модели — улучшенное следование инструкциям, работа с длинными текстами, структурированными данными, программированием и математикой. Ограничения включают возможные потери качества из-за 4-битной квантизации и повышенные требования к настройке при использовании длинного контекста. Модель распространяется по лицензии Apache 2.0.

mlx-community/Qwen2.5-14B-Instruct-bf16 — преобразованная в формат MLX модель Qwen2.5-14B-Instruct, подготовленная сообществом mlx-community для запуска на Apple Silicon. Это плотная авторегрессионная модель семейства Qwen2 с 14 млрд параметров, предназначенная для генерации текста в диалоговом режиме и интерфейса вызова инструментов. Метаданные указывают контекст до 32 768 токенов и поддержку английского языка; README описывает конвертацию из Qwen/Qwen2.5-14B-Instruct с помощью mlx-lm 0.18.1. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-14B-Instruct-GPTQ-Int4 — инструкционно дообученная причинная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, работы с кодом и математическими задачами, обработки структурированных данных и формирования структурированных ответов, включая JSON. Она поддерживает более 29 языков, среди которых английский, китайский, русский, французский, немецкий, испанский, японский и корейский. Модель содержит 14,7 млрд параметров, из них 13,1 млрд непараметров эмбеддингов, и включает 48 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV-внимании и Grouped Query Attention с 40 головами для Q и 8 для KV. Применяется 4-битная GPTQ-квантизация, уменьшающая требования к памяти по сравнению с полноразмерной версией. Заявленная максимальная длина контекста составляет 131 072 токена, а генерации — 8192 токена; в текущей конфигурации без дополнительной настройки доступно до 32 768 токенов, для более длинных входов требуется YaRN. Сильные стороны модели — улучшенное следование инструкциям, генерация длинных текстов, работа с кодом, математикой, таблицами и JSON, а также поддержка мультиязычных сценариев. GPTQ-квантизация может упростить развёртывание, однако квантование способно влиять на качество относительно исходной bfloat16-версии. Использование статического YaRN в vLLM может снижать производительность на коротких текстах. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-32B-Instruct-GGUF — языковая instruction-tuned модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для генерации текста, диалоговых сценариев, следования инструкциям, программирования, математических задач, работы со структурированными данными и создания структурированных ответов, включая JSON. Модель поддерживает более 29 языков, в том числе английский, китайский, русский, французский, испанский, немецкий, японский и арабский. Модель представляет собой causal language model в формате GGUF с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в Attention QKV. Она содержит 32,5 млрд параметров, из которых 31 млрд — непараметры эмбеддингов, 64 слоя и GQA с 40 головами для Q и 8 для KV. Полная длина контекста GGUF-версии составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Доступны варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. К сильным сторонам относятся улучшенные знания, возможности в программировании и математике, следование инструкциям, обработка длинных текстов, таблиц и структурированных форматов, а также устойчивость к разнообразным системным промптам. Ограничение GGUF-версии — контекст до 131 072 токенов требует YARN и на данный момент поддерживается только в vLLM; для такого сценария рекомендуется использовать не-GGUF версии. Модель распространяется по лицензии Apache-2.0.

ThomasBaruzier/Qwen2.5-32B-Instruct-GGUF — набор GGUF-квантизаций инструкционно дообученной языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантизации созданы с использованием llama.cpp и метода imatrix на основе оригинальной модели Qwen/Qwen2.5-32B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая следование инструкциям, написание длинных текстов, работу со структурированными данными и генерацию структурированных ответов, в том числе JSON. Также заявлены улучшенные возможности в программировании и математике. Поддерживаются более 29 языков, среди явно указанных — китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Это текстовая модель без заявленной поддержки изображений или других немодальных входов. Архитектура — causal language model на базе transformers с RoPE, SwiGLU, RMSNorm и bias в Attention QKV; 32,5 млрд параметров, 64 слоя, 40 Q- и 8 KV-голов внимания с GQA. Полный контекст составляет 131 072 токена, максимальная длина генерации — 8192 токена. Доступно множество вариантов квантизации размером примерно от 6,9 до 33,2 ГБ; более компактные варианты снижают требования к памяти, но могут уступать полноразмерной F16-версии по качеству. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-32B-Instruct-GPTQ-Int8 — инструкцияно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen при Alibaba Cloud. Это каузальная текстовая модель для генерации текста и диалоговых сценариев, включая ответы на инструкции, написание длинных текстов, программирование, математические задачи, работу со структурированными данными и формирование структурированных ответов, в том числе JSON. Модель содержит около 32,5 млрд параметров, из которых 31 млрд приходятся на непараметрическую часть без эмбеддингов, и включает 64 слоя. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV-внимании; применяется Grouped Query Attention с 40 головами Q и 8 головами KV. Модель поддерживает текстовый ввод и вывод, более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Заявленная максимальная длина контекста составляет 131 072 токена, а генерации — 8192 токена; для контекстов свыше 32 768 токенов требуется настройка YaRN. GPTQ-квантизация до 8 бит снижает требования к памяти и подходит для локального или серверного развертывания, однако квантизация может влиять на качество по сравнению с исходной версией в формате bfloat16. При использовании YaRN со статическим коэффициентом масштабирования производительность на коротких текстах может ухудшаться. Для работы рекомендуется актуальная версия библиотеки Transformers, а для длинного контекста — vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-72B-Instruct — инструкция-настроенная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на архитектуре Qwen2 с 71,5 млрд параметров по метаданным; карточка описывает 80 слоёв, RoPE, SwiGLU, RMSNorm и контекст до 131 072 токенов с генерацией до 8 192 токенов. В текущей конфигурации репозитория задан контекст 32 768 токенов, а для более длинных входов README предлагает YaRN. Модель предназначена для диалогов и следования инструкциям, генерации длинных текстов и структурированных ответов, включая JSON, а также для задач программирования, математики и понимания таблиц. Она поддерживает более 29 языков, включая русский и английский, и предоставляет интерфейс для вызова инструментов. Модель принимает и генерирует текст. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers; README рекомендует актуальную версию библиотеки и vLLM для развёртывания. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели. Удлинение контекста через статический YaRN может снижать производительность на коротких запросах.

RedHatAI/Qwen2.5-72B-Instruct-FP8-dynamic — это размещённая Red Hat AI версия Qwen2.5-72B-Instruct, исходно разработанной командой Qwen Alibaba Cloud. Модель представляет собой instruction-tuned causal language model для диалогов, генерации и анализа текста, следования инструкциям, работы со структурированными данными, программным кодом, математическими и рассуждательными задачами. Это текстовая модель без заявленной поддержки изображений или других модальностей. Базовая модель имеет 72,7 млрд параметров, 80 слоёв и архитектуру Transformer с RoPE, SwiGLU, RMSNorm, attention QKV bias и Grouped-Query Attention: 64 головы для Q и 8 для KV. Заявлены контекст до 131 072 токенов и генерация до 8192 токенов; для длинного контекста применяется YaRN. Модель поддерживает более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. В данном репозитории веса представлены в формате Safetensors с FP8 dynamic-квантизацией и использованием compressed-tensors, что предназначено для более эффективного хранения и инференса по сравнению с полноточной версией. Сильные стороны исходной Qwen2.5-72B-Instruct — улучшенные instruction following, кодирование, математика, обработка длинных текстов, таблиц и структурированных, включая JSON, ответов. Ограничения включают значительные требования к вычислительным ресурсам из-за размера модели, возможное влияние квантизации на качество и стандартные риски генеративных моделей: ошибки, галлюцинации и необходимость проверки результатов. Для базовой модели указана Qwen License Alibaba Cloud; она разрешает использование, модификацию и распространение при соблюдении условий лицензии, включая специальные требования для коммерческих продуктов с более чем 100 млн ежемесячных активных пользователей и указание использования Qwen при создании или улучшении других AI-моделей.

Qwen2-57B-A14B-Instruct — инструктивная чат-модель семейства Qwen2, разработанная командой Qwen. Это языковая модель с архитектурой Transformer и смесью экспертов (MoE): всего около 57 млрд параметров, из которых при генерации активируется примерно 14 млрд. В метаданных репозитория указано 7,1 млрд параметров; модель распространяется в формате Safetensors и использует лицензию Apache 2.0. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, понимание и создание текстов, рассуждения, математику и программирование. Карточка заявляет контекст до 65 536 токенов с применением YARN для обработки длинных запросов; метаданные каталога указывают нативный контекст 32 768 токенов. Многоязычный токенизатор рассчитан на естественные языки и код, однако метаданные карточки подтверждают только английский язык. Среди сильных сторон — большая длина контекста и широкая направленность на языковые задачи; в README также приведены сравнительные оценки на бенчмарках. Для длинного контекста с YARN описана настройка развёртывания через vLLM, причём фиксированный коэффициент масштабирования может снижать качество на коротких текстах. Для работы с архитектурой Qwen2MoE рекомендуется Transformers версии 4.40.0 или новее.

Карточка модели adrianxu9778/Qwen2.5-7B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

Карточка модели ArchiveStudio/Qwen2.5-7B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

Карточка модели sana17041996/Qwen2.5-7B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

unsloth/Qwen2.5-7B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-7B, подготовленная Unsloth на основе Qwen/Qwen2.5-7B-Instruct. Это каузальная текстовая модель для диалогов, следования инструкциям, генерации связных текстов, работы со структурированными данными и JSON, программирования и математических задач. Модель содержит 7,61 млрд параметров, из которых 6,53 млрд — без учёта эмбеддингов, и имеет 28 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm и GQA с 28 головами для Q и 4 для KV. Поддерживается контекст до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество версии — 4-битное квантование, позволяющее снизить требования к памяти и упростить локальный запуск, однако квантование может влиять на точность по сравнению с полноточной моделью. Модель рассчитана на текстовые сценарии и не предназначена для обработки изображений или других модальностей. Лицензия — Apache-2.0.

Qwen2.5-7B-Instruct-GGUF — инструкционная языковая модель, разработанная командой Qwen. Это GGUF-версия модели Qwen2.5-7B-Instruct, предназначенная для диалоговых приложений, генерации текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель поддерживает более 29 языков, в том числе русский, английский, китайский, французский, немецкий, испанский, японский и корейский. Модель использует архитектуру causal language model на базе transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV attention. Она содержит 7,61 млрд параметров, 28 слоёв и механизм GQA с 28 головами Q и 4 головами KV. Полная длина контекста GGUF-версии составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Доступны варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. Сильные стороны модели — улучшенные следование инструкциям, кодирование, математика, генерация длинных текстов, понимание таблиц и устойчивость к разнообразным системным промптам. Ограничение GGUF-версии — контекст до 131 072 токенов не поддерживается напрямую: для такого расширения README рекомендует использовать не-GGUF версии, а текущая конфигурация с YARN поддерживается только в vLLM. Модель распространяется по лицензии Apache-2.0.

Карточка модели tech32432/Qwen2.5-7B-Instruct-IA-Author-Model на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

Qwen2-7B-Instruct-AWQ — инструкционная языковая модель из серии Qwen, разработанная командой Qwen. Это текстовая модель для генерации ответов в диалогах, следования инструкциям, понимания и создания текста, а также задач программирования, математики, рассуждений и многоязычной обработки. Модель предназначена для локального развертывания и интеграции в приложения через Transformers или vLLM. Модель содержит около 7 миллиардов параметров и основана на decoder-only архитектуре Transformer с активацией SwiGLU, смещениями в QKV-проекциях и Grouped Query Attention. Она прошла предварительное обучение, supervised fine-tuning и Direct Preference Optimization. Вариант AWQ использует квантованные веса для снижения требований к памяти и ускорения инференса. Модель работает с текстом, поддерживает английский язык, а токенизатор адаптирован также к нескольким естественным языкам и языкам программирования. Заявлена длина контекста до 131 072 токенов; для обработки очень длинных входов применяется метод YARN. Сильными сторонами модели являются большой контекст, инструкционное выравнивание, поддержка многоязычных и технических сценариев, а также более экономичное развертывание благодаря квантованию. Модель не является мультимодальной и ориентирована на текстовую генерацию. При использовании YARN в vLLM статический коэффициент масштабирования может отрицательно влиять на качество или производительность на коротких текстах, поэтому его рекомендуется включать только при необходимости длинного контекста. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-14B-bf16 — версия Qwen3-14B, подготовленная сообществом mlx-community для запуска через библиотеку MLX. Модель преобразована из Qwen/Qwen3-14B с помощью mlx-lm версии 0.24.0; в репозитории используются веса safetensors. Это плотная авторегрессионная языковая модель с 14 млрд параметров и контекстом до 40 960 токенов. Модель предназначена для диалогов, следования инструкциям, рассуждений, генерации кода и многоязычного текста. Интерфейс поддерживает чат и вызов инструментов. Она принимает текст и генерирует текст; отдельные языки в предоставленных метаданных не перечислены. Лицензия Apache-2.0 разрешает использование на её условиях.

Qwen3-14B-GGUF — квантизированная версия причинной языковой модели Qwen3-14B, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов и агентных возможностей. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд приходятся на параметры без учёта эмбеддингов, и имеет 40 слоёв. Используется Grouped-Query Attention: 40 голов для запросов и 8 для ключей и значений. Поддерживаются режимы с рассуждением и без рассуждения, между которыми можно переключаться в рамках одной модели. Заявлена поддержка более 100 языков и диалектов. Нативная длина контекста составляет 32 768 токенов; с использованием YaRN проверена работа с контекстом до 131 072 токенов. Доступны варианты квантования q4_K_M, q5_0, q5_K_M, q6_K и q8_0 в формате GGUF. Сильные стороны модели — сочетание рассуждений и эффективного общего диалога, развитое следование инструкциям, мультиязычность и интеграция с инструментами. Формат GGUF ориентирован на локальный запуск через llama.cpp и Ollama. Ограничения связаны с возможным снижением качества из-за квантования; при использовании статического YaRN производительность на коротких текстах может ухудшаться, поэтому его рекомендуется включать только для длинного контекста. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-14B-GGUF — GGUF-версия языковой модели Qwen3-14B, разработанной командой Qwen компании Alibaba Cloud и подготовленной для распространения Unsloth. Это причинно-следственная языковая модель с 14,8 млрд параметров, из которых 13,2 млрд не относятся к эмбеддингам; она включает 40 слоёв и использует Grouped-Query Attention с 40 головами запросов и 8 головами ключей и значений. Модель предназначена для диалогов, следования инструкциям, генерации кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Она поддерживает более 100 языков и диалектов. Qwen3-14B позволяет переключаться между режимами рассуждения и без рассуждения, выбирая баланс между качеством решения сложных задач и скоростью ответа. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN заявлена поддержка до 131 072 токенов. Формат GGUF ориентирован на запуск через совместимые инструменты, включая llama.cpp и Ollama; README также указывает возможность использования через Open WebUI. Конкретные требования к оборудованию и производительность зависят от варианта квантования и среды запуска и в представленных данных не приведены. Модель распространяется по лицензии Apache-2.0.

JunHowie/Qwen3-14B-GPTQ-Int4 — это 4-битная GPTQ-квантизированная версия большой языковой модели Qwen3-14B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, творческого письма, перевода и многоязычных сценариев, включая интеграцию с внешними инструментами и агентами. Модель использует каузальную языковую архитектуру и содержит около 14,8 млрд параметров, из которых 13,2 млрд приходятся на параметры без учёта эмбеддингов. Она имеет 40 слоёв и групповое многоголовое внимание с 40 головами для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Поддерживаются более 100 языков и диалектов. Qwen3 позволяет переключаться между режимами рассуждения и обычной генерации. Квантизация выполнена в формат GPTQ Int4 с размером группы 128. По данным README, настройка desc_act=False повышает эффективность по скорости генерации токенов по сравнению с более ранними квантизированными версиями, что делает модель более подходящей для ресурсоограниченного развертывания. Для запуска рекомендуется vLLM версии 0.9.2 или новее; также заявлена совместимость с экосистемой vLLM и другими инструментами локального инференса. Ограничения включают возможное снижение точности из-за 4-битной квантизации, а также высокие требования к вычислительным ресурсам при использовании длинного контекста и режима рассуждения. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-235B-A22B-128K-GGUF — GGUF-квантизированная версия большой языковой модели Qwen3-235B-A22B, опубликованная Unsloth и основанная на модели Qwen от команды Qwen. Это авторегрессионная причинная языковая модель с архитектурой mixture-of-experts (MoE), предназначенная для генерации текста, диалогов, следования инструкциям, рассуждений, решения математических и программных задач, творческого письма, многошагового взаимодействия и работы с внешними инструментами. Модель содержит 235 млрд параметров всего, из которых 22 млрд активируются при обработке запроса; в ней 94 слоя, 128 экспертов и 8 активируемых экспертов. Используется grouped-query attention с 64 головами запросов и 4 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов, что соответствует заявленному варианту на 128K. Модель поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Она позволяет переключаться между режимами thinking для сложных рассуждений и non-thinking для более быстрой генерации. К сильным сторонам относятся сочетание высокой способности к рассуждениям, программированию, агентным сценариям, многоязычной работе и диалогам, а также возможность использования в локальных приложениях и серверных средах, совместимых с GGUF. Ограничения включают очень большой общий размер модели и, как следствие, высокие требования к памяти и вычислительным ресурсам; конкретные характеристики зависят от выбранного уровня квантизации, который в README не указан. Модель распространяется по лицензии Apache-2.0.