I.5Создание и редактирование текста

OpenBuddy-openbuddy-mistral-22b-v21.1-32k — разговорная языковая модель OpenBuddy для многоязычного чата и генерации текста. Она основана на плотной архитектуре Mistral и содержит 22,1 млрд параметров; карточка рекомендует использовать быстрый токенизатор Transformers и указывает совместимость с Transformers и vLLM. Модель принимает текстовые запросы и генерирует текстовые ответы, а её нативное контекстное окно составляет 65 536 токенов. Модель предназначена для диалоговых сценариев на китайском, английском, французском, немецком, японском, корейском, итальянском, русском и финском языках. Её можно применять для чат-ботов, ответов на вопросы, диалогового письма и суммаризации длинного контекста. Лицензия — Apache 2.0. Разработчики предупреждают, что ответы могут быть ошибочными, вредными или оскорбительными, и не рекомендуют применять модель в критических сценариях, включая медицину и важные финансовые или юридические решения.

OpenChat 3.5 — диалоговая языковая модель, разработанная командой OpenChat и дообученная методом C-RLFT на смеси публичных инструкционных данных разного качества. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и принимает текстовые сообщения, выдавая текстовые ответы в формате диалога. Модель предназначена для общения с пользователем, ответов на вопросы и выполнения инструкций; её также можно применять для генерации и объяснения кода, математики и рассуждений. Заявленный контекст — 8192 токена. В README приведены результаты на нескольких бенчмарках, включая MT-Bench, HumanEval и GSM8K; эти результаты зависят от методики оценки и не гарантируют качество в конкретной задаче. Модель распространяется по лицензии Apache-2.0. Разработчики предупреждают о возможных ошибках и вымышленных сведениях, слабых местах в сложных рассуждениях, математике и программировании, а также о вероятности вредных или предвзятых ответов; важные результаты следует проверять, а для чувствительных сценариев применять дополнительные меры безопасности.

OpenChat-3.6-8B-20240522 — диалоговая языковая модель команды OpenChat, созданная дообучением Meta-Llama-3-8B с использованием смешанных по качеству данных и метода C-RLFT. Модель имеет плотную архитектуру LlamaForCausalLM примерно на 7,5 млрд параметров и контекст до 8192 токенов; веса доступны в формате safetensors, для работы используется библиотека Transformers. Модель предназначена для чата, генерации текста и кода, а также общих задач по умолчанию. Авторы рекомендуют использовать шаблон диалога OpenChat и предлагают сервер с совместимым с OpenAI ChatCompletion API интерфейсом; в README заявлена возможность запуска на потребительском GPU с 24 ГБ памяти. Карточка сообщает о сравнении с Llama-3-8B-Instruct и другими открытыми моделями, но не приводит здесь независимой оценки качества. Лицензия — Llama 3; применяются её условия использования.

MaziyarPanahi/OpenHermes-2.5-neural-chat-7b-v3-2-7B-Mistral-7B-Instruct-v0.2-slerp — слитая диалоговая модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.2 и Weyaxi/OpenHermes-2.5-neural-chat-7b-v3-2-7B. Веса представлены в формате safetensors; размер модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для генерации текста и ответов на инструкции в диалоговом формате. Её можно применять для чат-ботов, написания и редактирования текстов, а также ответов на вопросы. Карточка не сообщает о специализированной области применения или поддерживаемых языках. Лицензия — Apache-2.0.

Карточка модели KIng241300/promptforge-nano-7b на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

prototype-128x03 — языковая модель, созданная разработчиком shamwowzer слиянием предварительно обученных моделей при помощи mergekit. В слиянии использованы /workspace/modeler/Behemoth и /workspace/mistral-text-only; последняя указана базовой моделью. Применён метод Multi-SLERP, итоговые веса сохранены в формате safetensors с точностью bfloat16. Модель относится к семейству Mistral, использует плотную архитектуру MistralForCausalLM и содержит 123,4 млрд параметров. Она предназначена для генерации текста и диалогового общения; максимальный контекст составляет 262 144 токена. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

Карточка модели ArchiveStudio/Qwen2.5-14B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-14B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-14B-Instruct — инструкционно дообученная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель с архитектурой Qwen2ForCausalLM, 14,7 млрд параметров, RoPE, SwiGLU, RMSNorm и групповой обработкой запросов внимания. Репозиторий содержит веса в формате Safetensors и предназначен для генерации текста в диалоговом формате. Модель подходит для чат-ботов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. В README заявлена поддержка более 29 языков, в том числе русского и английского. Метаданные указывают контекст в 32 768 токенов; README сообщает о возможности расширения контекста до 131 072 токенов с YaRN и генерации до 8 192 токенов. Модель также заявлена как улучшенная для программирования и математики, но результаты зависят от запроса и не гарантируют точности. Для контекстов длиннее 32 768 токенов требуется настройка YaRN; её статический коэффициент масштабирования в vLLM может снижать качество на коротких входах. Лицензия Apache-2.0 допускает использование на её условиях.

Карточка модели Gaurav1872/Qwen2.5-14B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-14B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-14B-Instruct — инструкционно дообученная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель с архитектурой Qwen2ForCausalLM, 14,7 млрд параметров, RoPE, SwiGLU, RMSNorm и групповой обработкой запросов внимания. Репозиторий содержит веса в формате Safetensors и предназначен для генерации текста в диалоговом формате. Модель подходит для чат-ботов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. В README заявлена поддержка более 29 языков, в том числе русского и английского. Метаданные указывают контекст в 32 768 токенов; README сообщает о возможности расширения контекста до 131 072 токенов с YaRN и генерации до 8 192 токенов. Модель также заявлена как улучшенная для программирования и математики, но результаты зависят от запроса и не гарантируют точности. Для контекстов длиннее 32 768 токенов требуется настройка YaRN; её статический коэффициент масштабирования в vLLM может снижать качество на коротких входах. Лицензия Apache-2.0 допускает использование на её условиях.

unsloth/Qwen2.5-14B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-14B, опубликованная Unsloth на базе Qwen/Qwen2.5-14B-Instruct. Модель предназначена для диалоговых сценариев, следования инструкциям, генерации текста, работы со структурированными данными и JSON, а также задач программирования и математики. Архитектура — causal language model на базе Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV-внимании и группированным запросом внимания (GQA). Модель содержит 14,7 млрд параметров, из которых 13,1 млрд не относятся к embedding, и имеет 48 слоёв, 40 голов внимания для Q и 8 для KV. Поддерживаются контексты длиной до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество варианта — 4-битное представление, снижающее требования к памяти; точные показатели качества и совместимость с конкретными аппаратными конфигурациями в README не указаны. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется использовать актуальную версию библиотеки Transformers; README не содержит подробностей о точном формате квантования, ограничениях производительности или дополнительных условиях использования.

Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Qwen2.5-3B-Instruct-AWQ — инструкционно дообученная причинная языковая модель из семейства Qwen2.5, разработанная командой Qwen; в примере README также указано, что Qwen создан Alibaba Cloud. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы со структурированными данными и JSON, а также задач программирования и математики. Модель содержит около 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам, и включает 36 слоёв. Архитектура основана на Transformers и использует RoPE, SwiGLU, RMSNorm, смещения в Attention QKV и связанные эмбеддинги слов. Применяется GQA с 16 головами для Q и 2 для KV. Контекст составляет до 32 768 токенов, длина генерации — до 8 192 токенов. Это текстовая модель без заявленной поддержки изображений или других модальностей; семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и другие. Ключевое преимущество версии AWQ — 4-битное квантование, позволяющее снизить требования к памяти и сделать развёртывание компактнее по сравнению с полноточной версией, при этом возможна потеря качества относительно исходной модели. Для работы рекомендуется использовать актуальную версию библиотеки Transformers и совместимые инструменты AWQ. В README указана лицензия qwen-research; точные условия следует проверять в файле лицензии репозитория.

Qwen2.5-3B-Instruct-GPTQ-Int4 — инструкционно дообученная каузальная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для диалоговых сценариев, генерации текста, следования инструкциям, работы со структурированными данными и вывода в формате JSON, а также для задач программирования и математики. Она поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Модель содержит 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам, и включает 36 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в Attention QKV и связанные эмбеддинги слов; применяется GQA с 16 головами Q и 2 головами KV. Контекст составляет до 32 768 токенов, максимальная длина генерации — 8192 токена. Модель квантизована методом GPTQ до 4 бит, что может снизить требования к памяти по сравнению с исходной версией, однако конкретные показатели производительности и потери качества зависят от оборудования и сценария. К сильным сторонам относятся улучшенное следование инструкциям, генерация длинных текстов, понимание таблиц и других структурированных данных, создание структурированного вывода, а также поддержка широкого набора языков. Ограничения включают меньший размер по сравнению с крупными моделями семейства и возможное влияние 4-битной квантизации на качество. Для работы рекомендуется использовать актуальную версию библиотеки Transformers. Модель распространяется по лицензии qwen-research; точные условия определяются текстом лицензии в репозитории.

Карточка модели Devastaticglitch/Qwen2.5-72B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-72B-Instruct, поэтому описание составлено по ней. Qwen2.5-72B-Instruct — инструкция-настроенная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на архитектуре Qwen2 с 71,5 млрд параметров по метаданным; карточка описывает 80 слоёв, RoPE, SwiGLU, RMSNorm и контекст до 131 072 токенов с генерацией до 8 192 токенов. В текущей конфигурации репозитория задан контекст 32 768 токенов, а для более длинных входов README предлагает YaRN. Модель предназначена для диалогов и следования инструкциям, генерации длинных текстов и структурированных ответов, включая JSON, а также для задач программирования, математики и понимания таблиц. Она поддерживает более 29 языков, включая русский и английский, и предоставляет интерфейс для вызова инструментов. Модель принимает и генерирует текст. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers; README рекомендует актуальную версию библиотеки и vLLM для развёртывания. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели. Удлинение контекста через статический YaRN может снижать производительность на коротких запросах.

axana-labs/Qwen2.5-72B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-72B-Instruct, разработанной командой Qwen/Alibaba Cloud и опубликованной в формате, совместимом с Transformers. Модель предназначена для диалоговых сценариев, следования инструкциям, генерации и анализа текста, работы со структурированными данными, создания JSON, программирования и математических задач. Модель относится к causal language models и использует архитектуру с RoPE, SwiGLU, RMSNorm, смещениями в QKV и Grouped Query Attention: 64 головы для Q и 8 для KV. Исходная модель содержит около 72,7 млрд параметров, из них 70 млрд без учёта embedding, имеет 80 слоёв, поддерживает контекст до 131 072 токенов и генерацию до 8 192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество этой версии — 4-битное представление параметров, которое должно снижать требования к памяти и упрощать локальный запуск по сравнению с полноразмерной моделью. Сильными сторонами исходной Qwen2.5 заявлены улучшенные знания, программирование, математика, следование инструкциям, обработка длинных текстов и устойчивость к различным системным промптам. README не содержит подробных сведений о точном формате квантования, аппаратных требованиях, результатах тестирования именно этой сборки или ограничениях качества, поэтому их нельзя определить по имеющимся данным. Лицензия указана как other; конкретные условия использования в README не приведены.

unsloth/Qwen2.5-72B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-72B-Instruct, опубликованная Unsloth. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы с длинными документами, структурированными данными и форматированными ответами, включая JSON. Она также ориентирована на задачи программирования и математики. Это каузальная языковая модель с архитектурой на базе Transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-слоях внимания. Модель содержит 72,7 млрд параметров, из них 70,0 млрд без учёта embedding-слоёв, 80 слоёв и использует Grouped-Query Attention с 64 головами Q и 8 головами KV. Поддерживается контекст до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенные способности к программированию и математике, следованию инструкциям, генерации длинных текстов, обработке структурированных данных и устойчивости к разнообразным системным промптам. 4-битное представление снижает требования к памяти по сравнению с полноразмерной моделью, но README не содержит точных требований к оборудованию, результатов оценки или подробностей о качестве квантования. Модель текстовая и не предназначена для обработки изображений или других мультимодальных входов. Лицензия указана как other, без дополнительных условий в представленном README.

Qwen2.5-72B-Instruct-GGUF — квантованная версия инструкционной языковой модели Qwen2.5-72B-Instruct, разработанной командой Qwen. Формат GGUF подготовлен bartowski на основе llama.cpp, поэтому модель предназначена для локального запуска в совместимых инструментах, включая LM Studio, и относится к моделям генерации текста и диалогового взаимодействия. Модель рассчитана на общение по инструкциям, генерацию и обработку текста, а также работу со структурированными данными. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Поддерживается контекст до 128 000 токенов с настройками YaRN RoPE и генерация до 8 000 токенов. В обучении использовался набор данных объёмом 18 триллионов токенов. К сильным сторонам относятся большой размер модели, широкий языковой охват, поддержка длинного контекста и улучшенная работа со структурированной информацией. Ограничения связаны с тем, что это GGUF-квантизация: конкретный уровень точности, требования к памяти и возможные компромиссы между качеством и производительностью в README не указаны. Как и другие генеративные модели, она может создавать неточную, вредную или вводящую в заблуждение информацию. Лицензия обозначена как Qwen; точные условия следует уточнять в лицензии оригинальной модели Qwen2.5-72B-Instruct.

Карточка модели aertsimon90/Qwen2.5-7B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

Qwen2.5-7B-Instruct-AWQ — инструкционная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы со структурированными данными и JSON, а также задач программирования и математики. Модель содержит около 7,61 млрд параметров, 28 слоёв и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm и смещениями в механизме внимания. Применяется AWQ-квантизация до 4 бит, что снижает требования к памяти при развёртывании. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Заявлена длина контекста до 131 072 токенов и генерация до 8192 токенов, однако конфигурация репозитория рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN. Сильные стороны модели — улучшенное следование инструкциям, генерация длинных текстов, работа со структурированными данными, кодом и математикой, а также экономичность 4-битной версии. Использование статического YaRN в vLLM может снижать производительность на коротких текстах. Для работы требуется актуальная версия библиотеки transformers; версии ниже 4.37.0 не поддерживаются. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Qwen2.5-7B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Qwen2.5-7B-Instruct, созданная QuantFactory на основе модели Qwen от Alibaba Cloud с использованием llama.cpp. Модель предназначена для диалоговых сценариев, генерации текста, следования инструкциям, работы со структурированными данными и JSON, а также для задач программирования и математики. Это авторегрессионная causal language model с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещений QKV в механизме внимания. Модель содержит 7,61 млрд параметров, 28 слоёв и использует Grouped Query Attention с 28 головами Q и 4 головами KV. Заявлена поддержка контекста до 131 072 токенов и генерации до 8192 токенов; для контекстов свыше 32 768 токенов требуется настройка YaRN. Поддерживается более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, японский, корейский и другие. Сильные стороны модели — улучшенное следование инструкциям, генерация длинных текстов, понимание таблиц и других структурированных данных, формирование JSON, а также развитые навыки в кодировании и математике. К ограничениям относятся возможное снижение качества или производительности на коротких текстах при статическом масштабировании YaRN и необходимость учитывать особенности используемого GGUF-квантизированного варианта. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-7B-Instruct-GPTQ-Int4 — квантизированная 4-битная instruction-tuned языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для диалоговых приложений, генерации текста, следования инструкциям, работы со структурированными данными и JSON, а также задач программирования и математики. Она поддерживает более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, японский, корейский и арабский. Модель является causal language model на архитектуре Transformer с RoPE, SwiGLU, RMSNorm и смещениями в QKV внимания. Она содержит 7,61 млрд параметров, 28 слоёв и использует GQA с 28 головами Q и 4 головами KV. Заявлена длина контекста до 131 072 токенов и генерация до 8192 токенов, однако исходная конфигурация репозитория рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN, что может снижать производительность на коротких текстах. Квантизация GPTQ Int4 уменьшает требования к памяти и делает модель более подходящей для локального или эффективного GPU-развёртывания, но может влиять на качество по сравнению с исходной версией в формате bfloat16. Для использования рекомендуется актуальная версия библиотеки Transformers; для длинного контекста рекомендуется vLLM. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen2.5-7B-Instruct-quantized.w8a8 — мультиязычная текстовая генеративная модель для диалоговых и ассистентских сценариев. Модель разработана Neural Magic на основе Qwen2.5-7B-Instruct от Alibaba Cloud и предназначена для коммерческого и исследовательского использования, включая чат на нескольких языках. Она принимает текст и генерирует текст; заявлены поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского и других языков. Модель использует архитектуру Qwen2 и содержит 7 миллиардов параметров в базовой версии. Вариант w8a8 оптимизирован квантованием весов и активаций до INT8. Для линейных операторов трансформерных блоков применяются симметричное статическое поканальное квантование весов и симметричное динамическое потокенное квантование активаций с использованием комбинации SmoothQuant и GPTQ. Это примерно на 50% снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных вычислений. Модель рассчитана на эффективное развертывание с vLLM и валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. В README приведён пример максимальной длины контекста 8192 токена, а для отдельных конфигураций указано значение 32768; точное ограничение зависит от среды развертывания. Ограничения включают возможное снижение точности из-за квантования и запрет на использование с нарушением применимого законодательства и экспортных ограничений. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen2.5-7B-Instruct-unsloth-bnb-4bit — это 4-битная динамически квантованная версия инструкционно настроенной языковой модели Qwen2.5-7B-Instruct, подготовленная Unsloth на базе модели Qwen/Qwen2.5-7B-Instruct. Модель предназначена для диалогов, следования инструкциям, генерации текста, работы с кодом и математическими задачами, а также формирования структурированных ответов, включая JSON. Модель является каузальной текстовой LLM примерно с 7 млрд параметров и работает с текстовыми данными. Заявлена поддержка контекста до 128 тысяч токенов и генерации до 8 тысяч токенов. Qwen2.5 поддерживает более 29 языков, среди которых китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество этой версии — сниженное потребление памяти благодаря 4-битной квантизации; Unsloth заявляет, что динамический подход сохраняет точность лучше стандартной 4-битной квантизации. Ограничениями являются зависимость качества от последствий квантизации и отсутствие поддержки мультимодальных входов: в предоставленных данных модель описана как текстовая. Модель распространяется по лицензии Apache-2.0. README также содержит несогласованный фрагмент о базовой версии Qwen2.5-0.5B, поэтому сведения о конкретной архитектуре и точном числе слоёв для данной 7B-версии не указаны.

Qwen3 — семейство языковых моделей, разработанное и выпущенное командой Qwen. Модели предназначены для генерации текста, диалогов, следования инструкциям, сложного рассуждения, использования инструментов и агентских сценариев. Они могут применяться в исследовательских ассистентах, системах генерации кода, корпоративных чат-ботах и многошаговых многоходовых диалогах. В семейство входят варианты размером 0,6B, 1,7B, 4B, 8B, 14B, 32B и 30B-A3B; для них доступны различные квантованные версии в формате GGUF. Qwen3 поддерживает переключение между режимами с рассуждением и без рассуждения, длинный контекст и многоязычную работу. Конкретные параметры архитектуры, длина контекста и перечень языков в README не указаны. Модель относится к категории text-generation и распространяется по лицензии Apache 2.0. Конвертацию выполнила Menlo Research.

unsloth/Qwen3-14B-128K-GGUF — формат GGUF модели Qwen3-14B, опубликованный Unsloth на основе модели Qwen/Qwen3-14B. Это причинная языковая модель с 14,8 млрд параметров, предназначенная для генерации текста, диалогов, следования инструкциям, математических рассуждений, программирования, творческого письма и агентских сценариев с интеграцией внешних инструментов. Модель поддерживает переключение между режимом рассуждений и нерассуждающим режимом, что позволяет выбирать между качеством решения сложных задач и более эффективным общим диалогом. Указана поддержка более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Архитектура включает 40 слоёв и Grouped-Query Attention с 40 головами запросов и 8 головами ключей и значений. Базовый контекст составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Сильными сторонами являются развитые способности к рассуждениям, коду, многошаговому диалогу, следованию инструкциям и работе с инструментами, а также возможность локального запуска в формате GGUF. Ограничения и требования к аппаратному обеспечению для этой конкретной сборки в README подробно не указаны; характеристики длинного контекста зависят от корректной поддержки YaRN и используемого программного обеспечения. Лицензия — Apache-2.0.

Qwen3-14B-AWQ — квантизированная 4-битная версия языковой модели Qwen3-14B, разработанной командой Qwen. Это причинная языковая модель для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческих сценариев и интеграции с внешними инструментами в агентных системах. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд не являются embedding-параметрами, и включает 40 слоёв. Она использует Grouped Query Attention с 40 головами для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Поддерживаются более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Модель поддерживает переключение между режимом рассуждений и обычным режимом генерации. Сильные стороны модели — развитые возможности рассуждений, генерации кода, многоязычного общения, многошагового диалога и использования инструментов. Формат AWQ 4-bit снижает требования к памяти по сравнению с полноразмерной версией, но README не содержит количественной оценки возможной потери качества, требований к аппаратному обеспечению или результатов бенчмарков. Для работы рекомендуется использовать актуальную версию Transformers; также поддерживается развёртывание через SGLang и vLLM. Модель распространяется по лицензии Apache 2.0.

Qwen3-14B-MLX-4bit — это 4-битная MLX-версия причинной языковой модели Qwen3-14B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, перевода, написания кода, математического и логического рассуждения, творческих задач и сценариев с агентами и внешними инструментами. Она поддерживает переключение между режимом рассуждения и обычным режимом без рассуждения в рамках одной модели. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд не относятся к embedding, и имеет 40 слоёв. Используется Grouped Query Attention: 40 голов для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Заявлена поддержка более 100 языков и диалектов. Формат MLX и 4-битное квантование ориентированы на эффективный запуск в экосистеме MLX, однако README не содержит конкретных требований к памяти и производительности. Сильными сторонами являются развитые способности к рассуждению, математике, программированию, многоязычному взаимодействию, многошаговым диалогам и использованию инструментов. Режим без рассуждения может повысить эффективность, а режим рассуждения предназначен для более сложных задач. Ограничения включают зависимость от совместимых версий mlx_lm и transformers, а также необходимость подбора параметров генерации: для режима рассуждения не рекомендуется жадное декодирование из-за возможных повторов. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-14B-unsloth-bnb-4bit — 4-битная версия модели Qwen3-14B, подготовленная Unsloth на базе Qwen/Qwen3-14B, разработанной командой Qwen. Это авторегрессионная языковая модель для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, ролевого взаимодействия и агентских сценариев с использованием внешних инструментов. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд не относятся к embedding, и включает 40 слоёв. Используется Grouped-Query Attention с 40 головами для Q и 8 для KV. Поддерживаются режимы рассуждения и обычного ответа, между которыми можно переключаться в рамках одной модели. Заявлена поддержка более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Ключевое преимущество этой версии — 4-битное представление, снижающее требования к памяти и удобное для локального запуска и дообучения. Ограничения включают возможное снижение точности по сравнению с полноформатной моделью из-за квантования, а также высокие вычислительные требования, связанные с размером 14B. README не содержит подробных результатов бенчмарков и требований к конкретному оборудованию. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется использовать актуальную версию библиотеки transformers; в README указано, что версии ниже 4.51.0 могут вызывать ошибку, связанную с поддержкой Qwen3.

Qwen3-1.7B-FP8 — языковая модель для генерации текста, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-1.7B, предназначенная для диалогов, следования инструкциям, рассуждений, математических задач, генерации кода, перевода, творческого письма и агентских сценариев с интеграцией внешних инструментов. Модель представляет собой причинную языковую модель с 1,7 млрд параметров, из которых 1,4 млрд не относятся к embedding-слою. Она содержит 28 слоёв и использует Grouped Query Attention с 16 головами для запросов и 8 головами для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Поддерживаются более 100 языков и диалектов. Модель умеет переключаться между режимом thinking для сложных рассуждений, математики и программирования и non-thinking для более быстрых универсальных ответов. К сильным сторонам относятся компактный размер, многоязычность, поддержка рассуждений, диалоговых и агентских задач, а также возможность запуска в популярных inference-фреймворках. FP8-квантизация с размером блока 128 повышает эффективность использования памяти и производительность, но для распределённого inference в Transformers указаны ограничения, включая необходимость CUDA_LAUNCH_BLOCKING=1 в некоторых конфигурациях с несколькими устройствами. Для работы рекомендуется Transformers версии 4.51.0 или новее; при частых повторениях требуется корректная настройка параметров sampling. Модель распространяется по лицензии Apache 2.0.

Карточка модели ygal33/Qwen3-235B-A22B на Hugging Face совпадает с карточкой Qwen/Qwen3-235B-A22B, поэтому описание составлено по ней. Qwen3-235B-A22B — большая языковая модель семейства Qwen3 от команды Qwen, разработанная Alibaba. Это причинная языковая модель архитектуры Mixture of Experts: всего 235 млрд параметров, из которых при генерации активируются 22 млрд; используются 128 экспертов, из них активны 8. Модель доступна в формате safetensors и рассчитана на работу через Transformers. Модель предназначена для диалогов и генерации текста, следования инструкциям, рассуждений, математики, программирования, творческого письма, перевода и сценариев с вызовом внешних инструментов. В одном чекпойнте можно переключать режимы рассуждения и обычного ответа. README заявляет поддержку более 100 языков и диалектов. Контекст в README указан как 32 768 токенов нативно и до 131 072 с YaRN; метаданные каталога указывают нативную длину 40 960 токенов. Модель принимает текст и выдаёт текст. Репозиторий лицензирован по Apache-2.0. Для практического использования следует учитывать большой общий размер модели и требования к инфраструктуре; README не приводит конкретных аппаратных требований или оценок качества для отдельных задач.

Qwen3-235B-A22B-GPTQ-Int4 — квантизированная 4-битная версия крупной языковой модели Qwen3-235B-A22B, разработанная командой Qwen. Это авторегрессионная causal language model с архитектурой mixture-of-experts (MoE): 235 млрд параметров всего, из которых 22 млрд активируются при генерации. Модель имеет 94 слоя, 128 экспертов, 8 активируемых экспертов, а также Grouped Query Attention с 64 головами Q и 4 головами KV. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, ролевых сценариев, многошаговых диалогов и агентских задач с использованием внешних инструментов. Она поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Доступно переключение между режимом reasoning для сложных задач и non-thinking для более эффективного общего общения в рамках одной модели. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN может достигать 131 072 токенов. GPTQ-квантизация Int4 снижает требования к памяти, однако модель остаётся очень крупной и требует специализированной инфраструктуры; в README отмечены проблемы Transformers с мног GPU-инференсом и рекомендованы SGLang или vLLM. Для режима reasoning рекомендуется использовать заданные параметры сэмплирования и не применять жадное декодирование, поскольку это может ухудшать качество и приводить к повторениям. Модель распространяется под лицензией Apache 2.0. README не содержит подробных результатов бенчмарков, требований к конкретному оборудованию или измерений производительности.