II.7DevOps, облако и эксплуатация IT-систем

Yi-1.5-9B-Chat-abliterated — диалоговая языковая модель на 8,6 млрд параметров, созданная на основе 01-ai/Yi-1.5-9B-Chat. Автор сообщает, что модель получена методом «abliteration»; подробности приведены в ноутбуке, на который ссылается карточка. Модель использует плотную архитектуру семейства Llama и библиотеку Transformers. Модель предназначена для генерации текста в диалоге и ответов на запросы. Базовая Yi-1.5-9B-Chat рассчитана на следование инструкциям, рассуждения, математику и программирование; эти возможности унаследованы от основы, но карточка не приводит отдельной оценки их качества после преобразования. Контекст — до 4096 токенов. Указаны китайский и английский языки. Лицензия — Apache-2.0.

Yuan2-2B-Februa-hf — компактная языковая модель IEIT System из семейства Yuan 2.0, представленная в архитектуре YuanForCausalLM с плотной структурой и примерно 1,9 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия; в карточке заявлено контекстное окно 8192 токена. Модель опирается на Yuan 1.0 и обучалась на расширенном наборе предварительно обучающих и инструкционных данных. Разработчик описывает её применение для понимания языка, математики, рассуждений, кода и общих знаний; в README приведены оценки на GSM8K, AGIEval-GK-Math, HumanEval и TruthfulQA для версий Yuan 2.0. Доступны веса PyTorch и указана лицензия other; README сообщает о коммерческом использовании по условиям лицензии Yuan 2.0 и Apache 2.0 для исходного кода репозитория. Модель может выдавать неточные ответы и поддаваться вводящим в заблуждение инструкциям. README также возлагает на пользователя ответственность за соблюдение условий лицензии и требований безопасности при развёртывании.

YuLan-Mini-Instruct — компактная языковая модель, разработанная командой YuLan и предназначенная для диалогов и выполнения инструкций. Это дообученная версия YuLan-Mini: авторы применили supervised fine-tuning, preference fine-tuning и обучение с подкреплением. Модель семейства Llama имеет плотную архитектуру и около 2,2 млрд параметров по метаданным; в README указано 2,4 млрд. Контекст составляет около 28 тысяч токенов. Модель подходит для ответов на вопросы, следования инструкциям, рассуждений, решения математических задач и написания кода. В обучении использовались открытые и синтетические данные, в том числе материалы по математике, науке и китайским бытовым знаниям. Метаданные указывают поддержку английского и китайского языков и возможности чата и генерации кода. Авторы отмечают конкурентные результаты на задачах рассуждения, математики и программирования, но указывают на слабые результаты в тестах, требующих обширных знаний, например MMLU. Модель распространяется по лицензии MIT.

Это вариант Zephyr-7B-Beta, опубликованный arnavgrg: модель MistralForCausalLM с плотной архитектурой и примерно 7,1 млрд параметров. Это разговорная модель для генерации текста, которую можно загружать через Transformers в формате fp16; заявленная длина контекста — 32 768 токенов. Модель создана из HuggingFaceH4/zephyr-7b-beta: исходные веса линейных слоёв были квантованы до NF4 с помощью bitsandbytes, после чего слои Linear4bit были преобразованы обратно в fp16. Такой вариант рассчитан на инференс без затрат на квантование и обратное преобразование при каждом проходе. Квантование с потерями ухудшает качество относительно официальной базовой модели. Репозиторий распространяется по лицензии Apache-2.0.

Qwen2.5-72B-Instruct-AWQ — большая инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалоговых ассистентов, генерации и анализа текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель поддерживает более 29 языков, среди которых английский, китайский, русский, французский, испанский, немецкий, японский, корейский и арабский. Это causal language model с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Модель содержит 72,7 млрд параметров, 70 млрд параметров без учёта эмбеддингов, 80 слоёв и использует Grouped-Query Attention с 64 головами для Q и 8 для KV. Репозиторий содержит 4-битную AWQ-квантизированную версию instruction-tuned модели. Заявлена поддержка контекста до 131 072 токенов и генерации до 8192 токенов; для входов длиннее 32 768 токенов требуется настройка YaRN, а статическое масштабирование может ухудшать качество или производительность на коротких текстах. Сильные стороны модели — улучшенные знания, способности в программировании и математике, следование инструкциям, генерация длинных текстов, обработка таблиц и других структурированных данных, а также устойчивость к разнообразным системным промптам. Ограничения включают высокие требования к вычислительным ресурсам, возможное снижение производительности на коротких запросах при включённом YaRN и потенциальные потери качества, связанные с 4-битной квантизацией. Модель распространяется по лицензии Qwen; точные условия следует уточнять в файле лицензии репозитория.

Mistral-Large-Instruct-2407-GGUF — квантизированная версия Mistral Large 2, разработанная Mistral AI и подготовленная в формате GGUF сообществом LM Studio; квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста, диалогов, выполнения инструкций, рассуждений, работы с многоязычными запросами, извлечения данных и интеграции в бизнес-приложения через вызов функций. Модель поддерживает контекст до 128 000 токенов, десятки языков, включая английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский, японский, корейский, арабский и хинди, а также более 80 языков программирования, среди которых Python, Java, C, C++, JavaScript и Bash. Ключевые сильные стороны — улучшенное следование инструкциям, диалоговые возможности, retrieval-навыки и поддержка последовательных и параллельных вызовов функций. При этом, как и другие генеративные модели, она может ошибаться или создавать недостоверный контент; конкретные характеристики производительности зависят от выбранного уровня квантизации. Модель распространяется по лицензии MRL-0.1; условия следует проверять в тексте лицензии Mistral.

GPT-5.6 Terra — языковая модель OpenAI общего назначения, предназначенная для рабочих сценариев, где важен баланс возможностей и стоимости. Она поддерживает рассуждение с настраиваемым уровнем усилий, вызов функций, структурированный вывод и работу с инструментами через Responses API. Модель принимает текст и изображения, а выдаёт текст; заявленное окно контекста — 1 050 000 токенов, максимальный объём ответа — 128 000 токенов. Terra подходит для программирования, анализа и создания документов, поиска по информации и выполнения многошаговых задач с инструментами. В API доступны веб-поиск, поиск по файлам, интерпретатор кода и управление компьютером. OpenAI указывает, что аудио- и видеовходы не поддерживаются. Модель предоставляется через API и сервисы OpenAI; открытая лицензия на веса не указана.

Qwen2.5-32B-Instruct-GGUF — языковая instruction-tuned модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для генерации текста, диалоговых сценариев, следования инструкциям, программирования, математических задач, работы со структурированными данными и создания структурированных ответов, включая JSON. Модель поддерживает более 29 языков, в том числе английский, китайский, русский, французский, испанский, немецкий, японский и арабский. Модель представляет собой causal language model в формате GGUF с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в Attention QKV. Она содержит 32,5 млрд параметров, из которых 31 млрд — непараметры эмбеддингов, 64 слоя и GQA с 40 головами для Q и 8 для KV. Полная длина контекста GGUF-версии составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Доступны варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. К сильным сторонам относятся улучшенные знания, возможности в программировании и математике, следование инструкциям, обработка длинных текстов, таблиц и структурированных форматов, а также устойчивость к разнообразным системным промптам. Ограничение GGUF-версии — контекст до 131 072 токенов требует YARN и на данный момент поддерживается только в vLLM; для такого сценария рекомендуется использовать не-GGUF версии. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-7B-Instruct-GPTQ-Int8 — инструкционная каузальная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалоговых приложений, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, создания длинных текстов и структурированных ответов, включая JSON. Модель поддерживает более 29 языков, в том числе английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Модель содержит 7,61 млрд параметров, из них 6,53 млрд — без учёта embedding, и включает 28 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV attention и Grouped Query Attention: 28 голов для Q и 4 для KV. Применена 8-битная GPTQ-квантизация, снижающая требования к памяти по сравнению с полноразмерной версией. Заявлена поддержка контекста до 131 072 токенов и генерации до 8192 токенов; для входов длиннее 32 768 токенов требуется настройка YaRN, которая может ухудшать производительность на коротких запросах. Для работы рекомендуется актуальная версия Transformers, а для развёртывания длинного контекста — vLLM. Сильные стороны модели — улучшенные возможности в кодировании, математике, следовании инструкциям, обработке таблиц и структурированных данных, а также многоязычность и поддержка длинного контекста. Ограничения включают возможное снижение качества или скорости из-за квантизации и потенциальное ухудшение производительности на коротких текстах при включённом статическом YaRN. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-14B-Instruct-AWQ — инструкционная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для диалоговых систем, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, а также создания структурированных ответов, включая JSON. Модель содержит около 14,7 млрд параметров, из них 13,1 млрд без учёта эмбеддингов, и включает 48 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV-проекциях внимания; применяется GQA с 40 головами для Q и 8 для KV. Это AWQ-квантизированная версия с точностью 4 бит, предназначенная для более экономичного развёртывания. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Полная заявленная длина контекста составляет до 131 072 токенов, а максимальная длина генерации — 8192 токена. В текущей конфигурации доступно 32 768 токенов; для более длинных входов требуется настройка YaRN, причём статическое масштабирование может ухудшать качество или производительность на коротких текстах. Сильные стороны модели — улучшенное следование инструкциям, работа с длинными текстами, структурированными данными, программированием и математикой. Ограничения включают возможные потери качества из-за 4-битной квантизации и повышенные требования к настройке при использовании длинного контекста. Модель распространяется по лицензии Apache 2.0.

Qwen2.5-14B-Instruct-GGUF — инструкционная языковая модель из серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалоговых приложений, генерации и обработки текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель подходит для локального запуска в формате GGUF, в том числе с использованием llama.cpp. Модель представляет собой causal language model на архитектуре transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV-проекциях внимания. Она содержит 14,7 млрд параметров, включая 13,1 млрд параметров без учёта embedding, 48 слоёв и механизм GQA с 40 головами для Q и 8 для KV. Поддерживаются квантизации q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. Полная длина контекста GGUF-версии составляет 32 768 токенов, а максимальная длина генерации — 8192 токена. Серия поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский и корейский. Сильные стороны модели — улучшенные способности к программированию и математике, следование инструкциям, генерация длинных текстов, обработка таблиц и других структурированных данных, а также устойчивость к разнообразным системным промптам. Для GGUF-версии заявлена поддержка контекста до 131 072 токенов только при использовании YARN в vLLM; для этого сценария рекомендуется обращаться к не-GGUF моделям. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-14B-Instruct-GPTQ-Int4 — инструкционно дообученная причинная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, работы с кодом и математическими задачами, обработки структурированных данных и формирования структурированных ответов, включая JSON. Она поддерживает более 29 языков, среди которых английский, китайский, русский, французский, немецкий, испанский, японский и корейский. Модель содержит 14,7 млрд параметров, из них 13,1 млрд непараметров эмбеддингов, и включает 48 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV-внимании и Grouped Query Attention с 40 головами для Q и 8 для KV. Применяется 4-битная GPTQ-квантизация, уменьшающая требования к памяти по сравнению с полноразмерной версией. Заявленная максимальная длина контекста составляет 131 072 токена, а генерации — 8192 токена; в текущей конфигурации без дополнительной настройки доступно до 32 768 токенов, для более длинных входов требуется YaRN. Сильные стороны модели — улучшенное следование инструкциям, генерация длинных текстов, работа с кодом, математикой, таблицами и JSON, а также поддержка мультиязычных сценариев. GPTQ-квантизация может упростить развёртывание, однако квантование способно влиять на качество относительно исходной bfloat16-версии. Использование статического YaRN в vLLM может снижать производительность на коротких текстах. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-7B-Instruct-GGUF — инструкционная языковая модель, разработанная командой Qwen. Это GGUF-версия модели Qwen2.5-7B-Instruct, предназначенная для диалоговых приложений, генерации текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель поддерживает более 29 языков, в том числе русский, английский, китайский, французский, немецкий, испанский, японский и корейский. Модель использует архитектуру causal language model на базе transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV attention. Она содержит 7,61 млрд параметров, 28 слоёв и механизм GQA с 28 головами Q и 4 головами KV. Полная длина контекста GGUF-версии составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Доступны варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. Сильные стороны модели — улучшенные следование инструкциям, кодирование, математика, генерация длинных текстов, понимание таблиц и устойчивость к разнообразным системным промптам. Ограничение GGUF-версии — контекст до 131 072 токенов не поддерживается напрямую: для такого расширения README рекомендует использовать не-GGUF версии, а текущая конфигурация с YARN поддерживается только в vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-FP8 — языковая модель серии Qwen, разработанная командой Qwen. Это causal language model в формате FP8-квантизации, предназначенная для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, перевода и задач с использованием внешних инструментов и агентных сценариев. Модель построена по архитектуре mixture-of-experts (MoE): содержит 30,5 млрд параметров, из которых при обработке каждого токена активируется около 3,3 млрд; в ней 48 слоёв, 128 экспертов и 8 активируемых экспертов. Используется Grouped Query Attention с 32 головами Q и 4 головами KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Модель поддерживает более 100 языков и диалектов, а также переключение между режимами рассуждения и обычной генерации. Сильные стороны модели — сочетание высокой ёмкости с меньшим числом активных параметров, развитое рассуждение, поддержка многоязычных инструкций, диалогов и инструментальных сценариев. Ограничения связаны с использованием FP8-квантизации: для распределённого вывода в Transformers известны проблемы, из-за которых может потребоваться настройка CUDA_LAUNCH_BLOCKING=1. Для работы нужны совместимые версии Transformers, vLLM или SGLang и соответствующее аппаратное обеспечение. Модель распространяется по лицензии Apache-2.0.

Qwen3-32B-FP8 — языковая модель с авторегрессионной архитектурой causal language model, разработанная командой Qwen. Это FP8-квантизованная версия Qwen3-32B с 32,8 млрд параметров, из которых 31,2 млрд приходятся на неприкрытые эмбеддингом параметры. Модель содержит 64 слоя и использует Grouped-Query Attention: 64 головы для запросов и 8 для ключей и значений. Она распространяется через Hugging Face Transformers и предназначена для генерации текста. Модель подходит для диалогов, следования инструкциям, творческого письма, ролевого взаимодействия, математических и логических задач, генерации кода, перевода, многоязычного общения и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает более 100 языков и диалектов, а также переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более быстрых ответов. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN может достигать 131 072 токенов. FP8-квантизация с мелкозернистой схемой и размером блока 128 снижает требования к памяти и может повысить эффективность инференса, однако для распределённого запуска в Transformers указаны известные проблемы; при использовании нескольких устройств может потребоваться CUDA_LAUNCH_BLOCKING=1. Для развёртывания рекомендуются актуальные версии Transformers, SGLang или vLLM. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-32B-unsloth-bnb-4bit — 4-битная версия языковой модели Qwen3-32B, разработанной командой Qwen и подготовленной Unsloth. Это авторегрессионная causal language model с 32,8 млрд параметров, из которых 31,2 млрд не относятся к embedding, и 64 слоями. Модель поддерживает более 100 языков и диалектов, включая английский, и предназначена для работы через Transformers. Модель подходит для диалогов, следования инструкциям, генерации и анализа кода, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Она поддерживает переключение между thinking mode для сложного рассуждения и non-thinking mode для более быстрых ответов в рамках одной модели. Используется Grouped Query Attention: 64 головы для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. 4-битное представление снижает требования к памяти и делает модель более подходящей для локального запуска и дообучения, однако может сопровождаться потерей точности по сравнению с полноразмерными вариантами. Модель предназначена только для обработки текста; сведения о других модальностях в README отсутствуют. Лицензия — Apache-2.0, согласно ссылке на лицензию базовой модели Qwen/Qwen3-32B.

Qwen3-8B-AWQ — квантизированная 4-битная версия причинной языковой модели Qwen3-8B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, ролевого взаимодействия, перевода и задач с использованием внешних инструментов. Она поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Модель содержит около 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding, имеет 36 слоёв и архитектуру GQA с 32 головами внимания для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Qwen3-8B-AWQ поддерживает переключение между режимом рассуждения и обычным режимом генерации в рамках одной модели: первый ориентирован на сложные задачи, второй — на более быстрые универсальные ответы. К сильным сторонам относятся рассуждение, следование инструкциям, многоязычность и интеграция с инструментами; к ограничениям — возможное увеличение времени и ресурсов генерации в режиме рассуждения, а также потенциальное снижение качества при использовании жадного декодирования в этом режиме. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется актуальная версия библиотеки transformers; README также указывает совместимость с SGLang и vLLM для развёртывания и создания OpenAI-совместимого API.

Qwen2.5-14B-Instruct-GPTQ-Int8 — инструкцияно дообученная каузальная языковая модель из серии Qwen2.5, разработанная командой Qwen. Модель предназначена для диалоговых приложений, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, понимания таблиц и других структурированных данных, а также формирования структурированных ответов, включая JSON. Поддерживает более 29 языков, среди которых английский, китайский, русский, французский, немецкий, испанский, японский, корейский и арабский. Модель содержит около 14,7 млрд параметров, из которых 13,1 млрд приходятся на параметры без учёта эмбеддингов, и включает 48 слоёв. Архитектура основана на transformers и использует RoPE, SwiGLU, RMSNorm и смещения в Attention QKV; применяется GQA с 40 головами для Q и 8 для KV. Это GPTQ-квантизированная 8-битная версия, что может снизить требования к памяти по сравнению с полноразмерной моделью. Заявленная максимальная длина контекста составляет 131 072 токена, а генерации — 8192 токена; для контекстов свыше 32 768 токенов требуется настройка YaRN, которая может ухудшать производительность на коротких текстах. Модель подходит для локального или серверного развёртывания через Transformers и совместимые инструменты, включая vLLM. Для работы рекомендуется актуальная версия Transformers. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-32B-Instruct-GPTQ-Int8 — инструкцияно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen при Alibaba Cloud. Это каузальная текстовая модель для генерации текста и диалоговых сценариев, включая ответы на инструкции, написание длинных текстов, программирование, математические задачи, работу со структурированными данными и формирование структурированных ответов, в том числе JSON. Модель содержит около 32,5 млрд параметров, из которых 31 млрд приходятся на непараметрическую часть без эмбеддингов, и включает 64 слоя. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV-внимании; применяется Grouped Query Attention с 40 головами Q и 8 головами KV. Модель поддерживает текстовый ввод и вывод, более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Заявленная максимальная длина контекста составляет 131 072 токена, а генерации — 8192 токена; для контекстов свыше 32 768 токенов требуется настройка YaRN. GPTQ-квантизация до 8 бит снижает требования к памяти и подходит для локального или серверного развертывания, однако квантизация может влиять на качество по сравнению с исходной версией в формате bfloat16. При использовании YaRN со статическим коэффициентом масштабирования производительность на коротких текстах может ухудшаться. Для работы рекомендуется актуальная версия библиотеки Transformers, а для длинного контекста — vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-7B-Instruct-AWQ — инструкционная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы со структурированными данными и JSON, а также задач программирования и математики. Модель содержит около 7,61 млрд параметров, 28 слоёв и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm и смещениями в механизме внимания. Применяется AWQ-квантизация до 4 бит, что снижает требования к памяти при развёртывании. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Заявлена длина контекста до 131 072 токенов и генерация до 8192 токенов, однако конфигурация репозитория рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN. Сильные стороны модели — улучшенное следование инструкциям, генерация длинных текстов, работа со структурированными данными, кодом и математикой, а также экономичность 4-битной версии. Использование статического YaRN в vLLM может снижать производительность на коротких текстах. Для работы требуется актуальная версия библиотеки transformers; версии ниже 4.37.0 не поддерживаются. Модель распространяется по лицензии Apache-2.0.

Qwen3-14B-GGUF — квантизированная версия причинной языковой модели Qwen3-14B, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов и агентных возможностей. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд приходятся на параметры без учёта эмбеддингов, и имеет 40 слоёв. Используется Grouped-Query Attention: 40 голов для запросов и 8 для ключей и значений. Поддерживаются режимы с рассуждением и без рассуждения, между которыми можно переключаться в рамках одной модели. Заявлена поддержка более 100 языков и диалектов. Нативная длина контекста составляет 32 768 токенов; с использованием YaRN проверена работа с контекстом до 131 072 токенов. Доступны варианты квантования q4_K_M, q5_0, q5_K_M, q6_K и q8_0 в формате GGUF. Сильные стороны модели — сочетание рассуждений и эффективного общего диалога, развитое следование инструкциям, мультиязычность и интеграция с инструментами. Формат GGUF ориентирован на локальный запуск через llama.cpp и Ollama. Ограничения связаны с возможным снижением качества из-за квантования; при использовании статического YaRN производительность на коротких текстах может ухудшаться, поэтому его рекомендуется включать только для длинного контекста. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-FP8 — крупная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-квантованный вариант базовой модели Qwen3-235B-A22B, предназначенный для генерации текста, диалогов, следования инструкциям, сложного логического рассуждения, математики, программирования, творческого письма, перевода и агентских сценариев с интеграцией внешних инструментов. Модель использует архитектуру Mixture of Experts (MoE): 235 млрд параметров всего, из которых 22 млрд активируются при обработке каждого запроса; заявлены 94 слоя, 128 экспертов, 8 активируемых экспертов и Grouped Query Attention с 64 головами для Q и 4 для KV. Нативный контекст составляет 32 768 токенов, а с YaRN — до 131 072 токенов. Поддерживаются более 100 языков и диалектов. Модель умеет переключаться между режимами thinking для сложных рассуждений и non-thinking для более быстрых универсальных ответов. К сильным сторонам относятся развитые способности к рассуждению, многоязычность, следование инструкциям, многошаговый диалог и работа с инструментами. FP8-квантизация с блочным размером 128 может повысить эффективность инференса, однако модель остаётся очень ресурсоёмкой. Для распределённого инференса в transformers указаны известные проблемы с fine-grained FP8; при использовании нескольких устройств может потребоваться CUDA_LAUNCH_BLOCKING=1. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-Instruct-2507 — большая языковая модель, разработанная командой Qwen и представленная в формате GGUF компанией Unsloth. Это каузальная модель для генерации текста, дообученная для выполнения инструкций. Она предназначена для диалогов, следования указаниям, логического рассуждения, понимания текста, математики, научных задач, программирования, использования инструментов и работы с открытыми субъективными запросами. Модель поддерживает широкий спектр языков и рассчитана на приложения, требующие высокого качества ответов и обработки длинных документов. Модель построена на архитектуре Mixture of Experts: содержит 235 млрд параметров, из которых 22 млрд активируются при обработке токена, 94 слоя, 128 экспертов и 8 активируемых экспертов. Используется Grouped Query Attention с 64 головами Q и 4 головами KV; контекстное окно составляет 262 144 токена. Модель работает только в нережиме рассуждений и не генерирует блоки <think></think>. К сильным сторонам относятся улучшенные знания, многоязычность, следование инструкциям, математическое и логическое рассуждение, программирование, работа с инструментами и понимание длинного контекста. Ограничения включают отсутствие режима рассуждений и высокие требования к вычислительным ресурсам, характерные для модели такого размера; точные требования к оборудованию в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0. Указанный репозиторий содержит GGUF-представление, подготовленное Unsloth; базовая модель — Qwen/Qwen3-235B-A22B-Instruct-2507.

Qwen3-30B-A3B-GGUF — квантизированное представление причинной языковой модели Qwen3-30B-A3B, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Она поддерживает более 100 языков и диалектов и допускает переключение между режимами рассуждения и обычного диалога в рамках одной модели. Модель построена по архитектуре mixture-of-experts (MoE): содержит 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке запроса; число слоёв — 48, используется Grouped-Query Attention с 32 головами Q и 4 головами KV, 128 экспертами и 8 активируемыми экспертами. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN заявлена поддержка до 131 072 токенов. Доступны варианты квантизации q4_K_M, q5_0, q5_K_M, q6_K и q8_0 в формате GGUF. Сильные стороны модели — сочетание возможностей рассуждения и эффективного режима общего назначения, мультиязычность, следование инструкциям и поддержка агентских задач. Ограничения включают возможное снижение качества на коротких текстах при некорректно настроенном статическом YaRN, а также зависимость производительности и требований к ресурсам от выбранного уровня квантизации и конфигурации запуска. Модель распространяется по лицензии Apache-2.0.

JunHowie/Qwen3-32B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия языковой модели Qwen3-32B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческих задач, перевода и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрой генерации, а также более 100 языков и диалектов. Модель является плотной causal language model с 32,8 млрд параметров, 64 слоями и механизмом GQA: 64 головы запросов и 8 голов ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Квантизация выполнена в 4 бита с group size 128; настройка desc_act=False повышает эффективность по скорости генерации токенов по сравнению с более ранними квантизованными версиями. Ограничениями являются возможное снижение точности по сравнению с полной версией модели и зависимость от совместимого программного окружения, включая vLLM версии 0.9.2 или выше. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3-4B-128K-GGUF — это GGUF-версия текстовой авторегрессионной языковой модели Qwen3-4B, разработанной командой Qwen и опубликованной Unsloth. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Модель содержит около 4 миллиардов параметров, из них 3,6 миллиарда приходятся на параметры без учёта embedding-слоя. Архитектура включает 36 слоёв и Grouped-Query Attention с 32 головами запросов и 8 головами ключей/значений. Qwen3 поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрых ответов. Базовая длина контекста составляет 32 768 токенов, а с применением YaRN — до 131 072 токенов, что соответствует заявленному в идентификаторе варианту 128K. Модель ориентирована на работу более чем со 100 языками и диалектами. К сильным сторонам относятся компактный размер, поддержка многоязычных сценариев, развитое следование инструкциям, рассуждение, генерация кода и интеграция с инструментами. Ограничения включают меньшую ёмкость по сравнению с крупными моделями, текстовую специализацию без заявленной поддержки изображений или аудио, а также необходимость корректной настройки режима рассуждения и совместимого программного обеспечения для запуска GGUF. Лицензия — Apache 2.0.

Qwen3-4B-FP8 — FP8-квантованная версия причинной языковой модели Qwen3-4B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, математических и логических рассуждений, программирования, творческого письма, многошаговых агентных сценариев и работы с внешними инструментами. Она поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд приходятся на параметры без учёта эмбеддингов, и включает 36 слоёв. Используется архитектура causal language model с группированным запросом внимания GQA: 32 головы для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Qwen3 поддерживает переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более быстрой обработки обычных запросов. Суффикс FP8 указывает на мелкозернистое квантование FP8 с размером блока 128, что ориентировано на повышение эффективности инференса при сохранении совместимости с распространёнными фреймворками. Среди ограничений отмечены известные проблемы совместимости vLLM и особенности распределённого инференса в Transformers; для некоторых конфигураций требуется дополнительная настройка. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-FP8 — причинная языковая модель, разработанная командой Qwen. Это FP8-квантованная версия Qwen3-4B-Instruct-2507 с 4 млрд параметров, из которых 3,6 млрд приходятся на параметры без учёта эмбеддингов. Модель имеет 36 слоёв и архитектуру Grouped-Query Attention с 32 головами для запросов и 8 для ключей и значений. Она предназначена для генерации и понимания текста, следования инструкциям, логического рассуждения, математики, естественных наук, программирования, работы с инструментами и открытых субъективных задач. Модель поддерживает контекст длиной до 262 144 токенов и улучшена для работы с длинными документами и запросами. Она ориентирована на многоязычные сценарии и демонстрирует улучшения в покрытии редких знаний на нескольких языках. Важная особенность — поддержка только нережима мышления: модель не формирует блоки <think></think>. FP8-квантизация с размером блока 128 снижает требования к памяти и может повысить эффективность инференса, однако при ограниченных ресурсах для предотвращения нехватки памяти может потребоваться уменьшить длину контекста. Модель подходит для чат-ботов, интеллектуальных помощников, анализа документов, генерации текстов и кода, а также агентских приложений с вызовом инструментов. Для использования рекомендуется актуальная версия библиотеки Transformers; также заявлена совместимость с SGLang, vLLM и рядом локальных приложений. README не приводит исчерпывающего перечня поддерживаемых языков и не описывает специальные ограничения качества, поэтому результаты могут зависеть от языка, предметной области и длины контекста. Модель распространяется по лицензии Apache 2.0.

DeepSeek-V3 — крупная языковая модель с архитектурой Mixture-of-Experts, разработанная командой DeepSeek AI. Модель содержит 671 млрд параметров, из которых для каждого токена активируется около 37 млрд. Она предназначена для работы с естественным языком, генерации и анализа текста, программирования, решения сложных задач и сценариев, требующих развитого рассуждения. Модель доступна как открытая базовая модель, дополненная этапами supervised fine-tuning и reinforcement learning. Архитектура DeepSeek-V3 основана на Multi-head Latent Attention и DeepSeekMoE, унаследованных и развитых по сравнению с DeepSeek-V2. Среди ключевых нововведений — балансировка нагрузки без вспомогательной функции потерь и обучение с предсказанием нескольких токенов, которое также может применяться для ускорения speculative decoding. Модель предварительно обучена на 14,8 трлн разнообразных токенов; заявлена поддержка эффективного FP8-обучения. В README не указаны точная длина контекста, перечень языков и дополнительные модальности, поэтому модель следует рассматривать прежде всего как текстовую LLM. Сильными сторонами DeepSeek-V3 являются высокая заявленная производительность, эффективное использование параметров при инференсе, развитые возможности рассуждения и сравнительная экономичность обучения. Ограничения включают значительный общий размер модели и соответствующие требования к вычислительным ресурсам; конкретные характеристики инференса и результаты по отдельным задачам зависят от конфигурации и реализации. Код распространяется по лицензии MIT, а сама модель — по Model Agreement.

cosmicproc/gemma-4-E4B-it-NVFP4 — квантизированный вариант instruction-tuned модели google/gemma-4-E4B-it из семейства Gemma 4, разработанного Google DeepMind. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального анализа изображений и аудио с выдачей текста. Она поддерживает более 140 языков, нативные системные промпты и вызов функций. Контекстное окно составляет до 128K токенов. Модель использует плотную архитектуру с 42 слоями, примерно 4,5 млрд эффективных параметров и около 8 млрд параметров с учётом Per-Layer Embeddings. Гибридный механизм внимания сочетает локальное скользящее окно размером 512 токенов с глобальным вниманием. Основные линейные слои трансформера квантизированы в формате NVFP4 W4A4 с помощью NVIDIA Model Optimizer, тогда как Per-Layer Embeddings, зрительный и аудиобашни, а также мультимодальный проектор сохранены в BF16 для поддержания качества. Ключевое преимущество версии — сниженные требования к памяти и потенциально высокая производительность при инференсе на GPU NVIDIA Blackwell. Для полноценного W4A4-инференса требуются GPU Blackwell, CUDA 12.9 или новее и vLLM 0.19.0 или новее. На GPU поколений Ada, Hopper и Ampere модель может загрузиться, но оптимизированные FP4-ядра активаций не будут использоваться, поэтому преимущество по скорости квантизации будет утрачено. Модель распространяется по лицензии Apache 2.0.