I.14Автоматизация процессов и AI-агенты

unsloth/Qwen3-32B-128K-GGUF — это GGUF-версия большой языковой модели Qwen3-32B, разработанной командой Qwen и опубликованной в формате GGUF командой Unsloth. Модель представляет собой причинную языковую модель с 32,8 млрд параметров, из которых 31,2 млрд не относятся к эмбеддингам. Архитектура включает 64 слоя и групповое обобщённое внимание (GQA) с 64 головами для Q и 8 для KV. Модель предназначена для диалогов, следования инструкциям, генерации и анализа кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, многошаговых диалогов, перевода и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрых ответов. Заявлена поддержка более 100 языков и диалектов. Базовая длина контекста составляет 32 768 токенов, а с использованием YaRN она увеличена до 131 072 токенов. Модель сочетает широкий набор языковых и рассуждательных возможностей с поддержкой длинного контекста и локального запуска в GGUF-экосистеме. Ограничения включают значительный размер, потенциально высокие требования к памяти и вычислительным ресурсам, а также зависимость качества и скорости от конкретной GGUF-квантизации и настроек запуска. В README не приведены точные параметры квантизации, требования к оборудованию или результаты бенчмарков. Модель распространяется по лицензии Apache-2.0.

cyankiwi/gemma-4-31B-it-AWQ-8bit — квантизированная 8-битная версия instruction-tuned модели Gemma 4 31B, разработанной Google DeepMind. Модель предназначена для генерации текста, программирования, рассуждений, агентных сценариев и мультимодального анализа изображений с выдачей текстового ответа. Модель использует плотную архитектуру Dense с 30,7 млрд параметров, 60 слоями, гибридным вниманием с локальными скользящими окнами и глобальным вниманием, а также контекстным окном до 256K токенов. Поддерживаются текст и изображения; заявлена работа более чем со 140 языками. Среди возможностей — настраиваемые режимы рассуждений, native function calling и поддержка системных сообщений. Версия AWQ-8bit ориентирована на более экономичное по памяти развертывание, однако README не содержит точных требований к оборудованию и сведений о влиянии квантизации на качество. Сильными сторонами являются большой контекст, мультимодальность, улучшенные возможности кодирования и рассуждений, а также пригодность для сложных длинноконтекстных задач. Ограничения включают отсутствие аудиоподдержки у варианта 31B и высокие вычислительные требования по сравнению с меньшими моделями. Модель распространяется по лицензии Apache 2.0.

aifeifei798/gemma-4-E2B-Queen-it-qat-q4_0-unquantized — производная инструктивная модель семейства Gemma 4 на базе google/gemma-4-E2B-it-qat-q4_0-unquantized. В карточке описана архитектура Gemma 4 с плотной моделью и гибридным вниманием: локальные окна чередуются с глобальным вниманием. Модель предназначена для диалогов, рассуждений, программирования и мультимодального анализа; контекст Gemma 4 E2B составляет до 128 тысяч токенов. Модель принимает текст и изображения, а семейство Gemma 4 также описано как способное анализировать видео и аудио; однако карточка не подтверждает аудиовозможности именно этой производной сборки. Поддерживаются более 35 языков, а предварительное обучение проводилось более чем на 140 языках. Лицензия — Apache-2.0. Возможны фактические ошибки, трудности с тонкими языковыми нюансами и сложными открытыми задачами; ответы могут отражать смещения и пробелы обучающих данных.

Granite-3.2-8B-Instruct-GGUF — это GGUF-конверсия модели Granite-3.2-8B-Instruct, разработанная командой Granite в IBM. Модель содержит 8 миллиардов параметров, создана на основе Granite-3.1-8B-Instruct и дообучена с использованием открытых наборов данных с разрешительными лицензиями и синтетических данных для задач рассуждения. Доступна в различных вариантах квантования. Модель предназначена для выполнения общих инструкций и интеграции в AI-ассистентов, включая бизнес-приложения. Она поддерживает рассуждение с управляемым включением этой возможности только при необходимости, суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), задачи, связанные с кодом, function calling, многоязычный диалог и работу с длинным контекстом, например суммаризацию документов и встреч или ответы на вопросы по большим документам. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; дообучение возможно и для других языков. К сильным сторонам относятся сочетание возможностей рассуждения, управляемость их применения, поддержка длинного контекста, многоязычность и широкий набор прикладных сценариев. README не содержит точного размера контекстного окна, сведений о модальностях помимо текстовой генерации, конкретных характеристик квантованных вариантов или подробностей об ограничениях качества. Модель распространяется по лицензии Apache 2.0.

unsloth/Llama-3.1-8B-bnb-4bit — это 4-битно квантованная версия языковой модели Meta Llama 3.1 8B, опубликованная Unsloth. Модель предназначена для генерации и обработки текста, диалоговых сценариев, работы с кодом, а также для последующего дообучения, включая создание reasoning-моделей с использованием GRPO. Она совместима с экосистемой Transformers и может быть экспортирована в форматы GGUF и vLLM. В основе лежит авторегрессионная модель с оптимизированной архитектурой Transformer и механизмом Grouped-Query Attention (GQA). Модель работает только с текстом: принимает многоязычный текст и генерирует многоязычный текст и код. Размер базовой модели — 8 млрд параметров, контекст — до 128 тысяч токенов. Обучение выполнено на смеси общедоступных онлайн-данных; дата отсечения знаний — декабрь 2023 года. В README явно указан английский язык, однако семейство Llama 3.1 описано как многоязычное. Ключевое преимущество этой версии — 4-битное представление, снижающее требования к памяти и упрощающее запуск и дообучение по сравнению с полноразмерной моделью. Ограничения включают текстовую модальность, возможную потерю качества из-за квантования и ограниченную актуальность знаний. Модель распространяется по лицензии Llama 3.1; условия использования следует уточнять в тексте этой лицензии Meta.

QuantFactory/Qwen3-8B-GGUF — квантизированная версия языковой модели Qwen3-8B, созданная QuantFactory на основе модели Qwen/Qwen3-8B с использованием llama.cpp. Это каузальная языковая модель для генерации текста, диалогов, следования инструкциям, написания кода, математических и логических рассуждений, перевода и сценариев с интеграцией внешних инструментов. Модель содержит 8,2 млрд параметров, из них 6,95 млрд без учёта embedding, и включает 36 слоёв. В архитектуре используется grouped-query attention (GQA) с 32 головами запросов и 8 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Qwen3 поддерживает более 100 языков и диалектов и умеет переключаться между режимами thinking для сложных рассуждений и non-thinking для более быстрых ответов. К сильным сторонам относятся универсальность, развитые способности к рассуждениям, программированию, многоязычным задачам, диалогам и работе с инструментами, а GGUF-квантизация ориентирована на локальный запуск через совместимые приложения и llama.cpp. Ограничения конкретной сборки зависят от выбранного уровня квантизации, который в карточке не указан: по сравнению с полноразмерной моделью возможна потеря качества, а требования к памяти и производительность определить нельзя. Модель распространяется по лицензии Apache 2.0.

calme-2.1-llama3.1-70b — дообученная MaziyarPanahi версия Meta Llama 3.1 70B Instruct для диалогов и генерации текста. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Для общения используется шаблон ChatML. Модель предназначена для ответов на вопросы, чат-ботов и виртуальных помощников, создания и суммирования текстов, генерации и анализа кода, а также решения сложных задач. В карточке приведены результаты отдельных бенчмарков, но отсутствует полный отчёт об оценке качества. Доступны веса в формате safetensors; отдельно опубликованы квантизованные варианты GGUF. Модель лицензирована по условиям лицензии базовой Meta Llama 3.1; перед использованием следует учитывать возможные смещения и проверять ответы при помощи человеческого контроля.

calme-2.2-qwen2-72b — плотная языковая модель на базе Qwen2-72B-Instruct, дообученная MaziyarPanahi. Она предназначена для диалоговых систем, генерации и обобщения текста, ответов на вопросы, работы с кодом и решения сложных задач. Модель содержит 71,5 млрд параметров, использует архитектуру Qwen2 и шаблон диалога ChatML; контекст — до 32 768 токенов. Поддерживаемый в метаданных язык — английский. Модель подходит для виртуальных помощников, генерации контента, суммаризации, анализа кода и систем поддержки решений. В README приведены результаты оценок на нескольких бенчмарках, включая TruthfulQA. Это текстовая модель, работающая через библиотеку Transformers; веса доступны в формате safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия лицензирования репозитория. Как и другие большие языковые модели, она может выдавать предвзятые или ошибочные ответы; при внедрении рекомендованы safeguards и проверка человеком.

calme-2.3-llama3.1-70b — языковая модель MaziyarPanahi, дообученная на базе Meta Llama 3.1 70B Instruct с использованием датасета truthy-dpo-v0.1-axolotl. Это плотная авторегрессионная архитектура LlamaForCausalLM на 69,5 млрд параметров; модель предназначена для генерации текста в формате чата ChatML и поддерживает контекст до 131 072 токенов. Модель подходит для ответов на вопросы, чат-ботов и виртуальных помощников, создания и суммаризации текстов, генерации и анализа кода, а также решения сложных задач и поддержки принятия решений. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH, но они не гарантируют качество в конкретном приложении. Возможны смещения и ошибки; при использовании следует предусмотреть проверки человеком. Доступна в формате safetensors через Transformers. Лицензия в предоставленных данных не указана.

calme-2.3-rys-78b — дообученная MaziyarPanahi диалоговая языковая модель на базе dnhkng/RYS-XLarge. Она предназначена для ответов на вопросы, чат-ботов и виртуальных помощников, генерации и суммаризации текстов, работы с кодом, решения сложных задач и поддержки принятия решений. Модель использует архитектуру Qwen2 с 76,7 млрд параметров, работает с текстом и поддерживает шаблон диалога ChatML; заявленная длина контекста — 32 768 токенов. В карточке указан английский язык, а в качестве обучающего набора — truthy-dpo-v0.1-axolotl. Модель распространяется по лицензии MIT. Как и другие большие языковые модели, она может воспроизводить смещения и выдавать ненадёжные ответы; для ответственных сценариев нужны проверка результатов и человеческий контроль.

QuantFactory/granite-3.1-2b-instruct-GGUF — это квантизированная версия Granite-3.1-2B-Instruct, созданная QuantFactory с использованием llama.cpp на базе модели IBM Granite. Исходную модель разработала команда Granite компании IBM; она выпущена 18 декабря 2024 года и предназначена для выполнения общих инструкций и создания AI-ассистентов в различных прикладных областях. Модель поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), задачи работы с кодом, function calling, многоязычный диалог и обработку длинного контекста, включая анализ документов и протоколов встреч. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Архитектура представляет собой плотный decoder-only Transformer примерно на 2,5 млрд параметров с 40 слоями, размером эмбеддингов 2048, Grouped Query Attention (GQA), позиционными представлениями RoPE, активацией SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Максимальная длина контекста составляет 128K токенов. Квантизация может снизить требования к ресурсам, однако конкретные характеристики зависят от выбранного GGUF-варианта. Модель ориентирована на универсальные текстовые и кодовые задачи, но README не приводит отдельные результаты бенчмарков или подробности ограничений квантизированных вариантов. Модель распространяется по лицензии Apache 2.0. Пользователям следует учитывать, что качество может различаться между поддерживаемыми языками, задачами и уровнями квантизации.

Granite 3.1 8B Instruct — языковая модель, разработанная командой IBM Granite и представленная в GGUF-формате сообществом LM Studio. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для локального запуска и решения широкого круга задач: следования общим инструкциям, суммаризации, классификации и извлечения текста, ответов на вопросы, работы с RAG, программирования, вызова функций и обработки длинного контекста. Модель поддерживает контекст до 131 072 токенов. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; для других языков возможна дополнительная дообученная адаптация. Архитектура и точный размер файловой квантизации в README не уточняются. Сильными сторонами являются широкий набор прикладных сценариев, многоязычность и большой контекст, однако модель может генерировать неточные, вредоносные или неподходящие ответы, а качество зависит от выбранного варианта квантизации и условий запуска. Лицензия — Apache 2.0.

Granite-4.0-Tiny-Preview-GGUF — текстовая instruct-модель семейства Granite, разработанная командой Granite компании IBM. Это конвертированная в формат GGUF версия базовой модели ibm-granite/granite-4.0-tiny-base-preview с различными вариантами квантования. Модель содержит около 7 млрд параметров и использует мелкозернистую гибридную архитектуру mixture-of-experts (MoE). Она дообучалась с применением supervised fine-tuning и методов выравнивания на основе reinforcement learning, включая открытые наборы инструкций и синтетические данные для задач с длинным контекстом. Модель предназначена для общего следования инструкциям и интеграции в AI-ассистентов, в том числе в бизнес-приложениях. Она поддерживает рассуждение, суммаризацию, классификацию и извлечение текста, ответы на вопросы, retrieval-augmented generation (RAG), работу с кодом, function calling, многоязычный диалог и обработку длинных документов и встреч. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; модель также можно дообучать для других языков. Сильными сторонами являются сочетание компактного размера, MoE-архитектуры, широкого набора прикладных сценариев, многоязычности и ориентации на длинноконтекстные задачи. README не содержит точного размера контекстного окна, результатов benchmark-тестов, сведений о конкретных квантованиях и подробных ограничениях качества, поэтому эти характеристики требуют дополнительной проверки. Модель распространяется по лицензии Apache 2.0.

Llama 3.1 8B Instruct — текстовая генеративная языковая модель Meta, представленная в формате GGUF. Квантованные GGUF-файлы подготовлены несколькими участниками сообщества, включая bartowski, kaetemi и ddh0, а исходная модель — Meta-Llama-3.1-8B-Instruct от Meta. Модель предназначена для ассистентского диалога, генерации и обработки текста, работы с кодом, а также коммерческих и исследовательских сценариев на поддерживаемых языках. Она использует авторегрессионную оптимизированную архитектуру Transformer, Grouped-Query Attention, содержит около 8 миллиардов параметров и поддерживает контекст до 128 тысяч токенов. Входом и выходом служит мультиязычный текст; заявленные языки — английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель обучалась на более чем 15 триллионах токенов, а дата отсечения знаний указана как декабрь 2023 года. Сильные стороны модели — большой контекст, относительно компактный размер, оптимизация для диалоговых сценариев и возможность локального использования благодаря формату GGUF. Ограничения включают статичность знаний, текстовую мультимодальность без поддержки изображений и аудио, а также официальное ограничение на использование языков, не перечисленных в карточке. Модель распространяется по кастомной коммерческой лицензии Llama 3.1 Community License; применение также должно соответствовать Acceptable Use Policy и действующему законодательству.

ybelkada/Mixtral-8x7B-Instruct-v0.1-AWQ — это 4-битно квантованная версия Mixtral 8x7B Instruct v0.1, опубликованная пользователем ybelkada на Hugging Face. Исходную модель разработала Mistral AI. Она предназначена для генерации текста, диалоговых сценариев и выполнения инструкций; поддерживает запуск через Transformers, vLLM и SGLang. В основе лежит decoder-only Transformer с разреженной архитектурой Mixture of Experts: восемь experts примерно по 7B параметров, из которых для каждого токена выбираются два. Всего модель содержит около 47B параметров, но во время обработки токена активно используется около 13B. Контекстное окно исходной модели составляет 32K токенов. Модель обучалась на многоязычных данных и демонстрирует сильные результаты в рассуждениях, математике, генерации кода и многоязычных задачах; версия Instruct дополнительно дообучена следовать инструкциям с использованием supervised fine-tuning и Direct Preference Optimization. Ключевое преимущество этой версии — снижение требований к памяти благодаря AWQ-квантизации до 4 бит при сохранении функциональности исходной модели. Ограничения включают значительный общий объём параметров и соответствующие требования к памяти, а также возможные накладные расходы MoE-маршрутизации; эффективность зависит от совместимого программного обеспечения и GPU. Для исходной Mixtral 8x7B Instruct указана лицензия Apache 2.0, допускающая академическое и коммерческое использование; для конкретного квантованного репозитория условия следует проверять отдельно.

ThomasBaruzier/Qwen2.5-32B-Instruct-GGUF — набор GGUF-квантизаций инструкционно дообученной языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантизации созданы с использованием llama.cpp и метода imatrix на основе оригинальной модели Qwen/Qwen2.5-32B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая следование инструкциям, написание длинных текстов, работу со структурированными данными и генерацию структурированных ответов, в том числе JSON. Также заявлены улучшенные возможности в программировании и математике. Поддерживаются более 29 языков, среди явно указанных — китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Это текстовая модель без заявленной поддержки изображений или других немодальных входов. Архитектура — causal language model на базе transformers с RoPE, SwiGLU, RMSNorm и bias в Attention QKV; 32,5 млрд параметров, 64 слоя, 40 Q- и 8 KV-голов внимания с GQA. Полный контекст составляет 131 072 токена, максимальная длина генерации — 8192 токена. Доступно множество вариантов квантизации размером примерно от 6,9 до 33,2 ГБ; более компактные варианты снижают требования к памяти, но могут уступать полноразмерной F16-версии по качеству. Модель распространяется по лицензии Apache-2.0.

calme-2.3-qwen2-72b — языковая модель MaziyarPanahi, дообученная на базе Qwen2-72B-Instruct для генерации текста в формате диалога ChatML. Модель содержит 71,5 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 131 072 токенов. Для запуска предусмотрена библиотека Transformers, веса представлены в формате safetensors. Модель подходит для диалоговых помощников и чат-ботов, ответов на вопросы, суммаризации и создания текстов, генерации и анализа кода, а также решения задач и поддержки принятия решений. В README приведены результаты нескольких бенчмарков, в том числе GSM8K, ARC Challenge и TruthfulQA. Карточка указывает английский язык; других языков явно не заявлено. Лицензия обозначена как other, конкретные условия использования следует сверить с лицензией репозитория. Как и другие крупные языковые модели, она может выдавать неточные или предвзятые ответы; для важных решений рекомендуется проверка человеком.

Карточка модели OsGo/gemma-4-E2B-it-qat-q4_0-unquantized-assistant на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

GPT-6 Astra — флагманская модель OpenAI для сложных комплексных задач. Она предназначена для углублённого анализа, разработки программного обеспечения, исследований, научной работы и создания документов. README также отмечает её пригодность для длительных задач, требующих последовательной работы. Доступные сведения не описывают архитектуру, размер, модальности, языки, контекст или лицензию модели. Метаданные каталога относят её к задаче image-text-to-text, но приведённая часть README не подтверждает работу с изображениями.

QuantFactory/granite-3.1-1b-a400m-instruct-GGUF — квантизированная версия Granite-3.1-1B-A400M-Instruct, созданная QuantFactory с использованием llama.cpp на основе модели IBM Granite. Это инструкционная языковая модель для генерации текста и построения AI-ассистентов в различных прикладных областях, включая бизнес-сценарии. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, Retrieval-Augmented Generation (RAG), задач, связанных с кодом, function calling, многоязычного диалога и обработки длинного контекста, включая анализ документов и совещаний. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Исходная модель использует decoder-only Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Она относится к sparse MoE-архитектуре с 1,3 млрд параметров, из которых активно используется около 400 млн; включает 24 слоя, 32 эксперта и выбирает 8 экспертов на токен. Максимальная длина последовательности — 128K токенов. Квантизация может снизить требования к памяти и упростить локальный запуск, однако README не указывает конкретные форматы квантизации, их точность и совместимость. Модель выпущена под лицензией Apache 2.0.

q3mds-8b — объединённая текстовая языковая модель, созданная bloomsirenix с помощью mergekit методом DARE TIES. В объединение вошли Qwen/Qwen3-8B, DeepSeek-R1-0528-Qwen3-8B, Qwen3-8B-ABC и OpenCodeEdit-Qwen3-8B; базой указан Qwen3-8B. Модель построена на плотной архитектуре Qwen3ForCausalLM, содержит 7,6 млрд параметров и имеет контекстное окно до 40 960 токенов. Модель предназначена для диалоговой генерации текста, ответов на инструкции, рассуждений и помощи с кодом. Она принимает текст и выдаёт текст. Поддерживает многоязычное использование; конкретный перечень языков для этой сборки не установлен в предоставленных данных. Модель распространяется в формате safetensors через библиотеку Transformers по лицензии Apache-2.0. Качество и поведение могут отличаться от отдельных моделей, вошедших в слияние; README не приводит сравнительных оценок или результатов тестирования.

Qwen3.8-27B-BF16-INT4-W4A16-G32-AutoRound — мультимодальная языковая модель на базе Qwen3.8 Vision-Language Model, подготовленная goldhub с использованием AutoRound. Базовую архитектуру и мультимодальные возможности разработала команда Qwen. Модель предназначена для генерации и анализа текста, программирования, математических и логических рассуждений, творческих задач, а также обработки изображений и видео. Модель содержит 27 миллиардов параметров и использует квантизацию W4A16: веса представлены в 4 битах, активации — в 16 битах, размер группы — 32, применяется симметричная квантизация. Критические компоненты, включая визуальный энкодер, эмбеддинги и отдельные проекции attention, сохранены в FP16/BF16. Заявлена поддержка контекста до 256K токенов, Multi-Token Prediction, а также входных данных в форматах текст, изображение и видео. Указаны языки: английский, китайский, русский, украинский, греческий и иврит. Сильными сторонами являются сочетание мультимодальности, длинного контекста и сниженных требований к памяти по сравнению с полноразмерной моделью. README приводит результаты внутренних тестов по скорости, математике, рассуждениям, программированию и длинному контексту, однако их независимое подтверждение не представлено. К ограничениям относятся повышенные требования к видеопамяти из-за сохранённых слоёв FP16/BF16, необходимость аккуратной настройки батчинга для длинного контекста и потенциальная зависимость запуска от поддержки AutoRound, vLLM, SGLang или remote code. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/calme-2.1-qwen2.5-72b — плотная языковая модель на 71,5 млрд параметров, дообученная Maziyar Panahi на основе Qwen/Qwen2.5-72B-Instruct. Она предназначена для диалогов и генерации текста, включая ответы на вопросы, работу виртуальных помощников, создание и суммаризацию контента, генерацию и анализ кода, решение задач и поддержку принятия решений. Модель использует архитектуру Qwen2 и шаблон диалога ChatML; максимальная длина контекста — 32 768 токенов. В карточке заявлена поддержка английского языка. Модель подходит для широкого круга текстовых сценариев и имеет интерфейс чата. Возможны предвзятость и ошибки; при практическом применении рекомендуется человеческий контроль. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

Calme 2.1 Qwen2 72B — плотная языковая модель, созданная MaziyarPanahi дообучением Qwen/Qwen2-72B-Instruct. Она предназначена для диалогов и генерации текста: отвечает на вопросы, помогает создавать и суммировать материалы, анализировать и писать код, решать сложные задачи и поддерживать принятие решений. Для диалогов используется шаблон ChatML. Модель содержит 71,5 млрд параметров, работает на базе Transformers и имеет нативное контекстное окно 32 768 токенов. В карточке указан английский язык; README приводит результаты оценок на задачах следования инструкциям, рассуждений, математики и вопросов с выбором ответа. Модель может наследовать ограничения и смещения больших языковых моделей, поэтому важные ответы требуют проверки человеком. Репозиторий распространяется по лицензии «other»; конкретные условия следует сверять с лицензией репозитория.

duyntnet/cogito-v1-preview-llama-8B-imatrix-GGUF — это набор imatrix-квантизированных версий текстовой instruction-tuned модели Cogito v1-preview-llama-8B, разработанной командой deepcogito и опубликованной пользователем duyntnet в формате GGUF. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, задач STEM, общего помощника и вызова инструментов. Модель относится к гибридным reasoning-моделям: она может отвечать напрямую в стандартном режиме или выполнять расширенное самообдумывание перед ответом. Обучение проводилось с использованием метода Iterated Distillation and Amplification (IDA). Указаны поддержка контекста до 128K токенов, более 30 языков, включая английский, а также текстовый ввод и текстовый вывод. Заявлены улучшенные многоязычные, программные и tool-calling возможности по сравнению с сопоставимыми по размеру моделями. Формат GGUF подходит для локального запуска через llama.cpp и совместимые приложения, включая KoboldCPP, Ollama, text-generation-webui, LM Studio и GPT4All. Расширенное мышление включается специальной системной инструкцией или параметром enable_thinking в chat template. К ограничениям относятся отсутствие в README точных характеристик базовой архитектуры и параметров квантизации, а также возможное снижение качества по сравнению с исходной моделью из-за квантизации. Лицензия обозначена как other; при этом исходное описание указывает на открытую лицензию с разрешением коммерческого использования, но её точные условия не приведены.

casperhansen/deepseek-r1-distill-qwen-32b-awq — это распространённая пользователем casperhansen версия DeepSeek-R1-Distill-Qwen-32B с 4-битным квантованием AWQ. Исходную модель разработала DeepSeek на базе Qwen2.5-32B от команды Qwen компании Alibaba Cloud; она дообучена на 800 тысячах образцов, отобранных с использованием DeepSeek-R1, и предназначена для генерации текста и задач, требующих рассуждений, включая математику, программирование и научные вопросы. Модель является текстовой autoregressive language model с архитектурой Qwen2ForCausalLM и примерно 32 млрд параметров. В конфигурации указаны 64 слоя, 40 attention heads, 8 key-value heads, размер скрытого состояния 5120 и максимальная длина контекста 131072 токена. Репозиторий содержит веса Safetensors в формате AWQ с 4-битными группами размера 128 и типом вычислений bfloat16. Квантование существенно уменьшает требования к памяти и подходит для локального запуска, но может снижать точность по сравнению с исходной полноразмерной моделью; конкретные результаты тестирования этой AWQ-сборки в карточке модели не приведены. Для модели casperhansen указана лицензия MIT. В карточке также отмечается, что исходная DeepSeek-R1-Distill-Qwen-32B поддерживает коммерческое использование, модификацию и создание производных работ, однако при практическом применении следует учитывать условия лицензий исходных компонентов и выбранного программного окружения.

Dolphin 2.7 Mixtral 8x7B — разговорная языковая модель, разработанная Eric Hartford при спонсорской поддержке Convai. Это дообучение Mixtral-8x7B с исправлениями обучения для Mixtral; модель предназначена для диалога, генерации текста и помощи в программировании. Она использует архитектуру Mixtral с разреженной смесью экспертов и формат ChatML. По README, базовая модель поддерживает контекст 32 тыс. токенов, а Dolphin обучалась на последовательностях до 16 тыс.; метаданные указывают 7,1 млрд параметров и контекст 32 768 токенов. Модель обучалась на наборах данных для диалогов, кода и инструкций, включая Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder и Capybara. Разработчик характеризует её как послушную и сильную в задачах программирования, но отмечает, что она не проходила настройку DPO. Модель описана как uncensored и может выполнять небезопасные запросы, поэтому для публичного сервиса рекомендуется отдельный слой контроля. Лицензия — Apache-2.0.

gemma-4-E4B-it-qat-GGUF — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind и представленная в формате GGUF пользователем prithivMLmods. Она предназначена для локального запуска на ноутбуках и производительных мобильных устройствах, а также для исследовательских и прикладных сценариев с использованием llama.cpp. Модель поддерживает работу с текстом, изображениями и аудио, включая генерацию текста, распознавание речи, перевод речи, OCR, анализ изображений и видеокадров, function calling и настраиваемый режим рассуждений. Модель имеет около 4,5 млрд эффективных параметров и 8 млрд параметров с учётом embeddings, использует Quantization-Aware Training, Per-Layer Embeddings и гибридное внимание с 512-токенным скользящим окном в 42 слоях. В состав входят vision encoder примерно на 150 млн параметров и audio encoder примерно на 300 млн параметров. Заявлены контекст до 128 тысяч токенов, словарь на 262 тысячи токенов и поддержка более 140 языков, включая английский. Доступны версии GGUF с точностью от Q2_K до Q8_0, а также BF16, F16 и F32; размер файлов зависит от варианта и составляет примерно от 4,38 до 29,9 ГБ, не считая multimodal-проектора. Сильными сторонами являются сочетание мультимодальности, большого контекста, локального исполнения и сниженных требований к памяти благодаря QAT при сохранении качества, близкого к bfloat16. Ограничения включают значительные аппаратные требования для высокоточных вариантов и зависимость мультимодальных возможностей от совместимого программного обеспечения и projector-файла. Модель распространяется по лицензии Apache-2.0.

Gemma-SEA-LION-v4-27B-IT-GGUF — квантованная GGUF-версия Gemma-SEA-LION-v4-27B-IT, разработанная подразделением AI Products Pillar компании AI Singapore при финансировании Singapore NRF. Это decoder-модель семейства SEA-LION (Southeast Asian Languages In One Network), ориентированная на задачи для Юго-Восточной Азии. Модель предназначена для генерации и понимания текста, диалоговых сценариев, обработки документов, визуальных вопросов и ответов, рассуждений по изображениям, вызова функций и формирования структурированных ответов. Модель имеет 27B параметров и контекстное окно до 128K токенов. Она поддерживает текст и изображения, использует токенизатор Gemma 3 27B Instruct и обучалась на бирманском, английском, индонезийском, кхмерском, лаосском, малайском, китайском, тагальском, тамильском, тайском и вьетнамском языках. Квантованные варианты Q4_K_M, Q8_0 и BF16 снижают требования к памяти и совместимы с различными движками инференса, включая llama.cpp; вариант Q4_K_M может запускаться на ноутбуке с 16 ГБ памяти через Ollama. Сильными сторонами являются специализация на языках и сценариях Юго-Восточной Азии, большой контекст, мультимодальность и поддержка интеграции в системы через function calling и structured outputs. Ограничения включают зависимость производительности и требований к памяти от выбранного варианта квантования, а также отсутствие выравнивания по безопасности: разработчикам и пользователям необходимо самостоятельно применять safety fine-tuning и дополнительные меры защиты. Лицензия — Gemma Terms of Use.

Ling-1T — базовая языковая модель серии Ling 2.0, разработанная командой InclusionAI. Это причинная MoE-модель с архитектурой BailingMoeV2: в README заявлены 1 трлн параметров всего и около 50 млрд активных параметров на токен, тогда как метаданные Hugging Face указывают 49,6 млрд параметров. Модель обучена более чем на 20 трлн токенов и предназначена для генерации текста, диалога, сложных рассуждений, программирования и работы с инструментами. Для репозитория указаны контекст 32 768 токенов и формат safetensors; в README для Ling-1T-base заявлена поддержка до 128 тыс. токенов, поэтому длина контекста может зависеть от варианта модели. Модель рассчитана на многоязычный текст и показывает заявленные разработчиками возможности в математике, логике, написании кода и создании интерфейсов. Архитектура MoE активирует лишь часть параметров для каждого токена; также описаны MTP-слои и обучение с использованием FP8. Модель принимает текст и генерирует текст; визуальные задачи в README относятся к визуальному рассуждению и генерации интерфейсного кода, но поддержка изображений в метаданных не указана. README отмечает ограничения в многоходовом взаимодействии, долговременной памяти и использовании инструментов, а также возможные отклонения от инструкций и путаницу ролей. Модель распространяется по лицензии MIT.