I.14Автоматизация процессов и AI-агенты

Qwen2.5-72B-Instruct — инструкция-настроенная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на архитектуре Qwen2 с 71,5 млрд параметров по метаданным; карточка описывает 80 слоёв, RoPE, SwiGLU, RMSNorm и контекст до 131 072 токенов с генерацией до 8 192 токенов. В текущей конфигурации репозитория задан контекст 32 768 токенов, а для более длинных входов README предлагает YaRN. Модель предназначена для диалогов и следования инструкциям, генерации длинных текстов и структурированных ответов, включая JSON, а также для задач программирования, математики и понимания таблиц. Она поддерживает более 29 языков, включая русский и английский, и предоставляет интерфейс для вызова инструментов. Модель принимает и генерирует текст. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers; README рекомендует актуальную версию библиотеки и vLLM для развёртывания. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели. Удлинение контекста через статический YaRN может снижать производительность на коротких запросах.

Qwen2.5-72B-Instruct-GPTQ-Int4 — инструкционно дообученная большая языковая модель семейства Qwen2.5, разработанная командой Qwen при Alibaba Cloud. Это каузальная текстовая модель для диалогов, генерации текста, следования инструкциям, работы с кодом и математическими задачами, понимания таблиц и других структурированных данных, а также формирования структурированных ответов, включая JSON. Модель поддерживает более 29 языков, среди которых английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Модель содержит 72,7 млрд параметров, из которых 70,0 млрд приходятся на неэмбеддинговую часть, и включает 80 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV attention; применяется GQA с 64 головами для Q и 8 для KV. Это GPTQ-квантизированная версия с точностью 4 бита, предназначенная для более экономичного развёртывания по сравнению с полноразмерной моделью. Заявлена длина контекста до 131 072 токенов и генерация до 8192 токенов, однако текущая конфигурация репозитория рассчитана на 32 768 токенов; для более длинных входов требуется настройка YaRN. Сильные стороны модели — развитые возможности в кодировании и математике, улучшенное следование инструкциям, генерация длинных текстов, устойчивость к разнообразным системным промптам и работа со структурированными данными. Ограничения включают высокие требования к вычислительным ресурсам из-за размера модели, возможное снижение качества из-за 4-битного квантования и потенциальное ухудшение производительности на коротких текстах при статическом масштабировании YaRN. Модель распространяется по лицензии Qwen; точные условия определяются файлом лицензии в репозитории.

unsloth/Qwen2.5-72B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-72B-Instruct, опубликованная Unsloth. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы с длинными документами, структурированными данными и форматированными ответами, включая JSON. Она также ориентирована на задачи программирования и математики. Это каузальная языковая модель с архитектурой на базе Transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-слоях внимания. Модель содержит 72,7 млрд параметров, из них 70,0 млрд без учёта embedding-слоёв, 80 слоёв и использует Grouped-Query Attention с 64 головами Q и 8 головами KV. Поддерживается контекст до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенные способности к программированию и математике, следованию инструкциям, генерации длинных текстов, обработке структурированных данных и устойчивости к разнообразным системным промптам. 4-битное представление снижает требования к памяти по сравнению с полноразмерной моделью, но README не содержит точных требований к оборудованию, результатов оценки или подробностей о качестве квантования. Модель текстовая и не предназначена для обработки изображений или других мультимодальных входов. Лицензия указана как other, без дополнительных условий в представленном README.

Qwen2.5-72B-Instruct-GGUF — большая инструкционная языковая модель из серии Qwen2.5, разработанная командой Qwen. Репозиторий содержит 72-миллиардную версию модели Qwen2.5-72B-Instruct в формате GGUF, предназначенном для локального запуска, в том числе с использованием llama.cpp. Модель относится к авторегрессионным causal language models и предназначена для диалоговых систем, генерации и продолжения текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Поддерживается более 29 языков, среди которых английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Модель рассчитана на текстовую модальность. Архитектура включает transformers, RoPE, SwiGLU, RMSNorm и bias в Attention QKV; модель содержит 72,7 млрд параметров, из них 70 млрд без учёта embedding, 80 слоёв и механизм GQA с 64 головами для Q и 8 для KV. Для GGUF указана длина контекста 32 768 токенов и генерация до 8192 токенов. Поддерживаются варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. Преимуществами являются улучшенные возможности в программировании и математике, следование инструкциям, генерация длинных текстов и устойчивость к разнообразным системным промптам. Ограничение GGUF-версии — отсутствие штатной поддержки контекста до 131 072 токенов; для такого расширения README рекомендует использовать неквантизованные модели и отмечает поддержку YARN только в vLLM. Модель распространяется по лицензии Qwen, обозначенной как other; точные условия приведены в файле лицензии репозитория.

unsloth/Qwen2.5-32B-Instruct — это инструктивная плотная языковая модель на 32 млрд параметров семейства Qwen2.5, распространяемая Unsloth в формате safetensors для библиотеки Transformers. Она предназначена для диалога и генерации текста, включая следование инструкциям, программирование, математику и создание структурированных ответов, например JSON. Модель принимает текст и выдаёт текст; её архитектура — Qwen2ForCausalLM с RoPE, SwiGLU, RMSNorm и групповым запросным вниманием. Метаданные указывают контекст до 32 768 токенов, а README описывает возможность расширения до 131 072 токенов с помощью YaRN; такая настройка может снизить производительность на коротких запросах. README заявляет поддержку более 29 языков, включая русский, английский, китайский, французский, немецкий, испанский, японский и арабский. Модель основана на Qwen/Qwen2.5-32B-Instruct и помечена метаданными как дообучение. Лицензия — Apache-2.0.

Qwen2.5-32B-Instruct-GPTQ-Int8 — инструкцияно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen при Alibaba Cloud. Это каузальная текстовая модель для генерации текста и диалоговых сценариев, включая ответы на инструкции, написание длинных текстов, программирование, математические задачи, работу со структурированными данными и формирование структурированных ответов, в том числе JSON. Модель содержит около 32,5 млрд параметров, из которых 31 млрд приходятся на непараметрическую часть без эмбеддингов, и включает 64 слоя. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV-внимании; применяется Grouped Query Attention с 40 головами Q и 8 головами KV. Модель поддерживает текстовый ввод и вывод, более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Заявленная максимальная длина контекста составляет 131 072 токена, а генерации — 8192 токена; для контекстов свыше 32 768 токенов требуется настройка YaRN. GPTQ-квантизация до 8 бит снижает требования к памяти и подходит для локального или серверного развертывания, однако квантизация может влиять на качество по сравнению с исходной версией в формате bfloat16. При использовании YaRN со статическим коэффициентом масштабирования производительность на коротких текстах может ухудшаться. Для работы рекомендуется актуальная версия библиотеки Transformers, а для длинного контекста — vLLM. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen2.5-14B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-14B, опубликованная Unsloth на базе Qwen/Qwen2.5-14B-Instruct. Модель предназначена для диалоговых сценариев, следования инструкциям, генерации текста, работы со структурированными данными и JSON, а также задач программирования и математики. Архитектура — causal language model на базе Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV-внимании и группированным запросом внимания (GQA). Модель содержит 14,7 млрд параметров, из которых 13,1 млрд не относятся к embedding, и имеет 48 слоёв, 40 голов внимания для Q и 8 для KV. Поддерживаются контексты длиной до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество варианта — 4-битное представление, снижающее требования к памяти; точные показатели качества и совместимость с конкретными аппаратными конфигурациями в README не указаны. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется использовать актуальную версию библиотеки Transformers; README не содержит подробностей о точном формате квантования, ограничениях производительности или дополнительных условиях использования.

RedHatAI/Qwen2.5-32B-Instruct-FP8-dynamic — это опубликованная Red Hat AI FP8-квантизованная версия Qwen2.5-32B-Instruct, исходная модель разработана командой Qwen компании Alibaba. Она предназначена для диалогов, следования инструкциям, генерации текста и структурированных ответов, а также задач программирования, математики и работы с длинными текстами. Модель относится к causal language models и поддерживает только текстовые входы и выходы. В основе используется архитектура Qwen2ForCausalLM с 64 слоями, 40 attention heads для Q и 8 для KV по схеме GQA; размер исходной модели составляет около 32,5 млрд параметров. Репозиторий RedHatAI содержит формат compressed-tensors с FP8-представлением весов и динамическим квантованием активаций; в конфигурации указано максимальное положение на 32 768 токенов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский, английский, китайский и другие. Сильные стороны — сочетание крупного размера, улучшенных возможностей следования инструкциям, программирования, математики и более экономичного инференса благодаря FP8-квантизации. Ограничения включают возможные потери качества по сравнению с полной точностью, необходимость совместимого ПО для compressed-tensors и отсутствие отдельной карточки модели с подробными бенчмарками и описанием ограничений. Для исходной Qwen2.5-32B-Instruct указана лицензия Apache 2.0; отдельная лицензия производного репозитория RedHatAI в найденных материалах явно не указана.

Qwen3-235B-A22B-GGUF — квантованная версия модели Qwen3-235B-A22B, разработанной командой Qwen. Квантование в формате GGUF выполнил bartowski на основе llama.cpp. Модель предназначена для локального текстового взаимодействия, генерации и обработки текста, следования инструкциям, многоходовых диалогов, творческого письма, ролевых сценариев, программирования, математики и задач, требующих рассуждений. Это MoE-модель с общим размером 235B параметров и 22B активируемых параметров; в конфигурации указаны 128 экспертов, из которых одновременно активны 8. Поддерживаются режимы с рассуждением и без него, а также отключение рассуждений с помощью параметра /no_think в конце запроса. Заявлена поддержка более 100 языков и диалектов. Контекстное окно достигает 131 072 токенов с YaRN, при этом значение по умолчанию составляет 32 000 токенов. Сильные стороны модели — улучшенное рассуждение, широкий языковой охват, развитые агентские возможности и универсальность в диалоговых, творческих и технических задачах. Ограничения включают зависимость характеристик от конкретного варианта квантования и конфигурации запуска, а также возможность неточных, вредных или неподходящих ответов. Модель распространяется по лицензии Apache 2.0.

Qwen3-30B-A3B-Instruct-2507-GGUF — это GGUF-версия каузальной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Модель преобразована с использованием llama.cpp; сборка и экспериментальная схема квантования опубликованы пользователем Mungert. Она предназначена для локального запуска и генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, научных и программных задач, работы с инструментами и открытых диалоговых сценариев. Модель использует архитектуру Mixture of Experts: всего 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке запроса; в составе 48 слоёв, 128 экспертов и 8 активируемых экспертов. Применяется Grouped Query Attention с 32 головами для Q и 4 для KV. Нативная длина контекста составляет 262 144 токена. Модель поддерживает несколько языков, но конкретный перечень в предоставленных данных не указан. Это режим без рассуждений: модель не формирует блоки <think></think>. К сильным сторонам относятся улучшенные instruction following, логическое рассуждение, кодирование, использование инструментов, субъективные и открытые задачи, мультиязычное понимание и работа с длинным контекстом. GGUF-квантизация облегчает локальный инференс, а ручное повышение точности отдельных важных слоёв может улучшать качество при заданном уровне квантования. Ограничения связаны с компромиссом между размером файла, требованиями к ресурсам и точностью; конкретные характеристики зависят от выбранного варианта квантования. Лицензия — Apache 2.0.

Mungert/granite-3.2-8b-instruct-GGUF — это GGUF-версия Granite-3.2-8B-Instruct, разработанная командой Granite компании IBM и преобразованная пользователем Mungert с помощью llama.cpp. Модель содержит около 8 миллиардов параметров и предназначена для генерации текста, выполнения инструкций и задач, требующих рассуждений, с поддержкой управляемого режима thinking. Модель подходит для создания AI-ассистентов, суммирования документов и встреч, классификации и извлечения текста, ответов на вопросы, Retrieval-Augmented Generation (RAG), программирования, function calling, многоязычного диалога и работы с длинным контекстом. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Точная длина контекста для этой сборки в README не указана. Сильной стороной является сочетание возможностей рассуждения, многоязычности и адаптации к длинным документам. Сборка использует GGUF и экспериментальный подход к квантованию: отдельные важные слои переводятся на более высокую точность, что, по описанию автора, может повысить точность при сохранении относительно низкого битового уровня, но увеличивает размер файла. Ограничения включают зависимость характеристик от выбранного варианта квантования и отсутствие в карточке подробных бенчмарков, требований к аппаратному обеспечению и точного размера контекста. Модель распространяется по лицензии Apache 2.0.

unsloth/Llama-3.1-8B-Instruct-unsloth-bnb-4bit — это 4-битная версия инструкционной модели Llama 3.1 8B, разработанной Meta и подготовленной для распространения Unsloth. Модель предназначена для многоязычного диалога, генерации текста и кода, выполнения инструкций, а также локального запуска и последующей тонкой настройки. README также указывает на сценарии дообучения, включая создание reasoning-моделей с использованием GRPO. Модель представляет собой авторегрессионную языковую модель на оптимизированной архитектуре Transformer с 8 миллиардами параметров и поддержкой Grouped-Query Attention. Она работает только с текстом: принимает многоязычный текст и генерирует многоязычный текст и код. Контекстное окно составляет до 128 тысяч токенов, обучающие данные включают более 15 триллионов токенов из общедоступных онлайн-источников, дата отсечения знаний — декабрь 2023 года. Инструкционная версия использует supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности. Ключевое преимущество этой сборки — 4-битное представление, снижающее требования к памяти и подходящее для эффективного локального инференса и дообучения. Ограничения включают текстовую модальность, возможные ошибки и ограничения базовой языковой модели, а также устаревание знаний после декабря 2023 года. Для использования применяется лицензия Llama 3.1; её условия необходимо соблюдать при распространении и эксплуатации модели.

Qwen2.5-3B-Instruct-GPTQ-Int4 — инструкционно дообученная каузальная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для диалоговых сценариев, генерации текста, следования инструкциям, работы со структурированными данными и вывода в формате JSON, а также для задач программирования и математики. Она поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Модель содержит 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам, и включает 36 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в Attention QKV и связанные эмбеддинги слов; применяется GQA с 16 головами Q и 2 головами KV. Контекст составляет до 32 768 токенов, максимальная длина генерации — 8192 токена. Модель квантизована методом GPTQ до 4 бит, что может снизить требования к памяти по сравнению с исходной версией, однако конкретные показатели производительности и потери качества зависят от оборудования и сценария. К сильным сторонам относятся улучшенное следование инструкциям, генерация длинных текстов, понимание таблиц и других структурированных данных, создание структурированного вывода, а также поддержка широкого набора языков. Ограничения включают меньший размер по сравнению с крупными моделями семейства и возможное влияние 4-битной квантизации на качество. Для работы рекомендуется использовать актуальную версию библиотеки Transformers. Модель распространяется по лицензии qwen-research; точные условия определяются текстом лицензии в репозитории.

Mungert/Qwen3-4B-Instruct-2507-GGUF — GGUF-квантизированная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen и преобразованной с использованием llama.cpp. Это авторегрессионная causal language model с 4 млрд параметров, из которых 3,6 млрд не относятся к эмбеддингам; модель содержит 36 слоёв и использует grouped-query attention с 32 головами для Q и 8 для KV. Модель предназначена для генерации текста по инструкциям, понимания текста, логических рассуждений, математики, науки, программирования, работы с инструментами, творческого письма и агентских сценариев. Она поддерживает многоязычные задачи и контекст длиной до 262 144 токенов. Модель работает только в non-thinking mode и не формирует блоки <think></think>. К сильным сторонам относятся улучшенные следование инструкциям, открытые и субъективные задачи, покрытие редких знаний, мультиязычность и обработка длинного контекста. GGUF-формат подходит для локального запуска в совместимых инструментах llama.cpp, а применённый автором подход selective layer bumping повышает точность отдельных важных слоёв при выбранном уровне квантизации, хотя увеличивает размер файла. Ограничения конкретного варианта зависят от используемого уровня квантизации и аппаратных ресурсов; сведения о точном размере файла, битности и требованиях к памяти в README не указаны. Лицензия — Apache-2.0.

QuantFactory/Phi-3.5-mini-instruct-GGUF — квантизированная версия языковой модели Phi-3.5-mini-instruct, созданная QuantFactory с использованием llama.cpp на основе модели Microsoft. Это компактная instruction-tuned модель для коммерческого и исследовательского применения, включая генеративные функции, многоязычный диалог, обработку текста, а также задачи, требующие рассуждений, особенно в программировании, математике и логике. Модель относится к семейству Phi-3 и содержит 3,8 млрд активных параметров. Она поддерживает контекст длиной до 128 тысяч токенов, ориентирована на текстовую генерацию и многоязычные сценарии. При обучении использовались синтетические данные и отфильтрованные общедоступные веб-источники, а для улучшения следования инструкциям и безопасности применялись supervised fine-tuning, proximal policy optimization и direct preference optimization. Квантизация предназначена для запуска в условиях ограниченных ресурсов, включая сценарии с требованиями к низкой задержке. К сильным сторонам относятся компактность, сравнительно высокая способность к рассуждениям для модели такого размера, улучшенное качество многоязычного и многоходового диалога и пригодность для сред с ограниченными вычислительными ресурсами. Ограничения включают типичные для языковых моделей риски неточностей, проблем с безопасностью и справедливостью; модель не оценивалась специально для всех прикладных сценариев, поэтому её необходимо тестировать и дополнительно контролировать, особенно в высокорисковых задачах. Модель распространяется по лицензии MIT.

Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

BTL-4 Compact — текстовая GGUF-версия модели BTL-4 от Bad Theory Labs, распространяемая для запуска в llama.cpp, Ollama и LM Studio. Это квантованная модель класса Mixture of Experts, предназначенная для генерации текста, программирования, работы с технической документацией, агентных сценариев и использования инструментов. Модель поставляется одним файлом размером 9,96 ГБ и не требует загрузки или восстановления базовой модели. Модель содержит 35,1 млрд параметров, из которых около 2,1 млрд активны для каждого токена. Архитектура включает 40 слоёв: 30 слоёв с линейным вниманием и 10 слоёв с полным вниманием; в каждом слое 256 экспертов, из которых для токена выбираются 8. Нативный контекст составляет 262 144 токена. Сборка является текстовой: vision tower исключён. Слой multi-token prediction отключён, но это не мешает обычной работе модели. Главное преимущество BTL-4 Compact — сочетание большого общего числа параметров с относительно низкими вычислительными затратами и возможностью запуска на пользовательском оборудовании. Квантование выполнено с эффективностью 2,30 бита на вес; заявленное сохранение измеренного поведения полной модели составляет 94,1% на тесте из 118 заданий. Ограничения включают потерю качества из-за сильного квантования, отсутствие обработки изображений и чувствительность агентных сценариев к настройкам шаблона чата и формата рассуждений. Для корректной работы требуется версия llama.cpp с поддержкой qwen3_5_moe и определённые параметры запуска. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

coder3101/gemma-4-26B-A4B-it-qat-q4_0-unquantized-heretic — производная мультимодальная модель Gemma 4, созданная coder3101 на основе google/gemma-4-26B-A4B-it-qat-q4_0-unquantized. Это диалоговая модель с архитектурой Gemma4ForConditionalGeneration и поддержкой анализа изображений; она принимает текст и изображения и выдаёт текст. Базовое семейство Gemma 4 разработано Google DeepMind. Модель предназначена для диалогов, рассуждений, программирования и понимания изображений. Возможные сценарии включают ответы на вопросы по изображениям, извлечение данных из документов, распознавание текста и объектов на изображениях, анализ диаграмм и интерфейсов, генерацию и исправление кода, составление резюме и работу с инструментами. В карточке базового семейства заявлена поддержка более 35 языков и контекст до 256 тысяч токенов для варианта 26B A4B; аудиовозможности указаны только для других размеров Gemma 4, а README описывает видео для семейства в целом, поэтому эти возможности не приписываются данной модели. Модель помечена как uncensored/decensored/abliterated, что указывает на изменение поведения относительно базовой модели, но подробности обучения и конкретные эффекты не раскрыты. Возможны фактические ошибки, смещения и трудности с нюансами языка; ответы следует проверять, особенно в сложных или критичных задачах. Лицензия — Apache-2.0.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ8e — мультимодальная версия модели GLM-5.3-Flash с открытыми от цензуры весами. Исходную архитектуру разработала Zhipu AI (ZAI), uncensored-веса предоставила dealignai, а смешанную MLX-квантизацию oQ8e подготовила Solstice-AI. Модель предназначена для генерации и анализа текста, программирования, математического и общего рассуждения, а также понимания изображений и видео. Указаны языки English и Chinese. Модель основана на разреженной MoE-архитектуре с 320 млрд общих параметров, 288 экспертами и примерно 18 млрд активных параметров на токен. Она поддерживает контекст до 1 048 576 токенов, мультимодальное понимание изображений и видео и запуск на Apple Silicon через MLX. Используется смешанная точность около 8,6 бит на вес: критичные для маршрутизации и вывода слои сохраняются в 8-битном формате, vision tower и мультимодальный aligner — в BF16, а отдельные таблицы — в BF16/FP32. В комплект входит DFlash2 для speculative decoding, заявленное ускорение — до 3 раз. Сильными сторонами являются большой контекст, сочетание текстовых и визуальных возможностей, высокая заявленная производительность в программировании, математике и видеоанализе, а также оптимизация для чипов Apple M2–M5. Ограничения включают значительный размер модели и зависимость от совместимого оборудования и MLX; заявленная uncensored-настройка может требовать самостоятельного контроля безопасности при использовании. Лицензия — MIT.

AtomicChat/gemma-4-31B-it-assistant-GGUF — квантизированная в формат GGUF версия модели google/gemma-4-31B-it-assistant, подготовленная Atomic Chat на основе оригинальных весов Google. Модель предназначена для локальной и полностью офлайн-генерации текста, работы в чат-сценариях, решения задач рассуждения, программирования, анализа документов и других задач, поддерживаемых базовой моделью. Для запуска доступны варианты Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; рекомендуется Q4_K_M как компромисс между размером, скоростью и качеством. Модель содержит 30,7 млрд параметров и 60 слоёв. Это плотный decoder-only трансформер с гибридным вниманием: sliding-window с окном 1024 токена и глобальным вниманием; используется 32 attention heads и 16 KV heads. Заявленная длина контекста — до 256 тысяч токенов, словарь содержит 262 тысячи токенов. Базовая модель поддерживает текст и изображения, однако представленный репозиторий содержит только текстовые GGUF-кванты без vision projector. Семейство Gemma 4 ориентировано на развитое рассуждение и поддерживает настраиваемые режимы размышления. Сильными сторонами являются большой контекст, высокая заявленная производительность базовой модели в задачах общего тестирования, математики, программирования и мультимодального анализа, а также возможность эффективного локального запуска благодаря квантизации и калибровке importance matrix. Ограничения связаны с потерями качества по сравнению с полной точностью, зависимостью требований к памяти от выбранного варианта квантизации и отсутствием обработки изображений в файлах этого репозитория. Приведённые результаты бенчмарков относятся к базовой модели Google, а не к независимым измерениям этих квантизированных файлов. Для корректного применения чат-шаблона Gemma 4 при запуске в llama.cpp требуется параметр --jinja. Модель распространяется по лицензии Apache 2.0.

GigaChat3-10B-A1.8B — диалоговая языковая модель семейства GigaChat, опубликованная под идентификатором ai-sage/GigaChat3-10B-A1.8B. Она предназначена для генерации и обработки текста, включая диалоговые сценарии, ответы на вопросы, работу с математическими и академическими задачами, программированием и структурированием информации. Модель дообучена на высококачественных SFT-данных поверх базовой версии GigaChat3-10B-A1.8B-base. Модель использует архитектуру Mixture-of-Experts с 10 миллиардами общих и 1,8 миллиарда активных параметров. В архитектуре применяются Multi-head Latent Attention (MLA), снижающая требования к памяти за счёт сжатия KV-кэша, и Multi-Token Prediction (MTP), поддерживающая ускоренную спекулятивную или параллельную генерацию. Модель ориентирована на высокопроизводительный инференс в формате fp8; также доступна версия bf16. В README указана поддержка русского и английского языков, а обучающие данные охватывают всего 10 языков, включая китайский, арабский, узбекский и казахский. Размер контекста в доступных данных не указан. К сильным сторонам относятся высокая пропускная способность, сниженные требования к памяти благодаря MLA и потенциальное ускорение генерации до 40% при использовании MTP. Приведённые бенчмарки показывают конкурентные результаты в русскоязычных и англоязычных задачах, математике и программировании, однако показатели зависят от методики оценки и конфигурации инференса. Ограничения модели, включая возможные ошибки, галлюцинации и неравномерное качество по языкам и задачам, отдельно не описаны. Лицензия модели — MIT.

Meta-Llama-3-70B-Instruct-iMat-GGUF — квантизированная GGUF-версия 70-миллиардной инструкционно настроенной языковой модели Meta Llama 3, разработанной Meta. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также коммерческих и исследовательских сценариев на английском языке. Инструкционная настройка выполнена с применением supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности. Модель принимает только текст и генерирует текст или код. Она построена на авторегрессионной оптимизированной архитектуре Transformer с Grouped-Query Attention, имеет контекст длиной 8k токенов и обучалась на более чем 15 триллионах токенов общедоступных онлайн-данных; дата отсечения знаний — декабрь 2023 года. Данная сборка квантизирована с использованием importance matrix, включает варианты K и IQ, а также исправленный токен завершения для инструкционного режима. Для корректной работы требуется совместимый рантайм, например llama.cpp, актуальный chat template llama3 и правильная загрузка всех частей файлов, если модель разделена. Сильные стороны модели — большой размер, диалоговая специализация, поддержка генерации кода и улучшенная точность квантизации за счёт importance matrix. Ограничения включают английскую ориентацию, текстовую модальность, контекст 8k токенов, статичность обучающего набора и зависимость результатов от выбранного кванта и совместимости токенизатора. Указана кастомная коммерческая лицензия Llama 3; её условия определяются Llama 3 Community License и Acceptable Use Policy.

hermes42/Phi-3-medium-128k-instruct-imatrix-GGUF — это набор GGUF-квантизированных версий модели Phi-3-Medium-128K-Instruct, опубликованный пользователем или организацией hermes42. Исходная модель разработана Microsoft и содержит около 14 миллиардов параметров. Для квантования использована библиотека llama.cpp, а importance matrix рассчитана на наборе group_10_merged.txt для улучшения perplexity. Модель предназначена для генерации текста и работы в формате инструкций: ответов на вопросы, рассуждений, задач по математике, программированию, логике и обработки длинного контекста. Поддерживаемый контекст исходной модели составляет до 128 тысяч токенов. В метаданных указана многоязычность, однако основное назначение и оценивание описаны прежде всего для английского языка. Формат GGUF удобен для локального запуска и сценариев с ограниченными ресурсами, а квантизация может снизить требования к памяти и задержку по сравнению с полноразмерной моделью. К сильным сторонам относятся большой контекст, ориентация на рассуждения, код и математику, а также оптимизация квантов с помощью importance matrix. Ограничения включают возможное снижение точности из-за квантизации, типичные для языковых моделей ошибки и необходимость самостоятельно проверять корректность, безопасность и справедливость результатов, особенно в высокорисковых применениях. Модель выпущена по лицензии MIT.

TelperionAI/Qwen3.8-27B-NVFP4-AWQ-GPTQ — это квантованная версия базовой модели Qwen/Qwen3.8-27B, опубликованная под лицензией Apache-2.0. Модель предназначена для запуска большой языковой модели с меньшими требованиями к памяти, прежде всего в задачах генерации и обработки текста, включая программирование, математику, STEM, диалоги и многоязычные сценарии. В README также указана поддержка speculative decoding через MTP и возможность FP8-квантизации KV-кэша. Модель использует смешанную точность: основные MLP-слои квантованы в NVFP4 с группами размера 16 и FP8-масштабами, часть MLP-слоёв, attention- и GDN-модули работают в динамическом FP8, а эмбеддинги, lm_head, нормализации, параметры состояния GDN, MTP-голова и vision tower сохранены в BF16. Квантизация выполнена методом AWQ с последующим GPTQ и калибровкой на сбалансированном наборе данных из кода, математики, STEM, диалогов и многоязычных текстов. Размер чекпойнта составляет около 24,7 ГБ. По приведённому сравнению модель точнее других рассмотренных NVFP4-чекпойнтов и заметно компактнее FP8-версии, сохраняя высокую скорость инференса. AWQ повышает устойчивость к потере качества без увеличения размера или снижения пропускной способности. Ограничения включают необходимость Blackwell-класса GPU, совместимый vLLM с compressed-tensors и то, что оценка проводилась только на одном внутреннем корпусе; качество vision tower отдельно не оценивалось. Acceptance rate для MTP не измерялся.

Yi-1.5-34B-Chat — диалоговая языковая модель от 01.AI, основанная на архитектуре Llama и содержащая 33,9 млрд параметров. Это чат-версия Yi-1.5: семейство непрерывно предобучали на высококачественном корпусе объёмом 500 млрд токенов, затем дообучили на 3 млн разнообразных примеров. Модель предназначена для диалога и следования инструкциям. Она подходит для генерации ответов, помощи с программированием и математикой, рассуждений, понимания языка и чтения текстов. Разработчики отмечают улучшения в коде, математике, рассуждениях и выполнении инструкций по сравнению с Yi. Для этой версии в метаданных указан контекст 4096 токенов; доступны веса в формате safetensors. Модель принимает и выдаёт текст. Карточка не приводит конкретного перечня поддерживаемых языков. Лицензия — Apache-2.0.

unsloth/gemma-4-26B-A4B-it-qat-GGUF — инструкционная мультимодальная модель семейства Gemma 4, разработанная Google DeepMind и подготовленная Unsloth в формате GGUF. Она принимает текст и изображения и генерирует текст, поэтому подходит для диалоговых приложений, анализа визуального содержимого, генерации текста, программирования и задач рассуждения. Модель имеет размер 26B параметров с архитектурой Mixture-of-Experts и обозначением A4B. Это QAT-чекпойнт с квантизацией Q4_0, рассчитанный на снижение требований к памяти при сохранении качества, близкого к bfloat16. Семейство Gemma 4 поддерживает контекст до 256K токенов и более 140 языков; для данной версии README отдельно не уточняет полный перечень языков и поддерживаемые помимо текста и изображений модальности. В комплекте также доступен Multi-Token Prediction drafter для speculative decoding в llama.cpp, который может ускорять генерацию без изменения проверяемого моделью результата. Сильные стороны модели — мультимодальность, большой контекст, поддержка многоязычных сценариев, возможности рассуждения и совместимость GGUF с широким спектром инструментов локального запуска. Ограничения связаны с требованиями к вычислительным ресурсам, обусловленными размером 26B, а также с возможными особенностями качества и точности, возникающими при квантизации. Модель распространяется по лицензии Apache 2.0.

coder3101/gemma-4-31B-it-heretic — дообученная версия Gemma 4 31B IT, основанная на google/gemma-4-31B-it. Модель создана сообществом coder3101; по меткам heretic, uncensored, decensored и abliterated она позиционируется как версия с ослабленными ограничениями на ответы. Архитектура — плотная мультимодальная Gemma4ForConditionalGeneration; репозиторий содержит веса Safetensors и предназначен для работы через Transformers. Модель принимает текст и изображения и генерирует текст. Подходит для диалогов, ответов на вопросы по изображениям и документам, распознавания текста на изображениях, анализа диаграмм, написания и исправления кода, суммаризации и задач с длинным контекстом. В README семейства заявлена поддержка более 35 языков и контекст до 256K токенов для версии 31B; аудиообработка описана только для меньших вариантов Gemma 4, поэтому к этой модели её не относим. Гибридное чередование локального и глобального внимания рассчитано на эффективную обработку длинных последовательностей. Модель может ошибаться в фактах, упускать языковые нюансы и отражать смещения обучающих данных; ослабленные ограничения могут повышать риск нежелательных ответов. Лицензия — Apache-2.0.

GPT-5.6 Luna Pro — вариант GPT-5.6 Luna от OpenAI, работающий с режимом рассуждений `pro` для получения более качественных ответов на сложные задачи. По карточке модели это тот же базовый модельный экземпляр, что и GPT-5.6 Luna, с другим режимом обслуживания.

mlx-community/gpt-oss-20b-OptiQ-4bit — это квантизированная MLX-версия языковой модели openai/gpt-oss-20b, подготовленная проектом mlx-optiq для локального запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста, рассуждений, решения математических задач, следования инструкциям, вызова функций, программирования и поиска информации в длинном контексте. Заявленный язык — английский. В основе лежит 24-слойная MoE-архитектура с 32 экспертами, из которых 4 активируются для каждого токена, а также с attention sinks. Используется чувствительная к слоям смешанная квантизация: 33 слоя представлены в 4-битном формате, 88 — в 8-битном; итоговая точность составляет 5,03 бита на вес. Размер модели на диске — около 11 ГБ, в оперативной памяти при работе требуется примерно 11,6 ГБ. Модель поддерживает reasoning_effort со значениями low, medium и high и формат ответов harmony с каналами analysis и final. По приведённым тестам модель заметно превосходит равномерную 4-битную квантизацию на MMLU, GSM8K, IFEval, BFCL, HumanEval и HashHop, особенно в задачах многошагового извлечения из длинного контекста. Ограничения включают отсутствие квантизации KV-cache и зависимость от экосистемы MLX и Apple Silicon; README также указывает, что модель является квантизацией только весов. Распространяется по лицензии Apache-2.0.

AMAImedia/Hy4-preview-BF16-GGUF — размещённая AMAImedia сборка модели Hy4 preview, разработанной Tencent Hy Team. Это диалоговая модель семейства hy_v4 с архитектурой Mixture-of-Experts; исходная модель содержит 770 млрд параметров, из которых активируются 49 млрд на токен. В архитектуре используются 78 слоёв, разреженное внимание Gated DeepSeek Sparse Attention и слой MTP для ускорения спекулятивного декодирования. Карточка указывает контекст длиной до 1 048 576 токенов. Модель предназначена для генерации текста и диалога, включая разработку и отладку программ, анализ документов и данных, подготовку офисных материалов, создание игровых прототипов и научные задачи. Hy4 preview также поддерживает сценарии с изображениями согласно тегу image-text-to-text. В метаданных заявлены языки, включая английский, русский, китайский, вьетнамский и японский; карточка перечисляет дополнительные языки. Репозиторий обозначен как GGUF BF16, однако метаданные также содержат форматы GGUF Q4_K_M и safetensors. Это ранняя версия: README отмечает склонность тратить лишнее время на сложные рассуждения и чрезмерно перепроверять результаты. Модель опубликована под лицензией Apache-2.0. Связь с tencent/Hy4-preview и AngelSlim/Hy4-preview-GGUF указана в метаданных как merge.