I.14Автоматизация процессов и AI-агенты

RedHatAI/Meta-Llama-3.1-70B-Instruct-quantized.w4a16 — квантованная версия Meta-Llama-3.1-70B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая autoregressive-модель для генерации текста и ассистентского диалога, предназначенная прежде всего для коммерческого и исследовательского использования на английском языке. Возможные сценарии включают чат-ассистентов, ответы на инструкции, генерацию текста, решение математических задач и помощь в программировании. Модель имеет архитектуру Meta-Llama-3 и содержит 70 млрд параметров в исходной версии. Веса линейных операторов в трансформерных блоках квантованы в формат INT4 по схеме W4A16 с симметричной групповой квантизацией для групп по 128 параметров; для квантования применён алгоритм GPTQ. Это сокращает объём хранения и требования к памяти GPU примерно на 75% по сравнению с 16-битной версией. Модель работает с текстом на входе и выходе, а в README заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, хотя официальное назначение ограничено английским. Указанная длина контекста при развёртывании — до 8192 токенов. К сильным сторонам относятся существенное снижение требований к памяти и высокая близость качества к неквантованной модели: заявлены результаты восстановления 100% для Arena-Hard, 99,4% для OpenLLM v1, 97,4% для OpenLLM v2, 101,0% для HumanEval pass@1 и 99,2% для HumanEval+ pass@1. Ограничения включают возможную потерю точности из-за INT4-квантования, ориентацию на английский язык и отсутствие мультимодальности. Для эффективного развёртывания рекомендуется backend vLLM, включая режим OpenAI-compatible serving. Модель распространяется по лицензии Llama3.1; применяются ограничения исходной лицензии, включая запрет использования с нарушением законодательства.

OpenHermes-2.5-DPO-No-Robots — диалоговая языковая модель на архитектуре Mistral, разработанная OpenAccess AI Collective. Это версия OpenHermes-2.5-Mistral-7B, дополнительно обученная методом DPO на датасете предпочтений, созданном на основе наборов HuggingFace No Robots. Модель содержит 7,1 млрд параметров и принимает текстовые запросы, генерируя текстовые ответы; контекст составляет до 32 768 токенов. Модель предназначена для диалога, следования инструкциям, генерации текста и помощи с кодом. Доступна в формате Safetensors. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.

SanctumAI/Phi-3.5-mini-instruct-GGUF — это GGUF-квантизированная версия модели Phi-3.5-mini-instruct, разработанной Microsoft и подготовленной к распространению в данном формате командой SanctumAI. Модель предназначена для генерации текста, диалоговых приложений и выполнения инструкций, включая задачи, связанные с обработкой естественного языка и кодом. Она относится к семейству Phi-3 и обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на качественные данные для рассуждений. В процессе дообучения применялись supervised fine-tuning, proximal policy optimization и direct preference optimization, что направлено на улучшение следования инструкциям и безопасности ответов. Модель поддерживает контекст до 128K токенов и заявлена как multilingual, однако конкретный перечень языков не указан. Доступны варианты квантизации от Q2_K до Q8_0, а также f16; их размер составляет примерно от 1,42 до 7,64 ГБ, а оценочная потребность в оперативной или видеопамяти — от 5,02 до 10,82 ГБ. Это позволяет запускать модель на сравнительно ограниченных по ресурсам системах, но более сильная квантизация может снижать качество по сравнению с f16. Модель распространяется по лицензии MIT.

Yi-1.5-9B-Chat — диалоговая языковая модель семейства Yi, разработанная командой 01.AI. Это плотная авторегрессионная модель архитектуры Llama с 8,6 млрд параметров, представленная в формате safetensors. Yi-1.5 продолжает предварительное обучение Yi на корпусе из 500 млрд токенов и проходит дообучение на 3 млн разнообразных примеров; версия Chat предназначена для диалога и следования инструкциям. Модель подходит для ответов на вопросы, рассуждений, задач по математике и программированию, а также понимания и краткого анализа текста. В карточке заявлен контекст 4 тыс. токенов; линейка Yi-1.5 также включает варианты с контекстом 16 тыс. и 32 тыс. токенов. README характеризует 9B Chat как сильную модель среди открытых моделей сопоставимого размера. Лицензия — Apache-2.0.

Apodex-1.1-mini MLX — MLX-конверсия модели Apodex-1.1-mini от Apodex AI, предназначенная для исследовательских задач, работы с данными, файлами, кодом и инструментами. Это текстовая модель для генерации текста, оптимизированная для запуска на устройствах Apple silicon с библиотекой mlx-lm. Заявлены поддерживаемые языки — английский и китайский. Модель построена на архитектуре Qwen3.5 MoE и содержит 35,95 млрд параметров. Релиз использует аффинное 4-битное квантование с размером группы 64; веса маршрутизатора MoE и общих экспертов сохранены в 8-битном формате. Размер MLX-весов составляет 19,5 ГБ, поэтому для работы требуется дополнительная unified memory под выполнение модели и KV-кэш, особенно при длинном контексте. В этой версии отсутствуют обработка изображений и native MTP. Модель распространяется по лицензии Apache-2.0.

unsloth/gemma-3-12b-it-bnb-4bit — это 4-битная версия instruction-tuned модели Gemma 3 12B, подготовленная Unsloth на базе google/gemma-3-12b-it. Семейство Gemma разработано Google DeepMind на основе технологий, использованных при создании Gemini. Модель предназначена для генерации текста и понимания изображений: она принимает текстовые запросы, документы и изображения, а на выходе формирует текстовые ответы, summaries, анализ содержимого изображений и результаты рассуждений. Модель мультимодальная, поддерживает более 140 языков и имеет контекстное окно до 128K токенов для версии 12B; максимальный объём генерируемого ответа составляет 8192 токена. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов каждое. Квантование в формате bnb-4bit снижает требования к памяти и делает модель более подходящей для локального запуска и дообучения на ограниченных ресурсах, включая ноутбуки, настольные компьютеры и собственную облачную инфраструктуру. Сильные стороны модели — сочетание относительно компактного размера, мультимодальности, большого контекстного окна, многоязычности и пригодности для задач вопросно-ответного взаимодействия, суммаризации, генерации текста и анализа изображений. Ограничения включают возможное снижение точности из-за 4-битного квантования, а также то, что модель генерирует только текст и не предназначена для вывода изображений. Использование регулируется лицензией и условиями Gemma; в карточке указана лицензия gemma.

Gistral-16B — разговорная языковая модель ehristoforu для генерации текста. Она создана слиянием нескольких моделей семейства Mistral, включая русскоязычную Saiga, модели для математики и кода, а также варианты с расширенным контекстом и диалоговой настройкой. Архитектура — плотная MistralForCausalLM; размер составляет 16,7 млрд параметров, веса доступны в формате safetensors, модель работает через Transformers. Модель предназначена для диалогов, следования инструкциям, решения математических задач и помощи с кодом. В карточке заявлена поддержка английского, французского, русского, немецкого, японского, китайского, корейского, итальянского и украинского языков. Метаданные указывают на нативный контекст в 32 768 токенов. Модель распространяется по лицензии Apache-2.0. Качество и поведение могут различаться между задачами, поскольку модель объединяет несколько специализированных чекпойнтов. Упоминание варианта Yarn на 128k среди компонентов слияния не меняет указанный в метаданных нативный контекст самой модели — 32 768 токенов.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-AWQ — мультимодальная языковая модель, основанная на архитектуре GLM-5.3-Flash. Исходную архитектуру разработала Zhipu AI / ZAI, uncensored-веса подготовила dealignai, а Solstice-AI выпустила эту AWQ-квантизованную версию. Модель предназначена для генерации и анализа текста, программирования, математических и логических задач, а также понимания изображений и видео. Заявлены поддерживаемые языки английский и китайский. Модель использует MoE-архитектуру с 320 млрд общих параметров, 288 маршрутизируемыми экспертами и примерно 18 млрд активных параметров на токен. Применяется формат W4A16 AWQ: веса квантизованы до INT4 с group_size=128, а активации сохраняются в 16-битном формате. Визуальные компоненты, механизмы внимания, маршрутизаторы MoE, эмбеддинги и языковая голова оставлены без квантизации. В README указана поддержка контекста до 131 072 токенов, а также speculative decoding с DFlash 2. К сильным сторонам относятся сочетание больших возможностей MoE-модели с уменьшенным размером весов, мультимодальность, поддержка длинного контекста и сценариев программирования, математики, анализа изображений и видео. Ограничения включают очень высокую общую ёмкость модели и, как следствие, значительные требования к памяти и вычислительным ресурсам, несмотря на INT4-квантизацию; для запуска требуются совместимые движки, например vLLM или SGLang. Показатели качества и отсутствие отказов приведены авторами README и не подтверждены независимой проверкой. Лицензия — MIT.

unsloth/llama-3-8b-bnb-4bit — это 4-битная квантованная версия 8-миллиардной языковой модели Llama 3, подготовленная Unsloth на базе Meta-Llama-3-8B. Исходную модель разработала Meta. Она предназначена для генерации текста и кода, диалоговых сценариев, текстового автодополнения и последующего дообучения на пользовательских наборах данных. Модель принимает только текст и генерирует текст или код. В основе лежит авторегрессионная архитектура оптимизированного Transformer; заявлены Grouped-Query Attention и контекстное окно 8 тысяч токенов. Модель обучалась на смеси общедоступных онлайн-данных; дата отсечения знаний — март 2023 года. Квантование до 4 бит снижает требования к памяти и делает модель более удобной для локального запуска и тонкой настройки, однако может уменьшать качество по сравнению с полноточной версией. Модель не поддерживает изображения и другие модальности, а качество ответов зависит от исходной Llama 3 и конкретного сценария использования. В README указана лицензия Llama 3 (license: llama3).

JetBrains/Mellum2-12B-A2.5B-Instruct-GGUF-Q8_0 — это квантованная в формате GGUF версия инструкционной модели Mellum2-12B-A2.5B-Instruct, разработанной JetBrains. Модель предназначена для генерации текста и выполнения инструкций, включая задачи программирования и ассистирования, и может запускаться локально через llama.cpp, Ollama, LM Studio и другие совместимые среды. Модель использует архитектуру Mixture-of-Experts с 64 экспертами, из которых для каждого токена активируются 8. Контекстное окно составляет 131 072 токена. Представленная версия применяет 8-битное квантование Q8_0, занимает около 12,9 ГБ и сохраняет близкое к BF16 качество: KL-дивергенция составляет примерно 0,016, а наиболее вероятный токен совпадает с BF16 в 95,2% случаев. В README явно указан английский язык; сведения о других языках и дополнительных модальностях отсутствуют. Модель формирует ответы напрямую, без внешнего отображения цепочки рассуждений. Сильные стороны версии — существенно меньший размер по сравнению с BF16 при небольших потерях качества, длинный контекст и широкая совместимость с локальными GGUF-рантаймами. Ограничения включают повышенные требования к памяти по сравнению с более агрессивными вариантами квантования и отсутствие в данном README подробных результатов оценки, описания полного набора языков и характеристик базовой модели. Модель распространяется по лицензии Apache 2.0.

Meta-Llama-3-8B-Instruct-iMat-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для диалоговых сценариев и задач генерации текста и кода, включая использование в качестве ассистента. Вариант подготовлен с помощью llama.cpp и доступен в наборах K- и IQ-квантов от Q6_K до IQ1_S. Модель представляет собой авторегрессионный языковой трансформер с оптимизированной архитектурой и Grouped-Query Attention (GQA), содержит около 8 млрд параметров и поддерживает контекст до 8 тысяч токенов. Она принимает только текст и генерирует текст или код. Обучение включает предварительное обучение, supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Основной язык — английский; применение для других языков обозначено как выходящее за рамки исходного назначения, хотя дополнительное дообучение возможно при соблюдении условий лицензии. Ключевые преимущества этого варианта — поддержка локального запуска через llama.cpp, наличие множества уровней квантования и использование importance matrix для снижения потерь качества при квантовании. Исправлены настройки токенизатора и EOS-токена для корректной работы инструкционного режима, однако для новых квантов требуется совместимая версия llama.cpp с соответствующими исправлениями и шаблоном чата Llama 3. Модель является статичной и обучена на офлайн-данных; дата отсечения знаний — март 2023 года. Использование регулируется пользовательской лицензией Meta Llama 3 и Acceptable Use Policy.

Phi-3.1 Mini 128K Instruct — компактная языковая модель Microsoft, представленная в формате GGUF для запуска через llama.cpp и LM Studio. Квантование подготовлено bartowski на основе Phi-3-mini-128k-instruct. Модель предназначена для диалогов, генерации и анализа текста, следования инструкциям, многошаговых рассуждений, решения математических задач, программирования, работы с общеизвестными сведениями и поддержания многоходовых бесед. Модель представляет собой плотный decoder-only Transformer примерно с 3,8 млрд параметров. Она обучалась на 3,3 трлн токенов, включая отфильтрованные общедоступные документы, образовательные и синтетические учебные данные, код, а также качественные диалоговые наборы. Для настройки применялись supervised fine-tuning и Direct Preference Optimization. Контекстное окно составляет до 128K токенов и реализовано с использованием технологии LongRoPE. Поддерживается английский язык; заявленные модальности ограничены текстом. К сильным сторонам относятся улучшенное следование инструкциям, структурирование ответов, поддержка тега system, качество многоходового диалога и усиленные способности к рассуждению при относительно небольшом размере. Ограничениями являются текстовая специализация, заявленная языковая поддержка английского и возможные неточные, вредные или вводящие в заблуждение ответы. Модель распространяется по лицензии MIT.

Qwen1.5-72B-Chat-GGUF — квантованный вариант чат-модели Qwen1.5, разработанной командой Qwen. Это авторегрессионная языковая модель на основе архитектуры Transformer decoder-only, предназначенная для ведения диалогов и генерации текста. Модель подходит для чат-ботов, ответов на вопросы, обработки инструкций и других сценариев текстовой генерации. Модель содержит 72 миллиарда параметров и поддерживает контекст длиной до 32K токенов. Она работает с текстом и обучена для многоязычных сценариев, включая естественные языки и программный код; в метаданных README явно указан английский язык. После предварительного обучения модель прошла supervised fine-tuning и direct preference optimization, что направлено на улучшение качества диалогов и соответствия человеческим предпочтениям. Архитектура включает SwiGLU и attention с QKV bias; для beta-версии заявлено отсутствие GQA и сочетания sliding window attention с full attention, кроме отдельных вариантов. Репозиторий предоставляет GGUF-квантизации q2_k, q3_k_m, q4_0, q4_k_m, q5_0, q5_k_m, q6_k и q8_0, позволяющие выбирать компромисс между качеством, размером файлов и требованиями к ресурсам. Сильными сторонами являются большой размер, контекст 32K и поддержка локального запуска через llama.cpp. Ограничения включают высокие требования к памяти и вычислительным ресурсам для 72B-модели, а также возможные потери качества при более агрессивной квантизации. Лицензия указана как other, с названием tongyi-qianwen; подробные условия доступны по ссылке на LICENSE.

unsloth/Qwen2.5-3B-unsloth-bnb-4bit — 4-битная квантизированная версия языковой модели Qwen2.5-3B, подготовленная Unsloth на базе Qwen/Qwen2.5-3B. Модель предназначена для генерации и обработки текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Это текстовая causal language model без заявленной поддержки изображений или других модальностей. Модель ориентирована на многоязычное использование и заявляет поддержку китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского, арабского и других языков. Для семейства Qwen2.5 указана поддержка контекста до 128K токенов и генерации до 8K токенов, однако README не приводит отдельные параметры контекста именно для версии 3B. Ключевое преимущество этой сборки — снижение требований к памяти благодаря 4-битному формату Unsloth Dynamic 4-bit, который, по заявлению разработчика, лучше сохраняет точность по сравнению со стандартной 4-битной квантизацией. Ограничения включают возможную потерю точности из-за квантизации и отсутствие в README результатов независимого бенчмаркинга именно этой сборки. README также предупреждает, что базовые языковые модели не рекомендуются для диалогового использования без дополнительной настройки. Модель распространяется по лицензии Apache-2.0.

ibrahimkettaneh/Qwen2.5-72B-Instruct-abliterated-AWQ — производная версия Qwen2.5-72B-Instruct, опубликованная пользователем Ibrahim Kettaneh на Hugging Face. Исходную модель разработала команда Qwen компании Alibaba Cloud. Репозиторий содержит веса в формате Safetensors, квантизированные методом AWQ до 4 бит, и предназначен для локального запуска текстовой генерации и диалоговых приложений на совместимом оборудовании. Отдельная карточка модели для этого производного репозитория отсутствует, поэтому сведения о специфических изменениях, внесённых в вариант «abliterated», не задокументированы надёжно. Архитектурно это causal language model семейства Qwen2.5 с примерно 72,7 млрд параметров, 80 слоями, RoPE, SwiGLU, RMSNorm и grouped-query attention: 64 головы для Q и 8 для KV. Исходная instruction-tuned модель поддерживает генерацию текста, следование инструкциям, программирование, математику, структурированные данные и JSON; заявлена поддержка более 29 языков, включая русский. Полный контекст составляет до 131 072 токенов, а рекомендуемая длина генерации — до 8192 токенов; для очень длинного контекста требуется настройка YaRN. К сильным сторонам относятся большой масштаб, развитые способности к рассуждению, коду и обработке длинного контекста, а 4-битная AWQ-квантизация уменьшает требования к памяти по сравнению с полноразмерными весами. Ограничения — высокая вычислительная требовательность даже после квантизации, возможное снижение качества из-за квантизации и отсутствие надёжно опубликованных оценок именно этого варианта. На странице производного репозитория отдельная лицензия не указана; у исходной Qwen2.5-72B-Instruct указана лицензия Qwen, поэтому условия использования следует проверять по лицензии исходной модели и файлам конкретного репозитория.

Qwen3-1.7B-MLX-4bit — компактная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Это MLX-версия модели Qwen3-1.7B-Base с 4-битным квантованием, предназначенная для локального запуска и генерации текста. Она подходит для диалогов, следования инструкциям, генерации кода, математических и логических рассуждений, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к embedding-слою, и имеет 28 слоёв. Используется Grouped Query Attention с 16 головами для запросов и 8 головами для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Модель поддерживает более 100 языков и диалектов и допускает переключение между режимом рассуждений и нерaссуждающим режимом в рамках одной модели: первый ориентирован на сложные задачи, математику и программирование, второй — на более быструю генерацию и общий диалог. К сильным сторонам относятся сочетание небольшого размера, локального формата MLX и 4-битного квантования, мультиязычность, поддержка диалогов и инструкций, а также гибкое управление режимом рассуждений. Ограничения включают меньшую ёмкость по сравнению с крупными моделями и отсутствие в предоставленных данных подробных результатов бенчмарков, требований к оборудованию и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

TheCluster/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive-MLX-mxfp4 — это квантизированная версия мультимодальной модели Qwen3.5-35B-A3B, основанная на варианте HauhauCS/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive. Модель преобразована в формат MLX и предназначена для локального запуска, генерации текста, программирования, рассуждений, а также обработки изображений и видео. Вариант Aggressive отличается усиленным удалением отказов от ответов; при этом модель иногда может добавлять стандартные дисклеймеры, не отказываясь от генерации основного содержания. Архитектура включает 35 миллиардов общих параметров и около 3 миллиардов активных параметров на токен благодаря MoE с 256 экспертами, из которых для каждого токена выбираются 8 маршрутизируемых и 1 общий эксперт. Используется гибридная схема Gated DeltaNet linear attention и полноформатного softmax-внимания в соотношении 3:1, всего 40 слоёв. Нативное контекстное окно составляет 262 тысячи токенов и может быть расширено до 1 миллиона с помощью YaRN. Модель поддерживает текст, изображения и видео, multi-token prediction, словарь из 248 тысяч токенов и 201 язык, включая русский, английский и китайский. К сильным сторонам относятся мультимодальность, очень длинный контекст, высокая вычислительная эффективность MoE и отсутствие встроенных отказов в Aggressive-варианте. Ограничения включают квантизацию mxfp4 с качеством около 4,402 bpw, зависимость производительности от совместимости с MLX и аппаратных ресурсов, а также потенциально менее предсказуемое поведение из-за снятия ограничений безопасности. В README указана лицензия Apache-2.0.

TelperionAI/Qwen3.8-27B-INT4-AWQ-GPTQ — квантизированная версия языковой модели Qwen3.8-27B, основанная на базовой модели Qwen/Qwen3.8-27B. Модель создана с использованием llm-compressor и сочетает AWQ-масштабирование, учитывающее активации, с последующей GPTQ-квантизацией. Она предназначена для запуска и генерации текста в задачах общего назначения, включая программирование, математику, STEM, диалоговые и многоязычные сценарии. Основная часть MLP-слоёв квантизирована в INT4 с группами размера 32 и асимметричными шкалами, отдельные компоненты используют INT8, а эмбеддинги, lm_head, нормализации, параметры состояния GDN, vision tower и MTP-head сохранены в BF16. Размер модели на диске составляет около 25,1 ГБ; требуется видеокарта с Compute Capability не ниже 7.5, поэтому поддерживаются Turing, Ampere, Ada и Blackwell без необходимости FP8 или FP4. Контекст, точное число языков и полный набор модальностей в README не указаны, однако присутствует vision tower и заявлена калибровка на многоязычных данных. Ключевое преимущество модели — повышенная близость к исходной BF16-версии по сравнению с некоторыми другими 4-битными сборками: в заявленном тесте совпадение top-1 составило 96,30%, а медианная позиция первого расхождения генерации — 48 токенов. Модель поддерживает vLLM и MTP speculative decoding, но скорость на Blackwell примерно в 2,3 раза ниже, чем у NVFP4-варианта. Размер 25,1 ГБ не позволяет комфортно разместить её на одной видеокарте с 24 ГБ памяти с учётом KV-кэша, а результаты оценены только на одном корпусе и не проверены на независимом распределении. Распространяется по лицензии Apache-2.0.

XVERSE-13B-Chat — диалоговая версия языковой модели XVERSE-13B, разработанной компанией Shenzhen Yuanxiang Technology. Это плотная авторегрессионная модель с архитектурой Decoder-only Transformer и 13,2 млрд параметров, предназначенная для генерации ответов и ведения многоходовых бесед. Она поддерживает контекст до 8192 токенов. Модель подходит для вопросов и ответов, суммаризации, рассуждений и помощи с программированием. В README заявлена поддержка более 40 языков, включая китайский, английский, русский и испанский; особенно сильные результаты разработчик отмечает для китайского и английского. Модель использует токенизатор BPE с размером словаря 100 534 токена. Модель может выдавать неточные, предвзятые или оскорбительные ответы, поэтому результаты следует проверять, а перед внедрением проводить тестирование безопасности для конкретного сценария. Лицензия Apache-2.0.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ4e — мультимодальная версия модели GLM-5.3-Flash, подготовленная Solstice-AI для Apple Silicon и библиотеки MLX. Исходная архитектура разработана Zhipu AI / ZAI, некensored-веса предоставлены dealignai. Модель предназначена для генерации и анализа текста, программирования, математического и общего рассуждения, а также понимания изображений и видео. Заявлена поддержка английского и китайского языков. Модель имеет 320 млрд общих параметров в разреженной MoE-архитектуре с 288 экспертами, из которых около 18 млрд активируются для каждого токена. Используется смешанная квантизация oQ4e примерно на 4,6 бит на вес: основные веса представлены в 4-битном формате, отдельные критически важные компоненты защищены 8-битным или полным BF16/FP32-представлением. Vision Tower ViT и мультимодальный выравниватель сохранены в BF16. Заявлено нативное контекстное окно до 1 048 576 токенов и поддержка спекулятивного декодирования с drafter DFlash2. Сильными сторонами модели являются большой контекст, мультимодальное понимание изображений и видео, разреженная архитектура и оптимизация под чипы Apple M2, M3, M4 и M5. К ограничениям относятся высокая общая ёмкость модели, требовательность к памяти и совместимость с конкретным программным стеком MLX и аппаратной платформой; фактическая производительность зависит от конфигурации устройства. В README модель описана как uncensored, поэтому её ответы могут не включать стандартные механизмы отказа по чувствительным запросам. Указанная лицензия — MIT.

google-gemma-4-12B-it-GGUF-Q4_K_M — квантизированная версия базовой модели google/gemma-4-12B-it, опубликованная пользователем sigmanih с использованием Sigma Studio. Модель предназначена для генерации текста, диалоговых помощников, программирования, повседневных задач, рассуждений и агентских сценариев с вызовом инструментов. Она распространяется в формате GGUF с квантизацией Q4_K_M и рассчитана на запуск через совместимые движки, включая llama.cpp и SigmaEngine. Заявлены архитектура gemma4, 12 млрд активных параметров, 48 transformer-слоёв, скрытое измерение 3840 и контекстное окно до 262 144 токенов. Размер файла составляет около 6,87 ГБ; для полной выгрузки на GPU рекомендуется около 19,5 ГБ видеопамяти, а для CPU или гибридного режима — около 19,3 ГБ оперативной памяти. В README указаны английский и итальянский языки. Рекомендуемое оборудование — видеокарта с 24 ГБ VRAM либо система с 32–64 ГБ RAM. По приведённым автором оценкам, модель набрала 77% на совокупности из 100 тестовых заданий, показала 100% на HumanEval, 89% на ARC-Challenge, GSM8K, MATH, MMLU-Pro и TruthfulQA, но существенно слабее выступила на GPQA, HellaSwag и MMLU. В режиме пошагового рассуждения заявлено преимущество над прямой генерацией, однако приведённые бенчмарки являются результатами собственной оценки публикации и не гарантируют аналогичную точность в прикладных задачах. К ограничениям также относятся требования к памяти, потери качества из-за квантизации и неполная информация о мультимодальности и точных условиях обучения. В README лицензия в метаданных обозначена как other, а в отдельном значке указана Apache-2.0, поэтому перед использованием необходимо проверить фактические лицензионные условия репозитория и исходной модели.

NVIDIA Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct — языковая модель на архитектуре Llama 3.1 с 7,5 млрд параметров, дообученная для диалогов и работы с очень длинным контекстом. Она использует продолженное предобучение и донастройку на инструкциях; базовая модель — meta-llama/Llama-3.1-8B-Instruct. Модель предназначена для генерации ответов и анализа длинных текстовых последовательностей, включая большие документы и составные запросы. Заявленное окно контекста — до 4 млн токенов. Обучение на инструкциях охватывало общие задачи, математику и программирование. Карточка описывает английский язык; метаданные указывают тег en. Модель работает с текстом и доступна в формате safetensors для Transformers; также указаны чат-возможности и интерфейс вызова инструментов. По данным карточки, модель сохраняет конкурентные результаты на стандартных тестах и улучшает обработку сверхдлинного контекста. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование. Результаты и качество на конкретных сценариях могут отличаться; объём контекста сам по себе не гарантирует точное извлечение всей информации из длинного ввода.

Meta-Llama-3.1-70B-Instruct-GGUF — инструкционная большая языковая модель семейства Llama 3.1, разработанная Meta и представленная в формате GGUF сообществом backyardai. Она предназначена для генерации текста, диалоговых приложений, ответов на вопросы и выполнения инструкций. Модель является производной от meta-llama/Meta-Llama-3.1-70B-Instruct и ориентирована на сценарии локального или специализированного инференса с использованием совместимых инструментов. Модель имеет размер 70 миллиардов параметров и работает с текстовыми данными. В карточке заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Конкретная архитектура, длина контекста и параметры квантования для данной сборки не указаны. Большой размер может обеспечивать высокое качество генерации, однако требует значительных вычислительных ресурсов; практические характеристики зависят от используемого варианта GGUF и среды запуска. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 миллионами активных пользователей в месяц предусмотрено требование получить отдельную лицензию Meta.

MaziyarPanahi/Meta-Llama-3-8B-Instruct-GGUF — это квантизированная версия инструкционно дообученной модели Meta-Llama-3-8B-Instruct, разработанной Meta и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также коммерческого и исследовательского использования на английском языке. Для работы необходимо применять шаблон запросов Llama 3. Модель представляет собой авторегрессионную языковую модель на оптимизированной архитектуре Transformer с 8 млрд параметров и механизмом Grouped-Query Attention (GQA). Она принимает только текст и генерирует текст или код, имеет контекст 8 тысяч токенов и обучалась на более чем 15 трлн токенов общедоступных онлайн-данных. Инструкционная версия использует supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Репозиторий содержит варианты квантизации от 2 до 16 бит, что позволяет выбирать компромисс между размером модели, скоростью и качеством вывода. Сильными сторонами являются поддержка диалоговых сценариев, генерации кода и возможность запуска через совместимые инструменты для GGUF, включая llama.cpp, с меньшими требованиями к ресурсам благодаря квантизации. Ограничения включают преимущественную ориентацию на английский язык, контекст длиной 8 тысяч токенов, статичность модели и возможные потери качества в квантизированных вариантах. Использование регулируется пользовательской лицензией Meta Llama 3 и соответствующей политикой допустимого использования.

Openai_gpt-oss-20b-NEO-GGUF — это набор квантованных GGUF-версий модели openai/gpt-oss-20b, подготовленный DavidAU с использованием NEO Imatrix и собственного NEO-набора данных. Модель предназначена для генерации текста, диалогов, программирования, решения задач, рассуждений, мозгового штурма и творческих сценариев. В карточке заявлена лицензия Apache-2.0. Модель имеет архитектуру Mixture of Experts с 20 млрд параметров и поддержкой до 24 экспертов, из которых можно активировать часть в зависимости от сценария. Доступны варианты IQ4_NL, Q5_1 и MXFP4_MOE с различными настройками квантования; указана поддержка контекста до 128k токенов. Основной заявленный язык — английский. Также заявлена поддержка использования инструментов и browsing, однако подробности совместимости зависят от программного обеспечения для запуска. Сильные стороны модели — универсальность, задачи программирования и заявленное улучшение производительности благодаря NEO Imatrix, особенно в некоторых низко- и среднебитных вариантах квантования. Ограничения включают зависимость качества от выбранного кванта, числа активных экспертов, семплеров и настроек запуска; автор отдельно отмечает проблемы квантования, связанные с необычными размерами тензоров исходной модели. Рекомендуется проверять конкретный файл и параметры в используемом inference-интерфейсе.

ThomasBaruzier/Qwen2.5-3B-Instruct-GGUF — набор GGUF-квантизированных версий инструкционно дообученной языковой модели Qwen2.5-3B-Instruct. Исходную модель разработала команда Qwen компании Alibaba Cloud; данный репозиторий содержит квантизации, созданные с помощью llama.cpp и метода imatrix с использованием калибровочного файла Bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая следование инструкциям, создание длинных текстов, работу со структурированными данными и JSON, программирование и математические задачи. Она поддерживает более 29 языков, среди явно указанных — китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Это каузальная Transformer-модель с RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Модель содержит 3,09 млрд параметров, 36 слоёв и использует Grouped-Query Attention с 16 головами для Q и 2 для KV. Заявлена длина контекста до 32 768 токенов и генерация до 8192 токенов. Главное преимущество репозитория — выбор компромиссов между размером файлов, качеством и требованиями к памяти: варианты занимают примерно от 755 МБ до 5,9 ГБ, при этом качество квантования различается, поэтому наиболее компактные версии могут заметно уступать F16. Лицензия указана как qwen-research; применяются условия лицензии исходной модели Qwen2.5-3B-Instruct.

duyntnet/Qwen2.5-3B-Instruct-imatrix-GGUF — набор imatrix-квантизаций в формате GGUF для instruction-tuned модели Qwen2.5-3B-Instruct, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалоговых ассистентов, следования инструкциям, работы со структурированными данными и форматированными ответами, включая JSON, а также для задач программирования и математики. Это авторегрессионная causal language model на архитектуре Transformers с RoPE, SwiGLU, RMSNorm, смещениями в QKV attention и связанными эмбеддингами слов. Модель содержит 3,09 млрд параметров, 36 слоёв и использует GQA с 16 головами для Q и 2 для KV. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Поддерживается более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенное следование инструкциям, генерация длинных текстов, обработка таблиц и других структурированных данных, а также возможности в программировании и математике. Формат GGUF и совместимость с llama.cpp, KoboldCPP, text-generation-webui и Ollama подходят для локального запуска, однако конкретные требования к памяти, производительность и качество зависят от выбранной квантизации. В репозитории указана лицензия other; дополнительные условия лицензирования не раскрыты.

RedHatAI/Qwen3.5-9B-quantized.w8a8 — квантизированная версия мультимодальной модели Qwen/Qwen3.5-9B, разработанная RedHatAI. Модель принимает текст и изображения и генерирует текст, поэтому предназначена для диалоговых систем, анализа изображений, ответов на вопросы, следования инструкциям и задач рассуждения. Модель содержит около 9 млрд параметров и использует INT8-квантизацию весов и активаций линейных операторов в трансформерных блоках. Размер модели на диске составляет около 14,0 ГБ вместо 19,3 ГБ в формате BF16. Энкодер изображений, токеновые эмбеддинги и слои linear attention оставлены в BF16. Заявлена поддержка контекста до 262 144 токенов при развертывании через vLLM; доступен также текстовый режим с пониженным потреблением памяти. Ключевое преимущество модели — существенное сокращение размера и требований к памяти при сохранении качества, близкого к исходной Qwen/Qwen3.5-9B: на приведённых тестах показатели квантизированной версии находятся практически на уровне базовой модели. Ограничения включают зависимость от совместимого стека vLLM и частичную, а не полную квантизацию компонентов. Модель распространяется по лицензии Apache 2.0.

Yi-1.5-9B-32K — плотная авторегрессионная языковая модель семейства Llama, разработанная компанией 01.AI. Это базовая версия модели Yi-1.5 с 8,6 млрд параметров и контекстным окном до 32 768 токенов. Семейство Yi-1.5 прошло дополнительное предобучение на высококачественном корпусе объёмом 500 млрд токенов и настройку на 3 млн разнообразных примеров. Модель предназначена для генерации текста и может служить основой для задач понимания языка, чтения и ответов по тексту, рассуждений, математики, программирования и следования инструкциям. Карточка семейства отмечает улучшения в этих задачах относительно Yi; конкретные сценарии зависят от приложения и настроек генерации. Доступна в формате safetensors и выпущена под лицензией Apache 2.0. Карточка не приводит отдельной оценки качества именно версии с контекстом 32K; как базовая модель, она может требовать дополнительной настройки для диалогового или специализированного применения.

DeepSeek-V3-Base — базовая языковая модель семейства DeepSeek-V3, разработанная командой DeepSeek AI. Это Mixture-of-Experts (MoE) модель с 671 млрд общих параметров, из которых 37 млрд активируются для каждого токена. Модель предварительно обучена на 14,8 трлн разнообразных токенов и предназначена для использования в качестве основы для генерации и понимания текста, а также последующей адаптации под прикладные задачи. В архитектуре применяются Multi-head Latent Attention (MLA) и DeepSeekMoE. Для балансировки нагрузки используется стратегия без вспомогательной функции потерь, а обучение дополнено целью Multi-Token Prediction, которая может применяться и для ускорения вывода посредством speculative decoding. Обучение проводилось с использованием смешанной точности FP8; заявлены высокая эффективность обучения и стабильность процесса. Длина контекста в предоставленных данных не указана, как и точный перечень поддерживаемых языков и сведения о мультимодальности. Сильными сторонами модели являются крупный общий объём параметров, высокая вычислительная эффективность за счёт разреженной активации экспертов и заявленная конкурентоспособность среди открытых базовых моделей. Ограничения включают значительные требования к инфраструктуре для запуска и отсутствие в предоставленном описании подробных характеристик инференса, языкового покрытия и результатов по отдельным прикладным сценариям. Код распространяется по лицензии MIT, а сама модель — по Model Agreement.