I.14Автоматизация процессов и AI-агенты

Unsloth/Qwen3-4B-Thinking-2507 — плотная причинная языковая модель семейства Qwen3, представленная как версия модели Qwen3-4B-Thinking-2507. Она предназначена для генерации текста в диалоге и решения сложных задач с рассуждениями, включая математику, логику, естественные науки, программирование и академические вопросы. Модель также поддерживает следование инструкциям и использование инструментов. Модель содержит 3,7 млрд параметров и принимает контекст до 262 144 токенов. Она работает только в режиме рассуждений; карточка сообщает об улучшениях качества рассуждений и общих возможностей, но не приводит независимой оценки качества именно этой публикации Unsloth. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0.

unsloth/Qwen3-4B-Thinking-2507-unsloth-bnb-4bit — это 4-битная версия модели Qwen3-4B-Thinking-2507, подготовленная Unsloth на базе модели Qwen. Она предназначена для генерации текста и сложных задач рассуждения, включая логические и математические задачи, научные вопросы, программирование, следование инструкциям, использование инструментов, агентские сценарии и многоязычные запросы. Модель является авторегрессионной causal language model с 4,0 млрд параметров, из которых 3,6 млрд не относятся к embedding, 36 слоями и Grouped-Query Attention: 32 головы запросов и 8 ключей/значений. Она поддерживает контекст до 262 144 токенов и работает только в режиме рассуждения; увеличенная длина размышлений особенно ориентирована на сложные задачи. Формат предназначен для text-generation и использования через Transformers, а 4-битное квантование снижает требования к памяти по сравнению с полноразмерной моделью. К сильным сторонам относятся улучшенные результаты в рассуждении, математике, кодировании, следовании инструкциям, работе с инструментами и понимании длинного контекста. Ограничения включают работу только в thinking mode, потенциально значительный расход времени и ресурсов на длинные рассуждения, а также отсутствие в представленном README подробностей о поддерживаемых языках, точных требованиях к оборудованию и характеристиках квантования за пределами обозначения bnb-4bit. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-35B-A3B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-35B-A3B, разработанная ByteShape с использованием ShapeLearn. ShapeLearn подбирает оптимальный тип данных для каждого тензора, стремясь сохранить качество при малой разрядности. Модель распространяется в вариантах для GPU и CPU с различными компромиссами между размером, скоростью и качеством; размер доступных вариантов в приведённой таблице составляет от 9,41 до 17,9 ГБ при 2,17–4,12 бит на вес. Модель предназначена для текстовых и визуально-текстовых задач, включая диалоговое применение, программирование, агентные сценарии, function calling и обработку изображений. Она поддерживает vision-возможности при запуске через llama.cpp с автоматической загрузкой vision projector. Для работы рекомендуются llama.cpp или LM Studio; на момент публикации Ollama не поддерживает эту модель на базе Llama.cpp GGUF. В README не указаны языки и размер контекстного окна. К сильным сторонам относятся доступность нескольких уровней квантизации, оптимизация под разные аппаратные платформы и заявленная ориентация на сохранение качества при низкой разрядности. Ограничения включают зависимость характеристик от выбранного варианта квантизации и оборудования, а также отсутствие в README подробных численных результатов benchmark-тестов для конкретных файлов. Модель распространяется по лицензии Apache-2.0.

hampsonw/Qwen3.6-27B-AWQ-BF16-INT4-mtp-bf16 — вариант модели Qwen3.6-27B, созданный на основе чекпойнта cyankiwi/Qwen3.6-27B-AWQ-BF16-INT4 версии 26.05.01. Модель представляет собой каузальную языковую модель с энкодером изображений, разработанную в экосистеме Qwen. Она ориентирована на генерацию текста, программирование, агентные сценарии, работу с репозиториями и задачами, требующими визуально-текстового понимания. Модель содержит около 27 млрд параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с заявленной возможностью расширения до 1 010 000 токенов. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Архитектура включает Gated DeltaNet, Gated Attention, FFN и механизм multi-token prediction (MTP); размер модели указан как 26,37 ГБ. Основная часть весов сжата до INT4 в формате AWQ/compressed-tensors, что снижает требования к памяти. Тензоры MTP заменены на необжатые BF16 из базовой модели и предназначены для speculative decoding в vLLM. Это может повысить эффективность генерации при использовании поддерживаемой конфигурации vLLM, однако чекпойнт требует совместимого программного стека и настройки MTP. README не приводит количественных результатов бенчмарков и подробностей об ограничениях качества мультимодального ввода. Лицензия — Apache-2.0.

TeichAI/Qwen3.6-27B-Claude-Opus-Reasoning-Distill — мультимодальная дообученная модель на архитектуре Qwen3.5 с 27 млрд параметров, созданная на базе Qwen/Qwen3.6-27B с использованием набора данных TeichAI/lordx64-claude-opus-4.7-max-cleaned. Она предназначена для программирования, творческого письма, понимания изображений и диалоговых задач общего назначения; метаданные также указывают интерфейс для вызова инструментов и поддержку зрения. Модель принимает текст и изображения и генерирует текст. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0.

Qwen3-8B-4bit-AWQ — версия языковой модели Qwen3-8B, опубликованная сообществом mlx-community и конвертированная в формат MLX с помощью mlx-lm 0.24.0. Это плотная авторегрессионная модель с 7,6 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; поддерживает вызов инструментов через соответствующий интерфейс. Контекст модели составляет до 40 960 токенов. Модель подходит для ответов на вопросы, следования инструкциям, рассуждений, помощи с кодом и сценариев с вызовом инструментов. Базовая Qwen3-8B — многоязычная модель, однако конкретный перечень поддерживаемых языков в предоставленных сведениях не раскрыт. В названии указано 4bit-AWQ, но README описывает конвертацию в MLX, а среди метаданных формат обозначен как safetensors; фактический способ квантования по этим данным подтвердить нельзя. Лицензия — Apache-2.0.

NVIDIA Qwen3-Next-80B-A3B-Instruct NVFP4 — это квантизированная версия авторегрессионной текстовой модели Qwen3-Next-80B-A3B-Instruct, разработанной Alibaba. NVIDIA подготовила и оптимизировала эту версию с помощью TensorRT Model Optimizer; сама базовая модель не является разработкой NVIDIA. Модель предназначена для генерации текста, чат-ботов, AI-агентов, RAG-систем и других приложений на базе больших языковых моделей. Модель использует архитектуру Transformers с сетевой архитектурой Qwen3NextForCausalLM, принимает текстовые последовательности и генерирует текст. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Количество параметров в карточке не раскрыто. Веса и активации линейных операторов внутри трансформерных блоков переведены в формат NVFP4, что уменьшает число бит на параметр с 16 до 4, а размер на диске и требования к памяти GPU примерно в 3,3 раза. К сильным сторонам относятся сниженные требования к памяти и готовность к ускоренному выводу через TensorRT-LLM. Основные ограничения связаны с привязкой к NVIDIA GPU, совместимостью прежде всего с микроархитектурой NVIDIA Blackwell и предпочтительной средой Linux; для использования требуется дополнительное тестирование на данных конкретного сценария. Модель распространяется по лицензии Apache License 2.0 и допускает коммерческое и некоммерческое использование. Для инференса заявлена интеграция с TensorRT-LLM; результаты полной оценки в предоставленной карточке приведены не полностью.

cyankiwi/Qwen3-VL-2B-Instruct-AWQ-4bit — это 4-битная AWQ-квантизованная версия мультимодальной instruct-модели Qwen3-VL-2B-Instruct, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, а также заявлена для понимания видео, визуального рассуждения и взаимодействия с графическими интерфейсами. Она может использоваться для описания изображений, визуального и текстового анализа, OCR, STEM- и математических задач, генерации кода и выполнения агентных сценариев с инструментами. Модель относится к плотной архитектуре и имеет 2 млрд параметров в базовой версии; применённая 4-битная AWQ-квантизация снижает требования к памяти и может упростить локальное развёртывание, потенциально ценой некоторого снижения точности по сравнению с полной версией. В README указаны контекст до 256K токенов с возможностью расширения до 1M, поддержка видео с временной индексацией и OCR на 32 языках, однако конкретный список языков для данной сборки не приведён. Среди архитектурных компонентов упомянуты Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Сильные стороны модели — сочетание текстового и визуального понимания, анализ пространственных отношений, работа с длинным контекстом, документами и видео, а также поддержка визуального управления интерфейсами. Ограничения включают возможные потери качества из-за 4-битной квантизации и отсутствие в представленном README детальных результатов тестирования именно этой AWQ-сборки. Модель распространяется по лицензии Apache-2.0.

Qwopus3.8-27B-Flash-GGUF — это мультимодальная инструкция-ориентированная модель на 27 миллиардов параметров, представленная в формате GGUF. Она основана на модели Jackrong/Qwopus3.8-27B-Flash, а GGUF-квантизацию выполнил mradermacher. Модель поддерживает обработку текста и изображений, генерацию текста, рассуждения, написание кода, агентские сценарии, использование инструментов и вызов функций. Заявлена поддержка английского, китайского, испанского, русского и японского языков. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, а также для задач conversational AI, text-generation и image-text-to-text. В комплект входят мультимодальные дополнения mmproj, необходимые для работы с изображениями, и несколько вариантов квантизации размером примерно от 11 до 29,1 ГБ. В README наиболее быстрыми и рекомендуемыми названы Q4_K_S и Q4_K_M, а Q8_0 отмечен как вариант с лучшим качеством среди перечисленных. К сильным сторонам относятся мультимодальность, поддержка нескольких языков, возможности рассуждения, генерации кода, агентского взаимодействия и tool use, а также широкий выбор вариантов квантизации для локального запуска. Ограничения включают необходимость значительных вычислительных ресурсов для 27B-модели, возможное снижение качества при сильной квантизации и отсутствие в README сведений о размере контекста, результатах бенчмарков и подробностях архитектуры. Модель распространяется по лицензии Apache-2.0.

Rombo-LLM-V2.5-Qwen-7b — дообученная разработчиком Rombo-Org языковая модель на архитектуре Qwen2, основанная на Qwen/Qwen2.5-7B-Instruct. В README указано, что модель получена непрерывным дообучением и объединением instruct- и базовой версий методом TIES; заявлено повышение производительности относительно исходных моделей. Модель содержит 7,1 млрд параметров, принимает текст и предназначена для генерации текста и диалогов. Максимальная длина контекста составляет 131 072 токена. В метаданных указаны интерфейс вызова инструментов и формат весов safetensors; README также упоминает наличие квантованных версий GGUF. Модель опубликована по лицензии Apache-2.0.

Sarvam-30B — языковая модель семейства Sarvam, разработанная Sarvam AI. Это модель Mixture-of-Experts для генерации текста и диалогов; в README указано 2,4 млрд активных параметров без эмбеддингов, а метаданные репозитория — 3,7 млрд параметров. Модель ориентирована на практическое развёртывание, рассуждения, программирование и диалоги на индийских языках. Поддерживает вызов инструментов; архитектура включает 128 экспертов и маршрутизацию top-6. Контекст по метаданным — до 131 072 токенов. Основной упор сделан на индийский контекст и 22 индийских языка. В метаданных явно перечислены английский, хинди, бенгальский, тамильский, телугу, маратхи, гуджарати, каннада, малаялам, пенджаби, ория, ассамский, урду, санскрит, непальский, синдхи, конкани, майтхили, догри, манипури, сантали, кашмирский и тибетский. Модель может применяться для многоязычных голосовых звонков в составе речевой системы, но сама карточка описывает её как текстовую генеративную модель. Распространяется по лицензии Apache-2.0.

ThinkingCap Qwen3.8 27B — дообученная Bottlecap AI мультимодальная модель на базе Qwen/Qwen3.8-27B, предназначенная для диалогов, сложных задач с рассуждениями и агентных сценариев. Она принимает текст и изображения и выдаёт текст; карточка относит её к задаче image-text-to-text и отмечает поддержку vision и chat. В тестах авторов модель сохраняла среднюю точность, близкую к базовой, при сокращении числа токенов рассуждения в среднем на 37%; на задачах длинного контекстного поиска точность сохранилась и число токенов рассуждения снизилось на 39%. Авторы рекомендуют режим reasoning_effort=xhigh. Модель распространяется в формате safetensors через Transformers; лицензия указана как other, поэтому условия использования следует сверить с карточкой модели и базовой модели перед внедрением.

Карточка модели gradients-io-tournaments/tournament-tourn_5c64e784a087074a_20260914-90d361cb-0b97-464a-9fda-36eb34c99261-5HBgDWKx на Hugging Face совпадает с карточкой LiquidAI/LFM2.5-2.6B, поэтому описание составлено по ней. LFM2.5-2.6B — компактная текстовая модель Liquid AI из семейства гибридных LFM2.5, настроенная для локального запуска на устройствах и агентных сценариев. Это дообученная версия LFM2.5-2.6B-Base с 2,6 млрд параметров; архитектура LFM2 использует 30 слоёв, включая блоки свёртки с двойным гейтингом и слои GQA. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и работает с 17 языками, включая русский. Модель предназначена для вызова инструментов, следования инструкциям, многошаговых агентных задач, извлечения данных, RAG и работы с длинным контекстом. В карточке заявлены скорость до 220 токенов в секунду на Apple M5 Max и до 113 токенов в секунду на процессоре AMD Ryzen при использовании менее 2,5 ГБ памяти; фактические показатели зависят от оборудования и конфигурации. Liquid AI не рекомендует её для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other; её условия следует уточнить в репозитории модели.

Карточка модели jondurbin/airoboros-l2-7b-3.0 на Hugging Face совпадает с карточкой jondurbin/airoboros-m-7b-3.0, поэтому описание составлено по ней. airoboros-m-7b-3.0 — экспериментальная универсальная языковая модель, созданная jondurbin на основе датасета airoboros-3.0, преимущественно синтетических данных. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; она принимает текст и выдаёт текст. Модель рассчитана прежде всего на следование инструкциям, ответы по заданному контексту и многошаговый диалог, а не на непринуждённую беседу. Среди заявленных сценариев — суммаризация, помощь с программированием, генерация структурированных аргументов функций и составление планов выполнения задач с инструментами. Для математических вопросов описан экспериментальный подход MathJSON: модель формулирует выражение, которое можно вычислить внешним средством. В карточке также отмечены данные для многоходового ролевого диалога. Для формата диалога используется шаблон Llama 2 chat. Модель выпущена под лицензией Apache-2.0. Автор характеризует её как экспериментальную; для MathJSON требуется внешний вычислитель, а сам подход описан как неполный. Карточка рекомендует низкую температуру генерации; ответы по контексту могут быть ненадёжны, поэтому следует явно просить модель не выдумывать сведения.

BAAI/bge-m3 — многоязычная модель эмбеддингов семейства XLM-RoBERTa, разработанная BAAI и представленная в репозитории Bylaw/BAAI-bge-m3. Она предназначена для поиска по смыслу и извлечения документов, включая многоязычный и межъязыковой поиск, а также поиск по длинным текстам. Модель формирует плотные эмбеддинги, разреженные лексические веса и многовекторные представления ColBERT; эти представления можно использовать отдельно или объединять в гибридном поиске и RAG-конвейерах. Модель имеет 658,7 млн параметров, размерность эмбеддинга 1024 и контекст до 8194 токенов. README заявляет поддержку более 100 языков и указывает, что модель можно применять к коротким предложениям и длинным документам. В карточке также заявлены форматы PyTorch и Safetensors, а лицензия — MIT. BGE-M3 удобна тем, что объединяет несколько подходов к поиску и поддерживает длинный контекст. По README, для задач на одном языке специализированные одноязычные модели могут показывать лучшие результаты; поддержка разреженного поиска также зависит от используемой библиотеки. Для повышения точности авторы рекомендуют сочетать гибридный поиск с отдельной моделью-реранкером.

Карточка модели dabitbol/bge-m3-sparse-elastic на Hugging Face совпадает с карточкой Bylaw/BAAI-bge-m3, поэтому описание составлено по ней. BAAI/bge-m3 — многоязычная модель эмбеддингов семейства XLM-RoBERTa, разработанная BAAI и представленная в репозитории Bylaw/BAAI-bge-m3. Она предназначена для поиска по смыслу и извлечения документов, включая многоязычный и межъязыковой поиск, а также поиск по длинным текстам. Модель формирует плотные эмбеддинги, разреженные лексические веса и многовекторные представления ColBERT; эти представления можно использовать отдельно или объединять в гибридном поиске и RAG-конвейерах. Модель имеет 658,7 млн параметров, размерность эмбеддинга 1024 и контекст до 8194 токенов. README заявляет поддержку более 100 языков и указывает, что модель можно применять к коротким предложениям и длинным документам. В карточке также заявлены форматы PyTorch и Safetensors, а лицензия — MIT. BGE-M3 удобна тем, что объединяет несколько подходов к поиску и поддерживает длинный контекст. По README, для задач на одном языке специализированные одноязычные модели могут показывать лучшие результаты; поддержка разреженного поиска также зависит от используемой библиотеки. Для повышения точности авторы рекомендуют сочетать гибридный поиск с отдельной моделью-реранкером.

BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

yunyu/cross-encoder-stsb-deberta-v3-large — модель, опубликованная пользователем yunyu на Hugging Face. Это cross-encoder на архитектуре DeBERTa-v3-large, дообученный для оценки семантического сходства пар текстов на основе задачи STS-B. Модель принимает пару текстов и возвращает оценку их смысловой близости, поэтому подходит для классификации и ранжирования текстовых пар. Модель содержит около 533,8 млн параметров и поддерживает контекст длиной до 512 токенов. В метаданных Hugging Face она обозначена как text-classification; используются Transformers и PyTorch. Основной сценарий — переранжирование результатов поиска, сопоставление пользовательского запроса с документами или описаниями, а также фильтрация и оценка семантического сходства в RAG-конвейерах. Как cross-encoder модель обрабатывает две последовательности совместно и обычно требует отдельного вычисления для каждой пары, что ограничивает производительность при массовом сравнении большого числа кандидатов. Контекст ограничен 512 токенами. Сведения о лицензии в доступных источниках не установлены.

Это 4-битная версия модели DeepSeek-R1-0528-Qwen3-8B, подготовленная mlx-community для запуска в формате MLX. Исходная модель основана на плотной архитектуре Qwen3 с 7,6 млрд параметров; версия создана конвертацией с применением AWQ-квантизации через mlx-lm 0.25.2. Контекстное окно составляет 131 072 токена. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения, математики, программирования и логики. Репозиторий предоставляет интерфейс для вызова инструментов. Метаданные указывают на лицензию MIT; запуск рассчитан на экосистему MLX.

sail-ing-north/DeepSeek-V3-rescaled — это версия языковой модели DeepSeek-V3, размещённая в формате safetensors FP8 и предназначенная для генерации текста и диалогового общения. В карточке указаны архитектура DeepSeek-V3 и 37,6 млрд параметров; исходная модель описана как Mixture-of-Experts с 671 млрд общих и примерно 37 млрд активных параметров на токен, использующая Multi-head Latent Attention и DeepSeekMoE. Метаданные указывают длину контекста 163 840 токенов. Модель подходит для диалогов, генерации и продолжения текста, ответов на вопросы, а также вызова инструментов через соответствующий интерфейс. В README описаны предобучение на 14,8 трлн токенов, последующая настройка с учителем и обучение с подкреплением, а также перенос навыков рассуждения из DeepSeek-R1. Эти сведения относятся к DeepSeek-V3 в целом; карточка не уточняет, как именно была получена версия rescaled. Репозиторий содержит веса FP8, что может снизить требования к памяти при выводе, однако запуск требует подходящей инфраструктуры для крупной модели. README перечисляет способы развертывания через SGLang, LMDeploy, TensorRT-LLM и vLLM. Лицензия в предоставленных данных не указана.

Dirk-Qwen3.8-27B-GGUF — это GGUF-квантизированная версия базовой модели Qwen/Qwen3.8-27B, подготовленная разработчиком peculiar-ragdoll. Модель представляет собой плотную vision-language модель с 27 млрд параметров, поддерживающую работу с текстом и изображениями. В карточке заявлены английский и китайский языки, а также совместимость с llama.cpp. Модель предназначена для диалогов, анализа изображений, генерации кода и агентских сценариев. Она использует модифицированный Sharp chat template с настройкой краткости ответов и поддерживает Multi-Token Prediction (MTP) для ускорения генерации средствами speculative decoding. По умолчанию используется умеренный уровень рассуждений; его можно изменить через chat_template_kwargs, выбрав low, medium или xhigh. Поддерживается отключение рассуждений. Основное отличие от исходной модели заключается в шаблоне чата: веса и MTP-компоненты сохранены без изменений. Доступны варианты квантования от примерно 2 до 4 бит, включая GSQ-RCO и Unsloth Dynamic 3.0, с размерами файлов примерно от 8,8 до 17,6 ГБ. Это позволяет запускать модель на видеокартах с 12, 16 и 24 ГБ памяти, хотя более сильное квантование может снижать качество, а доступный объём памяти также зависит от длины контекста. Точный максимальный размер контекста в карточке не указан. Лицензия — Apache 2.0.

Dolphin 2.9 Llama 3 70B — разговорная модель, подготовленная Эриком Хартфордом, Лукасом Аткинсом, Фернандо Фернандесом и сообществом Cognitive Computations на базе Meta Llama 3 70B. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, представленная в форматах PyTorch и Safetensors. Она дообучена методом qLoRA с длиной последовательности 8 тыс. токенов и использует шаблон диалога ChatML. Модель предназначена для диалогов, выполнения инструкций, генерации кода и математических ответов; README также отмечает начальные агентные возможности и поддержку вызова функций. Основной язык в карточке — английский. В данных обучения указаны, среди прочего, наборы Dolphin 2.9, OpenHermes 2.5, UltraChat и датасеты для кода, математики и function calling. Модель описана как uncensored и может охотно выполнять небезопасные или неэтичные запросы; автор рекомендует добавить собственный слой выравнивания перед предоставлением сервиса. В датасете есть дефект, из-за которого ответы могут излишне упоминать системное сообщение; README предлагает ограничить это инструкцией в system prompt. Использование регулируется лицензией Meta Llama 3 Community License Agreement, включая её условия для коммерческого применения.

bartowski/dolphin-2.9-llama3-8b-GGUF — это набор GGUF-квантизаций модели dolphin-2.9-llama3-8b, разработанной cognitivecomputations и подготовленной для локального запуска. Модель предназначена для генерации текста в диалоговых и инструкционных сценариях, включая ответы на вопросы, программирование, решение математических задач, function calling и агентские задачи. Обучение опиралось на наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, UltraChat, Orca Math и другие датасеты. Это текстовая модель на архитектуре Llama 3 с размером 8 млрд параметров. Репозиторий содержит версии от F16 до различных вариантов Q8, Q6, Q5, Q4, Q3 и IQ-квантизаций, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Квантизации выполнены с использованием llama.cpp и метода imatrix; для взаимодействия указан шаблон промпта ChatML. Поддержка мультимодальности, конкретные языки и размер контекстного окна в README не указаны. Сильной стороной модели является широкий набор обучающих данных и наличие множества вариантов для локального инференса, включая версии, оптимизированные для ARM. Более сильные квантизации обеспечивают лучшее качество, но требуют больше памяти, тогда как Q3-версии экономичнее, но заметнее теряют в качестве. Для запуска рекомендуется использовать совместимый инференс-движок, например llama.cpp или LM Studio. Лицензия обозначена как other, однако её точные условия в README не приведены.

Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced — мультимодальная языковая модель в формате GGUF, созданная HauhauCS на основе Gemma 4 12B от Google DeepMind. Это вариант с удалёнными ограничениями на отказы, предназначенный для агентного программирования, рассуждений, творческого письма, ролевого общения и диалоговых задач, где важны следование инструкциям и надёжность ответов. Модель имеет плотную архитектуру размером 12B параметров и поддерживает контекст до 256K токенов. Основной файл использует 4-битную QAT-квантизацию Q4_K_M и занимает около 6,9 ГБ; для обработки изображений требуется отдельный mmproj-файл размером 168 МБ. Заявлена поддержка английского языка, а визуальный ввод реализуется через компонент mmproj. Для ускорения генерации доступен MTP-модуль спекулятивного декодирования, который, по данным автора, даёт примерно 60% прироста скорости при использовании llama.cpp без изменения результата. Сильные стороны модели — большой контекст, поддержка изображений, ориентация на кодирование и рассуждения, а также совместимость с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами. Заявление об отсутствии отказов основано на тестах автора и не является абсолютным: для некоторых пограничных запросов возможны отказы с первой попытки. Модель рекомендована для запуска на одной GPU; автор отмечает возможные сбои Gemma 4 в LM Studio при режиме tensor-split. Распространяется по лицензии Gemma.

RedHatAI/gemma-4-26B-A4B-it-NVFP4 — квантизированная версия мультимодальной модели google/gemma-4-26B-A4B-it, разработанная RedHatAI на базе модели Google. Она предназначена для генерации текста, диалоговых и текстовых задач, обработки изображений с выдачей текстового ответа, а также вызова инструментов и function calling. Модель поддерживает режим рассуждений и ориентирована на развёртывание через vLLM. Архитектура модели обозначена как Gemma4ForConditionalGeneration. На вход она принимает текст и изображения, на выходе генерирует текст. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат NVFP4/FP4: для весов используется размер группы 16, для активаций — локальное масштабирование по группам. Vision tower, эмбеддинги, выходная голова и маршрутизаторы MoE сохранены в исходной точности. Квантизация сокращает число бит на параметр с 16 до 4 и примерно на 75% уменьшает размер модели на диске и требования к GPU-памяти. В документации для vLLM указан максимальный контекст 32768 токенов. Сильные стороны модели — мультимодальность, поддержка рассуждений и вызова инструментов, а также сниженные требования к памяти по сравнению с неквантизированной версией. Квантизация может приводить к некоторому снижению качества относительно исходной модели; README приводит результаты сравнительных оценок, но не содержит полного описания языков и всех ограничений. Для вызова инструментов и режима рассуждений требуются соответствующие настройки vLLM и парсеры Gemma 4. Модель распространяется по лицензии Apache 2.0.

cyankiwi/gemma-4-31B-it-qat-AWQ-INT4 — это квантованный вариант мультимодальной модели Gemma 4 31B, разработанной Google DeepMind и опубликованный пользователем cyankiwi. Модель основана на google/gemma-4-31B-it-qat-q4_0-unquantized и предназначена для работы с текстом и изображениями с генерацией текстового ответа. Она ориентирована на генерацию текста, программирование, рассуждения, мультимодальный анализ и агентские сценарии с поддержкой вызова функций. Модель относится к семейству Gemma 4 с архитектурой, использующей гибридный механизм внимания, и имеет размер около 20,90 ГБ. Для версии 31B заявлено контекстное окно до 256K токенов. Указана поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Квантование с использованием Quantization-Aware Training и формата AWQ-INT4 снижает требования к памяти при сохранении качества, близкого к полноформатным вариантам, что упрощает локальное развертывание. Ограничения включают значительные требования к вычислительным ресурсам по сравнению с меньшими моделями, а также возможные потери качества и совместимости, характерные для низкобитного квантования. В README аудио указано только для вариантов Gemma 4 E2B, E4B и 12B, поэтому для данной версии поддержка аудио не подтверждена. Модель распространяется по лицензии Apache 2.0; при использовании необходимо также учитывать условия лицензии Gemma 4.

mlx-community/gemma-4-e2b-it-qat-OptiQ-4bit — квантованная версия модели Gemma 4 E2B, разработанной Google и адаптированной сообществом mlx-community с использованием MLX-native инструментария mlx-optiq. В основе лежит quantization-aware-trained модель google/gemma-4-E2B-it-qat-q4_0-unquantized. Модель предназначена для локальной генерации текста на устройствах Apple Silicon, включая задачи общего понимания и генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и работы с агентными сценариями. Также поддерживается мультимодальный режим image-text-to-text через vision-компонент в формате bf16; текстовый режим загружается через mlx-lm, а обработка изображений — через mlx-optiq. Используется смешанная разрядность: большинство компонентов имеют точность 4-bit, чувствительные слои — 8-bit. Всего квантовано 276 компонентов, достигнуто 5,24 bits per weight, размер модели на диске составляет около 4,9 ГБ. Квантование выполнено с группой 64 и распределением битов на основе чувствительности слоёв. По заявленным тестам модель превосходит равномерную 4-bit-квантизацию той же базы по среднему Capability Score: 57,23 против 55,14; особенно заметен выигрыш в HumanEval и тесте длинного контекста HashHop. При этом в IFEval результат немного ниже, чем у равномерной 4-bit-версии. Контекстное окно и полный перечень поддерживаемых языков в README не указаны. Модель ориентирована на локальное использование без PyTorch и облачных сервисов, преимущественно на Apple Silicon. Доступна по условиям Gemma Terms of Use; применимые условия также зависят от лицензии базовой модели Google Gemma.

GLiNER2.5 Small — компактная модель извлечения информации от Fastino, построенная на архитектуре GLiNER2 boundary с энкодером DeBERTa-v3-xsmall. Веса содержат 74 млн параметров и доступны в формате safetensors; модель рассчитана на английский язык и поддерживает локальный запуск на CPU, CUDA и MPS. Модель принимает текст и по заданной схеме извлекает сущности, классифицирует текст, находит связи и атрибуты сущностей, а также формирует структурированные записи. Разреженное сопоставление начальных и конечных границ позволяет находить фрагменты произвольной длины в пределах одного окна кодирования; указанный в README предел max_len — 4096 токенов. Модель подходит для быстрой обработки на CPU и периферийных устройствах. Для длинных документов предусмотрена обработка перекрывающимися фрагментами, однако сущность или связь не извлекается, если её границы или связанные сущности не попали в один фрагмент. Обычное извлечение с max_len обрезает текст. Лицензия — Apache-2.0.

Hagwell/GLM-5.3-Flash-GGUF — GGUF-версия модели GLM-5.3-Flash, разработанной командой GLM-5 и распространяемой в экосистеме Z.ai; репозиторий также связан с инструментами Unsloth. Модель предназначена для генерации текста, программирования, агентских сценариев и задач, требующих работы с длинным контекстом и мультимодальными данными. GLM-5.3-Flash — первая нативно мультимодальная модель серии GLM-5. Она содержит 320 млрд общих параметров, из которых 18 млрд активируются при обработке запроса. Архитектура сочетает разреженное и линейное внимание для снижения стоимости обслуживания длинного контекста и использует Manifold-Constrained Hyper-Connections для повышения эффективности масштабирования. Модель обучалась на мультимодальном корпусе объёмом 30 трлн токенов и поддерживает английский и китайский языки. В README заявлены улучшения относительно GLM-5.2, особенно в программировании и агентских задачах. Ключевые ограничения связаны с форматом и совместимостью: для запуска рекомендуется использовать llama.cpp с указанными изменениями или приложение Unsloth Desktop. README не содержит подробных сведений о конкретных вариантах квантизации, требованиях к памяти, максимальном контексте для данного GGUF-файла или ограничениях качества. Модель распространяется по лицензии MIT.

Карточка модели oneboxs/granite-docling-258M на Hugging Face совпадает с карточкой ibm-granite/granite-docling-258M, поэтому описание составлено по ней. Granite-Docling-258M — компактная мультимодальная модель IBM Research для преобразования документов, предназначенная для работы в составе библиотеки Docling. Она принимает изображение документа и формирует текстовое представление, сохраняя структуру и элементы страницы; модель не рассчитана на общее понимание изображений. Архитектура основана на Idefics3 и включает визуальный энкодер SigLIP2 Base Patch16-512, pixel shuffle-проектор и языковую модель Granite 165M. Модель обучена распознавать текст и код, формулы и диаграммы, извлекать структуру документов и отвечать на вопросы об их элементах. Основной язык — английский; поддержка японского, арабского и китайского заявлена как экспериментальная. Для преобразования документов IBM рекомендует использовать модель через Docling. Модель выпущена под лицензией Apache 2.0. Среди ограничений — возможны ошибки распознавания и галлюцинации, особенно при генерации; качество для общих задач понимания изображений не является целью модели. Поддержка японского, арабского и китайского языков экспериментальная.