I.14Автоматизация процессов и AI-агенты

Карточка модели Oscilla/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Charm 15 — текстовая генеративная модель на архитектуре Mistral с 2,1 млрд параметров, опубликованная ZeppelinCorp. По карточке она предназначена для диалоговой генерации, рассуждений, решения математических задач и написания кода. Модель дообучена на mattshumer/mistral-8x7b-chat; метаданные указывают формат SafeTensors и контекст до 4096 токенов. В README заявлены мультимодальные возможности для текста и изображений, однако архитектура и назначение репозитория описывают только текстовую генерацию, поэтому обработка изображений не подтверждена. Метаданные содержат широкий набор языковых тегов, а карточка перечисляет многоязыковую поддержку; основные языки не выделены. Лицензия — MIT. README также заявляет оптимизацию для ONNX и TensorFlow Lite, но эти форматы не подтверждены метаданными репозитория.

EXAONE-3.5-7.8B-Instruct-GGUF — двуязычная инструкционная языковая модель, разработанная LG AI Research. Она предназначена для генерации текста, диалоговых приложений, ассистентов и других практических сценариев обработки естественного языка на английском и корейском языках. Модель доступна в формате GGUF, рассчитанном на локальный запуск и инференс с использованием llama.cpp, TensorRT-LLM, vLLM, SGLang или Ollama. Модель содержит 7,8 млрд параметров, из которых 6,98 млрд приходятся на параметры без embeddings, имеет 32 слоя и архитектуру GQA с 32 головами запросов и 8 головами ключей и значений. Размер словаря составляет 102 400 токенов, а максимальная длина контекста — 32 768 токенов. Доступны варианты BF16 и квантизации Q8_0, Q6_0, Q5_K_M, Q4_K_M и IQ4_XS, что позволяет выбирать между качеством, скоростью и требованиями к памяти. К сильным сторонам относятся поддержка длинного контекста, двуязычность и ориентация на реальные прикладные задачи при относительно компактном размере. Ограничения включают возможную генерацию вредного, предвзятого, фактически неверного или синтаксически некорректного текста; модель также не гарантирует актуальность знаний. Для работы рекомендуется использовать системные промпты, предусмотренные разработчиком. Модель распространяется по лицензии EXAONE AI Model License Agreement 1.1 - NC; условия лицензии и ограничения на использование следует уточнять в файле LICENSE.

Gemma 4 12B JANG4M CRACK — мультимодальная модель на основе Google Gemma 4 12B IT, опубликованная dealignai. Это дообученная и квантизованная версия с плотной унифицированной архитектурой для обработки текста и изображений; в README также заявлена поддержка аудиовхода. Модель предназначена для диалогов, ответов на вопросы, многошаговых рассуждений, генерации кода и работы с визуальными входами. Квантизация JANG_4M использует 8-битные веса для attention и 4-битные для MLP. Авторы сообщают о сохранении возможностей базовой модели, включая vision и audio, и приводят результаты собственных проверок MMLU и HarmBench. Метаданные указывают библиотеку MLX и формат safetensors; для запуска README требует Apple Silicon и vMLX с поддержкой Gemma 4. Модель описана как abliterated: авторы заявляют об удалении отказов и высокой доле выполнения запросов из категорий HarmBench. Это важное ограничение для сценариев, где требуется безопасное ограничение ответов. Лицензия — Gemma; авторы указывают исследовательское назначение и возлагают на пользователей ответственность за соблюдение применимых законов.

MoonRide/gemma-4-31B-it-heretic-ara-custom-GGUF — GGUF-версия инструкционно настроенной мультимодальной модели Gemma 4 31B, разработанной Google DeepMind и модифицированной MoonRide. Модель создана на основе google/gemma-4-31B-it с использованием Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA), направленного на снижение частоты отказов от ответов. По заявленным данным, она обрабатывает текст и изображения и генерирует текст. Модель предназначена для генерации и понимания текста, рассуждений, программирования, работы с длинным контекстом и мультимодальных сценариев с изображениями. Архитектура базовой модели — плотная Transformer-модель примерно с 30,7 млрд параметров, 60 слоями, гибридным вниманием с локальным окном 1024 токена и глобальными слоями. Максимальный контекст заявлен до 256K токенов, размер словаря — 262K; поддерживается более 140 языков. Формат GGUF ориентирован на локальный запуск в совместимых средствах инференса, однако конкретная степень квантования и требования к памяти в README не указаны. Главная особенность этой версии — существенно меньшее число отказов в приведённой оценке: 16 из 100 против 99 из 100 у исходной модели; при этом указано KL-расхождение 0,0417 относительно оригинала. Это может сделать модель более готовой к ответам на запросы, которые базовая версия отклоняет, но одновременно снижает гарантии встроенного безопасного поведения. Модель распространяется по лицензии Apache 2.0 согласно README; для Gemma также следует учитывать применимые условия лицензии Google Gemma 4.

OnlyTextLLMs выпустила текстовую версию Gemma 4 E2B IT на основе google/gemma-4-E2B-it. Это плотная авторегрессионная языковая модель с архитектурой Gemma4ForCausalLM; из исходной мультимодальной модели удалены компоненты обработки изображений и аудио и соответствующие специальные токены, а текстовый блок и языковая голова сохранены. Карточка указывает 4,65 млрд параметров, 35 слоёв и размер скрытого состояния 1536, тогда как метаданные каталога приводят 1,6 млрд параметров; точный размер поэтому расходится между источниками. Метаданные указывают контекст до 131072 токенов и поддержку диалогового режима. Модель предназначена для генерации текста и диалоговых сценариев, где вход и выход представлены текстом. Она не принимает изображения или аудио, в отличие от исходной Gemma 4 E2B IT. README сообщает, что новые обучающие данные и дообучение не добавлялись: изменён состав компонентов модели. Репозиторий распространяется по лицензии Apache 2.0.

GigaChat-20B-A3B-instruct-v1.5 — диалоговая языковая модель семейства GigaChat, разработанная ai-sage и дообученная на базе ai-sage/GigaChat-20B-A3B-base. Модель использует архитектуру DeepseekForCausalLM, содержит 3,1 млрд параметров и поддерживает контекст до 131 072 токенов. Она предназначена для диалога и генерации текста на русском и английском языках. Обновлённая версия получила улучшенное выравнивание ответов: в README сообщается о росте результатов Arena Hard RU с 20,8 до 29,6 и Arena General с 41,1 до 49,1; также приведены результаты на тестах MERA, ru-MMLU и математических задачах. Подходит для диалоговых ассистентов, ответов на вопросы, решения математических задач и генерации текста. Для работы с Transformers требуется версия 4.47 или новее; README предупреждает об особенностях токенизации при использовании vLLM и не рекомендует один из способов подготовки входа. Лицензия — MIT.

GLM-5.3-W4A8 — квантизированная версия модели GLM-5.3, разработанная на базе официального чекпойнта zai-org/GLM-5.3. Это генеративная текстовая модель для англоязычных и китайскоязычных сценариев, включая рассуждения и другие задачи генерации текста. Модель предназначена для развёртывания через vLLM и SGLang. Модель сохраняет около 753 млрд параметров и использует архитектуру Mixture-of-Experts. Маршрутизируемые экспертные веса представлены в INT4 с размером группы 128, активации и неэкспертные слои — в FP8. Формат хранения — compressed-tensors; чекпойнт занимает около 372,3 GiB вместо 703,7 GiB у официальной FP8-версии. На конфигурации из 8 GPU H20 это примерно вдвое увеличивает доступный KV-кэш — до 1,26 млн токенов, что полезно для длинного контекста и высокой параллельности запросов. Поддерживается MTP-спекулятивное декодирование. По опубликованным измерениям, заметного ухудшения качества относительно официальной FP8-версии не обнаружено: показатели GPQA-Diamond находятся в пределах статистического шума, а прирост teacher-forced NLL составляет около 0,001 натов на токен. Основное преимущество — экономия памяти и возможность запускать две реплики с TP4 на тех же восьми GPU. Ограничения включают требование GPU с архитектурой SM90, использование CUTLASS W4A8 и необходимость включать expert parallelism; на одной конфигурации TP8 модель может быть медленнее FP8-версии. Лицензия указана как glm-5.3; подробные условия приведены в лицензии базовой модели на странице zai-org/GLM-5.3.

unsloth/GLM-Z1-32B-0414-GGUF — GGUF-версия 32-миллиардной reasoning-модели GLM-Z1-32B-0414, разработанной командой THUDM на основе GLM-4-32B-0414 и подготовленной в формате GGUF проектом Unsloth. Модель предназначена для локального текстового диалога и генерации текста, особенно для задач, требующих глубокого рассуждения: математики, программирования, логики и решения сложных многоэтапных задач. Модель поддерживает китайский и английский языки и относится к задачам text-generation. Заявлены улучшенные математические способности и общее качество решения сложных задач по сравнению с базовой моделью. В README указано 32 миллиарда параметров; архитектура подробно не описана. Для работы с длинным контекстом предусмотрен YaRN: при длине входа свыше 8192 токенов рекомендуется включать масштабирование RoPE, исходный максимальный размер позиционных эмбеддингов составляет 32768 токенов. Модель подходит для локального развертывания через совместимые инструменты, включая llama.cpp; для корректной обработки системного промпта в llama.cpp рекомендуется параметр --jinja. Для генерации рекомендованы temperature 0.6, top_p 0.95, top_k 40 и max_new_tokens 30000. Ограничения включают значительные требования к вычислительным ресурсам из-за размера 32B и возможное небольшое ухудшение качества на коротких текстах при постоянном включении YaRN. Лицензия — MIT.

InternLM2-Base-20B — базовая языковая модель второго поколения InternLM, разработанная командой InternLM. Это плотная авторегрессионная модель на 19,3 млрд параметров для генерации и продолжения текста; она предназначена прежде всего для адаптации к предметным областям и может служить основой для последующего дообучения. Репозиторий содержит веса PyTorch, а заявленная длина контекста составляет 32 768 токенов. Модель рассчитана на работу с длинными текстами и демонстрирует способности к рассуждениям, математике и программированию. В README заявлена поддержка входов до 200 000 символов и приведены результаты оценивания InternLM2-20B на бенчмарках, включая MMLU, AGIEval и BBH; этот показатель длины в символах не следует смешивать с контекстом в 32 768 токенов из метаданных. Карточка описывает семейство InternLM2, но не перечисляет конкретные языки обучения или поддержки. Модель может генерировать предвзятый, дискриминационный или иной вредоносный текст, поэтому её ответы требуют проверки. Код распространяется по Apache-2.0; веса открыты для академических исследований, а для коммерческого использования требуется запросить бесплатную лицензию.

Ling-lite — разговорная языковая модель на архитектуре Mixture of Experts (MoE), разработанная и опубликованная InclusionAI. Карточка описывает версию Ling-lite-0415; модель содержит 16,8 млрд параметров, из которых активируется 2,75 млрд. Метаданные репозитория указывают 1,5 млрд параметров и контекст 32 768 токенов, тогда как README сообщает для Ling-lite контекст 128K; эти характеристики источников расходятся. Модель предназначена для диалогов и широкого круга языковых задач, включая генерацию текста, программирование и математику. В README приведены результаты сравнительных тестов, в том числе HumanEval и GPQA; это свидетельствует о заявленных возможностях в коде и решении сложных задач, но не гарантирует качество в конкретном применении. Репозиторий использует Transformers и формат safetensors. Лицензия — MIT.

alpindale/Llama-3.2-3B-Instruct — текстовая инструктивно настроенная модель семейства Llama 3.2, разработанного Meta. Это авторегрессионный трансформер с плотной архитектурой и примерно 3,2 млрд параметров, доступный через Transformers в формате Safetensors. Модель принимает и генерирует текст, рассчитана на диалоги и работу в приложениях с ограниченными ресурсами, включая мобильные устройства. Модель предназначена для чат-помощников, поиска знаний и суммаризации, а также для написания текстов и переформулирования запросов. README указывает поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Контекстное окно составляет 131 072 токена. Настройка включает контролируемое дообучение и обучение с подкреплением по оценкам людей; заявлены GQA и интерфейс для диалогового применения. Небольшой размер подходит для развертывания в условиях ограниченных ресурсов, но качество и профиль безопасности могут уступать более крупным моделям и требуют проверки для конкретного применения. Модель обучена на статическом наборе данных с отсечкой знаний в декабре 2023 года. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

RedHatAI/Llama-3.2-3B-quantized.w8a8 — это квантованная текстовая языковая модель семейства Llama 3.2, размещённая Red Hat AI и основанная на модели Meta Llama 3.2. В репозитории указаны формат Safetensors, 8-битная точность и схема W8A8; отдельная карточка модели отсутствует, поэтому сведения о точной процедуре квантования и дополнительных оценках для этой конкретной версии не заявлены. Модель предназначена для генерации текста и кода, а также для адаптации под локальные и периферийные сценарии с ограниченными вычислительными ресурсами. Это авторегрессионная модель с оптимизированной Transformer-архитектурой, примерно 3,21 млрд параметров, текстовыми входами и выходами, поддержкой английского, немецкого, французского, итальянского, португальского, hindi, испанского и тайского языков. Для квантованных текстовых моделей Llama 3.2 заявлен контекст до 8 тысяч токенов. Ключевые преимущества — меньшие требования к памяти, размеру хранения и вычислениям по сравнению с полноточной версией; ограничение — возможная потеря качества из-за квантования, а также отсутствие опубликованной карточки и специфических результатов тестирования именно для данного репозитория. Базовая модель Llama 3.2 разработана Meta, а использование регулируется Llama 3.2 Community License — специальной коммерческой лицензией Meta с дополнительными требованиями Acceptable Use Policy.

Llama-3.3-70B-Instruct-FP8-KV — квантизированная версия модели meta-llama/Llama-3.3-70B-Instruct, подготовленная Advanced Micro Devices (AMD) с использованием Quark и калибровочных образцов из набора данных Pile. Модель предназначена для задач генерации текста и диалоговых сценариев, поддерживаемых исходной instruct-моделью Llama 3.3, с эффективным инференсом на совместимой инфраструктуре. Ключевая особенность — FP8-квантизация: все линейные слои, кроме lm_head, используют симметричное по тензору представление FP8 для весов и активаций, а KV-cache также хранится в FP8. Модель экспортируется в формат Quark safetensors и совместима с развертыванием через backend vLLM. Указан результат на perplexity для wikitext2: 3,9622 против 3,8624 у исходной модели; авторы отмечают, что оценка выполнена в режиме псевдоквантизации и может отличаться от точности при фактическом инференсе. Лицензия обозначена как llama3.3; применяются условия лицензии Meta для Llama 3.3, при этом модификации принадлежат Advanced Micro Devices, Inc. Для использования требуется совместимая среда Quark и поддержка FP8 со стороны оборудования и backend.

Marin 8B Instruct — англоязычная инструктивная модель команды Marin при Stanford CRFM, созданная как открытая модель с учителем (SFT). Это плотный авторегрессионный Transformer архитектуры Llama с 7,5 млрд параметров и контекстом 4096 токенов; карточка указывает поддержку английского языка и возможность диалогового использования. Модель предназначена для ответов на инструкции и диалога, а обучающие данные включают примеры по программированию, математике, рассуждениям и общим беседам. Она распространяется в формате safetensors и рассчитана на запуск через Transformers и совместимые библиотеки для Llama. Лицензия модели и кода — Apache 2.0. Это SFT-only модель без настройки безопасности. Она может выдавать неточную информацию или вредоносный и предвзятый контент; ответы следует проверять, а модель не предназначена для полностью автономного применения.

marin-8b-instruct-GGUF — это набор GGUF-квантизированных файлов модели marin-community/marin-8b-instruct, подготовленный mradermacher. Модель предназначена для генерации текста и выполнения инструкций; варианты GGUF позволяют запускать её локально с разным балансом между качеством, скоростью и потреблением памяти. При обучении использовались наборы данных AceCode-87K, Bespoke-Stratos-17k, dolphin-r1, natural_reasoning, OpenThoughts-114k-math и smoltalk, что указывает на применимость к программированию, рассуждениям, математическим и общим диалоговым задачам. Размер базовой модели — 8 млрд параметров, однако точная архитектура и максимальная длина контекста в README не указаны. Заявлен английский язык; сведения о поддержке других языков и модальностей отсутствуют, поэтому модель следует считать текстовой и ориентированной прежде всего на англоязычные сценарии. Доступны варианты от Q2_K размером около 3,3 ГБ до f16 размером около 16,2 ГБ; Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант очень хорошего качества, а Q8_0 — как вариант наилучшего качества среди перечисленных. К преимуществам относятся широкий выбор квантизаций и возможность локального запуска, а также настройка под задачи программирования, рассуждений и генерации текста. Более сильное сжатие уменьшает требования к памяти, но может снижать качество; README отдельно отмечает более низкое качество Q3_K_M. Модель распространяется по лицензии Apache-2.0.

Карточка модели SillyTilly/Meta-Llama-3.1-70B на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-70B, поэтому описание составлено по ней. NousResearch/Meta-Llama-3.1-70B — текстовая большая языковая модель, разработанная Meta и представленная в репозитории NousResearch. Это плотная авторегрессионная модель семейства Llama 3.1 с архитектурой оптимизированного Transformer и Grouped-Query Attention; объём — 69,5 млрд параметров. Модель принимает и генерирует текст, а контекстное окно составляет до 131 072 токенов. Модель предназначена для генерации текста и многоязычного диалогового взаимодействия: её можно применять как основу для чат-ассистентов, а также для адаптации под различные задачи генерации естественного языка. Поддерживаемые языки — английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Карточка описывает инструктивно настроенные модели семейства как прошедшие SFT и RLHF, но не уточняет отдельно тип настройки именно этого репозитория. К преимуществам относятся большой контекст и поддержка нескольких языков. Возможны ошибки и небезопасные ответы; качество на языках вне перечисленных поддерживаемых языков не гарантируется. Модель распространяется по пользовательской коммерческой лицензии Llama 3.1 Community License, условия которой следует проверить перед использованием.

Карточка модели vy22215/Meta-Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

microsoft_Phi-4-reasoning-GGUF — это набор GGUF-квантизированных вариантов языковой модели Phi-4-reasoning, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогов, решения математических задач, работы с кодом и задач, требующих рассуждений. Модель поддерживает текстовый ввод и вывод; в метаданных указан английский язык. Доступны варианты от BF16 до низкобитных квантов Q8_0, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, требованиями к памяти и скоростью локального запуска. Размер файлов варьируется примерно от 8,4 до 29,3 ГБ. Архитектура, число параметров, максимальный контекст и дополнительные модальности в README не указаны. Сильными сторонами являются наличие вариантов с разным уровнем сжатия, высокая заявленная точность старших квантов и совместимость с llama.cpp, LM Studio и другими проектами на его основе. Ограничения включают возможное снижение качества у низкобитных вариантов, необходимость значительного объёма памяти и отсутствие подробных данных о производительности, контекстном окне и поддерживаемых языках помимо английского. Распространение указано по лицензии MIT.

TheBloke/Mistral-7B-Instruct-v0.1-GPTQ — квантизированная версия Mistral 7B Instruct v0.1, разработанного Mistral AI и подготовленная TheBloke. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального или серверного вывода, включая диалоговые приложения и другие задачи обработки текста. Это языковая модель семейства Mistral с 7 миллиардами параметров, доступная в формате GPTQ для GPU-инференса. В репозитории представлены варианты 4-, 5-, 6- и 8-битной квантизации с разными параметрами group size и Act Order; основной вариант имеет размер около 4,16 ГБ, использует 4-битную квантизацию, group size 128 и поддерживает ExLlama. Для работы также предусмотрена загрузка через Transformers, однако на момент публикации требовалась версия из указанного GitHub-коммита. В README не указаны полный список поддерживаемых языков, точная архитектура контекстного окна исходной модели и конкретные результаты тестирования. К сильным сторонам относятся уменьшенный размер и сниженные требования к видеопамяти по сравнению с полноразмерной моделью, а ограничением может быть небольшая потеря точности из-за квантизации и зависимость от совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

Mistral-7B-Instruct-v0.3-GPTQ-4bit — это квантизированная версия инструкционной языковой модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI и опубликованной в каталоге RedHatAI. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая ответы на вопросы, рассуждения, решение математических задач и работу с типовыми тестовыми запросами. Она работает с текстовыми данными; сведения о поддерживаемых языках и размере контекста в README не указаны. В модели применена весовая квантизация GPTQ до 4 бит с group_size=128. Указано, что квантизация обеспечивает восстановление 99,75% точности относительно неквантизированной версии. Средняя точность на наборе тестов Open LLM Leaderboard составляет 65,05%; приведены результаты для ARC, MMLU, HellaSwag, Winogrande, GSM8K и TruthfulQA. Сильными сторонами являются снижение требований к памяти и возможность оптимизированного инференса с использованием Marlin mixed-precision kernels в vLLM. К ограничениям относятся потенциальная потеря качества по сравнению с полной точностью и отсутствие в README подробностей о фактических требованиях к оборудованию, языках и контексте. Модель распространяется по лицензии Apache-2.0. README также указывает готовность к использованию в vLLM в качестве сервера инференса.

hugging-quants/Mixtral-8x7B-Instruct-v0.1-AWQ-INT4 — общественная квантованная версия инструкционной модели Mistral AI Mixtral-8x7B-Instruct-v0.1. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы и работу в формате chat completion. Указанные языки: французский, итальянский, немецкий, испанский и английский. В основе лежит генеративная разреженная архитектура Mixture of Experts с конфигурацией 8x7B. Версия в репозитории преобразована из FP16 в INT4 с использованием AutoAWQ, GEMM-ядер, zero-point-квантования и размера группы 128. Поддерживаются Transformers, AutoAWQ и Text Generation Inference. Размер контекстного окна и точное число параметров в README не указаны. Ключевое преимущество версии — снижение требований к памяти по сравнению с полноточной моделью при сохранении возможностей исходной Mixtral; в README также заявлено превосходство над Llama 2 70B в большинстве протестированных бенчмарков. Для загрузки чекпойнта требуется около 24 ГиБ VRAM без учета KV-кэша и CUDA Graphs, поэтому необходим запас видеопамяти. Квантование INT4 может влиять на точность по сравнению с исходной версией. Лицензия — Apache-2.0.

amd/Mixtral-8x7B-Instruct-v0.1-FP8-KV — FP8-квантизированная версия модели Mixtral-8x7B-Instruct-v0.1, разработанная Advanced Micro Devices (AMD) на базе модели Mistral AI. Квантизация выполнена с помощью Quark с использованием калибровочных образцов из датасета Pile. Модель предназначена для эффективного развертывания и инференса через backend vLLM, включая сценарии на одной или нескольких GPU. Все линейные слои, кроме lm_head и слоёв, содержащих *.gate, используют симметричное тензорное представление FP8 для весов и активаций; KV-кэш также хранится в FP8. Такой подход снижает требования к памяти и может повысить эффективность инференса, однако способен приводить к потере точности по сравнению с исходной моделью. В оценке на wikitext2 perplexity составила 4,2187 против 4,1391 у исходной Mixtral-8x7B-Instruct-v0.1; результаты получены в режиме псевдоквантизации и приведены только для справки. Архитектура, число параметров, поддерживаемые языки и размер контекста в README не указаны. Модель распространяется по лицензии Apache License 2.0.

thelamapi/next2.5-i1-GGUF — GGUF-версия Next 2.5, мультимодальной vision-language модели примерно на 4 млрд параметров, разработанной и дообученной компанией Lamapi в Турции на базе Qwen 3.5-4B. Модель ориентирована на работу с текстом и изображениями, включая анализ документов и OCR, визуально-пространственные задачи, рассуждения, математику, программирование и генерацию текста. В README также заявлена поддержка видео, включая длительные видеоматериалы. Модель поддерживает турецкий, английский, немецкий, испанский, французский, русский, китайский, японский и корейский языки; при этом особый акцент сделан на турецком и английском языках и культурном контексте Турции. Заявлен режим рассуждений с блоками <think>...</think> перед ответом и контекст до 262 144 токенов. Обучение включало instruction tuning и DPO, а также наборы данных для рассуждений, мультимодальных задач и генерации текста. К сильным сторонам относятся сочетание компактного размера, мультимодальности, заявленной производительности в задачах знаний и рассуждений и возможность использования на периферийных устройствах. Ограничения включают небольшой по современным меркам объём модели, возможные ошибки в распознавании изображений, видео и фактах, а также то, что приведённые в README сравнительные результаты не подтверждены независимой проверкой. Модель распространяется по лицензии Apache-2.0.

yejingfu/nmagic-Meta-Llama-3.1-8B-Instruct-FP8 — это FP8-квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Она предназначена для задач генерации текста и ассистентского диалога, включая коммерческое и исследовательское использование. Модель принимает и возвращает текст; в метаданных указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако README отдельно ограничивает использование языками, отличными от английского, поэтому языковая применимость требует осторожной проверки. Модель имеет архитектуру Meta-Llama-3.1 и около 8 миллиардов параметров. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8 с использованием симметричной потензорной схемы. Это снижает число битов на параметр с 16 до 8, а размер на диске и требования к памяти GPU примерно на 50%. Модель оптимизирована для инференса с vLLM и поддерживает OpenAI-совместимую подачу сервиса. По данным README, средний результат на OpenLLM Leaderboard составляет 73,44 против 73,79 у неквантизированной исходной модели, что указывает на небольшое снижение качества при заметном сокращении требований к ресурсам. Для квантизации использовались 512 калибровочных последовательностей UltraChat длиной до 4096 токенов; это не подтверждает максимальный контекст модели. Модель распространяется по лицензии llama3.1, применяемой к исходной Meta Llama 3.1.

OpenHermes-2.5-Nebula-v2-7B — объединённая модель для генерации текста и диалогов, созданная на основе teknium/OpenHermes-2.5-Mistral-7B и PulsarAI/Nebula-v2-7B-Lora. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; карточка указывает поддержку общения и обучающий датасет Open-Platypus. Модель подходит для диалоговых ответов, генерации текстов и помощи с кодом на английском языке. Репозиторий содержит веса Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Опубликованные в README результаты таблицы оценки не заполнены.

Карточка модели PositronicLlama/Ovis2.5-9B на Hugging Face совпадает с карточкой ATH-MaaS/Ovis2.5-9B, поэтому описание составлено по ней. Ovis2.5-9B — мультимодальная модель семейства Ovis2.5, разработанная командой AIDC-AI. Она сочетает визуальный энкодер NaViT для обработки изображений в исходном переменном разрешении с языковой моделью Qwen3-8B; размер модели — 9 млрд параметров. Модель принимает текст и изображения и генерирует текст, поддерживает контекст до 40 960 токенов и рассчитана прежде всего на английский и китайский языки. Модель предназначена для визуальных вопросов и ответов, мультимодальных рассуждений, понимания видео, распознавания текста и анализа документов, таблиц, форм, графиков и диаграмм. Режим размышления с самопроверкой и пересмотром ответа можно включать при выводе, увеличивая задержку ради потенциально более точного ответа на сложные запросы. В README заявлен средний результат 78,3 в мультимодальном наборе OpenCompass и сильные результаты в задачах понимания изображений и документов. Модель распространяется по лицензии Apache-2.0. README предупреждает, что разработчики не гарантируют полного отсутствия проблем с авторскими правами или неподобающим содержимым.

Phi-3.5-MoE-instruct-GGUF — это набор GGUF-квантизованных версий инструкционной языковой модели Phi-3.5-MoE-instruct, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с кодом и многоязычными запросами, и может запускаться локально через llama.cpp или LM Studio. В набор входят варианты от F16 до низкоразрядных Q2 и IQ-квантизаций размером примерно от 15 до 84 ГБ. Доступны версии с различным компромиссом между качеством, требованиями к памяти и скоростью работы; наиболее качественными считаются F16, Q8_0 и Q6, а Q4-варианты ориентированы на более широкий круг локальных сценариев. Модель относится к архитектуре Mixture of Experts, однако точные сведения о числе параметров, длине контекста и поддерживаемых языках в README не указаны; заявлена многоязычность. Сильные стороны — широкий выбор форматов, локальный запуск и возможность подобрать размер модели под доступные ресурсы. Ограничения зависят от уровня квантизации: уменьшение размера может снижать качество, а даже компактные варианты требуют значительного объёма памяти. Модель распространяется по лицензии MIT.

QuantFactory/Qwen2.5-0.5B-Instruct-GGUF — квантованная версия Qwen2.5-0.5B-Instruct, подготовленная QuantFactory с использованием llama.cpp на основе модели Qwen Team, разработанной Alibaba Cloud. Модель предназначена для генерации текста, чат-ботов, следования инструкциям, работы со структурированными данными и вывода в формате JSON, а также для задач программирования и математики. Это каузальная языковая модель на архитектуре transformers с RoPE, SwiGLU, RMSNorm, смещениями в attention QKV и связанными эмбеддингами слов. Она содержит около 0,49 млрд параметров, включая 0,36 млрд параметров без учёта эмбеддингов, 24 слоя и Grouped-Query Attention с 14 головами Q и 2 головами KV. Поддерживаются контекст до 32 768 токенов и генерация до 8 192 токенов. Модель мультиязычная и заявлена для более чем 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся небольшой размер, улучшенное следование инструкциям, обработка длинных текстов, структурированных данных, программирования и математики. К ограничениям относятся меньшая ёмкость по сравнению с крупными моделями и отсутствие заявленных возможностей работы с изображениями или другими модальностями. Модель распространяется по лицензии Apache-2.0.