I.4Обработка документов и форм

Muse-Glimmer-30B-GGUF — набор GGUF-сборок модели Muse Glimmer 30B, разработанной Meta и опубликованной AtomicChat в формате, совместимом с llama.cpp. Модель предназначена для генерации текста, мультимодального анализа изображений, диалоговых сценариев, работы с инструментами, а также задач программирования, написания текстов и рассуждений. Указан pipeline image-text-to-text, однако точная архитектура, поддерживаемые языки и максимальный контекст модели в README не раскрыты. Доступны варианты квантования от Q8_0 и BF16 до IQ2_XXS объёмом примерно от 9,3 до 55,7 ГБ. Для работы с изображениями требуется отдельный vision-проектор mmproj размером около 3,9 ГБ, а для ускоренной генерации можно подключить drafter dflash, добавляющий около 5,5 ГБ к требованиям по памяти. Рекомендуемая сборка AD-IQ4_XS рассчитана примерно на 24 ГБ видеопамяти вместе с vision-проектором и обеспечивает компромисс между размером и качеством; на RTX 5090 заявлена скорость до 39,6 токена в секунду без drafter и до 71,8 с ним. Сильные стороны модели — мультимодальность, поддержка tool calling, несколько вариантов квантования и возможность запуска на одной потребительской видеокарте. Качество снижается по мере уменьшения разрядности, особенно на низких вариантах IQ; speculative decoding требует дополнительной памяти и снижает скорость обработки промпта. Для запуска нужен llama.cpp, собранный из актуальной ветки master с поддержкой Muse Glimmer, а также параметр --jinja для корректной работы шаблона чата и разбора вызовов инструментов. Лицензия — Apache 2.0.

lued/Qwen3.8-27B-huihui-abliterated-INT8-W8A16-DFlash2 — квантованная версия Huihui-Qwen3.8-27B-abliterated, разработанная на базе моделей huihui-ai и Qwen. Это мультимодальная conversational-модель с поддержкой текста и изображений, предназначенная для диалогов, генерации текста, задач рассуждения, tool calling и работы с длинным контекстом. Модель рассчитана на запуск через vLLM и потребительское оборудование, в частности две видеокарты RTX 3090. Модель содержит 27B параметров, использует формат W8A16 с весами INT8 и активациями FP16 или BF16, а также поддерживает контекст до 262 144 токенов. Для ускорения генерации применяется speculative decoding с отдельной моделью-черновиком DFlash2, которая предлагает до 7 токенов за шаг. Размер основной модели составляет около 28 GiB в шести шардах, размер drafter — около 2,02 GiB. По данным README, квантование сохраняет 98,5% совпадения следующего токена с исходной BF16-моделью при среднем KLD 0,000694. Сильные стороны модели — уменьшенный вдвое размер относительно BF16-версии, поддержка длинного контекста, vision tower, thinking controls и tool calling, а также заявленное ускорение генерации на RTX 3090. Ограничения включают необходимость двух GPU с общим объёмом памяти 48 ГБ для заявленного сценария, использование неподдерживаемого в стабильном vLLM DFlash2 с дополнительными патчами и отсутствие собственных измерений скорости именно для этой сборки; приведённые показатели производительности относятся к родственному варианту. Модель распространяется по лицензии Apache-2.0.

Chungulus/Qwen3.8-27B-Q5_K_M-GGUF — это независимая vanilla-квантизация базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель представлена в формате GGUF с квантизацией Q5_K_M для запуска через llama.cpp; это не дообучение, объединение моделей или изменение шаблона чата. В комплект входят основные веса объёмом около 19,536 ГБ и отдельный vision projector, а общий размер репозитория составляет около 20,476 ГБ. Модель предназначена для генерации текста, вызова инструментов, анализа изображений и видео, а также сценариев с управляемым режимом рассуждений через параметры enable_thinking, reasoning_effort и preserve_thinking. Она использует гибридную архитектуру с Gated DeltaNet и полным attention, поддерживает мультимодальный pipeline image-text-to-text, нативный формат вызова инструментов и сохранённые MTP-тензоры, однако спекулятивное ускорение не заявлено. Точные языки и максимальный контекст в README не указаны; архитектурный максимальный контекст не следует считать проверенным. К сильным сторонам относятся сохранение функциональности исходной модели, проверенная генерация текста, tool calling, работа с изображениями и сохранённый шаблон чата. К ограничениям относятся возможное снижение качества из-за квантизации, требования к совместимости runtime с гибридным языковым графом, vision tower, tokenizer и MTP-метаданными, а также необходимость примерно 24 ГБ доступной памяти с дополнительным ростом потребления из-за KV-cache. Модель и её vanilla-квантизация распространяются по лицензии Apache-2.0.

devan-carlin/Qwen3.8-Flash-Next-W4A16 — сообщественная W4A16-квантизированная версия Qwen3.8-Flash-Next, базовую модель и лицензию которой разработала команда Qwen. Репозиторий предоставляет квантизацию и рецепт запуска на Intel XPU с использованием patched vLLM. Модель предназначена для генерации текста, рассуждений, вызова инструментов и мультимодальных сценариев с обработкой изображений; доступны текстовые и графические входы через процессор Qwen3-VL. Модель использует MoE-архитектуру с 125B параметров и примерно 6B активных параметров. Экспертные веса квантизированы в int4 по схеме group-128 с активациями A16, а отдельные компоненты, включая визуальный модуль, эмбеддинги и ряд служебных слоёв, сохранены в BF16. Поддерживается контекст до 256K токенов и FP8 KV-кэш. В составе присутствует 27-блочный vision tower, совместимый с Qwen3-VL. Для корректной работы требуется PLE n-gram table объёмом около 96 ГБ в оперативной памяти. К сильным сторонам относятся большой контекст, MoE-эффективность, поддержка изображений и возможность производительного запуска на Intel Arc Pro B70: заявлено около 53,4 токена в секунду на конфигурации из четырёх ускорителей. Ограничения существенны: необходимы четыре Intel Arc Pro B70 с суммарно 128 ГБ VRAM, не менее 128 ГБ оперативной памяти, специальная версия vLLM и закреплённые версии XPU-зависимостей. Для этого чекпойнта рекомендуется температура не выше примерно 0,7, поскольку при более высоких значениях наблюдаются повторения и деградация вывода. Модель распространяется по Qwen Community License 1.0; лицензия указана как other.

EXAONE-3.5-32B-Instruct — плотная языковая модель с инструкционной настройкой, разработанная LG AI Research. Она содержит 31,5 млрд параметров по метаданным; в карточке указаны 30,95 млрд параметров без эмбеддингов, 64 слоя и архитектура внимания GQA с 40 Q-головами и 8 KV-головами. Модель работает через Transformers и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста на английском и корейском языках, включая работу с длинными контекстами и общие задачи понимания и создания текста. Её можно использовать для ответов на вопросы, инструкций и суммаризации; в метаданных также отмечена поддержка классификации текста. Карточка сообщает о риске некорректных, устаревших, предвзятых или неподходящих ответов. Лицензия указана как «other», поэтому конкретные условия использования следует проверять в репозитории модели.

alpindale/Llama-3.2-1B-Instruct — это текстовая инструкционная модель семейства Llama 3.2, разработанного Meta. Репозиторий содержит версию с примерно 1,2 млрд параметров; модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и предназначена для генерации текста в Transformers. Для согласования ответов с предпочтениями пользователей применялись supervised fine-tuning и обучение с обратной связью от людей. Модель рассчитана на диалог в роли ассистента, поиск знаний и суммаризацию, а также на мобильных помощников для письма, переформулирование запросов и подсказок и агентные сценарии. Она принимает и генерирует текст, включая код, поддерживает контекст до 131 072 токенов и официально рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Компактный размер позволяет рассматривать модель для применения на устройствах с ограниченными ресурсами. Качество, безопасность и полезность могут уступать более крупным моделям, поэтому разработчикам следует проверять поведение модели в конкретном сценарии. Знания ограничены данными с отсечкой по декабрю 2023 года. Использование регулируется специальной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

Карточка модели vy22215/Llama-3.2-1B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. Llama 3.2 1B Instruct — языковая модель Meta на 1,23 млрд параметров для генерации текста и диалогов. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention и настроена с помощью supervised fine-tuning и обучения с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, в том числе код; контекстное окно составляет 128 тысяч токенов. Модель предназначена для многоязычных диалоговых помощников и агентных сценариев: поиска сведений, суммаризации, помощи в написании текста и переформулирования запросов. Компактный размер позволяет использовать её в приложениях с ограниченными вычислительными ресурсами, включая мобильные устройства. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель разработана Meta и распространяется по специальной лицензии Llama 3.2 Community License, условия которой допускают коммерческое и исследовательское использование. Это статическая модель с отсечкой знаний в декабре 2023 года; качество и безопасность ответов могут уступать более крупным моделям, поэтому для конкретного применения требуется проверка и настройка защитных мер.

AI21 Jamba 1.5 Mini — языковая модель общего назначения от AI21, построенная на гибридной архитектуре Jamba, сочетающей Transformer и Mamba (SSM), с механизмом Mixture of Experts. В README указаны 12 млрд активных и 52 млрд общих параметров и контекст до 256 тыс. токенов. Модель предназначена для диалогов и следования инструкциям, включая генерацию текста, работу с длинными документами, структурированный вывод в JSON, вызов инструментов и генерацию ответов с опорой на предоставленный контекст. Модель поддерживает английский, испанский, французский, португальский, итальянский, нидерландский, немецкий, арабский и иврит; основной язык не выделен. В карточке заявлены высокая скорость вывода и эффективная работа с длинным контекстом. Для запуска нужны совместимые CUDA-ускорители и оптимизированные реализации Mamba; в FP16/BF16 Mini не помещается на одну GPU с 80 ГБ памяти, а режим ExpertsInt8 позволяет развернуть её на такой GPU. Модель распространяется по Jamba Open Model License, допускающей исследования и коммерческое использование на её условиях. README предупреждает, что эта версия подлежит устареванию с 6 мая 2024 года.

Это GGUF-квантизированная версия gemma-3-12b-it-ultra-uncensored-heretic, разработанная независимым автором LLMfan46 на базе Google Gemma 3 12B Instruct. Модель создана с использованием Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA) для снижения встроенных ограничений на ответы при сохранении исходных возможностей. По приведённому сравнению, частота отказов снизилась с 97 до 4 из 100, а KL-дивергенция составляет 0,0131 относительно оригинальной модели. Модель предназначена для генерации текста, ответов на вопросы, анализа, суммаризации, рассуждений и понимания изображений. Gemma 3 поддерживает текстовые и графические входные данные с генерацией текста, контекст до 128K токенов, выход до 8192 токенов и более 140 языков. Для мультимодальной работы требуется отдельный vision projector. Доступны варианты GGUF с квантованием от BF16 и Q8_0 до IQ3_XXS; версии с более низкой разрядностью занимают меньше места, но могут сильнее терять в качестве. Модель совместима с llama.cpp, LM Studio, Ollama и другими инструментами для GGUF. Сильной стороной является сочетание относительно компактного размера 12B, мультимодальности, длинного контекста и уменьшенного числа отказов. Ограничения включают возможное снижение качества при агрессивном квантовании, необходимость vision projector для работы с изображениями и потенциальные риски, связанные с ослаблением механизмов отказа. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use Google. Базовые модели Gemma разработаны Google DeepMind.

K-EXAONE — мультиязычная языковая модель LG AI Research для диалога, рассуждений, работы с инструментами и обработки длинных текстов. Она использует архитектуру Mixture of Experts: в README указаны 236 млрд параметров всего и 23 млрд активных при инференсе; метаданные каталога приводят 21,3 млрд параметров. Модель поддерживает контекст до 262 144 токенов и языки корейский, английский, испанский, немецкий, японский и вьетнамский. Архитектура включает 128 экспертов, из которых активируются 8, а также механизм Multi-Token Prediction для ускорения генерации. Модель предназначена для ответов на вопросы, рассуждений, многоязычного общения, анализа длинных документов и агентных сценариев с вызовом инструментов. README сообщает о специальной поддержке корейских культурных и исторических контекстов. Модель доступна в формате safetensors и работает с Transformers; для сервинга также описаны vLLM и SGLang. В README лицензия не названа, а метаданные указывают «other», поэтому точные условия использования следует проверять на странице модели. Возможны фактические ошибки, устаревшие ответы, предвзятость и неподходящие генерации; заявленная дата среза знаний — декабрь 2024 года.

Meta разработала Llama 3.2 3B — авторегрессионную языковую модель с оптимизированной архитектурой Transformer и механизмом Grouped-Query Attention. Вариант на 3,21 млрд параметров предназначен для генерации текста и обучен на общедоступных данных; модель принимает и выдаёт текст, включая код. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленная длина контекста семейства — до 128 тысяч токенов. Модель подходит для диалоговых приложений, поиска знаний, суммаризации, мобильных помощников для письма и переформулирования запросов. Карточка описывает семейство с предварительно обученными и настроенными на инструкции вариантами; конкретный репозиторий — базовая модель для генерации текста. Меньший размер рассчитан в том числе на устройства с ограниченными ресурсами, но качество и безопасность могут уступать более крупным моделям и требуют проверки под конкретный сценарий. Знания модели ограничены данными до декабря 2023 года. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

FreedomAISVR/Magistral-Small-2509-MXFP4-GGUF — квантизированная версия мультимодальной модели Magistral-Small-2509 от Mistral AI, опубликованная в формате GGUF с квантизацией MXFP4. Модель основана на Mistral-Small-3.2-24B-Instruct-2506 и содержит 24 млрд параметров; в README указана архитектура Dense Transformer с классом Mistral3ForConditionalGeneration и контекст до 131 072 токенов. Для обработки изображений используется проектор mmproj с визуальным энкодером Pixtral ViT.

MuXodious/Ministral-3-14B-Reasoning-2512-absolute-heresy — дообученная версия мультимодальной модели Mistral AI Ministral 3 14B Reasoning 2512, обработанная модифицированным механизмом Heretic с применением abliteration. Модель предназначена для диалоговых ассистентов и рассуждений, включая решение математических и научных задач, программирование и агентные сценарии с вызовом инструментов и JSON-выводом. Архитектура Mistral 3 — плотная модель с языковой частью на 13,5 млрд параметров и визуальным энкодером на 0,4 млрд. Она принимает текст и изображения, поддерживает контекст до 256 тыс. токенов и языки английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский. В README сообщается о низкой доле отказов после обработки, но автор отмечает, что показатель не отражает качество модели. Модель распространяется по лицензии Apache 2.0. README указывает на необходимость Transformers v5 для соответствующего способа использования. Модель описана как сильно uncensored; её ответы могут не отказывать на запросы, которые обычно отклоняются, поэтому требуется внимательное применение.

Svenuks/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная версия Qwen3.6-35B-A3B, подготовленная HauhauCS. Это модель типа Mixture of Experts с 35 млрд параметров, из которых около 3 млрд активируются при каждом проходе; используется 256 экспертов, из них 8 выбираются для каждого токена. Архитектура включает 40 слоёв и сочетает линейное внимание с полным softmax-вниманием в соотношении 3:1. Модель поддерживает текст, изображения и видео, языки English, 中文 и другие языки, заявленные как multilingual, а её нативный контекст составляет 262K токенов. Модель предназначена для диалогов, генерации и анализа текста, рассуждений, программирования, а также мультимодальных сценариев с обработкой изображений и видео. Вариант Aggressive отличается усиленным снятием встроенных отказов: согласно README, он генерирует ответы без отказов, хотя иногда может добавлять короткие дисклеймеры. Для работы с изображениями требуется отдельный файл mmproj, а для llama.cpp рекомендуется использовать флаг --jinja и контекст не менее 128K токенов для сохранения возможностей рассуждения. Модель распространяется в формате GGUF с вариантами квантования от IQ2_M и Q2_K_P до Q8_K_P; доступны файлы размером примерно от 11 до 44 ГБ. Квантования K_P оптимизированы с использованием importance matrix и анализа конкретной модели, что должно улучшать сохранение качества при умеренном увеличении размера файла. README не приводит результатов независимых тестов, поэтому фактическое качество и производительность зависят от квантования и оборудования. Отсутствие отказов может быть преимуществом для исследовательских и творческих задач, но одновременно означает ослабление защитных ограничений и повышенные риски небезопасного использования. Указанная лицензия — Apache 2.0.

Это мультимодальная 27,8-миллиардная плотная модель семейства Qwen3.5, опубликованная True2456 как AWQ-квантизованный вариант Qwen/Qwen3.8-27B для запуска на Apple Silicon через oMLX. Она принимает текст и изображения и предназначена для диалогов, анализа визуальных материалов, программирования и многошаговых задач; метаданные также отмечают интерфейс вызова инструментов. Контекст модели — 256 тысяч токенов. Калибровка AWQ с размером группы 64 включала текст и изображения; файлы занимают около 17,36 ГБ при 5 битах на вес. Карточка приводит замеры скорости и памяти на M5 Max, а также описывает встроенные MTP-головы и ускорение SpecPrefill для длинных запросов. Эти результаты относятся к указанной конфигурации оборудования и oMLX. Квантизация может влиять на качество относительно исходной точности, а автор отдельно отмечает, что влияние несовпадения токенизаторов на точность длинноконтекстного поиска не измерялось. Лицензия — Apache-2.0. Модель является производной от Qwen/Qwen3.8-27B и рассчитана на локальный инференс; карточка указывает оптимизацию под M5 NAX.

Chungulus/Qwen3.8-27B-Q3_K_L-GGUF — это независимая ванильная GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель не является дообучением, слиянием или изменённой версией; сохранены исходные шаблон чата, режимы рассуждений, нативный формат вызова инструментов и мультимодальные компоненты. Квантизация выполнена в формате Q3_K_L с использованием llama.cpp, размер основного файла составляет около 14,56 ГБ, а полный репозиторий занимает около 15,5 ГБ. Модель предназначена для генерации текста, вызова инструментов, анализа изображений и работы с видео через vision projector. Она использует гибридную архитектуру с чередованием Gated DeltaNet и полнотекстового внимания, а также содержит MTP-тензоры, однако спекулятивное ускорение не заявлено. Текстовая генерация, вызов инструментов и мультимодальные сценарии прошли функциональную проверку; валидационная скорость составила около 14,77 токена в секунду на тестовой системе. Для запуска требуется совместимый runtime, поддерживающий граф Qwen3.8, vision tower, проектор, токенизатор и MTP-метаданные, а также ориентировочно не менее 19 ГБ доступной памяти без гарантии пикового потребления. Максимальный размер контекста в README не указан и полноценно не тестировался, языки также не перечислены. Квантизация может снижать качество, особенно из-за небольшой разрядности. Модель и её квантизация распространяются по лицензии Apache-2.0.

Chungulus/Qwen3.8-27B-Q8_0-GGUF — это независимая, неизменённая квантизация Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель распространяется в формате GGUF для запуска с llama.cpp и предназначена для генерации текста, работы с изображениями и видео, а также вызова инструментов в нативном формате Qwen. Это не дообученная модель, не объединение моделей и не модификация шаблона чата. Модель содержит около 27 миллиардов параметров и использует квантизацию Q8_0 с 8-битным представлением весов. Архитектура сочетает Hybrid Gated DeltaNet и полноценное внимание; в составе также есть vision tower, проектор для мультимодального ввода и сохранённые MTP-тензоры. Для работы с изображениями требуется отдельный файл vision projector. Поддерживаются режимы управления рассуждением через enable_thinking, reasoning_effort и preserve_thinking. Сведения о поддерживаемых языках и максимальной длине контекста в README не указаны. К сильным сторонам относятся сохранение исходной архитектуры и шаблона чата, проверенная генерация текста, вызов инструментов, обработка изображений и видео, а также отсутствие дополнительной потери качества от тонкой настройки или слияния моделей. Для запуска требуется совместимый runtime с поддержкой гибридного графа Qwen3.8, vision-компонентов, токенизатора и MTP-метаданных. Основные ограничения — возможное снижение качества из-за квантизации, высокая потребность в памяти: рекомендуется иметь не менее примерно 33 ГБ с учётом модели, проектора и служебных расходов, а память под KV-кэш дополнительно растёт вместе с контекстом. Максимальный контекст не был проверен в рамках описанной валидации. Родительская модель и данная ванильная квантизация распространяются по лицензии Apache-2.0.

Qwen_Qwen3.5-35B-A3B-GGUF — это набор квантованных версий модели Qwen3.5-35B-A3B, подготовленный пользователем bartowski на основе оригинальной модели Qwen. Модель предназначена для задач генерации текста и обработки изображений с текстом, а GGUF-формат позволяет запускать её локально через llama.cpp и совместимые приложения, включая LM Studio, Jan AI, KoboldCpp и Text Generation Web UI. В набор входят варианты от BF16 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, а также IQ-квантизации. Размер файлов составляет примерно от 17 до 71 ГБ. Обозначение 35B указывает на 35 миллиардов параметров, а A3B относится к архитектуре исходной модели; подробности об архитектуре, поддерживаемых языках и размере контекста в README не приведены. Квантизации выполнены с использованием imatrix и llama.cpp, для некоторых конфигураций доступна поддержка MTP-слоёв. Сильная сторона набора — широкий выбор компромиссов между качеством, требованиями к памяти и скоростью локального запуска; варианты Q5 и Q6 обозначены как высококачественные, а Q4_K_M — как типичный выбор для большинства сценариев. Низкобитные варианты экономят память, но могут снижать качество. Для использования требуется совместимое программное обеспечение и аппаратные ресурсы, соответствующие размеру выбранного файла. Лицензия — Apache 2.0.

Qwythos-27B-v1-GGUF — это набор GGUF-квантизаций модели Qwythos-27B-v1, разработанной компанией Empero. Модель предназначена для локального запуска через llama.cpp, Ollama, LM Studio, jan, KoboldCpp и другие совместимые среды. Это плотная гибридная модель семейства Qwen3.5 с 27 миллиардами параметров, прошедшая SFT, DPO и ESFT; представленная версия является предварительной RL-оптимизации v1. Модель поддерживает текстовые задачи и обработку изображений при использовании отдельного vision-проектора mmproj-Qwythos-27B-F16.gguf. Заявлены встроенные MTP-возможности для ускорения генерации, мультимодальность и контекстное окно до 1 048 576 токенов. Доступны варианты от Q4_K_M до BF16 с различным соотношением размера, качества и требований к памяти; Q4_K_M указан как рекомендуемый вариант по умолчанию. На практике полноценное использование длинного контекста требует значительных ресурсов для KV-кэша, а более точные варианты могут потребовать 48–80 ГБ видеопамяти, нескольких GPU или выгрузки части вычислений на CPU. Модель подходит для локальных диалоговых и аналитических сценариев, рассуждений, агентных задач, работы с длинным контекстом и анализа изображений. Сильными сторонами являются сохранённые vision tower и MTP head, большой контекст и широкий выбор квантизаций. Ограничения связаны с высокими требованиями к памяти, зависимостью MTP от свежей версии llama.cpp и необходимостью отдельного vision-проектора для изображений. Модель и её квантизации распространяются по лицензии Apache-2.0.

AI21-Jamba-Reasoning-3B — компактная модель рассуждений компании AI21 для генерации текста и диалогов. Она предназначена для решения задач, требующих пошагового анализа, и работы с длинными входными материалами; в карточке заявлено преимущество на совокупности нескольких интеллектуальных бенчмарков по сравнению с рядом моделей сходного размера. Модель содержит около 2,3 млрд параметров по метаданным каталога. Её гибридная архитектура Jamba сочетает слои Transformer и Mamba: 26 слоёв Mamba и 2 слоя внимания, 20 голов внимания с multi-query attention и словарь размером 64 тыс. токенов. Контекст достигает 262 144 токенов. Модель принимает текст и генерирует текст; в метаданных также заявлен интерфейс для вызова инструментов. Поддерживаются английский, испанский, французский, португальский, итальянский, нидерландский, немецкий, арабский и иврит. AI21 рекомендует запуск через vLLM версии 0.11.0 или выше с настройкой кэша Mamba; README также описывает локальный запуск через отдельную GGUF-сборку. Репозиторий распространяется под лицензией Apache-2.0. Практические ограничения: опубликованные в README сравнительные результаты приведены не для всех конкурентов в доступном фрагменте, а обучение через VeRL на момент карточки ещё описано как будущее расширение.

jondurbin/airoboros-110b-3.3 — экспериментальная чат-модель Джона Дурбина, дообученная на базе Qwen1.5-110B преимущественно на синтетических данных Airoboros. Это плотная авторегрессионная языковая модель с архитектурой Qwen2ForCausalLM; она использует шаблон диалога ChatML и принимает текстовые запросы. По метаданным, размер модели — 110 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы по предоставленному контексту, суммаризации, генерации кода, следования инструкциям и выдачи аргументов для вызова функций в JSON или YAML. Карточка описывает настройку для контекстных ответов, призванную ограничивать ответы сведениями из источника, а также планирование многошагового выполнения задач; для контекстных запросов рекомендуется низкая температура. Автор отмечает, что иногда в конце ответов появляются лишние токены. Репозиторий содержит веса в формате safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели. Автор характеризует модель как экспериментальную; карточка не приводит количественных оценок качества.

Astra-v1-12B — языковая модель на архитектуре Mistral, разработанная P0x0 как дообучение Mistral-Nemo-Base-2407. Модель содержит 12,1 млрд параметров и предназначена для генерации текста и выполнения инструкций в диалоговом формате. Её можно применять для создания и редактирования текстов, суммаризации, ответов на вопросы и диалоговых систем. В README заявлена настройка на качество и стиль ответов Claude 3 Sonnet и Opus. Указанное в метаданных контекстное окно — 1 024 000 токенов. Модель принимает текст и выдаёт текст. Карточка не подтверждает специализацию на конкретном языке или предметной области. Модель распространяется по лицензии Apache 2.0. README предостерегает от использования для принятия решений в реальном времени в критически важных сценариях и от генерации вредоносного или предвзятого контента.

unsloth/gemma-3n-E2B-it-unsloth-bnb-4bit — это квантизированная 4-битная instruction-tuned версия модели Gemma 3n E2B, подготовленная Unsloth на базе google/gemma-3n-E2B-it. Исходную модель разработала Google DeepMind. Gemma создана как семейство компактных открытых моделей для эффективного запуска, в том числе на устройствах с ограниченными ресурсами. Модель предназначена для диалогов, ответов на вопросы, обработки и суммаризации документов и других задач генерации текста. Семейство Gemma 3n поддерживает мультимодальный ввод текста, изображений, видео и аудио с генерацией текста, однако в данном README для этой версии отдельно указано, что в текущей конфигурации поддерживается только текст. Максимальный контекст составляет 32K токенов; заявленная языковая поддержка включает английский, а обучение проводилось на данных более чем на 140 разговорных языках. Ключевая особенность Gemma 3n — технология выборочной активации параметров, обеспечивающая эффективный размер около 2B параметров при меньших требованиях к ресурсам. Формат Unsloth bnb 4bit снижает требования к памяти, но может сопровождаться потерей точности по сравнению с полноточной версией. Для корректной работы рекомендуется использовать chat template Gemma 3n и параметры temperature 1.0, top_k 64 и top_p 0.95. Модель распространяется по лицензии Gemma; условия использования определяются официальными Terms of Use Google.

Gemma 4 31B JANG4M CRACK — это модифицированная версия Gemma 4 31B IT от dealignai. Модель представляет собой плотную 60-слойную мультимодальную архитектуру с чередованием скользящего и глобального внимания; она предназначена для диалога, рассуждений, генерации кода и обработки изображений. В README автор сообщает о сохранении визуальных возможностей и результатов MMLU на уровне 86,8% после модификации, а также о значительном снижении отказов на тестах HarmBench. Веса представлены в формате Safetensors с квантизацией JANG_4M: 8-битное внимание и 4-битные MLP. Для запуска автор рекомендует vMLX с поддержкой Gemma 4 на Mac с Apple Silicon и достаточным объёмом объединённой памяти; стандартные mlx_lm и mlx_vlm поддерживают модель не полностью. Лицензия — Gemma. README позиционирует выпуск как исследовательский и возлагает на пользователей ответственность за соблюдение применимых законов.

RedHatAI/Kimi-K2.6-FP8-BLOCK — мультимодальная модель, разработанная RedHatAI на основе moonshotai/Kimi-K2.6 с архитектурой KimiK25ForConditionalGeneration. Она принимает текст, изображения и видео, а генерирует текст. Модель предназначена для диалоговых и прикладных сценариев, включая следование инструкциям, рассуждения, вызов функций, агентные задачи и программирование. Модель использует FP8-квантизацию весов с блочным масштабированием и динамическую групповую FP8-квантизацию активаций. Она экспортирована в формате compressed-tensors и оптимизирована для высокопроизводительного развёртывания через vLLM с OpenAI-совместимым API. В README не указаны размер модели и поддерживаемые языки; заявленная максимальная длина контекста в конфигурации оценки составляет 40960 токенов, однако это не представлено как официальная характеристика модели. По приведённым оценкам, модель показывает сильные результаты в математическом и академическом рассуждении, следовании инструкциям и вызове функций. Ограничения включают заметно более низкие результаты на многошаговом function calling, web search и SWE-Bench Lite, а FP8-квантизация может влиять на точность по сравнению с исходной моделью, несмотря на высокое сохранение качества в большинстве указанных тестов. Для использования требуется окружение vLLM и параметр --trust-remote-code. Лицензия указана как modified-MIT; дополнительные условия в README не раскрыты.

NousResearch/Llama-3.2-1B — текстовая языковая модель семейства Llama 3.2, разработанная Meta и опубликованная NousResearch. Это авторегрессионный трансформер с архитектурой LlamaForCausalLM и примерно 1,2 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и распространяется в формате Safetensors через Transformers. Модель предназначена для генерации текста и может служить основой для диалоговых помощников, поиска знаний и суммаризации, а также для мобильных приложений и систем с ограниченными ресурсами. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. README также указывает на поддержку генерации кода. Компактный размер и длинный контекст позволяют использовать модель в ресурсоограниченных средах. Как небольшая модель, она может уступать более крупным моделям в качестве ответов и безопасности; для конкретного применения рекомендуется оценивать результаты и предусматривать защитные меры. Использование регулируется лицензией Llama 3.2 Community License — специальным соглашением, допускающим коммерческое и исследовательское применение при соблюдении условий лицензии и Acceptable Use Policy.

unsloth/Llama-3.2-1B — текстовая модель генерации на базе Meta Llama 3.2, представленная Unsloth. Это плотная авторегрессионная трансформерная архитектура Llama с 1,2 млрд параметров; репозиторий содержит веса в формате safetensors и предназначен для использования через Transformers. В README Unsloth также предлагает ноутбуки для дообучения модели и экспорта полученных моделей. Модель принимает текст и генерирует текст. Семейство Llama 3.2 предназначено для генерации и диалога; в карточке указаны сценарии суммаризации и агентного поиска, а также поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Контекстное окно составляет 131072 токена. Модель опубликована 25 сентября 2024 года и распространяется по лицензии Llama 3.2 Community License, условия которой следует соблюдать при использовании и распространении.

Карточка модели ModelCloud/Llama3.2-1B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. Llama 3.2 1B Instruct — языковая модель Meta на 1,23 млрд параметров для генерации текста и диалогов. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention и настроена с помощью supervised fine-tuning и обучения с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, в том числе код; контекстное окно составляет 128 тысяч токенов. Модель предназначена для многоязычных диалоговых помощников и агентных сценариев: поиска сведений, суммаризации, помощи в написании текста и переформулирования запросов. Компактный размер позволяет использовать её в приложениях с ограниченными вычислительными ресурсами, включая мобильные устройства. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель разработана Meta и распространяется по специальной лицензии Llama 3.2 Community License, условия которой допускают коммерческое и исследовательское использование. Это статическая модель с отсечкой знаний в декабре 2023 года; качество и безопасность ответов могут уступать более крупным моделям, поэтому для конкретного применения требуется проверка и настройка защитных мер.

Карточка модели IntervitensInc/Llama-3.2-3B-chatml на Hugging Face совпадает с карточкой alpindale/Llama-3.2-3B, поэтому описание составлено по ней. alpindale/Llama-3.2-3B — текстовая модель семейства Llama 3.2, разработанного Meta. Это авторегрессионная плотная трансформерная модель с 3,2 млрд параметров и архитектурой LlamaForCausalLM; репозиторий содержит веса Safetensors для Transformers. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и рассчитана на многоязычную генерацию. Модель подходит для диалогового помощника, суммаризации, поиска знаний и приложений с агентными сценариями, а также для мобильных помощников по написанию текста и переформулирования запросов. В README описаны применение и возможности семейства Llama 3.2; отдельное дообучение alpindale/Llama-3.2-3B не подтверждено, поэтому характеристики поведения конкретного чекпойнта могут отличаться от описания семейства. Заявленные языки поддержки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Лицензия llama3.2 — пользовательская лицензия сообщества Meta с собственными условиями коммерческого использования и политикой допустимого использования. Модель обучена на статическом офлайн-наборе данных; как компактная модель, она может уступать более крупным системам по качеству и требует проверки безопасности и пригодности для конкретного применения.

Qwen2.5-7B-Instruct-MLX-4bit — это 4-битная квантованная версия инструкционной языковой модели Qwen2.5-7B-Instruct, подготовленная сообществом для запуска на Apple Silicon Mac. Исходную модель разработала команда Qwen, а MLX-квантизацию предоставил bartowski на основе mlx-examples. Модель предназначена для диалогового взаимодействия, генерации текста и выполнения инструкций; её можно использовать в локальных сценариях через совместимое программное обеспечение, включая LM Studio. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Она ориентирована на работу с текстом и заявлена как поддерживающая более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Среди отмеченных особенностей — работа со структурированными данными и их генерация, а также широкий охват знаний, полученных из крупного обучающего набора. Ключевыми ограничениями являются зависимость от аппаратной платформы Apple Silicon и возможные ошибки, неточности, вредоносные или неподходящие ответы, характерные для генеративных моделей. README не содержит результатов бенчмарков или подробностей об архитектуре и точном объёме исходных параметров, кроме обозначения класса 7B. Модель распространяется по лицензии Apache-2.0.