I.4Обработка документов и форм

MuXodious/Qwen3.8-27B-absolute-heresy — дообученная версия Qwen3.8-27B, созданная P-E-W с помощью Heretic v1.4.0 и метода abliteration. Это плотная модель с причинной языковой моделью и визуальным энкодером, содержащая 27 млрд параметров; базовая архитектура использует 64 слоя. Исходная Qwen3.8-27B поддерживает изображения и видео, а также диалог, программирование и многошаговые агентные задачи; для неё указан контекст 262 144 токена с расширением до 1 000 000 токенов. Эти характеристики относятся к базовой модели. Настройка нацелена на снижение отказов: автор сообщает о 2 отказах из 101 проверенного запроса против 101 из 101 у исходной модели. По описанию автора, при этом модель сохраняет полезность с минимальным повреждением возможностей, однако приведённая оценка зависит от используемой процедуры и не гарантирует поведение на других запросах. Модель предназначена для сценариев, где требуется более свободный диалог с сохранением мультимодальных возможностей Qwen3.8. Репозиторий содержит веса и конфигурацию в формате Transformers; заявлены совместимость с Transformers, vLLM и SGLang, а также отдельные LoRA-адаптер и версия GGUF. Лицензия — Apache-2.0.

Qwen3.8-27B-AWQ-5.0bpw-Sharp — мультимодальная плотная модель на базе Qwen/Qwen3.8-27B, подготовленная mrKola для запуска на Apple Silicon через oMLX. Это вариант с квантизацией AWQ 5,00 бита на параметр и группами размера 64; модель занимает около 17,36 ГБ. Архитектура сочетает GatedDeltaNet и полнослойное внимание, включает визуальный модуль и встроенную голову MTP. Базовая модель имеет контекст до 256 тысяч токенов. Модель предназначена для диалогов, анализа изображений, программирования, рассуждений и многошаговых задач; интерфейс также предусматривает вызов инструментов. Калибровка учитывала текст и изображения, включая диаграммы и фотографии. В README приведены результаты HumanEval, GSM8K и MMLU, однако они сравнивают две квантизованные сборки, а не дают независимую оценку качества. Указанные скорости измерены на M5 Max с oMLX и не гарантируют такую же производительность на другом оборудовании. Модель распространяется по лицензии Apache-2.0. Качество на длинном контексте с ускорением SpecPrefill и моделью-черновиком с несовпадающим токенизатором не измерено; README рекомендует проверять такие сценарии на собственных данных.

cyankiwi/Qwen3.8-Flash-Next-AWQ-INT4 — квантованная версия Qwen3.8-Flash-Next, разработанной командой Qwen; репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers. Модель предназначена для генерации и понимания текста, агентских сценариев, задач STEM, а также мультимодальных задач с изображениями благодаря архитектуре языковой модели с vision encoder. Она совместима с Transformers, vLLM, SGLang и TokenSpeed. Архитектура включает 125 млрд параметров, из которых активируется 6 млрд, а также 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Используются гибридное внимание с Gated DeltaNet и Qwen Sparse Attention, Gated Residual и n-gram embedding; модель содержит 48 слоёв и имеет скрытую размерность 2560. Ключевые заявленные особенности ориентированы на эффективную обработку длинного контекста и снижение вычислительных затрат. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Размер файлов модели указан как 188,29 ГБ. Преимуществами являются мультимодальность, поддержка нескольких языков, оптимизации для длинного контекста и возможность локального развёртывания в распространённых inference-системах. Ограничения связаны с экспериментальным статусом архитектуры, отсутствием в README точного размера контекстного окна для данного репозитория и потенциальными потерями качества, характерными для INT4 AWQ-квантизации. Лицензия указана как qwen-community-1.0; применяются условия, приведённые в файле LICENSE.

Qwopus3.5-122B-A10B-Kimi-K2.6-destilled-abliterated-NVFP4 — мультимодальная версия модели, разработанная OpenYourMind. Она создана на основе Qwopus3.5-122B-A10B-Kimi-K2.6-destill-healed-abliterated, которая, в свою очередь, основана на Qwen/Qwen3.5-122B-A10B и дополнительно использует дистилляцию Kimi-K2.6, обучение с предпочтениями для рассуждений и модификацию, обозначенную авторами как abliterated/uncensored. Модель предназначена для генерации и понимания текста и изображений, включая задачи рассуждений, программирования, вызова инструментов и работы с визуальными данными. Это архитектура Mixture of Experts с примерно 122 млрд параметров, из которых около 10 млрд активируются при обработке одного запроса. Сохраняются vision tower, MTP head, маршрутизатор экспертов и путь внимания Gated-DeltaNet. Поддерживаются архитектура Qwen3_5MoeForConditionalGeneration и контекст до 262 144 токенов в указанной конфигурации. Поддерживаемые языки в README не указаны. Весовые параметры сжаты в формат NVFP4 с точностью 4 бита, что уменьшает размер модели примерно с 250 до 81,5 ГБ; часть компонентов оставлена в BF16. По заявленным авторами результатам, сборка превзошла полноточную Qwen3.5-122B-A10B на тестах CTI, LiveCodeBench и BFCL, однако эти результаты представлены без независимой верификации. Для запуска рекомендуется vLLM с поддержкой compressed-tensors; указано использование как минимум одного ускорителя Blackwell с объёмом памяти от 96 ГБ. Лицензия — MIT.

GLM-5.3-Flash-BF16 — мультимодальная модель семейства GLM от Z.ai для диалогов и задач с изображениями. По карточке модели, она содержит 320 млрд параметров, из которых 18 млрд активны при обработке. Архитектура GLM5 Next сочетает разреженное и линейное внимание; модель обучена с нуля и использует мультимодальную предобучающую выборку объёмом 30 трлн токенов. Модель предназначена для анализа изображений и текста, программирования и агентных сценариев. В README заявлены улучшения относительно GLM-5.2 и эффективность при работе с длинным контекстом. Доступны уровни reasoning_effort low, high и max; для локального развёртывания перечислены Transformers, vLLM, SGLang и другие фреймворки. Метаданные указывают поддержку английского и китайского языков и интерфейс чата с обработкой изображений. Лицензия — MIT.

Llama 3.2 1B Instruct — языковая модель Meta на 1,23 млрд параметров для генерации текста и диалогов. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention и настроена с помощью supervised fine-tuning и обучения с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, в том числе код; контекстное окно составляет 128 тысяч токенов. Модель предназначена для многоязычных диалоговых помощников и агентных сценариев: поиска сведений, суммаризации, помощи в написании текста и переформулирования запросов. Компактный размер позволяет использовать её в приложениях с ограниченными вычислительными ресурсами, включая мобильные устройства. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель разработана Meta и распространяется по специальной лицензии Llama 3.2 Community License, условия которой допускают коммерческое и исследовательское использование. Это статическая модель с отсечкой знаний в декабре 2023 года; качество и безопасность ответов могут уступать более крупным моделям, поэтому для конкретного применения требуется проверка и настройка защитных мер.

OpenYourMind создала abliterated-версию MiniMax-M3: из модели удалено поведение отказа, при этом сохранены рассуждения, многоязычные и мультимодальные возможности, программирование и использование инструментов. Это большая мультимодальная модель класса Mixture of Experts с визуальным энкодером и режимом рассуждений. Архитектура, токенизатор и шаблон чата совпадают с базовой моделью, поэтому версия предназначена для замены MiniMax-M3 в совместимом окружении. Модель принимает текст и изображения и формирует текстовые ответы; её можно применять для диалогов, анализа изображений, программирования и агентных сценариев. Весовой файл содержит параметры BF16 и занимает около 854 ГБ, поэтому для развёртывания требуются несколько GPU или узлов; для менее мощных систем потребуется квантизация. Лицензия указана как Other и наследуется от лицензии MiniMax-M3.

Карточка модели jahseh1654/Qwen3.5-4B на Hugging Face совпадает с карточкой Qwen/Qwen3.5-4B, поэтому описание составлено по ней. Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.

Qwen3.5-9B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-9B, разработанная ByteShape с использованием метода ShapeLearn. ShapeLearn подбирает тип данных отдельно для каждого тензора, чтобы сохранять высокое качество при низкой разрядности. Модель предназначена для локального запуска через llama.cpp или LM Studio и поддерживает работу с изображениями; для vision-сценариев llama.cpp автоматически загружает vision projector. Модель ориентирована на текстовые и мультимодальные задачи, включая генерацию текста, рассуждения, программирование, решение математических задач, следование инструкциям и function calling. Доступны варианты для GPU и CPU с разрядностью от 2,81 до 5,10 bits per weight и размером примерно от 3,15 до 5,72 ГБ. GPU-варианты используют сочетание KQ- и IQ-квантизации, а CPU-варианты — преимущественно KQ-квантизацию; это позволяет выбирать баланс между скоростью, требованиями к памяти и качеством. Сильными сторонами являются малый размер, возможность запуска на широком спектре оборудования, включая Raspberry Pi, поддержка изображений и несколько вариантов квантизации. Ограничения связаны с потерями качества, возможными при низкой разрядности, зависимостью производительности от оборудования и отсутствием поддержки этой модели в Ollama на момент публикации README. README не указывает языки и размер контекстного окна. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-uncensored-heretic-v1 — мультимодальная модель на 27 млрд параметров, созданная независимым автором llmfan46 на основе Qwen/Qwen3.6-27B. Автор применил abliteration: изменил компоненты проекций внимания в слоях 24–57, чтобы снизить частоту отказов. По приведённому в карточке тесту модель отказала в 10 случаях из 100 против 92 у исходной модели; KL-дивергенция относительно оригинала составила 0,0286. Модель принимает текст и изображения и предназначена для диалога, анализа изображений, агентных сценариев и задач программирования, включая работу с репозиториями и инструментами. Архитектура — плотная Qwen3.5 с визуальным энкодером; заявленная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Карточка содержит результаты отдельных тестов, но они не гарантируют качество на других задачах. Основа доступна по лицензии Apache 2.0; условия карточки производной модели также указывают Apache 2.0.

MKRWW/Qwen3.8-27B-int4-AutoRound — производная квантизованная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для локального запуска и сервинга через vLLM на потребительских GPU, включая обработку текста, изображений и аудио, задачи рассуждения, программирования, математики, вызова инструментов и описания изображений. Архитектура определяется базовой моделью Qwen3.8-27B и представлена в Transformers как Qwen3_5ForConditionalGeneration; заявлена поддержка мультимодальных сценариев и контекста до 262 144 токенов. В модели применена весовая квантизация INT4 методом Intel AutoRound с group_size 128 и форматом auto_round:auto_gptq. Квантизованы 64 блока языкового декодера, тогда как vision- и audio-компоненты, эмбеддинги, lm_head и отдельные малые проекции сохранены в FP16. Размер весов составляет около 17,45–17,5 ГБ, благодаря чему модель запускается на одной видеокарте с 24 ГБ памяти; для полного контекста 262K рекомендуется конфигурация из двух таких карт. Для CPU и небольшого объёма VRAM этот репозиторий не предназначен. Сильные стороны — заметно сниженное потребление памяти, сохранение мультимодальных возможностей и совместимость с vLLM, включая reasoning и tool calling. Модель по умолчанию использует рассуждение, поэтому при малом лимите вывода ответ может быть обрезан; видимое отдельное поле reasoning_content также требует дополнительной настройки. Приведённые в README результаты являются внутренним сравнением, а не формальным независимым бенчмарком. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

AMAImedia выпустила эту модель в рамках платформы автоматизации многоязычного дубляжа NOESIS; исходную модель создала команда OBLITERATUS. Это дообученная версия Qwen3.8-27B с плотной архитектурой Qwen3_5ForConditionalGeneration, поддержкой чата и изображений. В репозитории указаны формат safetensors и лицензия Apache-2.0. Модель предназначена для диалогов, ответов на вопросы, генерации кода и работы с изображениями. README описывает изменение поведения отказов с помощью удаления направлений отказа из весов и сообщает о результатах внутренних тестов на MMLU и задачах генерации кода. Метаданные перечисляют поддержку многих языков, включая русский, английский, китайский, вьетнамский и японский. README рекомендует температуру 0 и repetition_penalty 1.15 для обычной генерации; при агентном использовании советует температуру 0.1–0.3 и короткие ответы на ход. По данным README, в сравнении с исходной моделью V3 показывает снижение MMLU на 2,1 процентного пункта, а при генерации возможны повторы без настройки repetition_penalty. Модель описана как намеренно менее склонная к отказам на ограниченные запросы, поэтому её ответы требуют самостоятельной проверки.

Карточка модели a-ibrahim-pwc/Qwen3-Next-80B-A3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-Next-80B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Next-80B-A3B-Instruct — языковая модель от команды Qwen, предназначенная для диалогов, генерации текста и сценариев с вызовом инструментов. Это причинная модель семейства Qwen3-Next с разреженной архитектурой смеси экспертов (MoE), гибридной обработкой контекста через Gated DeltaNet и Gated Attention и поддержкой ускорения вывода с помощью Multi-Token Prediction. В модели 80 млрд параметров, из которых активируются около 3 млрд на токен; при этом метаданные Hugging Face указывают размер 2,3 млрд параметров. Модель рассчитана на инструкции в обычном, нетщательном режиме и поддерживает контекст до 262 144 токенов; в README описано расширение контекста примерно до миллиона токенов с YaRN. Подходит для длинных диалогов и документов, генерации ответов и агентных сценариев с инструментами. Карточка сообщает о результатах на ряде бенчмарков, но не приводит полный набор таблиц в предоставленном тексте. Лицензия Apache-2.0.

Qwen3-VL-12B-Instruct-Brainstorm20x-NEO-MAX-GGUF — мультимодальная instruct-модель, разработанная DavidAU на базе Qwen3-VL-Instruct с адаптером Brainstorm 20x. Модель распространяется в формате GGUF с квантованием NEO Imatrix и выходным тензором MAX с точностью 16 бит. Она предназначена для диалогов, генерации и анализа кода, решения многошаговых задач, работы с изображениями и их описания, а также творческих сценариев. Поддерживаются текстовые и визуальные входы; в карточке также заявлена обработка видео. Указанный язык — английский. После добавления адаптера размер модели увеличен с 8B до 12B; заявлены 55 слоёв и 608 тензоров. Максимальный контекст составляет 256k токенов. Для полноценной мультимодальной работы требуется отдельный файл mmproj в формате GGUF, совместимый с основной квантованной моделью, а оба файла должны находиться в одной папке. Поддерживаются Jinja или CHATML-шаблон; модель проверялась в LM Studio и Koldboldcpp. Сильными сторонами заявлены улучшение генерации текста и описаний изображений за счёт Brainstorm 20x, хорошие результаты на ряде задач логического и commonsense-рассуждения, а также пригодность для сложного программирования и пошагового уточнения решений. Ограничением является склонность к зацикливанию; README рекомендует повышать temperature и использовать repetition или presence penalty. Для сложных задач предпочтительны варианты Q6 или Q8, однако конкретные требования к памяти и производительности не указаны. Лицензия — Apache-2.0.

Salience-1.5-Pro — мультимодальная модель класса vision-language, разработанная vectionlabs и представленная в GGUF-квантизациях автором bartowski. Она предназначена для работы с текстом и изображениями, задач рассуждения, программирования, software engineering, агентских сценариев и использования инструментов. В карточке также заявлены архитектура mixture-of-experts (MoE), поддержка длинного контекста и язык English; точный размер исходной модели и максимальная длина контекста не указаны. Модель содержит MTP-слои (Multi-Token Prediction), которые могут использоваться в llama.cpp для self-speculative decoding и ускорения генерации с параметром --spec-type draft-mtp. Доступны варианты от BF16 размером 71,07 ГБ до более компактных квантизаций Q8_0, Q6, Q5, Q4 и Q3; рекомендуемые варианты различаются балансом между качеством и требованиями к памяти. Ограничения включают зависимость от совместимого программного обеспечения и возможную необходимость обновления llama.cpp или других приложений при поддержке новой архитектуры. Распространение указано по лицензии Apache-2.0. Квантизации рассчитаны на запуск через llama.cpp и совместимые приложения, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI.

AI21 Jamba Reasoning 3B — компактная языковая модель для генерации текста и задач рассуждения, разработанная компанией AI21. Она предназначена для локального и периферийного развертывания, анализа документов и последовательностей, классификации, ответов на вопросы и других сценариев, где важны сочетание качества, скорости и работы с длинным контекстом. Модель содержит около 3 млрд параметров и построена на гибридной архитектуре Transformer–Mamba: 26 слоёв Mamba и 2 слоя внимания. Используется 20 голов внимания с MQA, словарь включает 64 тысячи токенов, а максимальная длина контекста заявлена на уровне 256 тысяч токенов. Поддерживаются английский, испанский, французский, португальский, итальянский, нидерландский, немецкий, арабский и иврит. Доступны GGUF-квантизации, включая вариант Q4_K_M размером около 1,93 ГБ, что упрощает запуск на ноутбуках, GPU и мобильных устройствах через llama.cpp, LM Studio или Ollama. К сильным сторонам относятся высокая эффективность обработки последовательностей, сниженные требования к памяти, большой контекст и заявленные конкурентные результаты на ряде интеллектуальных бенчмарков. Ограничения включают компактный размер модели, который может уступать более крупным системам в сложных задачах, а также возможное снижение качества при использовании сильной квантизации. Модель распространяется по лицензии Apache 2.0; в карточке также указано название лицензии Jamba Open Model License и приведена отдельная ссылка на её текст.

Cohere и Cohere Labs разработали Command-R — авторегрессионную языковую модель на основе оптимизированного Transformer с 35 млрд параметров. После предварительного обучения модель прошла дообучение с учителем и обучение на предпочтениях. Это выпуск с открытыми весами, предназначенный для генерации текста, рассуждений, суммаризации и ответов на вопросы; модель поддерживает чат и работу с внешними инструментами по специальному шаблону запросов. Command-R принимает и генерирует текст, поддерживает контекст до 128 тыс. токенов и оптимизирована для английского, французского, испанского, итальянского, немецкого, бразильского португальского, японского, корейского, китайского и арабского языков. Среди её ключевых возможностей — генерация ответов с опорой на предоставленные фрагменты документов и цитированием источников для сценариев RAG. Для работы с grounded generation и вызовом инструментов рекомендуется соблюдать шаблоны запросов из документации: отклонение от них может снизить качество. Режим быстрых цитат обменивает часть точности на меньшее число генерируемых токенов. Лицензия CC-BY-NC-4.0 требует некоммерческого использования и соблюдения политики допустимого использования Cohere Labs.

systalyze/gemma-4-26B-A4B-it-ExpertsINT4-FP8 — это оптимизированная для инференса смешанно-точная квантованная версия мультимодальной модели google/gemma-4-26B-A4B-it, разработанной Google DeepMind. Квантование и выпуск модели выполнены Systalyze. Архитектура Gemma4ForConditionalGeneration принимает текст и изображения и генерирует текст; модель предназначена для мультимодального чата, следования инструкциям, рассуждений и работы с инструментами. Базовая модель представляет собой MoE-архитектуру с 30 слоями и 128 экспертами. Веса MoE-экспертов квантованы в INT4 методом GPTQ с размером группы 64, а остальные линейные слои Transformer используют динамическое FP8-квантование с активациями FP8 на уровне токенов. Router, эмбеддинги, lm_head и vision tower сохраняются без квантования. Чекпойнт занимает около 16 ГБ против 49 ГБ у BF16-версии, то есть примерно в 3,1 раза меньше, и загружается напрямую в vLLM через формат compressed-tensors. Сильная сторона модели — существенное снижение требований к памяти и высокая производительность при низкой и средней конкурентности: в приведённых тестах прирост относительно FP8 достигал 54,4% при concurrency 8. При высокой конкурентности 16–32 запросов обычная FP8-версия производительнее, поэтому выбор зависит от профиля нагрузки. Качество в целом близко к базовой модели, однако на отдельных задачах, включая GPQA Diamond, MMLU-Pro, HumanEval и DROP, наблюдается снижение результатов. Веса модели распространяются по лицензии Apache-2.0.

Inkling-Small — мультимодальная модель общего назначения, опубликованная Unsloth как дообученная версия thinkingmachines/Inkling-Small. Она принимает текст, изображения и аудио, а ответы формирует текстом; предназначена для диалогов, следования инструкциям, разработки чат-ботов, помощников по программированию, систем RAG и приложений с агентами и вызовом инструментов. Модель построена на 42-слойном авторегрессионном трансформере с разреженной MoE-архитектурой: всего 276 млрд параметров, из которых активно 12 млрд; для каждого токена выбираются 6 из 256 экспертов и задействуются 2 общих эксперта. Изображения обрабатываются иерархическим patch-энкодером, аудио — через дискретные токены. Поддерживаются BF16 и NVFP4; для изображений рекомендуются размеры сторон от 40 до 4096 пикселей, для аудио — WAV с частотой 16 кГц и длительностью менее двух минут. Основной язык — английский, также заявлена общая многоязычная поддержка. Лицензия — Apache-2.0. Модель может галлюцинировать, неточно следовать инструкциям и хуже работать в длинных многошаговых диалогах; качество может различаться между языками и областями. Для медицинских, юридических и других критически важных решений необходимы проверка результатов и человеческий контроль. README рекомендует дополнительную фильтрацию и мониторинг при развертывании, поскольку модель иногда поддается косвенно сформулированным вредоносным запросам.

RippaSats/MiniMax-M3 — мультимодальная модель семейства MiniMax M3, представленная в формате safetensors и рассчитанная на работу с текстом и изображениями. В README заявлены около 428 млрд параметров, примерно 23 млрд активируемых параметров и контекст до 1 млн токенов. Архитектура использует разреженное внимание MiniMax Sparse Attention (MSA), предназначенное для снижения вычислительных затрат и потребления памяти при длинном контексте; авторы также заявляют ускорение обработки длинного контекста по сравнению с M2. Модель предназначена для диалогов с изображениями, задач программирования и длительных агентных сценариев. README также описывает обучение на смеси модальностей с самого начала и заявляет поддержку видео, однако метаданные модели подтверждают только задачу image-text-to-text и возможности чата и зрения. README рекомендует использовать MiniMax Agent или MiniMax API. Репозиторий указывает лицензию other, поэтому конкретные условия использования следует проверять в приложенных лицензионных материалах.

CIRU DualView Ornith 1.0 35B — мультимодальная модель для диалогов, рассуждений, работы с инструментами, программирования и анализа изображений. Она основана на объединении Ornith-1.0-35B и Qwen3.6-35B-A3B; архитектура включает 256 экспертов, из которых активны 8. Модель поставляется в формате GGUF с квантованием FPX7 и отдельными участками Q8, а также с проектором изображений и дополнительным слоем MTP. Заявленная длина контекста — 262 144 токена. DualView использует компактное представление весов для генерации и точное представление INT8 для обработки входного контекста. Модель предназначена для локального запуска на системах AMD с унифицированной памятью и ROCm. Для загрузки требуется совместимая сборка ROCmFPX; стандартный llama.cpp не поддерживает этот формат. Проверки производительности проведены для Linux ROCm на Strix Halo, а совместный режим vision и MTP ещё проходит валидацию качества изображений и повторяемости. В метаданных указана лицензия other; конкретные условия следует сверить с карточкой модели и её лицензией.

unsloth/Qwen3.5-2B-GGUF — GGUF-версия модели Qwen3.5-2B, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для мультимодального понимания текста и изображений, рассуждений, программирования, агентских сценариев, прототипирования, исследовательских задач и дообучения под конкретные задачи. Модель совместима с экосистемой Hugging Face Transformers, vLLM, SGLang и KTransformers; для локального запуска и дообучения Unsloth предоставляет отдельные руководства. Модель содержит около 2 млрд параметров, 24 слоя и скрытую размерность 2048. В архитектуре сочетаются Gated Delta Networks и Gated Attention; заявлена гибридная структура с эффективной обработкой последовательностей. Нативная длина контекста составляет 262 144 токена. Модель поддерживает мультимодальные входы и заявленную языковую и диалектную представленность для 201 языкового варианта. GGUF-квантизация ориентирована на эффективный локальный запуск при ограниченных вычислительных ресурсах, однако конкретные характеристики скорости, памяти и точности зависят от варианта квантизации и используемого рантайма. К сильным сторонам относятся сочетание языкового и визуального понимания, длинный контекст, компактный размер и возможность локального применения. Ограничением является меньшая параметрическая ёмкость по сравнению с крупными моделями, поэтому модель может уступать им в сложных задачах и не предназначена как универсальная замена наиболее мощным системам. README также указывает, что модель ориентирована прежде всего на прототипирование, специализированное дообучение, исследования и разработку. Лицензия — Apache 2.0.

unsloth/Qwen3.5-2B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-2B, основанной на Qwen/Qwen3.5-2B и подготовленной Unsloth. Модель предназначена для локального запуска, прототипирования, исследовательских задач, специализированного дообучения, программирования, агентских сценариев, вызова инструментов и работы с текстом и изображениями. Модель представляет собой авторегрессионную языковую модель с vision-энкодером и поддерживает контекст до 262 144 токенов. Она содержит около 2 млрд параметров, 24 слоя, скрытую размерность 2048 и гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Поддерживается 201 язык и диалект. Вариант включает обучение для multi-step speculative decoding (MTP), заявленное ускорение генерации составляет примерно 1,5–2 раза при совместимом запуске через llama.cpp. К сильным сторонам относятся мультимодальность, большой контекст, компактный размер, возможность локального запуска и поддержка ускоренного декодирования, дообучения и улучшенного tool calling. Ограничения связаны с необходимостью совместимого ПО и сборки llama.cpp с поддержкой MTP; при таком режиме не поддерживаются параллельность запросов через -np > 1 и параметр --mmproj. В README также указано, что из-за масштаба модели она ориентирована прежде всего на прототипирование, специализированное дообучение, исследования и разработку. Распространение осуществляется по лицензии Apache 2.0.

Richard Young выпустил эту версию Qwen3.6-27B, обработанную методом abliteration с помощью Heretic v1.4.0, чтобы снизить частоту отказов. Это плотная модель Qwen с 27 млрд параметров, причинной языковой моделью и визуальным энкодером; карточка описывает её как мультимодальную разговорную модель с поддержкой зрения. Веса опубликованы в формате Safetensors и совместимы с Transformers и указанными в README движками инференса. Модель предназначена для диалога, анализа изображений, программирования и агентных сценариев с использованием инструментов. Она поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. В сравнении с исходной Qwen3.6-27B в README указаны 38 отказов из 100 против 91 из 100 и KL-дивергенция 0,0254. Это может означать более редкие отказы, но не гарантирует точность или безопасность ответов. Лицензия — Apache-2.0.

Qwen3.8-27B-GGUF — это мультимодальная модель для работы с текстом и изображениями, основанная на Qwen/Qwen3.8-27B. Репозиторий подготовлен Feiteng при спонсорской поддержке Draw Things. Модель распространяется в формате GGUF и предназначена прежде всего для локального запуска через llama.cpp, а также совместима с экосистемой Transformers. Заявленные языки включают английский, китайский, испанский, русский и японский. Основная особенность репозитория — квантизированные варианты языковой модели с эффективностью ниже 4 бит на вес: DT-bpw2.96-IQ3_XXS размером 9,71 GiB и DT-bpw2.48-IQ2_S размером 8,20 GiB. Доступны мультимодальные сценарии благодаря отдельным квантизированным vision encoder-файлам; для Q4_K его размер составляет 314,46 MiB, а сходство выходов с исходной FP32-моделью — 0,99537 по косинусной метрике. Модель поддерживает генерацию текста, рассуждения, программирование, использование инструментов и function calling. Для DT-bpw2.96-IQ3_XXS также заявлена поддержка MTP и предварительная доля принятия черновых токенов около 60% при максимальной длине черновика 3. По приведённым оценкам обе DT-версии набрали 100% на AIME 2026; DT-bpw2.96-IQ3_XXS показала 86,36% на GPQA Diamond, 93,90% на IFEval и 68,06% на BFCL v4, а DT-bpw2.48-IQ2_S — 77,27%, 93,16% и 69,56% соответственно. Квантизация существенно уменьшает требования к хранению, но может снижать точность по сравнению с BF16-версией, особенно на более агрессивных уровнях. Для vision encoder доступны варианты BF16, FP16, Q8_0, Q6_K, Q5_K и Q4_K; их показатели зависят от формата. Лицензия модели — Apache-2.0.

Flan-UL2 — текстовая encoder-decoder модель Google на архитектуре T5 с 7,6 млрд параметров. Она основана на контрольной точке UL2 и дообучена на коллекции Flan с формулировками задач в виде инструкций. Репозиторий содержит веса PyTorch, лицензия — Apache 2.0. Модель предназначена для выполнения разнообразных текстовых задач по инструкциям, включая генерацию и продолжение текста, ответы на вопросы, суммаризацию, рассуждения и классификацию. Она поддерживает обучение на нескольких примерах в контексте и не требует специальных mode tokens UL2. README приводит контекстное поле 2048 токенов; метаданные указывают native context в 512 токенов. Flan-UL2 сочетает предварительное обучение UL2 с инструкционной настройкой Flan и рассчитана на широкий круг задач обработки естественного языка. Для запуска на GPU авторы рекомендуют загрузку в 8-битном режиме для снижения потребления памяти. Это крупная модель, поэтому для инференса нужны значительные вычислительные ресурсы; опубликованные оценки не гарантируют качество на каждом отдельном сценарии.

German-RAG-NEMO-12B-SFT-HESSIAN-AI — авторегрессионная языковая модель на архитектуре Transformer семейства Mistral, разработанная командой Avemio AI при поддержке Hessian AI. Модель содержит 12,1 млрд параметров и дообучена методом SFT на примерах для генерации с дополнением извлечёнными данными (RAG); в метаданных базовой моделью указана avemio/German-RAG-NEMO-12B-CPT-HESSIAN-AI. Модель предназначена для немецкоязычных бизнес-сценариев с RAG: ответов на вопросы по предоставленному контексту, извлечения релевантной информации и её суммаризации. Также карточка описывает примеры для рассуждений и вызова функций. Поддерживаются немецкий и английский языки; заявленная длина контекста — до 1 024 000 токенов. Модель доступна в формате safetensors по лицензии Apache 2.0. Ответы и факты могут быть неверными, поэтому их следует проверять. В README также отмечены риски предвзятости и генерации вредного или чувствительного контента без защитной фильтрации.

duyntnet/granite-3.0-2b-instruct-imatrix-GGUF — GGUF-квантизации модели Granite-3.0-2B-Instruct, разработанной командой Granite компании IBM. Модель дообучена на базе Granite-3.0-2B-Base с использованием открытых наборов данных для обучения инструкциям, синтетических данных, supervised fine-tuning, обучения с подкреплением для выравнивания и объединения моделей. Она содержит около 2 миллиардов параметров и предназначена для генерации текста по инструкциям. Модель подходит для создания ассистентов и бизнес-приложений, суммаризации, классификации и извлечения текста, ответов на вопросы, Retrieval Augmented Generation (RAG), задач, связанных с кодом, function calling и многоязычного диалога. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые интерфейсы, включая KoboldCPP, Ollama, text-generation-webui, GPT4All и Jan. К сильным сторонам относятся компактный размер, широкий набор прикладных сценариев, структурированный чат-формат и поддержка 12 языков. README не содержит сведений о длине контекста, конкретных вариантах квантизации, требованиях к оборудованию или результатах бенчмарков, поэтому производительность и ограничения в этих аспектах оценить нельзя. Для исходной модели указана лицензия Apache 2.0; для данного репозитория в метаданных отмечена лицензия other, без дополнительных пояснений.

unsloth/inkling-NVFP4 — вариант мультимодальной модели Inkling от Thinking Machines, опубликованный Unsloth. Модель представляет собой авторегрессионный трансформер с 66 слоями и разреженной архитектурой Mixture-of-Experts: всего 975 млрд параметров, из которых активно 41 млрд. Она принимает текст, изображения и аудио, обрабатывает их совместно и генерирует текст. В README также описана поддержка видео у семейства Inkling; для этой версии метаданные каталога подтверждают задачу image-text-to-text и возможность работы с изображениями. Модель предназначена для диалогов, следования инструкциям, анализа изображений, приложений с инструментами и агентными сценариями, помощников по программированию и систем RAG. Основной язык — английский; заявлены общие многоязычные возможности. Версия NVFP4 обозначена в названии, а в README для семейства перечислены NVFP4 и BF16. Лицензия — Apache-2.0. Модель может галлюцинировать, неточно следовать инструкциям и хуже работать в длинных многоходовых диалогах; качество может различаться по языкам и предметным областям. Для потенциально вредных запросов возможны обходы защит через ролевые и косвенные формулировки, поэтому для пользовательских продуктов нужны проверки и дополнительная модерация.

winglian опубликовал текстовую генеративную модель на архитектуре Meta Llama 3 с 7,5 млрд параметров. Модель использует плотный авторегрессионный Transformer с Grouped-Query Attention и распространяется в формате safetensors. Метаданные указывают на контекст до 131 072 токенов; название репозитория также содержит «64k» и «PoSE».