I.4Обработка документов и форм

unsloth/inkling-GGUF — это GGUF-версия открытой мультимодальной модели Inkling, разработанной Thinking Machines и опубликованной в формате GGUF командой Unsloth. Модель предназначена для локального запуска, исследований, дообучения и интеграции в сторонние продукты. Inkling принимает текст, изображения и аудио, а генерирует текст. Она рассчитана на разработку AI-приложений, включая агентные и инструментальные системы, ассистентов программиста, чат-ботов, retrieval-augmented generation, следование инструкциям и универсальное мультимодальное общение. Поддерживаются английский язык, другие языки в многоязычном режиме, а также несколько языков программирования. Архитектура представляет собой авторегрессионный decoder-only Transformer из 66 слоёв с разреженной Mixture-of-Experts: всего 975B параметров, из которых активно 41B; для каждого токена выбираются 6 из 256 экспертов и используются 2 общих эксперта. Внимание сочетает локальные и глобальные слои. Изображения и видео обрабатываются иерархическим patch-энкодером, аудио — дискретными токенами, после чего модальности проецируются в общее скрытое пространство. Поддерживаются BF16 и NVFP4. Для оптимальной работы рекомендуются изображения размером от 40 до 4096 пикселей по каждой стороне и WAV-аудио с частотой 16 кГц длительностью менее 20 минут. Сильные стороны модели — сочетание текстовых, визуальных и аудиовходов, масштабная MoE-архитектура и пригодность для локального развертывания через совместимые инструменты. Ограничения включают исключительно текстовый вывод, очень большой общий размер и высокие требования к вычислительным ресурсам; точное окно контекста в README не указано. Модель распространяется по лицензии Apache 2.0; также указано наличие отдельной политики допустимого использования.

Bineric Lynx Instruct 30B — языковая модель компании Bineric из Осло, дообученная на основе Qwen/Qwen3-30B-A3B-Instruct-2507 для европейских языков с особым упором на норвежский, шведский, датский и исландский. Она предназначена для диалогов, генерации текстов и выполнения инструкций; в карточке указаны результаты оценки на задачах распознавания именованных сущностей, анализа тональности, чтения с пониманием и суммаризации на северных языках. Модель использует архитектуру Qwen3 MoE с 30 млрд параметров суммарно и примерно 3 млрд активных параметров на токен; контекстное окно составляет 262 144 токена. Репозиторий содержит веса Safetensors, библиотека запуска — Transformers. Карточка заявляет поддержку более 100 языков, а метаданные подтверждают английский, норвежский, шведский и датский; языки с основными оценками — также исландский. Доступны варианты в bf16, 8-битном и 4-битном представлении, причём квантование может снижать качество. Сильные стороны по приведённым оценкам — распознавание сущностей и понимание прочитанного на северных языках, а также датские тесты на знания. Слабее модель справляется с грамматическими суждениями, исландским здравым смыслом и норвежскими идиомами. Лицензия — Apache-2.0; модель доступна для самостоятельного размещения и интеграции через API.

Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-MLX-mxfp4 — это мультимодальная языковая модель на базе Qwen3.5-9B, разработанная HauhauCS и преобразованная TheCluster в формат MLX. Модель предназначена для генерации и анализа текста, работы с изображениями и видео, а также для сценариев, где требуется модель без встроенных отказов на запросы. Модель содержит 9 миллиардов плотных параметров и 32 слоя. Она использует гибридную архитектуру с линейным вниманием Gated DeltaNet и полным softmax-вниманием в соотношении 3:1, поддерживает Multi-Token Prediction и контекст длиной 262 тысячи токенов с возможностью расширения до 1 миллиона через YaRN. Заявлены нативная мультимодальность для текста, изображений и видео, словарь на 248 тысяч токенов и поддержка 201 языка, включая английский, китайский и русский. Ключевая особенность — агрессивное удаление отказов: согласно карточке, модель не отказывается отвечать на запросы, сохраняя заявленные возможности исходной модели. При этом она может иногда добавлять краткие дисклеймеры в конце ответа. Модель квантизована в формате mxfp4 с эффективностью 4,821 бит на вес, поэтому её характеристики следует оценивать с учётом квантизации. Для использования доступны отдельные рекомендуемые параметры генерации для режимов с рассуждением и без него. Модель распространяется по лицензии Apache 2.0.

JANGQ-AI подготовила JANG_4S — квантованный 4-битный вариант Qwen/Qwen3.8-Flash-Next для запуска на компьютерах Apple Silicon через MLX и vMLX. В основе лежит экспериментальная архитектура Qwen4: разреженная MoE-модель на 125 млрд параметров с 6 млрд активных, большой хешированной n-граммной таблицей эмбеддингов, гибридными слоями Gated DeltaNet и Qwen Sparse Attention, а также башнями для обработки изображений и видео. В этой сборке сохранена голова многотокенного предсказания; таблица эмбеддингов может обслуживаться с SSD при поддержке рантайма. Модель предназначена для диалога, рассуждений, анализа изображений и видео и агентных сценариев с вызовом инструментов. Она принимает текст, изображения и видео, а контекст составляет 262 144 токена с возможностью расширения до 1 млн через YaRN. По заявлению карточки, квантование оценивали сравнением с bf16 на 5 931 отложенной позиции; качество выражено метриками KL и совпадения предсказаний. Для работы требуются значительные ресурсы: файлы занимают около 71,8 ГиБ, заявленный резидентный объём при обслуживании таблицы с SSD — около 53 ГиБ. Вызовы инструментов используют диалект Qwen XML, поэтому рантайм должен поддерживать соответствующий парсер; карточка предупреждает о несовместимости с Hermes-only парсерами. Лицензия указана как other, её конкретные условия в предоставленных данных не раскрыты.

Dirk-Qwen3.8-27B-MLX-oQ4e — это квантизированная версия базовой модели Qwen3.8-27B от Qwen, подготовленная peculiar-ragdoll для запуска на Apple Silicon через MLX и совместимые среды, включая oMLX и mlx-vlm. Модель предназначена для текстовых и визуальных запросов, генерации ответов, анализа изображений, агентного программирования и других сценариев, где важны скорость, компактность и экономное использование токенов. Модель представляет собой плотную vision-language модель с 27 млрд параметров, поддерживает английский и китайский языки, сохраняет vision tower и MTP head для multi-token-prediction и speculative decoding. Используется смешанная imatrix-калиброванная квантизация oQ4e примерно 4,9 bpw; размер модели составляет около 15,8 ГБ, что позволяет запускать её на Mac с 24 ГБ памяти с запасом под контекст. Заявлено окно контекста до 262 144 токенов при использовании соответствующей настройки runtime. В комплект включён Sharp chat template v22.5.0 с компактным стилем ответов и управляемым уровнем reasoning_effort от low до xhigh; по умолчанию используется medium. Сильные стороны модели — поддержка изображений без отдельного projector-файла, возможность ускорения генерации с помощью MTP, компактные ответы и адаптация под локальный запуск на Apple Silicon. Ограничения связаны с потерями точности, характерными для квантизации, зависимостью от совместимого vision loader и runtime, а также с тем, что заявленные собственные benchmark-результаты ещё находятся в процессе измерения. Для корректной работы рекомендуется mlx-vlm версии 0.6.3 или новее; mlx-lm использовать не следует. Модель распространяется по лицензии Apache-2.0.

onnx-community/granite-4.0-350m-ONNX-web — веб-ориентированная ONNX-версия Granite-4.0-350M, разработанная командой Granite компании IBM. Это компактная instruct-модель, дообученная на открытых наборах инструкций с разрешительными лицензиями и внутренних синтетических данных с использованием supervised fine-tuning, reinforcement learning и model merging. Модель предназначена для запуска через Transformers.js, включая браузерные и on-device сценарии, а также для исследовательского применения и дообучения под специализированные области без значительных вычислительных ресурсов. Модель поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation, задачи, связанные с кодом, function calling, многоязычный диалог и Fill-In-the-Middle-дополнение кода. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; дополнительные языки могут быть добавлены посредством дообучения. Указанный размер — 350 млн параметров; модель является текстовой, а размер контекста в README не указан. К сильным сторонам относятся малый размер, пригодность для локального и веб-запуска, следование инструкциям, многоязычность и широкий набор прикладных сценариев. Ограничениями являются меньшая емкость по сравнению с более крупными моделями и отсутствие в предоставленных данных подробностей о контекстном окне, точности на конкретных задачах и безопасности применения. Модель распространяется по лицензии Apache 2.0.

bunnycore/Llama-3.1-8B-TitanFusion — объединённая языковая модель семейства Llama, созданная с помощью mergekit методом DARE TIES. Базой слияния служила bunnycore/LLama-3.1-8B-Matrix; также в объединение вошли akjindal53244/Llama-3.1-Storm-8B, bunnycore/HyperLlama-3.1-8B, DreadPoor/Heart_Stolen-8B-Model_Stock и refuelai/Llama-3-Refueled. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors. Она предназначена для генерации текста; заявленная длина контекста — 131072 токена. В составе объединения есть англоязычная инструктивная модель Refuel AI, предназначенная для генерации текста, классификации, извлечения атрибутов и разрешения сущностей. Карточка не сообщает о специализированных областях применения или ограничениях качества. Лицензия в предоставленных данных не указана.

Это GGUF-квантизированная версия Mistral-Small-3.1-24B-Instruct-2503, разработанного Mistral AI и подготовленного пользователем bartowski. Модель предназначена для диалоговых задач и сценариев, где требуется обработка текста и изображений, и может запускаться через llama.cpp, LM Studio и другие совместимые проекты. Модель содержит 24 млрд параметров и поддерживает мультимодальный режим с входными данными в виде текста и изображений; для работы с изображениями требуется отдельный файл mmproj. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Доступны варианты от BF16 до различных форматов квантования GGUF размером примерно от 12,76 до 47,15 ГБ. В README размер контекста не указан. Основное преимущество — сочетание высокой точности исходной модели с выбором квантизаций, позволяющих адаптировать требования к памяти и качеству; варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M рекомендован как типичный компромисс. Ограничения включают значительный объём файлов, зависимость мультимодальной работы от mmproj и возможное снижение качества у более компактных вариантов. Лицензия — Apache-2.0.

Capicua25x/Qwen3.8-27B-MXFP4-Quark-RDNA4 — квантованная версия мультимодальной модели Qwen3.8-27B, подготовленная Capicua25x на базе модели Qwen/Qwen3.8-27B. Модель предназначена для задач image-text-to-text, включая обработку изображений и текста, диалоговые сценарии, рассуждения и агентские приложения с вызовами инструментов. Для работы ориентирована на видеокарты AMD архитектуры RDNA4, в частности Radeon AI PRO R9700 и RX 9070 XT, с использованием ROCm, AMD Quark и специализированной сборки vLLM. Квантование MXFP4 применяется к проекциям MLP и экспертным проекциям: упаковано около 22,7 млрд параметров, тогда как attention, нормализации, эмбеддинги, lm_head, маршрутизаторы и весь визуальный тракт сохраняются в формате bf16. Общий объём логических параметров составляет примерно 27,8 млрд, архитектура базовой модели не изменена. Заявлена поддержка контекста до 262 144 токенов, speculative decoding и параллельной обработки запросов. Режим рассуждений включается через параметр chat_template_kwargs с enable_thinking; параметр reasoning_effort для этой конфигурации не используется. Сильные стороны модели — существенное снижение требований к памяти по сравнению с полноразмерной моделью, сохранение точности критически важных компонентов в bf16, поддержка мультимодальности и оптимизация для concurrent serving на RDNA4. Ограничения связаны с узкой аппаратно-программной специализацией: для штатного запуска требуются совместимые AMD GPU, ROCm и рекомендованный порт vLLM; приведённые показатели производительности зависят от конфигурации, числа пользователей и режима декодирования. Языки и точные характеристики базовой модели в карточке не указаны. Модель распространяется по лицензии Apache-2.0.

JANGQ-AI/Qwen3.8-Flash-Next-JANG_4M — квантованная версия Qwen/Qwen3.8-Flash-Next, подготовленная Jinho Jang для Apple Silicon и MLX. Это мультимодальная модель с архитектурой Qwen4-architecture preview: 125 млрд параметров, из которых активно около 6 млрд, 512 экспертов, гибридными слоями Gated DeltaNet и Qwen Sparse Attention, а также хешированной n-граммной таблицей эмбеддингов. В комплект входят текстовые, визуальные и видео-компоненты; заявлен контекст 262 144 токена с расширением до 1 млн через YaRN. Модель предназначена для диалогов, рассуждений, анализа изображений и видео, а также агентных сценариев с вызовом инструментов. В README указана поддержка нативной multi-token prediction и измерения качества квантования относительно bf16. Для работы предусмотрена библиотека MLX; авторы рекомендуют запуск через vMLX и Apple Silicon, а таблица n-грамм может обслуживаться с SSD на поддерживаемом runtime. Вызовы инструментов используют диалект Qwen-XML, поэтому runtime должен поддерживать соответствующий парсер; Hermes-only парсеры могут некорректно обрабатывать такие вызовы. Доступ к vMLX указан как ограниченный одобрением. Лицензия обозначена как other, поэтому конкретные условия следует проверять в репозитории модели и базовой модели.

Dolphin-Mistral-24B-Venice-Edition-1.2-GGUF — это набор квантованных GGUF-версий модели Dolphin-Mistral-24B-Venice-Edition, разработанный пользователем douganger на основе релиза 1.2 от dphn. Модель предназначена для запуска локально с использованием совместимых инструментов, включая llama.cpp, и ориентирована на мультимодальные сценарии с обработкой текста и изображений, а также на работу с инструментами. Архитектурно это модель семейства Mistral с размером около 24 млрд параметров; доступны варианты квантования от Q3_K_M до Q8_0 размером примерно от 10,69 до 23,33 ГБ. Для версии 1.2 заявлены поддержка vision, контекст длиной до 131 тыс. токенов и улучшенный tool calling. Vision-адаптеры и importance matrix включены в сборку. README не указывает полный перечень поддерживаемых языков. Сильные стороны модели — широкий контекст, мультимодальность, улучшенная работа с инструментами и несколько вариантов квантования с разным компромиссом между размером и качеством; Q4_K_M обозначен как хороший вариант по умолчанию, а Q8_0 — практически эквивалентный исходным весам BF16. Ограничения связаны с требованиями к памяти, зависящими от выбранного квантования, а также с тем, что фактическая поддержка vision и tool calling зависит от совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

RukaRat/Qwen3.8-27B-INT8-W8A8-imatrix-MTP — квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и подготовленной пользователем RukaRat. Модель предназначена для генерации и анализа текста, работы с изображениями, вызова инструментов и запуска локальных inference-сервисов на видеокартах Ampere, включая конфигурации с двумя RTX 3090 по 24 ГБ. Указана интеграция с Transformers, SGLang и vLLM, а также поддержка tool calls в формате qwen3_coder и reasoning-парсера qwen3. Весовая часть представлена в формате compressed-tensors с квантизацией INT8 W8A8; общий размер составляет около 29,1 GiB, при этом часть параметров сохранена в BF16. Архитектура включает 64 слоя, из которых 48 используют Gated DeltaNet linear attention и 16 — full attention. Сохранены vision tower и MTP-модуль, благодаря чему поддерживаются мультимодальный ввод и speculative decoding. Нативное окно контекста заявлено до 262 144 токенов, а в описанной конфигурации на двух RTX 3090 протестирован контекст до 245 760 токенов. Языки модели в README не указаны. К сильным сторонам относятся сохранённая обработка изображений, MTP для ускорения декодирования, совместимость с видеокартами Ampere и сравнительно экономичное INT8-представление. Ограничения связаны с высокой потребностью в памяти: каждая параллельная последовательность требует значительный фиксированный recurrent state, поэтому число одновременных запросов приходится ограничивать. Производительность и доступный контекст зависят от настроек SGLang или vLLM, а сведения о работе vLLM отмечены как устаревшие. Модель распространяется по лицензии Apache-2.0.

dealignai/Qwen3.8-27B-JANG_6D-CRACK — квантованная версия модели Qwen/Qwen3.8-27B, разработанная dealignai для запуска на Apple Silicon через MLX. Это плотная гибридная vision-language модель с 27 млрд параметров и 64 слоями, сочетающая линейное внимание GatedDeltaNet с полным gated attention. Модель поддерживает текст, изображения и видео, работает на английском и китайском языках, умеет рассуждать, вызывать инструменты через XML-схему и использовать встроенную голову Multi-Token-Prediction для speculative decoding. Модель подвергнута CRACK-обработке — удалению поведения, связанного с отказами в ответах, на уровне весов. Поэтому она ориентирована на исследовательские и прикладные сценарии, где требуется максимальная готовность выполнять запросы в различных категориях, включая потенциально опасные. Рассуждение включено по умолчанию с уровнем xhigh; доступны уровни xhigh, medium и low, а также полное отключение рассуждений. Для данной JANG_6D-квантизации заявлен размер около 24 ГБ и примерно 6-битное affine-кодирование с imatrix. В тестах README указаны 89,12% на MMLU и 100% соответствия на HarmBench-240 по критерию выполнения запросов. Сильными сторонами являются сохранение мультимодальности, видеоанализа, рассуждений, вызова инструментов и многоязычности при существенно меньшем размере, чем у полной модели. Ограничения включают требование совместимого MLX-окружения и значительного объёма памяти, а также отсутствие защитных отказов, что повышает риск генерации небезопасного или вредоносного содержания. Максимальный размер контекста в README не указан. Модель распространяется под лицензией Apache-2.0.

Qwen3.8-27B-NVFP4-RTX5090 — оптимизированная для видеокарт GeForce RTX 5090 версия модели Qwen/Qwen3.8-27B. Сборка опубликована в gittensor-model-hub и квантизована с помощью NVIDIA Model Optimizer в формате NVFP4. Модель предназначена для развёртывания через SparkInfer, SGLang и vLLM на архитектуре NVIDIA Blackwell; Hopper может загрузить файлы, но не поддерживает выполнение NVFP4. Модель поддерживает работу с текстом, изображениями и видео через OpenAI-совместимый API. Она рассчитана на контекст до 262 144 токенов и помещается на одной RTX 5090 с 32 ГБ памяти; размер чекпойнта составляет около 17,92 ГБ в двух шардах. В сборке квантизирован также lm_head, а неиспользуемая MTP head удалена. Для ускорения генерации может использоваться спекулятивное декодирование с drafter DSpark v2. Сильные стороны модели — большой контекст, мультимодальный ввод, низкие требования к памяти и высокая скорость инференса на RTX 5090, особенно в связке SparkInfer и DSpark v2. Ограничения включают зависимость от Blackwell для полноценного выполнения NVFP4, необходимость специализированных движков и отдельные ограничения текущего API SparkInfer: видео поддерживается фактически, но не всегда корректно отражается в поле input_modalities. Модель распространяется по лицензии Apache-2.0.

OsaurusAI подготовила JANG_1L — квантованный вариант Qwen/Qwen3.8-Flash-Next для запуска на компьютерах Apple Silicon через MLX. Это мультимодальная модель с архитектурой Qwen4-экспериментального семейства: в исходной системе заявлены 125 млрд параметров MoE, из которых активны 6 млрд, и таблица n-граммных эмбеддингов на 51 млрд параметров. В сборке JANG_1L присутствуют компоненты для обработки текста, изображений и видео; заявленный размер весов — около 59,8 GiB, а при обслуживании таблицы с SSD резидентное использование памяти составляет около 41 GiB. Модель предназначена для диалога, рассуждений, анализа изображений и видео, а также агентных сценариев с вызовом инструментов. Нативный контекст составляет 262 144 токена и может быть расширен до 1 млн с YaRN. В README приведены результаты сравнения квантования с bf16 на 5 931 позициях; сборка не включает голову multi-token prediction, а для вызова инструментов требуется совместимый с Qwen XML-парсер. Языковой тег карточки — английский. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой репозитория.

Это GGUF-квантизации модели gemma-3-27b-it-ultra-uncensored-heretic, созданной независимым разработчиком LLMfan46 на основе Google Gemma 3 27B Instruct от Google DeepMind. Модель модифицирована с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA), чтобы уменьшить склонность исходной модели к отказам и ограничениям при сохранении её исходных возможностей. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и анализа изображений. Это мультимодальная модель с текстовым и графическим вводом и текстовым выводом; заявлена поддержка более 140 языков. Контекстное окно составляет 128K токенов, максимальный объём вывода — 8192 токена. Для работы с изображениями требуется отдельный vision projector, совместимый с выбранной квантизацией. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S, что позволяет выбирать между качеством, размером и требованиями к памяти. По данным README, модифицированная версия показала 5 отказов из 100 против 98 из 100 у исходной модели, а KL divergence составила 0,0616; это указывает на значительно меньшее число отказов при относительно близком поведении к оригиналу. Модель совместима с llama.cpp, LM Studio, Ollama и другими инструментами, поддерживающими GGUF. Используется лицензия Gemma; применяются условия использования Google.

InternVL3-78B — разработанная OpenGVLab мультимодальная большая языковая модель семейства InternVL3 для диалога и задач на стыке зрения и языка. Она принимает текст, изображения и видео, а также поддерживает работу с несколькими изображениями в одном запросе. Архитектура следует схеме ViT-MLP-LLM: визуальный энкодер InternViT соединён через MLP-проектор с языковой моделью; для изображений используются динамическое разбиение на фрагменты 448×448 и кодирование визуальных позиций V2PE. Вариант содержит 78 млрд параметров. Модель предназначена для ответов на вопросы по изображениям и видео, визуального рассуждения, анализа диаграмм и промышленных изображений, понимания 3D-сцен, работы с графическими интерфейсами и использования инструментов. Она также выполняет текстовые задачи и поддерживает многоязычный диалог. Карточка сообщает об улучшенных мультимодальном восприятии и рассуждении относительно InternVL 2.5, но не приводит здесь конкретных численных оценок. Репозиторий использует Transformers и формат safetensors; для эксплуатации модели такого размера требуются значительные вычислительные ресурсы. Лицензия указана как other, поэтому перед использованием нужно проверить условия в репозитории модели.

LongAlign-13B-64k — языковая модель семейства LLaMA, опубликованная командой LongAlign. Она предназначена для генерации текста и выполнения инструкций в длинных контекстах. Проект описывает обучение на наборе LongAlign-10k из 10 000 инструкций длиной 8–64 тыс. токенов и оценивает следование инструкциям на запросах длиной 10–100 тыс. токенов. Модель содержит 12,9 млрд параметров, принимает текст и имеет заявленное контекстное окно 65 536 токенов. В метаданных указаны английский и китайский языки; репозиторий содержит веса PyTorch для Transformers. README объясняет подход проекта к выравниванию моделей для длинного контекста, но приведённый фрагмент не уточняет конкретную базовую модель и обучающие детали именно версии 13B-64k. Лицензия — Apache-2.0.

Nemotron-3.5-Lightning-Omni-30B-A3B-GGUF — мультимодальная версия NVIDIA Nemotron 3.5 Lightning, подготовленная engram-ae в формате GGUF для llama.cpp. Модель объединяет текстовую агентную основу NVIDIA Nemotron 3.5 Lightning 30B-A3B с 3B активных параметров, гибридной архитектурой Mamba-2, MoE и attention, а также контекстом до 1 млн токенов. Обучение для добавления модальностей не проводилось: использованы vision tower C-RADIO ViT-H и audio tower Parakeet FastConformer-XL из Nemotron-3-Nano-Omni, подключённые через единый мультимодальный проектор. Модель предназначена для работы с текстом, изображениями, аудио и видео, включая однопроходный анализ видео вместе с аудиодорожкой. Для видео применяются обработка кадров C-RADIO, временные патчи из двух кадров и прореживание токенов EVS. Доступны различные квантизации GGUF размером примерно от 18,7 до 35 ГБ; проектор занимает около 3 ГБ и используется со всеми вариантами. Поддерживаются сценарии локального запуска от Jetson до серверных систем и API-совместимый endpoint llama.cpp. Сильными сторонами являются широкий набор модальностей, большой контекст, агентная текстовая основа и возможность локального инференса. Видео для Nemotron требует специализированной ветки llama.cpp-omni; стандартная upstream-версия поддерживает текст, изображения и аудио, но не этот видеопуть. При совместном анализе видео и звука рекомендуется явно просить модель описать визуальную часть и транскрибировать речь, поскольку нейтральный запрос может привести к доминированию аудиоканала. Лицензия указана как openmdw-1.1.

QVikhr-3-8B-Instruction — русско-английская инструктивная языковая модель команды Vikhr, основанная на Qwen/Qwen3-8B и дообученная методом SFT на синтетическом датасете GrandMaster2. Это плотная трансформерная модель для генерации текста и диалоговых ответов; она также предоставляет интерфейс вызова инструментов. Модель содержит 7,6 млрд параметров и поддерживает контекст до 40 960 токенов. Модель предназначена для следования инструкциям, ответов с учётом контекста и анализа текста, с особым вниманием к русскому языку при поддержке английского. В карточке также приведены результаты оценки DOoM по математике и физике, однако они не гарантируют качество на других задачах. Репозиторий содержит веса в формате Safetensors; README также ссылается на отдельные квантованные варианты GGUF и MLX. Лицензия — Apache-2.0.

cyankiwi/Qwen3.5-2B-AWQ-4bit — 4-битная AWQ-квантизированная версия мультимодальной модели Qwen3.5-2B, основанной на Qwen/Qwen3.5-2B и разработанной командой Qwen. Модель предназначена для обработки текста и изображений, генерации ответов, визуального понимания, рассуждений, программирования и агентских сценариев. Формат совместим с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель содержит около 2 млрд параметров, использует архитектуру causal language model с vision encoder, гибрид Gated Delta Networks и разреженной Mixture-of-Experts, 24 слоя и контекст до 262 144 токенов. Заявлена поддержка 201 языка и диалекта. Квантизация AWQ до 4 бит снижает требования к памяти и может повысить эффективность инференса, однако возможны потери качества по сравнению с полноразмерными весами; точные характеристики квантизации и результаты бенчмарков именно этой сборки в README не приведены. Основные сценарии использования — прототипирование, исследовательские и разработческие задачи, а также предметно-ориентированное дообучение. Небольшой размер облегчает локальное и экономичное развертывание, но ограничивает максимальную глубину и надежность результатов по сравнению с более крупными моделями. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная модель, созданная HauhauCS на основе Qwen/Qwen3.6-35B-A3B. Это вариант с усиленным снятием ограничений на отказы: по заявлению автора, модель отвечает на запросы без отказов, сохраняя исходные наборы данных и возможности базовой модели. Она предназначена для диалогов, генерации и анализа текста, программирования, рассуждений, а также обработки изображений и видео. Модель использует гибридную архитектуру с линейным и полноразмерным softmax-вниманием в соотношении 3:1 и содержит 40 слоёв. Это MoE-модель с 35 млрд общих параметров и примерно 3 млрд активных параметров на проход; используются 256 экспертов, из которых для каждого токена выбираются 8. Заявлен нативный контекст до 262 тысяч токенов. Поддерживаются текст, изображения и видео, а среди языков указаны английский, китайский и многоязычная обработка. Доступны GGUF-квантизации, включая специализированные варианты K_P, оптимизированные для сохранения качества. К сильным сторонам относятся мультимодальность, большой контекст, относительно небольшое число активных параметров для MoE-архитектуры и широкий выбор квантизаций для локального запуска через llama.cpp, LM Studio и другие совместимые среды. Ограничение модели — агрессивное отключение защитных отказов: она может генерировать небезопасный или нежелательный контент и не предоставляет встроенных гарантий безопасного использования. Для поддержки зрения требуется отдельный файл mmproj; для сохранения возможностей режима рассуждений рекомендуется контекст не менее 128 тысяч токенов. Модель распространяется по лицензии Apache-2.0.

SuperQwen3.8-27b-abliterated-GGUF — это квантованные версии мультимодальной модели SuperQwen3.8-27b-abliterated, разработанной Jiunsong и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для генерации текста по текстовым и визуальным входным данным, рассуждений, вызова инструментов и работы с длинным контекстом. Заявлена поддержка английского и корейского языков, а также контекста до 262 тысяч токенов. Модель имеет размер 27 млрд параметров; архитектура в README подробно не описана. Для обработки изображений требуется дополнительный мультимодальный компонент mmproj. Доступны варианты квантования от Q2_K до Q8_0 и IQ4_XS с размером файлов примерно от 11 до 29,1 ГБ, а также версии с плавающей точностью F16. Более лёгкие варианты экономят память, но могут снижать качество; Q6_K отмечен как вариант очень хорошего качества, а Q4_K_S и Q4_K_M — как быстрые рекомендуемые варианты. К сильным сторонам относятся мультимодальность, поддержка длинного контекста, рассуждений и вызова инструментов, а также широкий выбор уровней квантования для локального запуска. Ограничения включают зависимость визуальных сценариев от отдельного mmproj-компонента и возможное ухудшение качества при агрессивном квантовании. Модель распространяется по лицензии Apache-2.0.

GPT-NeoXT-Chat-Base-20B — диалоговая языковая модель, разработанная Together Computer в рамках OpenChatKit. Она дообучена на базе GPT-NeoX на более чем 40 млн инструкций и дополнительном небольшом наборе отзывов о предпочтениях людей. Архитектура — плотная GPT-NeoX, число параметров в метаданных — 26,9 млрд, максимальный контекст — 2048 токенов; модель работает с текстом и предназначена для генерации ответов в чат-ботах. Модель подходит для ответов на вопросы, суммаризации, классификации и извлечения информации, в том числе в диалогах с несколькими ходами и при работе с предоставленным контекстом. В карточке заявлена поддержка английского языка. Лицензия — Apache 2.0. Ответы могут быть неточными или нерелевантными, особенно на сложные, неоднозначные вопросы и темы за пределами обучающих данных. Модель не рекомендуется для критически важных сценариев и решений, существенно влияющих на людей; для запуска требуется значительный объём памяти GPU.

Luna-8B-Instruct-262k — объединённая модель на архитектуре Llama 3, созданная Ppoyaa с помощью LazyMergekit. В состав входят gradientai/Llama-3-8B-Instruct-262k, jondurbin/bagel-8b-v1.0, mlabonne/ChimeraLlama-3-8B-v3 и nbeerbower/llama-3-wissenschaft-8B; в конфигурации указан метод model_stock и формат bfloat16. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы. В репозитории заявлено окно контекста до 262 144 токенов; размер составляет 7,5 млрд параметров. Использование предусмотрено через Transformers и формат safetensors. Лицензия в предоставленных данных не указана.

Muse-Glimmer-30B-ROCmFP4-Strix-Halo-DFlash-GGUF — квантованная GGUF-сборка модели Muse-Glimmer-30B от meta-models/Muse-Glimmer, подготовленная kingjones777 для AMD Strix Halo. Модель мультимодальная: поддерживает текст и изображения, рассуждения с разделением reasoning_content и content, а также tool calling. Сборка предназначена для локального запуска на AMD Ryzen AI Max+ 395 с графикой Radeon 8060S и архитектурой gfx1151. Доступны шесть вариантов квантования ROCmFP4 и ROCmFPX с размером от 13,80 до 27,23 GiB и эффективной точностью 4,25–8,39 BPW. В комплект входят vision projector, chat parser и DFlash для speculative decoding. Проверенный контекст составляет 32768 токенов; пиковое потребление памяти — около 19,99 GiB с моделью, drafter, projector и KV-кэшем. На указанном оборудовании скорость декодирования зависит от задачи и составляет примерно 17–45 токенов в секунду, обычно около 30 токенов в секунду. Сильные стороны модели — сочетание текста, зрения, рассуждений, вызова инструментов и ускоренного декодирования в одной сборке, а также оптимизация под unified memory AMD Strix Halo. Ограничения включают узкую аппаратную совместимость: стандартный llama.cpp эту модель не загружает, требуется специальная ROCmFPX-сборка с поддержкой архитектуры muse-glimmer и типов ROCmFP4. Более быстрые варианты могут генерировать заметно более короткие ответы, поэтому для глубины ответа предпочтителен вариант STRIX. Лицензия указана как other; дополнительные условия в README не раскрыты.

Это GGUF-квантизированная версия инструкционной языковой модели Llama-3.1-8B-UltraLong-1M-Instruct, разработанной NVIDIA и подготовленной пользователем bartowski. Модель относится к семейству Llama 3.1, имеет около 8 млрд параметров и предназначена для генерации текста и диалогового взаимодействия. В названии указана поддержка сверхдлинного контекста до 1M токенов; в метаданных README заявлен английский язык. Модель подходит для локального запуска в сценариях вопросно-ответного взаимодействия, написания и преобразования текста, анализа длинных документов и других задач text-generation. Файлы представлены в формате GGUF с вариантами квантизации от bf16 до Q3 и IQ4; наиболее качественные варианты требуют больше памяти, а компактные версии позволяют запускать модель на системах с ограниченными ресурсами, но могут сильнее уступать исходным весам по качеству. Квантизация выполнена с использованием imatrix и llama.cpp release b5074. Запуск поддерживается через llama.cpp, LM Studio и другие проекты на базе llama.cpp. Лицензия модели — CC BY-NC 4.0, поэтому коммерческое использование ограничено условиями этой лицензии.

Qwen3.5-35B-A3B-uncensored-heretic-v2-Native-MTP-Preserved — дообученная мультимодальная модель независимого автора llmfan46 на базе Qwen/Qwen3.5-35B-A3B от Alibaba. Это диалоговая модель с архитектурой Qwen3.5 MoE и визуальным энкодером: всего 35 млрд параметров, из них активируется около 3 млрд. Репозиторий содержит веса Safetensors и сохраняет 785 тензоров MTP; заявленная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Модель предназначена для диалога, рассуждений, работы с изображениями и агентных сценариев с вызовом инструментов. Автор сообщает о снижении частоты отказов относительно исходной модели при сохранении её возможностей; приведённые метрики являются результатами автора. Модель работает в режиме рассуждений по умолчанию. В карточке заявлена поддержка 201 языка и диалекта, но перечень языков не приведён. Модель распространяется по лицензии Apache-2.0. Снижение ограничений может приводить к выдаче нежелательного или небезопасного содержимого; результаты тестов автора не гарантируют качество на других задачах.

Chungulus/Qwen3.8-27B-Q4_K_M-GGUF — это неизменённая vanilla-квантизация базовой модели Qwen/Qwen3.8-27B в формате GGUF. Репозиторий подготовлен Chungulus и содержит основной файл модели с квантизацией Q4_K_M, а также отдельный vision projector в формате F16. Это не дообученная, не объединённая и не изменённая с точки зрения шаблона чата модель. Модель предназначена для генерации текста, работы с изображениями и видео, а также вызова инструментов через нативный формат Qwen. Сохранены механизмы управления рассуждениями, включая enable_thinking, reasoning_effort и preserve_thinking. Архитектура включает гибридную структуру Gated DeltaNet и полноразмерного внимания, зрительную башню и проектор; заявленный размер базовой модели — 27 млрд параметров. Поддерживаемые языки и максимальная длина контекста в README не указаны. Преимущества модели — подтверждённая работоспособность генерации текста, vision- и video-сценариев, tool calling и совместимость с llama.cpp при наличии соответствующей поддержки архитектуры. Квантизация уменьшает требования к памяти, однако может снижать качество, особенно по сравнению с полной точностью. Для запуска рекомендуется иметь примерно 21 ГБ доступной памяти, причём KV-кэш дополнительно увеличивает расход памяти в зависимости от контекста. Максимальный контекст README не подтверждает тестированием. Модель и её квантизация распространяются по лицензии Apache-2.0.

OsaurusAI Qwen3.8-Flash-Next-JANG_2L — квантованный вариант Qwen/Qwen3.8-Flash-Next, подготовленный Jinho Jang для Apple Silicon и MLX. Это мультимодальная модель семейства Qwen с архитектурой Qwen4-архитектурного превью: смесь экспертов на 125 млрд параметров, из которых активны около 6 млрд, гибридные слои Gated DeltaNet и Qwen Sparse Attention, а также отдельные компоненты для изображений и видео. Веса сохранены в формате safetensors; заявленный объём набора — 65,3 ГиБ, а при обслуживании n-граммной таблицы с SSD в оперативной памяти требуется около 48 ГиБ. Модель предназначена для диалога, ответов с анализом изображений и видео, рассуждений и агентных сценариев с вызовом инструментов. Нативная длина контекста составляет 262 144 токена; с YaRN её можно расширить до 1 млн. В комплекте сохранена голова многотокенного предсказания для ускоренного декодирования в совместимых средах. По замерам на 5 931 позициях JANG_2L показывает медианный KL 0,0260 и top-1 совпадение 88,2% с bf16-версией. Модель требует совместимого runtime для MLX и Apple Silicon и значительных ресурсов памяти либо поддержки SSD-таблицы. Вызовы инструментов используют парсер Qwen XML; среды, поддерживающие только Hermes JSON, могут обрабатывать их с ошибками. Для скачанных до 5 сентября 2026 года комплектов требуется повторная загрузка из-за реорганизации вспомогательных файлов MTP. В метаданных указана лицензия other, без конкретных условий использования.