I.4Обработка документов и форм

Карточка модели Nour-Fayed/Kimi-K2.6 на Hugging Face совпадает с карточкой moonshotai/Kimi-K2.6, поэтому описание составлено по ней. Kimi K2.6 — открытая мультимодальная агентная модель компании Moonshot AI для сложных задач программирования, проектирования интерфейсов, автономного выполнения многошаговых задач и координации групп агентов. В карточке Hugging Face указана архитектура семейства Kimi K2.5 для условной генерации, а README описывает MoE-модель с 1 трлн параметров, из которых активны 32 млрд. Модель принимает текст, изображения и видео; заявленная длина контекста в описании испытаний составляет 262 144 токена. Модель предназначена для создания и изменения кода, генерации интерфейсов по текстовым и визуальным запросам, а также выполнения задач с инструментами и параллельными агентами. По данным README, она может координировать до 300 подагентов и 4 000 шагов и рассчитана на работу с языками программирования, включая Rust, Go и Python. Метаданные Hugging Face отмечают чат-возможность и задачи генерации текста и преобразования изображений в текст. Указана лицензия other; её конкретные условия следует проверять в репозитории модели. README сообщает о нативной INT4-квантизации и рекомендует vLLM, SGLang и KTransformers для запуска.

Nesso-4B — компактная языковая модель-ассистент от Mii, основанная на плотной архитектуре Qwen3. В репозитории указано 4,0 млрд параметров, а метаданные фиксируют 3,7 млрд; модель распространяется в формате safetensors и рассчитана на запуск локально на пользовательском оборудовании. Заявленное окно контекста — до 262 144 токенов, однако для устройств с ограниченной памятью README рекомендует сокращать его. Модель предназначена для повседневного диалога, генерации текста, поиска ответов по документам с RAG, агентных сценариев и использования инструментов. Заявлена поддержка нескольких языков и кросс-языковых задач, но конкретные языки и их качество не перечислены. Поддерживаются Transformers и приложения локального запуска, включая Ollama, LM Studio, llama.cpp и MLX-LM. Лицензия — Mii Open License 1.0; условия следует сверить с текстом лицензии в репозитории.

Pareto — мультимодальная составная модель, предназначенная для исследований, программирования и агентных сценариев. По карточке модели, она рассчитана на широкий круг задач общего назначения и заявляет высокий уровень производительности. Метаданные каталога относят её к моделям типа image-text-to-text, поэтому она принимает изображения и текст и формирует текстовые ответы. Сведений об архитектуре, размере, языковой поддержке и лицензии в доступных данных нет. Карточка позиционирует модель для исследовательских и агентных рабочих процессов, но не описывает конкретные возможности, ограничения или условия применения.

TheWegemann/Qwen3.8-27B-LowGPU-NoMTP-IQ3XXXS-GGUF — это пользовательская GGUF-квантизация модели Qwen3.8-27B, разработанная TheWegemann совместно с авторами рецепта квантования. Модель предназначена для локального запуска через llama.cpp на видеокартах с 12 ГБ VRAM, включая сценарии работы с агентами, рассуждениями, текстом и изображениями. Модель основана на 27-миллиардной Qwen3.8-27B и занимает примерно 9,3 ГБ. Она использует гибридную архитектуру с блоками Gated DeltaNet и линейного внимания, периодическими блоками полного внимания и 64 слоями. Поддерживаются мультимодальные сценарии с совместимым F16 vision-проектором. В сборке удалена MTP-голова, чтобы уменьшить потребление видеопамяти. Рецепт IQ3XXXS является названием пользовательской схемы смешанного покомпонентного квантования, а не официальным типом квантования llama.cpp; применяются различные форматы, включая IQ1_S, IQ1_M, IQ2, IQ3, IQ4_XS, Q2_K, Q4_K, Q5_K и Q8_0. Тестирование проводилось с полным переносом на GPU, контекстом до 64 000 токенов, кэшем Q4_0, Flash Attention и сервером llama.cpp. Сильная сторона модели — сочетание относительно крупной базовой модели, мультимодальности и большого контекста с возможностью запуска на 12-ГБ GPU. Квантование агрессивно оптимизировано под ограниченный объём VRAM, а финальные слои и отдельные чувствительные тензоры сохранены с более высокой точностью. Ограничения связаны с потерями качества из-за низкой точности, отсутствием MTP и зависимостью фактического потребления памяти от версии llama.cpp, драйверов, настроек и использования видеопамяти. Сборка ориентирована прежде всего на GPU-only запуск; работа при меньшем объёме VRAM или с CPU offload возможна, но не является целевым сценарием. Модель распространяется по лицензии Apache-2.0.

SZYBKIMARCIN955/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной модели Qwen3.8-Flash-Next, разработанной командой Qwen. Модель представляет собой авторегрессионную языковую модель с vision encoder, предназначенную для текстовых и визуально-текстовых задач, включая работу с длинным контекстом и агентские сценарии. Это открытая предварительная версия архитектуры, которая должна стать основой Qwen4. Архитектура сочетает Gated DeltaNet и Qwen Sparse Attention на уровне микроблоков, Mixture of Experts, Gated Residual и n-граммные embeddings. Всего заявлено 125B параметров, из которых 6B активируются при обработке, дополнительно используются 51B параметров n-граммных embeddings и 4B для multi-token prediction. Модель содержит 48 слоёв, 512 экспертов, активирует 10 маршрутизируемых и 1 общий эксперт, поддерживает контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Языки в README не указаны. Ключевые преимущества модели — высокая эффективность при длинном контексте, сниженная задержка благодаря разреженному вниманию и относительно небольшое число активируемых параметров при большом общем размере. Ограничения связаны с экспериментальным статусом архитектуры, высокими требованиями к памяти и вычислительным ресурсам, а также отсутствием в предоставленных данных подробных результатов тестирования и описания поддерживаемых языков. Для запуска рекомендуется llama.cpp или Unsloth Desktop. Модель распространяется по лицензии qwen-community-1.0; формат GGUF предназначен для локального инференса совместимыми инструментами.

T145/ZEUS-8B-V18 — языковая модель семейства Llama 3.1, созданная с помощью mergekit методом DARE TIES. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct; в объединение также вошли VAGOsolutions/Llama-3.1-SauerkrautLM-8b-Instruct, arcee-ai/Llama-3.1-SuperNova-Lite, unsloth/Llama-3.1-Storm-8B и Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и рассчитана на генерацию текста и диалоги. Нативный контекст составляет до 131 072 токенов; указаны интерфейс вызова инструментов и формат весов safetensors. В README приведены результаты оценивания, включая 78,34% на IFEval и 32,53% на BBH. Карточка не сообщает явно о поддерживаемых естественных языках и лицензии, поэтому область применения и условия использования следует сверить с карточками базовых моделей и репозитория. Оценки из README относятся к указанным тестам и сами по себе не гарантируют качество в конкретных сценариях.

BlueLM-7B-Chat-32K — диалоговая языковая модель с архитектурой BlueLMForCausalLM, разработанная лабораторией vivo AI. Модель содержит 6,9 млрд параметров и предназначена для генерации ответов в чате, понимания длинных текстов и решения языковых задач. В репозитории представлены веса PyTorch. Модель обучена на корпусе объёмом 2,6 трлн токенов, преимущественно на китайском и английском языках, с небольшим количеством японских и корейских данных. В README заявлена поддержка контекста до 32K токенов и приведены результаты на LongBench, включая задачи суммаризации, ответов по одному и нескольким документам и работы с кодом. Однако метаданные указывают native_context_tokens 2048, поэтому заявленную длину контекста следует сверить с конфигурацией конкретной версии. Лицензия указана как other; README сообщает, что веса открыты для академических исследований и коммерческого применения.

Qwen3.6-27B-Uncensored-HauhauCS-Aggressive — модификация базовой модели Qwen3.6-27B, разработанная HauhauCS. Это мультимодальная модель для работы с текстом, изображениями и видео, представленная в формате GGUF и предназначенная для запуска в llama.cpp, LM Studio и других совместимых средах. Она ориентирована на агентное программирование, использование инструментов, рассуждения, творческое письмо и ролевые сценарии, а версия Aggressive специально настроена на прямые ответы без предварительных оговорок на жёсткие запросы. README заявляет отсутствие отказов в тесте из 465 запросов, однако это утверждение следует считать характеристикой автора сборки, а не независимой гарантией поведения модели. Модель содержит 27 млрд плотных параметров, 64 слоя и гибридную архитектуру с 48 слоями линейного внимания Gated DeltaNet и 16 слоями полноценного Gated Attention. Нативный контекст составляет 262 тыс. токенов и может быть расширен примерно до 1 млн с помощью YaRN. Указана поддержка английского, китайского и других языков, а также встроенная мультимодальность; для обработки визуальных данных поставляется отдельный компонент mmproj. Доступны квантизированные варианты от Q8 до Q2, включая специализированные K_P-квантизации, оптимизированные для сохранения качества. Сильными сторонами являются большой контекст, поддержка текста, изображений и видео, широкий выбор вариантов квантизации и отсутствие изменений в заявленных исходных возможностях Qwen3.6-27B. Ограничение версии Aggressive — менее сдержанная манера поведения и отсутствие защитных отказов, что повышает риски при использовании. Модель распространяется по лицензии Apache-2.0; сведения о требованиях к аппаратному обеспечению в README не приведены, но размер файлов квантизаций составляет примерно от 10 до 32 ГБ, не считая mmproj размером 928 МБ.

Gemma 4 12B IT INT4 — MLP-only, AutoRound — это квантизированный вариант модели google/gemma-4-12B-it, опубликованный aleksandard. Модель предназначена для диалоговых и генеративных задач, включая работу с текстом, изображениями и аудио, поскольку базовая модель имеет unified-мультимодальную архитектуру и pipeline image-text-to-text. Она подходит для локального запуска через vLLM или Transformers при наличии совместимой аппаратной и программной инфраструктуры. В основе лежит плотная модель примерно на 11,95 млрд параметров. Квантизация выполнена методом intel/auto-round в режиме RTN по схеме W4A16 с размером группы 128 и симметричным представлением, с экспортом в GPTQ-совместимый формат. До 4 бит уменьшены только линейные слои MLP: gate_proj, up_proj и down_proj. Проекции внимания q/k/v/o, эмбеддинги, lm_head, а также vision- и audio-эмбеддеры сохранены в BF16 или полной точности. Размер чекпойнта составляет около 11 ГБ вместо примерно 24 ГБ для BF16, что снижает требования к памяти. Сильная сторона сборки — компромисс между уменьшением объёма модели и сохранением качества внимания: чувствительные квантизации компоненты оставлены в BF16. Ограничения связаны с наследованием всех ограничений и смещений базовой Gemma 4, а также с возможным дополнительным снижением качества из-за 4-битной RTN-квантизации без калибровки. Для vLLM требуется nightly-сборка с поддержкой Gemma 4; на Blackwell необходимо отключать FlashInfer sampler. В README указана лицензия Apache 2.0, унаследованная от базовой модели.

munekazu/Huihui-Qwen3.8-27B-abliterated-FP8 — FP8-квантизированная версия модели Huihui-Qwen3.8-27B-abliterated от huihui-ai, созданная на основе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и мультимодальных сценариев с использованием текста и изображений, а также для развёртывания через vLLM. Это abliterated-версия, в которой удалены ограничения на отказы, присутствующие в исходной модели. Модель имеет размер 27B параметров и использует block-wise FP8-квантизацию формата e4m3 с блоками 128×128 и динамическими активациями. Объём хранения сокращён примерно с 52 GiB в BF16 до 29 GiB в FP8. Vision tower, нормализационные слои и отдельные компоненты MTP-головы сохранены в BF16, что обеспечивает поддержку мультимодального пути vLLM и speculative decoding. Заявлена поддержка контекста до 262 144 токенов; для рассуждений используется шаблон чата с параметром reasoning_effort. Сильные стороны модели — уменьшенные требования к памяти, поддержка мультимодальности, MTP speculative decoding и сохранение значительной части поведения базовой модели благодаря абляции только среднего диапазона слоёв. Ограничения включают зависимость от совместимости vLLM и аппаратного обеспечения: на GPU Ampere FP8 не использует нативные tensor cores и применяется kernel Marlin W8A16, поэтому экономия памяти не сопровождается ускорением вычислений. В vLLM 0.24.0 также наблюдалась проблема с возвратом reasoning_content через API, хотя качество ответов не страдает. Модель распространяется по лицензии Apache-2.0.

Карточка модели mylesgoose/Llama-3.2-1B-Instruct-abliterated3 на Hugging Face совпадает с карточкой alpindale/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. alpindale/Llama-3.2-1B-Instruct — это текстовая инструкционная модель семейства Llama 3.2, разработанного Meta. Репозиторий содержит версию с примерно 1,2 млрд параметров; модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и предназначена для генерации текста в Transformers. Для согласования ответов с предпочтениями пользователей применялись supervised fine-tuning и обучение с обратной связью от людей. Модель рассчитана на диалог в роли ассистента, поиск знаний и суммаризацию, а также на мобильных помощников для письма, переформулирование запросов и подсказок и агентные сценарии. Она принимает и генерирует текст, включая код, поддерживает контекст до 131 072 токенов и официально рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Компактный размер позволяет рассматривать модель для применения на устройствах с ограниченными ресурсами. Качество, безопасность и полезность могут уступать более крупным моделям, поэтому разработчикам следует проверять поведение модели в конкретном сценарии. Знания ограничены данными с отсечкой по декабрю 2023 года. Использование регулируется специальной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

alpindale/Llama-3.2-3B — текстовая модель семейства Llama 3.2, разработанного Meta. Это авторегрессионная плотная трансформерная модель с 3,2 млрд параметров и архитектурой LlamaForCausalLM; репозиторий содержит веса Safetensors для Transformers. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и рассчитана на многоязычную генерацию. Модель подходит для диалогового помощника, суммаризации, поиска знаний и приложений с агентными сценариями, а также для мобильных помощников по написанию текста и переформулирования запросов. В README описаны применение и возможности семейства Llama 3.2; отдельное дообучение alpindale/Llama-3.2-3B не подтверждено, поэтому характеристики поведения конкретного чекпойнта могут отличаться от описания семейства. Заявленные языки поддержки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Лицензия llama3.2 — пользовательская лицензия сообщества Meta с собственными условиями коммерческого использования и политикой допустимого использования. Модель обучена на статическом офлайн-наборе данных; как компактная модель, она может уступать более крупным системам по качеству и требует проверки безопасности и пригодности для конкретного применения.

Llama-3-8B-Instruct-Gradient-1048k — дообученная Gradient версия Meta Llama 3 8B Instruct для диалогов и генерации текста с длинным контекстом. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров; заявленное окно контекста — 1 048 576 токенов, расширенное с 8 тысяч токенов настройкой параметра RoPE theta. Для этого этапа обучения использовано 830 млн токенов, а суммарно для всех этапов — 1,4 млрд токенов. Модель подходит для диалоговых ассистентов и задач, где нужно учитывать большие объёмы текста за один запрос, например при анализе длинных документов. В карточке заявлена поддержка английского языка; доступны веса в формате safetensors и чат-возможности. Для запуска автор рекомендует Transformers или TGI. Модель выпущена Gradient по лицензии Llama 3. Как и другие инструктивные LLM, она может давать ошибки и небезопасные ответы; для прикладного развёртывания следует оценивать качество на своих данных и при необходимости добавлять меры защиты.

Muse-Glimmer-30B-Abliterated-GGUF — экспериментальная версия 30-миллиардной агентной on-device-модели Muse Glimmer, разработанная Blackfrost на базе meta-models/Muse-Glimmer-30B от Meta. Модель распространяется в формате GGUF для локального запуска через llama.cpp на одной потребительской видеокарте или CPU, полностью офлайн. Вариант abliterated получен изменением весов, направленным на удаление отказов модели; заявленные тесты на 450 запросах показали отсутствие истинных отказов, однако эти результаты относятся к родительской модели и могут не отражать все сценарии использования. Архитектура muse_glimmer включает 52 слоя, скрытое пространство размером 6656, GQA с 32 query- и 2 key/value-головами, sliding-window attention и vision tower. Поддерживаются текстовые и визуальные входы, при этом для обработки изображений требуется отдельный mmproj-проектор. Контекстное окно составляет 131 072 токена. Доступны квантизации от Q2_K до Q8_0 размером примерно от 10 до 27,6 ГБ; рекомендуемым балансом качества и размера назван Q4_K_M. Для ускорения генерации предусмотрен DFlash drafter со speculative decoding в llama-server. Модель предназначена для локальных агентных, мультимодальных, кодовых и общих диалоговых сценариев, включая работу в условиях ограниченного или отсутствующего сетевого доступа. К сильным сторонам относятся большое контекстное окно, локальная работа, широкий выбор квантизаций и поддержка спекулятивного декодирования. Ограничения включают экспериментальный статус, необходимость совместимой свежей версии llama.cpp, значительные требования к памяти, а также потенциальные риски и непредсказуемость поведения из-за удаления защитных отказов. Базовая модель и производная распространяются по лицензии Apache-2.0.

Pallas-0.5 — дообученная в формате instruct языковая модель Mihaiii на базе migtissera/Tess-34B-v1.4. Она предназначена для рассуждений и понимания текста, хорошо работает с длинными системными инструкциями и поддерживает диалоговый формат с ролями SYSTEM, USER и ASSISTANT. Модель использует архитектуру Llama и содержит 33,9 млрд параметров; заявленная длина контекста — до 200 000 токенов. В карточке также отмечен высокий результат на GSM8K, полученный при обучении на закрытом наборе данных. Pallas-0.5 подходит для ответов на вопросы, анализа текста и решения задач на рассуждение, особенно когда запрос требует длинной системной инструкции. Она не предназначена для универсальной генерации, например для написания художественных историй. Репозиторий содержит веса в формате safetensors; для модели указана лицензия other, поэтому условия использования следует проверять в карточке модели и связанных лицензиях.

Qwen-14b-chat-yarn-32k — разработанная yuyijiong версия Qwen-14b-chat, дообученная для работы с длинным контекстом. Это плотная модель семейства Qwen с 21,8 млрд параметров для генерации текста и диалогов. В README описаны обучение с Yarn-интерполяцией и QLoRA, а также адаптация для контекста до 32k токенов; в метаданных указан native context 8192 токена. Модель предназначена для китайского и английского языков: она отвечает на вопросы по длинным текстам, извлекает сведения из нескольких документов, суммирует материалы и поддерживает многоходовый диалог. Авторы сообщают о высокой точности поиска сведений в длинном контексте, включая тесты на 50k токенов, и о снижении эффекта «потери в середине». Для длинных входов рекомендуется размещать документы перед вопросом; для быстрого вывода требуется flash-attention2. Среди ограничений авторы отмечают склонность ответов к излишней многословности, ограниченное разнообразие инструкционных данных и снижение среднего результата на C-Eval с 69,1 до 60,8. Модель выпущена по лицензии CC-BY-NC-4.0, которая ограничивает коммерческое использование.

coder3101/Qwen3.5-27B-heretic — производная мультимодальная модель на основе Qwen/Qwen3.5-27B, опубликованная в формате Transformers. В карточке представлены параметры abliteration и сравнение с исходной моделью: доля отказов в приведённом тесте снизилась с 94 до 14 из 100, а KL-дивергенция составила 0,0653. Модель сохраняет архитектуру Qwen3.5 с языковой моделью и энкодером изображений; заявленный размер — 27 млрд параметров. Модель предназначена для диалогов, рассуждений, анализа изображений и сценариев с вызовом инструментов. Базовая Qwen3.5 поддерживает 201 язык и диалект, имеет контекст 262 144 токена с возможностью расширения до 1 010 000 токенов; карточка не приводит отдельных измерений этих характеристик для данной производной модели. Уменьшение числа отказов может быть полезно там, где нужна менее ограниченная генерация, но приведённая оценка не описывает полноту качества или безопасность ответов. Лицензия — Apache-2.0.

AaryanK/Qwen3.5-2B-GGUF — это квантованное представление модели Qwen3.5-2B в формате GGUF, разработанной командой Qwen. Модель предназначена для запуска через совместимые инструменты, включая llama.cpp, и ориентирована на генерацию текста, прототипирование, исследовательские задачи и разработку прикладных решений. Модель имеет около 2 млрд параметров и использует гибридную архитектуру Hybrid Gated DeltaNet + Gated Attention с vision encoder. Она поддерживает текстовые и мультимодальные входы, включая изображения и видео, вызов инструментов и контекст до 262 144 токенов. В README также заявлена поддержка 201 языка и диалекта, однако для данной GGUF-сборки явно указан английский язык. По умолчанию модель работает в режиме без рассуждений. К сильным сторонам относятся компактный размер, поддержка длинного контекста, мультимодальность и возможность эффективного локального инференса. Ограничения включают зависимость от актуальной версии llama.cpp с поддержкой операторов Gated DeltaNet, а также отсутствие подробных данных о конкретных вариантах квантования, качестве на бенчмарках и фактическом наборе поддерживаемых языков в этой сборке. Модель распространяется по лицензии Apache-2.0.

MrFadiAi выпустил Qwen3.6-35B-A3B-Hermes-V6 — неофициальную сборку сообщества на основе семейства Qwen3.6 с дообучением и настройкой в стиле Hermes. Это мультимодальная модель Mixture-of-Experts: около 35 млрд параметров всего и около 3 млрд активных на каждом токене. Модель распространяется в формате GGUF для запуска через llama.cpp; для обработки изображений требуется отдельный мультимодальный проектор. Модель предназначена для диалогов, понимания изображений, рассуждений, вызова инструментов и агентных сценариев, включая многошаговое выполнение задач. Автор сообщает о результатах локальных сравнительных тестов по математике, знаниям и использованию инструментов, но они получены на ограниченной выборке и конкретном оборудовании, поэтому их нельзя напрямую сопоставлять с официальными результатами других тестов. В README приведена команда запуска с контекстом 32768 токенов. Для весов требуется около 17 ГБ памяти; фактическая скорость зависит от оборудования и конфигурации. Метаданные указывают лицензию Apache-2.0, однако автор рекомендует проверить применимые условия лицензии базовой модели перед использованием или распространением.

lued/Qwen3.8-27B-AEON-UNCENSORED-INT8-W8A16-MTP — квантованная версия модели AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16, основанной на Qwen/Qwen3.8-27B. За исходную архитектуру и базовую модель отвечает Qwen, за abliteration — AEON-7, а данный репозиторий содержит числовую W8A16-квантизацию, подготовленную lued. Модель предназначена для диалоговых и мультимодальных сценариев с обработкой текста и изображений, а также для развёртывания в vLLM на видеокартах Ampere. Модель имеет размер 27B параметров, поддерживает vision tower, режимы reasoning и нативный контекст до 262 144 токенов. Веса языковой модели представлены в INT8 с FP16 или BF16-активациями по схеме W8A16; голова MTP сохранена в BF16 для speculative decoding. Конфигурация оптимизирована для тензорного параллелизма на двух RTX 3090 и поддерживает FP8 E4M3 KV-кэш. Расширение контекста до 1 млн токенов с YaRN указано как отдельная возможность исходной модели и не гарантируется данной конфигурацией. Сильные стороны модели — сниженное потребление памяти по сравнению с BF16-версией, сохранение мультимодальности, большого контекста и MTP, а также отсутствие заявленных отказов на проверенном наборе промптов у исходной uncensored-версии. Ограничения включают зависимость от совместимой конфигурации vLLM, Ampere-ориентированную оптимизацию, необходимость учитывать доступную KV-память и возможное отличие поведения от стандартной Qwen3.8-27B из-за abliteration. В README указана лицензия Apache-2.0.

Chungulus/Qwen3.8-27B-Q6_K-GGUF — это неизменённая ванильная квантизованная версия модели Qwen3.8-27B, опубликованная Chungulus на основе исходных весов Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, обработки изображений и видео, вызова инструментов и задач reasoning; заявлена совместимость с нативным форматом tool calling Qwen и управлением режимами мышления через enable_thinking, reasoning_effort и preserve_thinking. Модель поставляется в формате GGUF с квантизацией Q6_K на базе llama.cpp. Основной файл занимает около 22,431 ГБ, vision projector в формате F16 — отдельный файл, а полный репозиторий — около 23,371 ГБ. Сохранена гибридная архитектура Hybrid Gated DeltaNet/full-attention, vision-компоненты, tokenizer и MTP-метаданные; спекулятивное ускорение не заявляется. Архитектурный максимальный контекст и полноценные бенчмарки в README не указаны, а самая длинная проверенная последовательность составляла 73 токена. Текстовая генерация, вызов инструментов, обработка изображений и видео, а также шаблон чата прошли заявленные локальные проверки. Квантизация может снижать качество по сравнению с исходными весами, особенно при меньшей разрядности, а для запуска требуется среда с поддержкой графа Qwen3.8, vision tower/projector и MTP-метаданных. Рекомендуется иметь не менее примерно 27 ГБ доступной памяти с учётом модели, vision projector и базовых накладных расходов; KV-cache дополнительно увеличивается с размером контекста. Модель и данная квантизация распространяются по лицензии Apache-2.0.

Guile/Qwen3.8-Flash-Next-GGUF — это GGUF-квантизированная версия модели Qwen3.8-Flash-Next, разработанной командой Qwen и квантизированной bartowski с использованием llama.cpp. Модель содержит около 180 млрд параметров и предназначена для задач генерации и понимания текста, а также обработки изображений в мультимодальном режиме при наличии файла mmproj. Поддержка speculative decoding не заявлена. Доступны варианты весов от BF16 и Q8_0 до низкобитных Q2–Q5 и IQ-квантизаций. Размер файлов составляет примерно от 88 до 354 ГБ, поэтому модель рассчитана на системы с большим объёмом оперативной или видеопамяти. В README рекомендуется Q4_K_M как компромисс между качеством и размером, а Q6_K — как вариант с очень высоким качеством. Квантизации используют imatrix, что должно помогать сохранять качество при уменьшении размера, однако более низкие разрядности сопровождаются заметным снижением качества. Модель запускается через совместимые инструменты экосистемы llama.cpp и распространяется с лицензией qwen-community-1.0; указана лицензия other и ссылка на файл LICENSE. Сведения о поддерживаемых языках, размере контекстного окна и точных архитектурных особенностях в предоставленном README отсутствуют.

AutomatosX AX-Qwen3.8-27B-MLX-AXQ-4bit-MTP — это смешанно-точечный квантованный чекпойнт на базе Qwen/Qwen3.8-27B, предназначенный для запуска на Apple Silicon через MLX. Основная языковая часть модели квантована с применением AXQuant, а голова multi-token prediction и vision tower сохранены в формате BF16. Модель имеет 27,36 млрд логических параметров, архитектуру Qwen3_5ForConditionalGeneration и поддерживает генерацию текста, а также визуальный ввод; аудио не поддерживается. Максимальный заявленный контекст — 262 144 токена, однако практический предел зависит от объёма unified memory устройства. Модель ориентирована на локальный текстовый инференс, разработку и сценарии, где важны сниженный объём хранения и запуск на компьютерах Apple Silicon. Она совместима с MLX-LM для стандартного текстового инференса, а для использования MTP и связанных runtime-возможностей предусмотрены AX Engine, oMLX и MTPLX. Полный размер загрузки составляет около 18,20 ГБ, измеренный общий показатель — 5,2338 BPW. Заявления об ускорении MTP ограничены профилями, указанными в сертификатах, и не гарантируются для всех конфигураций; MLX-LM также может не использовать vision- и MTP-компоненты. Репозиторий содержит MLX Safetensors и не включает веса PyTorch или GGUF. Модель распространяется по лицензии Apache-2.0. Для работы требуются совместимые версии MLX-инструментов и достаточный объём памяти; качество и возможности визуального инференса зависят от выбранного runtime и его поддержки дополнительных компонентов.

German-RAG-PHI-3.5-MINI-4B-SFT-HESSIAN-AI — авторегрессионная языковая модель на базе Transformer, разработанная командой Avemio AI при поддержке Hessian AI. Модель дообучена для сценариев генерации с использованием найденных документов и предназначена прежде всего для немецкоязычного рынка. В метаданных указаны архитектура Llama, 3,7 млрд параметров и контекст до 131 072 токенов; веса доступны в формате safetensors. Модель отвечает на вопросы по предоставленному контексту, извлекает релевантную информацию, составляет краткие сводки и выполняет задачи рассуждения. README также описывает обучение на примерах RAG и поддержку немецкого и английского языков. Лицензия в метаданных Hugging Face — MIT; README указывает Apache 2.0, поэтому сведения о лицензии расходятся и требуют проверки перед использованием. Ответы могут содержать фактические ошибки, а без фильтрации модель способна выдавать вредоносный или чувствительный контент. Результаты следует проверять, а для пользовательских приложений учитывать риски предвзятости и генерации небезопасного текста.

mlx-community/Llama-3.2-3B-Instruct — конверсия модели Meta Llama 3.2 3B Instruct в формат MLX, выполненная сообществом mlx-community с помощью mlx-lm версии 0.18.2. Это плотная авторегрессионная языковая модель на 3,2 млрд параметров для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов и ориентирована на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель подходит для диалоговых помощников, генерации и преобразования текста, а также сценариев с вызовом инструментов. В репозитории указаны веса Safetensors; README описывает конверсию в MLX и использование через mlx-lm. Лицензия — Llama 3.2 License. Качество и безопасность ответов могут зависеть от запроса и сценария применения; сведения о специализированной предметной области в карточке отсутствуют.

MiniMaxAI представляет MiniMax-Text-01 — языковую модель для диалогов, генерации текста и вызова внешних функций. Эта версия репозитория подготовлена для Transformers; в метаданных указаны архитектура MiniMaxForCausalLM с механизмом Mixture of Experts и 21,6 млрд параметров. В README описана исходная архитектура семейства: сочетание Lightning Attention, Softmax Attention и MoE; заявлена поддержка контекста до 4 млн токенов при инференсе. Значение native_context_tokens в метаданных составляет 10 240 000 токенов. Модель подходит для генерации ответов, работы с длинными контекстами и приложений, где по запросу нужно сформировать структурированный вызов функции. README приводит результаты академических оценок и рекомендует vLLM для развёртывания. В нём также указана поддержка формата вызова функций, совместимого с OpenAI. Лицензия в метаданных обозначена как other; конкретные условия следует проверять в репозитории модели.

Qwen2.5-3B-Instruct-MLX-4bit — текстовая языковая модель для генерации ответов и диалогового взаимодействия. Она основана на Qwen2.5-3B-Instruct, разработанной командой Qwen, и подготовлена в формате MLX с 4-битным квантованием bartowski для запуска на Mac с Apple Silicon. Модель предназначена для чат-сценариев, генерации и обработки текста, а также работы со структурированными данными. Она поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся компактный размер около 3 млрд параметров, возможность локального запуска на совместимых компьютерах Apple и поддержка длинного контекста. README не содержит результатов бенчмарков и подробностей об ограничениях квантования; как и другие языковые модели, система может генерировать неточные, вредные или неподходящие ответы. Модель распространяется по лицензии Qwen Research; для точных условий использования следует обратиться к указанному в README тексту лицензии.

Mike0021/Qwen3.8-27B-GGUF — набор GGUF-конвертаций базовой модели Qwen/Qwen3.8-27B, подготовленный пользователем Mike0021 с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев и мультимодального анализа изображений и видео; для работы с визуальными данными требуется отдельный vision projector. Доступны варианты BF16, Q8_0 и архитектурно адаптированный Q4_K_M размером 18,97 ГБ, рекомендованный для практического использования. Модель содержит 64 слоя, поддерживает контекст до 262 144 токенов, а заявленные языки — английский и китайский. В состав также может входить опциональная од Layer MTP-модель для speculative decoding, не изменяющая итоговое распределение вероятностей целевой модели. Для визуального ввода используются отдельные файлы projector размером 0,63 или 0,93 ГБ. Сильными сторонами являются большое контекстное окно, поддержка текста и изображений, варианты с разным компромиссом между качеством и требованиями к памяти, а также сохранённые шаблоны чата и режимы reasoning. Ограничения включают значительный объём файлов и потребность в соответствующих ресурсах памяти; для полной поддержки новой архитектуры требуется llama.cpp ревизии 1692f9e или более новая, поскольку старые версии и некоторые другие GGUF-рантаймы могут быть несовместимы. Лицензия — Apache-2.0.

SmolLM2-1.7B-Instruct-16k — компактная языковая модель HuggingFaceTB на 1,7 млрд параметров с архитектурой Llama и плотной трансформерной структурой. Это версия SmolLM2-1.7B-Instruct с контекстом до 16 384 токенов, опубликованная в формате safetensors и рассчитанная на работу через Transformers. Модель дообучили на 15 тысячах примеров из подмножеств SmolTalk, LongAlign и SeaLong, увеличив параметр RoPE с 100k до 500k. Модель предназначена для генерации текста и диалогов, следования инструкциям, переписывания и суммаризации текстов, а также вызова функций. Увеличенное окно контекста улучшает результаты на задачах с длинными входами, включая RAG, обучение на контекстных примерах, ранжирование и ответы на длинные вопросы; при этом в README отмечено небольшое снижение качества на коротком контексте. Модель ориентирована прежде всего на английский язык и может работать на устройствах с ограниченными ресурсами благодаря компактному размеру. По оценке авторов, возможны фактические ошибки, непоследовательные рассуждения и смещения из обучающих данных, поэтому важные ответы следует проверять. Лицензия — Apache-2.0.

Google T5 v1.1 LM-Adapted XL — текстовая модель типа encoder-decoder на архитектуре T5 с 1,5 млрд параметров. Она создана на основе T5 v1.1 XL и дополнительно обучена на 100 тысячах шагов на языковой моделирующей задаче; предобучение использовало корпус C4 и задачи восстановления текста и языкового моделирования. Вариант LM-Adapted рассчитан в том числе на prompt tuning и последующее дообучение для прикладных задач. Модель подходит для настройки под суммаризацию, ответы на вопросы, классификацию текста и другие задачи, представимые в формате «текст на входе — текст на выходе». В T5 v1.1 используются активация GEGLU, отключённый при предобучении dropout и раздельные слои эмбеддингов и классификатора. Карточка указывает английский язык; длина контекста не приведена. Веса доступны в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.