I.6Перевод и языковая адаптация

NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-FP8 — языковая модель NVIDIA для диалогов, рассуждений и генерации текста. Это FP8-квантованная производная NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 на гибридной архитектуре Mamba-2, Transformer и MoE; в репозитории Transformers хранятся веса SafeTensors. В одном чекпойнте вложены варианты на 30B, 23B и 12B параметров, которые можно извлечь без дополнительного обучения. Для варианта 30B активны 3,6B параметров на токен; в меньших вариантах — 2,8B и 2,0B соответственно. Модель рассчитана на чат и задачи рассуждения; также README рекомендует её для прототипирования и описывает готовность к коммерческому применению. Она поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Контекст в метаданных — 262 144 токена; README указывает возможность увеличить контекст при использовании vLLM до 1M токенов с соответствующей настройкой. Elastic-структура позволяет выбирать компромисс между размером варианта и вычислительными затратами, а FP8-представление уменьшает требования к памяти. Модель предназначена для генерации текста и не описана как мультимодальная. Лицензия указана как other; README заявляет о готовности к коммерческому использованию, но конкретные условия лицензии следует сверять с файлами репозитория.

Orca Mini v9.3 — диалоговая языковая модель, дообученная Pankaj Mathur на базе meta-llama/Llama-3.3-70B-Instruct. Она предназначена для генерации текста и общения с пользователем в формате инструктивного ассистента. Модель содержит 69,5 млрд параметров, использует плотную архитектуру Llama и запускается через Transformers; веса представлены в форматах PyTorch и safetensors. Контекстное окно — до 131 072 токенов. Модель подходит для ответов на вопросы, ведения диалогов и генерации текстов. Базовая Llama 3.3 поддерживает английский и семь других языков: французский, немецкий, хинди, итальянский, португальский, испанский и тайский. Карточка Orca Mini также указывает английский язык. Качество и безопасность ответов не гарантированы: возможны ошибки, предвзятость и нежелательные ответы, поэтому перед внедрением нужны проверки и настройки под конкретный сценарий. Модель распространяется по лицензии Llama 3.3.

Unlimited-OCR — мультимодальная модель семейства Unlimited-OCR, представленная авторами проекта в июне 2026 года. Она предназначена для распознавания текста на изображениях и длинного разбора документов за один проход, включая сценарии с преобразованием страниц PDF в изображения. В карточке указаны 559,7 млн параметров, архитектура UnlimitedOCRForCausalLM, контекст 32 768 токенов и работа через Transformers; README также описывает поддержку запуска в vLLM и SGLang. Модель принимает изображения и текстовые запросы, а результат выдаёт в виде текста. Метаданные отмечают мультиязычную поддержку, но конкретные языки не перечисляют. Лицензия — MIT. Карточка связывает модель с Deepseek-OCR, однако точный идентификатор базовой модели не указан.

PaddleOCR-VL — компактная мультимодальная модель для разбора документов, разработанная PaddlePaddle. Она сочетает визуальный энкодер с динамическим разрешением в стиле NaViT и языковую модель ERNIE 4.5; карточка Hugging Face указывает 318,2 млн параметров, а README описывает семейство PaddleOCR-VL-0.9B. Модель принимает изображения документов и формирует текстовое представление их содержимого и структуры. Модель предназначена для распознавания текста и сложных элементов документов: таблиц, формул и диаграмм, включая рукописный текст и исторические документы. Заявлена поддержка 109 языков; метаданные также указывают окно контекста 131 072 токена. Среди сценариев применения — извлечение содержимого страниц и обработка многоязычных документов. README заявляет высокие результаты на бенчмарках, но отмечает, что полный разбор документов через Transformers пока планируется; для текущего сценария через Transformers описано распознавание текстов, формул, таблиц и элементов диаграмм. Лицензия — Apache 2.0.

Phi-4-mini-instruct-4bit — это 4-битная версия модели Phi-4-mini-instruct, разработанной Microsoft и преобразованная в формат MLX с использованием mlx-lm 0.21.5. Модель предназначена для генерации текста в диалоговом формате, решения задач обработки естественного языка и работы с кодом. Модель относится к семейству text-generation, поддерживает мультиязычные сценарии согласно карточке и использует базовую модель microsoft/Phi-4-mini-instruct. Ключевая особенность этой версии — 4-битное представление в формате MLX, что ориентировано на запуск через библиотеку mlx-lm. Архитектура, количество параметров, максимальная длина контекста и точный перечень языков в README не указаны. Сильными сторонами являются инструктивная настройка, поддержка диалогового шаблона и компактное 4-битное представление. Ограничения связаны с отсутствием в карточке подробных характеристик качества, производительности, размера модели и контекста; поэтому область применимости и результаты на конкретных задачах следует оценивать отдельно. Модель распространяется по лицензии MIT.

mlx-community/Qwen3-30B-A3B-8bit — версия модели Qwen/Qwen3-30B-A3B, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и может использоваться через библиотеку mlx-lm. Из доступных данных известно, что модель относится к семейству Qwen, имеет обозначение 30B-A3B и 8-bit представление. Она поддерживает текстовый pipeline, токенизатор с chat template при его наличии и диалоговый формат сообщений. Конкретные сведения об архитектуре, языках, размере контекста, модальностях, производительности и ограничениях в README не указаны. Модель распространяется по лицензии Apache-2.0. Для использования требуется установить mlx-lm и загружать модель через API MLX.

Qwen3-4B-Instruct-2507-Q8_0-GGUF — это квантизированная версия модели Qwen3-4B-Instruct-2507, преобразованная в формат GGUF проектом ggml-org с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и работы в диалоговых и инструкционных сценариях; запуск возможен через llama.cpp в режиме CLI или сервера, включая локальное развертывание. Из известных характеристик следует, что это модель размером 4B параметров с инструкционным назначением и квантованием Q8_0. README не содержит подробностей об архитектуре, поддерживаемых языках, модальностях и размере контекста, поэтому эти свойства нельзя достоверно уточнить. Формат GGUF и совместимость с llama.cpp удобны для локального запуска на различном оборудовании, однако конкретные требования к ресурсам и производительность зависят от используемой конфигурации. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-0.8B-text-only — текстовая версия модели семейства Qwen3.5, опубликованная Principled Intelligence. Из контрольной точки удалены веса визуального энкодера; плотная авторегрессионная языковая модель содержит около 581 млн параметров и рассчитана на генерацию текста и диалоговое взаимодействие. Контекстное окно составляет 262 144 токена. Модель подходит для диалоговых приложений и генерации текста, когда обработка изображений не нужна. По данным карточки, она сохраняет токенизатор, шаблон чата и поведение генерации исходной Qwen3.5, а контрольная точка занимает меньше места и требует меньше видеопамяти. Проверена работа с Transformers версии 5.2.0 и выше; другие движки инференса в карточке не заявлены как поддерживаемые. Лицензия — Apache-2.0.

Qwen3.8-27B-GGUF — набор квантизированных GGUF-версий базовой модели Qwen/Qwen3.8-27B, подготовленный пользователем vcruz305 для запуска через llama.cpp. Модель предназначена для локальной генерации текста и диалоговых сценариев, включая задачи с рассуждениями; для мультимодальных сценариев требуется отдельный файл mmproj. Поддерживаются английский и китайский языки. Указанный pipeline — text-generation. В основе используется 64-слойный языковой trunk архитектуры qwen35 с гибридом Gated DeltaNet; размер базовой модели — 27B параметров. Доступны квантизации от 2 до 8 бит размером примерно от 9,98 до 26,63 GiB. Версии Q2_K и Q3_K_M используют imatrix-квантизацию, остальные являются обычными K-quants. В файлах намеренно отсутствует MTP-голова для speculative decoding, что уменьшает требования к памяти, но исключает соответствующий режим ускорения. В README также заявлена поддержка контекста до 262 144 токенов при соответствующей конфигурации и аппаратных ресурсах. Сильные стороны набора — возможность запуска 27B-модели на видеокартах с 12, 16, 24 и 32+ GiB памяти, несколько вариантов компромисса между качеством и размером, а также исправленный chat template для корректной работы многошаговых агентов. Ограничения включают зависимость от достаточно новой версии llama.cpp с поддержкой qwen35, отсутствие встроенной vision-компоненты и MTP-головы, а также высокие требования к памяти для старших квантизаций и длинного контекста. Распространение заявлено по лицензии Apache-2.0, унаследованной от официальной модели Qwen.

taurusduan/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной модели Qwen3.8-Flash-Next, разработанной командой Qwen; репозиторий также содержит материалы Unsloth для запуска и квантования. Модель предназначена для генерации текста, задач с длинным контекстом и мультимодальных сценариев, включая обработку изображений, и может использоваться через llama.cpp или Unsloth Desktop. В README не указано точное назначение данного варианта квантования или его конкретные уровни квантования. Это причинная языковая модель с vision encoder и архитектурой, включающей Hybrid Attention с Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts, Gated Residual и n-gram embedding. Всего заявлено 125 млрд параметров, из которых активируется 6 млрд, а также 51 млрд параметров n-gram embedding и 4 млрд для MTP. Модель содержит 48 слоёв, 512 экспертов, из которых активируются 10 маршрутизируемых и один общий, поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддержка языков и точные характеристики GGUF-файлов в README не указаны. К сильным сторонам относятся высокая вычислительная эффективность за счёт разреженного внимания и MoE, ориентация на длинный контекст, мультимодальность и возможность ускорения инференса с помощью MTP. Ограничения связаны с экспериментальным статусом архитектуры, отсутствием в README результатов бенчмарков и подробностей о качестве конкретной квантованной сборки. Лицензия указана как qwen-community-1.0; ссылка на текст лицензии ведёт к файлу LICENSE.

ddark-il/Qwen3.8-Flash-Next-Uncensored-Mixed-omlx — это MLX-квантизированная версия модели orcarouter/Qwen3.8-Flash-Next-Uncensored, подготовленная для запуска через oMLX на устройствах Apple Silicon. Модель основана на архитектуре qwen4_exp с разреженными экспертами (MoE), поддерживает текстово-визуальные сценарии и имеет тег image-text-to-text. В README не указано, что ddark-il является исходным разработчиком базовой модели; он предоставляет адаптированный квантованный вариант. Модель содержит около 180 млрд параметров и использует смешанную AWQ/affine-квантизацию с эффективной точностью 4,86 бит на параметр. Размер файлов составляет около 109,24 ГБ, а заявленная длина контекста — до 262 тысяч токенов. В составе предусмотрены MTP-компонент для speculative decoding, GDN и sparse attention, а также vision-модули. Квантизация распределена по чувствительности компонентов: маршрутизируемые эксперты и некоторые таблицы имеют 4-битную точность, критичные элементы сохранены в 8-битном или BF16-виде. Модель предназначена для длинноконтекстной генерации текста, агентских сценариев с вызовами инструментов и задач, сочетающих текст и изображения. На M5 Max с 128 ГБ памяти и oMLX 0.6.4 автор README измерил около 30,7 токена в секунду при работе с длинными агентскими сессиями. Ограничения включают требование oMLX версии не ниже 0.6.3rc3, значительное потребление памяти, зависимость от корректной настройки mmap для PLE-таблицы и отсутствие дополнительного обучения или калибровки. Лицензия — Apache-2.0.

RuadaptQwen2.5-32B-Instruct — русскоязычная инструктивная языковая модель, созданная командой MSU RCC LAIR на основе Qwen2.5-32B-Instruct. Авторы заменили токенизатор, выполнили дополнительное предобучение на русскоязычном корпусе и применили метод Learned Embedding Propagation (LEP). Модель имеет плотную архитектуру Qwen2 и 32 млрд параметров, принимает текст и генерирует текст; контекст — до 32 768 токенов. Модель предназначена для диалогов и выполнения инструкций на русском языке. По заявлению авторов, новый токенизатор повышает скорость генерации русскоязычного текста до 60% по сравнению с исходной Qwen2.5-32B-Instruct при сопоставимых входных последовательностях. В карточке также указана поддержка интерфейса вызова инструментов. Это версия v1, обозначенная авторами как находящаяся в разработке. Оценка качества проводилась на Ru-Arena-General и MERA; сведения о результатах llmtf_open в README не завершены. Модель унаследовала знания и возможные смещения базовой модели, поэтому ответы следует проверять. Лицензия — Apache-2.0.

RWKV7-G1i-13.3B-20260805 — базовая языковая модель семейства RWKV-7, разработанная Bo Peng, Yu Zhang, Songlin Yang, Ruichong Zhang и Zhiyuan Li при поддержке RWKV Project под эгидой LF AI & Data Foundation. Это плотная авторегрессионная модель с архитектурой RWKV7ForCausalLM; метаданные указывают 14,6 млрд параметров, а карточка README — 13,3 млрд. Модель обучена на веб-текстах, коде, синтетических данных, инструкциях, диалогах и рассуждениях; в репозитории указаны веса safetensors и интерфейсный шаблон чата. RWKV-7 использует рекуррентное состояние постоянного размера и постоянную вычислительную работу на генерируемый токен, сохраняя возможность параллельного обучения. Модель предназначена для генерации текста, оценки, последующего обучения и дообучения; поддерживает английский, китайский, японский, корейский, французский, арабский, испанский и португальский языки. Метаданные задают контекст 2048 токенов, тогда как название файла в README содержит обозначение ctx16384, поэтому фактическую длину контекста следует сверить с используемой конфигурацией. Модель распространяется по лицензии Apache-2.0. README прямо предупреждает, что базовый чекпойнт не является выровненным по безопасности ассистентом: шаблон чата служит интерфейсом для подачи запросов и сам по себе не гарантирует безопасное поведение.

Tencent разработала Hunyuan-Large — текстовую языковую модель на архитектуре Transformer с разреженной структурой Mixture of Experts. Она содержит 389 млрд параметров, из которых при обработке активны 52 млрд. Предварительно обученная версия поддерживает контекст до 256 тысяч токенов, а версия Instruct — до 128 тысяч токенов. Модель предназначена для генерации текста, ответов на вопросы, чтения и понимания длинных документов, рассуждений и решения математических задач. В карточке описаны оценки на англоязычных и китайских тестах, включая MMLU, CMMLU и C-Eval; метаданные также отмечают английский язык. Для развёртывания README указывает vLLM и TRT-LLM. Репозиторий распространяется по лицензии с обозначением other, поэтому конкретные условия следует уточнять в лицензии проекта.

Yi-34B-200K — большая языковая модель 01.AI, обученная с нуля. Она предназначена для генерации текста и подходит для диалога, ответов на вопросы, рассуждений и чтения длинных материалов. Модель использует плотную архитектуру LlamaForCausalLM на основе Transformer, содержит 33,9 млрд параметров и поддерживает контекст до 200 000 токенов. Семейство Yi ориентировано прежде всего на китайский и английский языки и обучено на многоязычном корпусе объёмом 3 трлн токенов. Веса этой модели опубликованы в форматах PyTorch и Safetensors. Карточка описывает сильные результаты семейства в понимании языка, здравом смысле и чтении; эти результаты не гарантируют такое же качество на всех задачах и данных. Модель распространяется по лицензии Apache-2.0. Для запуска большой версии необходимы значительные вычислительные ресурсы; приведённый в карточке пример локального запуска Yi-34B использует ускоритель A800 с 80 ГБ памяти.

ANITA-NEXT-24B-Dolphin-Mistral-UNCENSORED-ITA — разговорная языковая модель семейства ANITA-NEXT, разработанная исследователем Марко Полиньяно из Университета Бари Альдо Моро и исследовательской группой SWAP. Это плотная авторегрессионная модель архитектуры Mistral на 23,4 млрд параметров, дообученная на базе dphn/Dolphin-Mistral-24B-Venice-Edition с помощью SFT, QLoRA и DPO. Она предназначена для диалога, следования инструкциям и генерации текста и кода; README характеризует её как модель с рассуждением и без фильтрации ответов. Модель принимает текст и генерирует текст, включая код. Она рассчитана прежде всего на итальянский язык, также заявлена поддержка английского и многоязычных сценариев. Метаданные указывают контекст 40 960 токенов; README отмечает деградацию качества после примерно 40 тысяч токенов, несмотря на заявленные там 128 тысяч. Указанная лицензия — Apache-2.0. Авторы предупреждают о галлюцинациях и возможности оскорбительных, неэтичных или опасных ответов; модель представлена для исследовательского применения.

Calme-Ties2-78B — объединённая чат-модель на архитектуре Qwen2, опубликованная prithivMLmods. Она создана методом TIES с помощью mergekit на основе prithivMLmods/Calme-Ties-78B и модели MaziyarPanahi/calme-3.1-instruct-78b. Модель содержит 76,7 млрд параметров, принимает текст и генерирует текст, поддерживает диалоговый режим и имеет контекстное окно 32 768 токенов. Модель предназначена для диалогов и общих задач генерации текста. В конфигурации объединения использованы нормализация, int8-маска и тип данных bfloat16; для работы доступна библиотека Transformers. Репозиторий распространяется под лицензией, указанной в метаданных Hugging Face, однако конкретное значение лицензии в предоставленных данных отсутствует.

Карточка модели TitanML/DeepSeek-OCR-2 на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-OCR-2, поэтому описание составлено по ней. DeepSeek-OCR 2 — мультимодальная модель DeepSeek для распознавания текста и анализа документов по изображениям. Она использует архитектуру DeepSeek-VL2 с причинным языковым декодером и рассчитана на запуск через Transformers на GPU NVIDIA; README также упоминает ускоренный инференс и обработку PDF через vLLM. Модель поддерживает динамическое разрешение изображений: указан режим от 0 до 6 фрагментов 768×768 и одного изображения 1024×1024. Размер модели составляет 559,7 млн параметров, контекст — 8192 токена. В карточке заявлена поддержка многоязычного ввода. Модель подходит для извлечения текста с изображений и документов, включая сценарии OCR и работы с PDF. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Для запуска README приводит зависимости для Transformers и CUDA; указанные версии окружения могут потребовать соответствующей GPU-конфигурации.

Experiment26Yamshadow_Experiment24Inex12 — объединённая модель семейства Mistral, созданная из automerger/Experiment26Yamshadow-7B и automerger/Experiment24Inex12-7B. Она предназначена для генерации текста и может использоваться в приложениях, которым нужна языковая модель общего назначения. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров. Контекст составляет до 32 768 токенов; веса опубликованы в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0. Карточка не описывает отдельные специализации или подтверждённые языковые предпочтения модели.

gemma-3-4b-it-GGUF — квантизированная версия мультимодальной модели Gemma 3 4B IT, разработанной Google. Файл в формате GGUF подготовлен пользователем bartowski на основе модели google/gemma-3-4b-it и предназначен для запуска через llama.cpp, в том числе локально в LM Studio. Модель подходит для генерации текста, ответов на вопросы, суммаризации, рассуждений и понимания изображений. Она поддерживает текстовый и визуальный ввод; изображения нормализуются до разрешения 896 × 896 пикселей. Заявленная длина контекста составляет до 128 000 токенов, максимальная длина вывода — 8192 токена. Другие характеристики, включая поддерживаемые языки и точную архитектуру, в README не указаны. Для работы требуется runtime llama.cpp версии 1.19.0 или более новой, причём рекомендуется актуальная beta-версия. К ограничениям относятся зависимость от совместимого runtime, возможные ошибки и неточности генерации, а также отсутствие в предоставленных данных сведений о конкретном типе квантизации и её влиянии на качество. Модель распространяется по лицензии Gemma; для доступа на Hugging Face требуется принять условия лицензии Google.

GLM-4-9B-0414 — текстовая генеративная модель семейства GLM-4 от Z.ai. По метаданным это плотная архитектура GLM-4 с 8,8 млрд параметров, рассчитанная на контекст до 32 768 токенов; репозиторий содержит веса Safetensors для Transformers. Модель поддерживает диалог и интерфейс вызова инструментов. Она предназначена для генерации текста в диалоге и решения общих задач с инструкциями. В README описан вариант GLM-Z1-9B-0414 с усиленными рассуждениями, особенно в математике, однако карточка относится к GLM-4-9B-0414, поэтому эти свойства нельзя уверенно приписать ей. Метаданные указывают китайский и английский языки. Лицензия — MIT.

GPT-4o — мультимодальная модель OpenAI, принимающая текст и изображения и формирующая текстовые ответы. Название «omni» отражает поддержку нескольких типов входных данных; в доступной карточке заявлены текстовый и визуальный ввод. Модель подходит для диалога и ответов на вопросы по тексту или изображениям, например для описания изображений и анализа визуальной информации. По метаданным каталога её задача — image-text-to-text. Карточка также сравнивает её уровень интеллекта с GPT-4 Turbo, но не содержит завершённых сведений о размере, контекстном окне, языках и лицензии.

ceia-aisdk/llm-large-v1 — распространяемый в формате GGUF артефакт для псевдонима llm/large@1 в CEIA AI SDK. Это квантованная версия инструкционной языковой модели Qwen2.5-14B-Instruct с 14,7 млрд параметров; веса не обучались CEIA. Модель предназначена для диалогов и генерации текста по инструкциям. Репозиторий содержит файл model.gguf в квантизации Q4_K_M от bartowski. Модель принимает текст и выдаёт текст; метаданные отмечают поддержку чата. Лицензия — Apache-2.0, такая же, как у базовой модели.

BorisTM/loss-guided-static-multi — мультиязычный статический кодировщик предложений для семантического поиска и сравнения текстов. Модель обучена с контрастивной целью и расширенным словарём: полезные пары соседних токенов получают собственные строки эмбеддингов, при этом базовый токенизатор не меняется. При инференсе используются таблица эмбеддингов и усреднение, без Transformer; размерность векторов — 1 024, всего 321,7 млн параметров. Модель рассчитана на CPU-эффективное семантическое сходство, поиск, кластеризацию и классификацию на 176 языках. Каждый текст необходимо предварять языковым маркером, например __rus_Cyrl__; без него обработка завершается ошибкой. Репозиторий включает пользовательский модуль эмбеддингов и требует trust_remote_code=True. Распространяется по лицензии Apache-2.0.

MetaModel_moe_multilingualv1 — языковая модель с архитектурой Mixtral Mixture of Experts, созданная с помощью mergekit путём объединения нескольких моделей на базе Mistral 7B. В состав объединения входят OpenChat, CodeNinja, PiVoT, WizardMath, komt-mistral, OpenBuddy, open-aditi-hi и SauerkrautLM. Модель предназначена для генерации текста в диалогах и других сценариях, где нужны общие ответы, помощь с кодом и математикой, а также многоязычная генерация. Карточка указывает на языки английский, хинди, немецкий, французский, арабский и японский; размер модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0. README описывает объединение специализированных моделей, но не приводит оценок качества или результатов тестирования. Поэтому пригодность для конкретного языка и задачи следует проверять на собственных примерах; качество может различаться между направлениями, представленными в смеси.

Mistral-Small-3.2-24B-Instruct-2506-ultra-uncensored-heretic — доработанная участником сообщества версия Mistral-Small-3.2-24B-Instruct-2506 от Mistral AI. К модели применена abliteration: README сообщает о целевых слоях и компонентах и приводит метрики, указывающие на снижение частоты отказов при сравнительно небольшом изменении поведения базовой модели. Это плотная мультимодальная модель семейства Mistral3 с поддержкой чата и анализа изображений; в карточке перечислены многочисленные языки, включая русский. Она подходит для диалогов по инструкциям, анализа изображений, вызова инструментов и задач, где нужны ответы с меньшим числом отказов. В README описаны улучшения базовой версии в следовании инструкциям, вызове функций и снижении повторов, а также приведены результаты тестов по STEM и зрительным задачам; эти результаты относятся к базовой модели и не подтверждают отдельную оценку данной доработки. Репозиторий содержит веса safetensors, указанная библиотека — vLLM; README также упоминает Transformers. Лицензия — Apache-2.0. Для запуска базовой версии в bf16 или fp16 README указывает потребность примерно в 55 ГБ видеопамяти, что свидетельствует о значительных аппаратных требованиях.

graelo/Qwen2.5-7B-Instruct-1M-AWQ — это 4-битная GEMM-квантизованная версия модели Qwen/Qwen2.5-7B-Instruct-1M, разработанной командой Qwen. Модель относится к классу instruction-tuned языковых моделей с примерно 7 миллиардами параметров и предназначена для выполнения инструкций и генерации текста. Из идентификатора базовой модели следует поддержка контекста до 1 миллиона токенов, однако сведения о языках, модальностях и точной архитектуре в README не приведены. Квантизация до 4 бит может снизить требования к памяти и сделать запуск модели более доступным, но потенциально сопровождается потерей качества по сравнению с исходной версией и требует совместимого программного обеспечения для формата AWQ/GEMM. README не содержит результатов тестирования, подробностей о производительности или рекомендуемых сценариях использования. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Omnimerge-v4-MTP-GGUF — квантизированная GGUF-версия модели ManniX-ITA/Qwen3.6-27B-Omnimerge-v4, подготовленная автором ManniX-ITA. Модель имеет 27,78 млрд параметров и заявленную архитектуру Qwen3.5; репозиторий содержит объединённые веса в форматах от F16 до низкобитных IQ- и Q/K-квантизаций. В метаданных указаны поддержка английского языка, reasoning и vision, а также pipeline image-text-to-text, однако подробные сведения о контекстном окне и точном наборе мультимодальных возможностей не приведены. Главная особенность этой версии — сохранённая MTP (Multi-Token Prediction) head, предназначенная для self-speculative decoding в llama.cpp. При использовании llama.cpp с поддержкой MTP модель может предлагать несколько токенов за шаг и ускорять генерацию; для этого требуется версия с поддержкой соответствующего PR и режим draft-mtp. Без MTP-функциональности модель работает в стандартном режиме декодирования. Доступно 19 уровней квантизации и эталонная F16-версия, что позволяет выбирать компромисс между качеством, скоростью и потреблением памяти; рекомендуемым балансом в README названа Q6_K. Модель подходит для локального текстового и, при наличии соответствующего мультимодального проектора, визуально-текстового вывода, включая задачи рассуждения. Ограничения связаны с существенными требованиями к памяти, зависящими от выбранной квантизации, необходимостью совместимой версии llama.cpp для ускорения MTP и возможной потерей качества на низких битностях. Распространяется по лицензии Apache-2.0.

Это конверсия в формат MLX модели DavidAU/Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored, выполненная с помощью mlx-vlm 0.6.10. Модель основана на плотной мультимодальной архитектуре Qwen3.5 с 40 млрд параметров и принимает текст и изображения, формируя текстовые ответы. Она предназначена для диалогов, рассуждений, программирования и творческого письма; в метаданных также заявлены режимы работы с изображениями. Модель поддерживает английский и китайский языки. Репозиторий содержит веса safetensors в формате MLX и распространяется по лицензии Apache-2.0. Подробности обучения и дополнительные ограничения в карточке этой конверсии не описаны; за характеристиками исходной модели следует обращаться к её карточке.

Twu31/Qwen3.8-27B-AWQ-INT4-MTP-LowLatency — квантизированная сборка базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем Twu31. Модель предназначена для интерактивного диалога с низкой задержкой, включая чат-интерфейсы, голосовых агентов и embodied assistants, при отключённом рассуждении и работе через vLLM на одной GPU. Это гибридная модель с архитектурой GDN и attention, поддержкой текстово-визуального ввода и языками English и Chinese. Основные веса представлены в формате INT4 W4A16 с симметричной групповой квантизацией g128 и обслуживаются через compressed-tensors и Marlin; lm_head использует INT8, а vision tower и MTP draft head сохранены в BF16. Размер квантизированных весов составляет около 18,2 ГБ против 55,6 ГБ у BF16-версии. Указан максимальный контекст 12 288 токенов в рекомендуемой конфигурации. Сборка поддерживает speculative decoding через MTP и оптимизирована для prefix caching; заявлены TTFT менее 100 мс и задержка полного ответа менее 0,5 секунды в отдельных конфигурациях на RTX 6000 Ada или RTX 5090. Сильные стороны модели — низкая задержка, экономия видеопамяти, сохранённая MTP-голова и высокая эффективность prefix caching при длинном фиксированном системном промпте. Ограничения включают зависимость производительности от версии и настроек vLLM, GPU с архитектурой SM 8.0+, параметров prefix caching и длины ответа; MTP требует проверки фактического acceptance rate и может замедлять работу при низком принятии черновых токенов. Поддержка SGLang не проверялась. Модель распространяется по лицензии Apache-2.0.