I.6Перевод и языковая адаптация

Qwen2.5-32B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в локальных приложениях через llama.cpp и LM Studio. Для общения применяется специальный шаблон prompt с ролями system, user и assistant. Модель имеет размер 32B параметров и доступна в вариантах от F16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix в llama.cpp; варианты отличаются размером файла, требованиями к памяти и ожидаемым качеством. README указывает английский язык, однако сведения о полном наборе поддерживаемых языков, архитектуре и длине контекста не приведены. Сильной стороной являются разнообразные варианты квантизации, позволяющие выбирать между качеством и требованиями к ресурсам; версии Q6, Q5 и Q4 отмечены как рекомендуемые, а Q4_K_M описана как подходящий вариант стандартного размера. Более компактные варианты экономят память, но могут заметно уступать по качеству. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/Qwen2.5-32B-Instruct-GGUF — это набор файлов модели в формате GGUF для Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантованную версию подготовил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживающих исходную instruct-модель. Модель имеет размер 32B параметров и относится к текстовым моделям. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между качеством, потреблением памяти и скоростью работы. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими совместимыми инструментами, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Сильными сторонами являются широкий выбор уровней квантования и совместимость с популярной экосистемой локального инференса. README не содержит сведений о поддерживаемых языках, размере контекста, точной архитектуре, результатах оценки или ограничениях исходной модели. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять в документации Qwen2.5-32B-Instruct и данного репозитория.

6block/Qwen3-30B-A3B-GGUF — это квантизированная GGUF-версия модели Qwen3-30B-A3B, разработанной командой Qwen и подготовленной пользователем 6block. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, Ollama и совместимые проекты. Доступны варианты квантования Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS, IQ3_M и Q2_K с размером файлов примерно от 11,26 до 32,48 ГБ, что позволяет выбирать компромисс между качеством, требованиями к памяти и скоростью работы. Квантизация выполнена с использованием imatrix и двуязычного англо-китайского набора данных с большим количеством программного кода, поэтому младшие варианты квантования должны лучше сохранять способности к работе с китайским языком и кодом по сравнению с калибровкой только на английских данных. Заявлены английский и китайский языки; другие модальности, размер контекста и точная архитектура в README не указаны. Модель ориентирована на локальные сценарии текстовой генерации и программирования, но низкобитные варианты могут заметно уступать по качеству более крупным квантам. Распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-4bit — языковая instruct-модель для генерации текста, разработанная командой Qwen и конвертированная сообществом mlx-community в формат MLX из базовой модели Qwen/Qwen3-4B-Instruct-2507. Модель предназначена для диалогового взаимодействия и выполнения текстовых запросов с использованием chat template. Модель содержит 4 миллиарда параметров и представлена в 4-битном формате квантования. Она работает с текстовой модальностью; сведения о поддерживаемых языках и размере контекста в README не указаны. Формат MLX и использование библиотеки mlx-lm ориентированы на запуск модели в экосистеме MLX. Конкретные преимущества и ограничения качества по сравнению с исходной моделью в предоставленных данных не описаны; 4-битное представление может влиять на точность, но степень такого влияния не указана. Модель распространяется по лицензии Apache 2.0. Конвертация выполнена с использованием mlx-lm версии 0.26.2.

z-lab/Qwen3.6-35B-A3B-PARO — это мультимодальная версия модели Qwen/Qwen3.6-35B-A3B, подготовленная командой z-lab с использованием метода 4-битного квантования ParoQuant, или Pairwise Rotation Quantization. Модель предназначена для генерации и анализа текста, а также для сценариев image-text-to-text, в которых требуется обработка изображений вместе с текстовыми запросами. Модель имеет размер 35B-A3B согласно идентификатору базовой модели. Языковые компоненты квантованы до INT4, тогда как визуальные компоненты сохранены в исходной точности. Такой подход должен обеспечивать высокую эффективность вывода при сохранении качества, близкого к FP16, и скорости, сопоставимой с AWQ, согласно описанию разработчиков. Поддерживаются NVIDIA GPU через vLLM и Transformers, а также компьютеры Apple Silicon через MLX; доступны интерактивный режим и OpenAI-совместимый сервер. К ограничениям относятся повышенный размер относительно полностью квантованной мультимодальной модели и необходимость не загружать визуальные компоненты, если обработка изображений не требуется. В README не указаны поддерживаемые языки, максимальная длина контекста и подробные результаты бенчмарков. Модель распространяется по лицензии Apache-2.0; сведения о дополнительных ограничениях базовой модели в README не приведены.

Qwen3.8-27B-2bit-MLX — мультимодальная квантованная версия модели Qwen/Qwen3.8-27B, разработанная сообществом и преобразованная в формат MLX автором lukaskremla с использованием mlx-vlm 0.6.13. Модель предназначена для задач, объединяющих работу с текстом и изображениями, включая диалоговые сценарии, рассуждения, использование инструментов, анализ видео и обработку длинного контекста. Модель имеет архитектуру Qwen3.8-27B и размер 27B параметров; для весов применяется 2-битное weight-only-квантование с affine RTN и group size 64. Vision tower сохранён в формате BF16, поэтому модель поддерживает мультимодальные входы, включая изображения и видео. Заявлена поддержка нескольких языков, однако конкретный языковой перечень и размер контекстного окна в README не указаны. Квантование уменьшает требования к памяти, но может снижать точность по сравнению с исходной моделью; характеристики производительности и совместимости зависят от среды MLX. Модель распространяется по лицензии Apache-2.0.

Yi-34B-Chat — чат-модель для генерации текста, разработанная 01.AI. Она входит в серию Yi, обученную с нуля на многоязычном корпусе объёмом 3 трлн токенов и рассчитанную прежде всего на работу с английским и китайским языками. Модель использует плотную архитектуру Transformer семейства Llama, класс LlamaForCausalLM, и содержит 33,9 млрд параметров; при этом она не является производной от Llama и не использует её веса. Модель предназначена для диалогов, ответов на вопросы, понимания текста, чтения и рассуждений на здравом смысле. В карточке приведены результаты сравнений, актуальные на конец 2023 — начало 2024 года; они не гарантируют качество на других задачах и данных. Контекст составляет 4096 токенов. Для локального запуска руководство приводит пример с ускорителем A800 на 80 ГБ; фактические требования зависят от способа развёртывания и точности весов. Репозиторий предоставляет веса в формате safetensors, а лицензия — Apache-2.0.

Calme-Instruct-Extended — объединённая разговорная языковая модель семейства Mistral, созданная с помощью mergekit на основе MaziyarPanahi/Calme-7B-Instruct-v0.1.1. Она предназначена для генерации текста и диалогового взаимодействия; может использоваться для ответов на вопросы, составления текстов и ведения чата. Модель имеет плотную архитектуру MistralForCausalLM, содержит 8,9 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

DeepSeek-V4-Flash-0731-GGUF — квантизированная версия модели DeepSeek-V4-Flash-0731, разработанной DeepSeek и опубликованной в формате GGUF организацией ggml-org. Модель предназначена для задач генерации текста и может использоваться в совместимых инструментах для локального или серверного запуска, включая llama.cpp и приложение llama.app. В README не указаны архитектура, количество параметров, поддерживаемые языки, размер контекста и точный набор модальностей; по имеющимся данным модель относится к текстовым генеративным моделям. Доступны квантизированные варианты, при этом для вариантов Q2 пока не применялась imatrix-калибровка, что может влиять на их качество. Модель автоматически конвертирована средствами проекта ggml-org/convert. Модель распространяется по лицензии MIT. Для запуска требуется совместимое программное обеспечение, поддерживающее формат GGUF.

Это версия Whisper large-v3, дообученной автором базовой модели и преобразованной в формат CTranslate2 для запуска через библиотеку faster-whisper. Модель предназначена для автоматического распознавания речи и транскрибирования аудиозаписей, в том числе в сценариях реального времени, пакетной обработки и высоконагруженных API. В карточке заявлены ускорение вывода до 4 раз и снижение потребления памяти; фактические показатели зависят от оборудования и длины аудио. Используется точность float16. README связывает исходное дообучение с Common Voice и L2 Arctic, но не приводит метрик качества или подробностей языкового и акцентного покрытия. Метаданные указывают английский язык. Лицензия — Apache-2.0.

p-e-w/gemma-3-12b-it-heretic-v2 — мультимодальная модель семейства Gemma 3 на 12 млрд параметров, основанная на google/gemma-3-12b-pt и представленная как conversational, uncensored/decensored и abliterated вариант. Она принимает текст и изображения и генерирует текст; подходит для диалога, ответов на вопросы об изображениях, суммаризации и других задач генерации и понимания текста. В README базовой модели указаны контекст до 128K токенов и поддержка более 140 языков. Модель может применяться для извлечения сведений из изображений, составления текстов и исследовательских экспериментов; размер позволяет запускать её на локальных компьютерах и собственной инфраструктуре при достаточных ресурсах. README предупреждает о возможных фактических ошибках, смещениях и трудностях с неоднозначными или сложными запросами. Лицензия — Gemma; применяются условия лицензии и правила допустимого использования Gemma.

gghfez выпустил текстовую версию Google Gemma 3 12B IT, преобразовав мультимодальную архитектуру Gemma3ForConditionalGeneration в текстовую Gemma3ForCausalLM и удалив компоненты обработки изображений. По карточке модель предназначена для генерации текста и диалогов; метаданные указывают 11,6 млрд параметров, контекст до 131 072 токенов и формат Safetensors. README приводит оценку в 4 млрд параметров, что расходится с метаданными. Модель принимает текст и выдаёт текст, а использовать её предлагается так же, как текстовую Gemma 3 1B IT. Лицензия — Gemma; модель основана на google/gemma-3-12b-it.

google/gemma-4-31B-it-assistant — вариант Gemma 4 от Google DeepMind с инструкционной настройкой и поддержкой Multi-Token Prediction (MTP). В спекулятивном декодировании небольшой черновой модуль предлагает несколько следующих токенов, которые основная модель проверяет параллельно; карточка заявляет ускорение генерации до 3 раз при сохранении того же качества, что и при обычной генерации. Архитектура плотная, веса опубликованы в формате safetensors, библиотека — Transformers. Модель предназначена для ускорения генерации текста с низкой задержкой, в том числе при локальном развёртывании. Семейство Gemma 4 поддерживает работу с текстом и изображениями, а также генерацию кода, рассуждения и вызов инструментов; у модели заявлено контекстное окно до 256 тысяч токенов и многоязычная поддержка. Карточка семейства также описывает видео и аудио, но аудио поддерживается только вариантами E2B, E4B и 12B, а не 31B. Лицензия — Apache 2.0. Ускорение зависит от использования в совместимом конвейере спекулятивного декодирования; MTP-черновик не является самостоятельной заменой целевой модели. В карточке не приведены отдельные сведения об оценках и ограничениях именно этого чекпойнта.

Vishva007/gemma-4-E4B-it-W4A16-AutoRound-GPTQ — это 4-битная GPTQ-квантизованная версия мультимодальной модели Google Gemma 4 E4B Instruct, созданная на базе google/gemma-4-E4B-it. Модель предназначена для генерации и понимания текста, работы с изображениями и аудио, включая мультимодальные диалоги, описание изображений и анализ визуальных материалов. Заявлена поддержка английского и многоязычных сценариев. Модель распространяется для использования через Transformers и vLLM; в README рекомендована совместимая сборка vLLM для сервинга и OpenAI-совместимого API. Архитектура включает 42-слойную текстовую часть Gemma4TextModel с размерностью скрытого состояния 2560 и смешанным локальным и глобальным вниманием, 16-слойную vision-модель с размерностью 768 и 12-слойную audio-модель с conformer-подобными слоями. Размер словаря составляет 262 144 токена. Линейные слои языковой модели квантизованы по схеме W4A16: веса INT4, активации BF16, размер группы 128, симметричная квантизация. Визуальная и аудиобашни, а также мультимодальные проекторы сохраняются в полной точности, что помогает поддерживать мультимодальное качество. В рекомендованной конфигурации vLLM указан максимальный размер контекста 18 432 токена, а число визуальных токенов на изображение можно настраивать. Главные преимущества — снижение требований к памяти и возможность эффективного развёртывания при сохранении мультимодальных возможностей. Ограничения связаны с использованием RTN-режима AutoRound без полной оптимизации, возможным небольшим снижением точности из-за пропуска слоёв, размеры которых не кратны 32, а также более низкой эффективностью speculative decoding по сравнению с исходной неквантизованной моделью. Лицензия указана как gemma; конкретные условия её применения следует уточнять в лицензии Google Gemma.

GPT-5.4 — фронтирная модель OpenAI, объединяющая линейки Codex и GPT. По карточке, она поддерживает контекст более чем в 1 млн токенов: до 922 тыс. входных и 128 тыс. выходных токенов. В доступных данных также указана задача image-text-to-text. Модель предназначена для работы с текстом и изображениями и выдачи текстовых ответов. Сведений о конкретных сценариях, языках, архитектуре, размере и лицензии в предоставленных данных нет, поэтому их нельзя уточнить.

Карточка модели muhamad-geosurge/invert-polarity-056ee365-12d0-4322-af56-4ed19ac9b445 на Hugging Face совпадает с карточкой google/gemma-3-12b-it, поэтому описание составлено по ней. Gemma 3 12B IT — мультимодальная модель с открытыми весами от Google, дообученная для следования инструкциям на основе google/gemma-3-12b-pt. Она принимает текст и изображения и генерирует текст; относится к семейству Gemma 3 и доступна в формате safetensors для Transformers. Модель предназначена для диалоговых приложений, ответов на вопросы и задач понимания изображений, а также для создания и обобщения текста. Контекстное окно — до 128 тысяч токенов, поддерживается более 140 языков. Размер модели — 12 млрд параметров. Модель подходит для извлечения сведений из изображений, составления черновиков, суммаризации и исследовательских задач. Google отмечает, что ответы могут содержать фактические ошибки, отражать предвзятость обучающих данных и хуже справляться со сложными открытыми запросами, языковыми нюансами и задачами, требующими здравого смысла. Лицензия — Gemma; при использовании следует соблюдать условия лицензии и политику запрещённого использования Gemma.

Shenzhi Wang и соавторы разработали Llama3-8B-Chinese-Chat — диалоговую модель на базе Meta-Llama-3-8B-Instruct, дообученную методом ORPO для китайско- и англоязычных пользователей. Этот репозиторий содержит веса GGUF в формате F16; модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 8192 токенов. Модель предназначена для диалогов и генерации текста, включая ролевые сценарии, использование инструментов и решение математических задач. По сравнению с базовой моделью авторы отмечают меньше случаев, когда на китайский запрос следует английский ответ, и меньше смешения китайского и английского в китайских ответах. В README описана версия v2.1 с улучшениями в ролевых диалогах, вызове функций и математике. Известное ограничение: модель не дообучали на сохранение своей идентичности, поэтому ответы о том, кто она и кем создана, могут быть случайными. Для использования действуют условия лицензии Llama 3.

MiniCPM5-2B-GGUF — это набор общественных GGUF-квантизаций плотной языковой модели MiniCPM5-2B, разработанной OpenBMB и преобразованной в формат GGUF автором ngquocvinh. Релиз предназначен для локального запуска через llama.cpp и совместимые среды, включая Ollama и LM Studio, а также для создания локальных ассистентов, coding agents, сценариев с использованием инструментов и развёртывания на устройствах с ограниченными ресурсами. Релиз является только конвертацией и квантизацией исходной модели без дополнительного обучения, дообучения, объединения весов или иных изменений параметров. Модель использует архитектуру LlamaForCausalLM, содержит около 2,52 млрд параметров, 42 слоя и GQA с 16 query-heads и 2 KV-heads. Нативная длина контекста составляет 131 072 токена. В метаданных указаны английский и китайский языки. Поддерживаются генерация текста, рассуждения и официальный шаблон чата с thinking и XML-стилем вызова инструментов, однако поведение tool calling в этом релизе отдельно не сертифицировано. Доступно несколько уровней квантизации: от Q8_0 и Q6_K с наибольшей близостью к BF16-версии до более компактных вариантов с меньшей точностью. Чем сильнее сжатие, тем ниже требования к ресурсам, но тем заметнее отклонение поведения от исходной модели; экстремально низкие уровни, такие как Q1_0 и некоторые Q2-варианты, демонстрируют существенную потерю качества по приведённым измерениям. Релиз распространяется по Apache License 2.0 с требованием сохранять атрибуцию OpenBMB и лицензию при перераспределении. Это общественная квантизация, не официальный релиз и не одобрение OpenBMB.

MiniMax-M3-MXFP4 — это мультимодальная vision-language модель на базе MiniMax-M3, разработанная MiniMaxAI и представленная в виде производной 4-битной квантизованной версии от olka-fi с использованием qstream. Модель предназначена для обработки текста и изображений, генерации ответов, решения математических и других интеллектуальных задач, а также сценариев с большим контекстом и вызовом инструментов. Она использует разреженную MoE-архитектуру с 128 экспертами, выбором top-4 экспертов и одним общим экспертом, поддерживает контекст до 256K токенов и включает CLIP vision tower с проектором. Базовая архитектура также использует SwiGLU-OAI и block-sparse attention с lightning-indexer. Основное назначение версии MXFP4 — значительно уменьшить размер модели при сохранении качества. Около 95% весов, относящихся к маршрутизируемым MoE-экспертам, представлены в формате MXFP4 с 4-битными значениями и групповыми масштабами E8M0 для групп по 32 элемента; чувствительные к качеству компоненты сохранены в MXFP8, BF16 или F32. Размер контрольной точки составляет около 237 ГБ против 444 ГБ у исходной MXFP8-версии, а объём весов — примерно 221 ГиБ. В приведённых тестах модель показала perplexity 5,32 на чистом английском тексте и точность 92,9% на GSM8K. Модель рассчитана прежде всего на серверное развёртывание через совместимую экспериментальную сборку vLLM и требует специального патча для MoE-квантизации; для полной конфигурации необходимы GPU с памятью порядка 256–275 ГБ, например B300. Сильными сторонами являются большой контекст, сохранённая обработка изображений, существенное сокращение объёма и высокая скорость генерации на поддерживаемом оборудовании. Ограничения включают значительные требования к видеопамяти, экспериментальный статус поддержки MXFP4 в vLLM и необходимость специальной настройки. Модель распространяется по MiniMax Community License, унаследованной от базовой модели; лицензия допускает некоммерческое использование.

Qwen1.5-MoE-A2.7B-Chat — диалоговая языковая модель на архитектуре Transformer с декодером и смесью экспертов (MoE), разработанная командой Qwen. Она создана на основе Qwen-1.8B и предназначена для генерации текста в чате и ответов на запросы. По карточке модели, всего в ней 14,3 млрд параметров, из которых при генерации активируются 2,7 млрд; каталог Hugging Face указывает 1,5 млрд параметров. Контекст модели — до 32 768 токенов. Разработчики сообщают о сопоставимой с Qwen1.5-7B производительности при меньших затратах на обучение и о более высокой скорости инференса. Карточка советует использовать параметры генерации из generation_config.json при проблемах с переключением языков или других нежелательных результатах. Модель рассчитана на текстовый ввод и выдачу текста; в метаданных указан английский язык. Лицензия обозначена как other, поэтому конкретные условия использования следует сверять с лицензией репозитория.

evolveon/Qwen2.5-7B-Instruct-abliterated — разговорная языковая модель, созданная evolveon на основе Qwen/Qwen2.5-7B-Instruct с применением abliteration. Она предназначена для диалогов и генерации текста, включая ответы на запросы пользователя; метаданные также отмечают интерфейс вызова инструментов. Модель имеет плотную архитектуру Qwen2ForCausalLM и 7,1 млрд параметров, принимает текст и выдаёт текст. Заявленная длина контекста — 32 768 токенов. В тегах указана поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. По описанию автора, версия создана как uncensored-вариант базовой модели с помощью abliteration; метод и результат отдельно не оценены в карточке. Репозиторий содержит веса safetensors для библиотеки Transformers. Лицензия — Apache-2.0.

Qwen3-4B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-4B-Instruct-2507, разработанная ByteShape с применением технологии ShapeLearn. Технология подбирает тип данных отдельно для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и может использоваться локально с llama.cpp и Ollama на CPU и GPU. Модель относится к текстовым генеративным моделям, имеет размер исходной версии 4B параметров и представлена в вариантах KQ и IQ с разной средней разрядностью — от 2,55 до 4,74 бит на вес. KQ-варианты рекомендованы для CPU благодаря эффективности ядер GGML, а IQ-варианты — для современных Nvidia GPU. Размер файлов составляет примерно от 1,29 до 2,39 ГБ. Доступны различные компромиссы между скоростью инференса, размером и качеством; заявленные нормализованные показатели качества достигают 99,80%. Сильными сторонами являются компактность, широкий выбор вариантов под разное оборудование и оптимизация квантования с использованием ShapeLearn. Ограничения связаны с потерями качества, возможными при низкой разрядности, а также с отсутствием в README сведений о языках, размере контекста, точной архитектуре и мультимодальных возможностях. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-Theseus-i1-GGUF — квантизированная версия модели Qwen3.5-9B-Theseus, подготовленная mradermacher на основе модели nightmedia. Распространяется в формате GGUF и предназначена для локального запуска и инференса в совместимых инструментах. В репозитории представлены imatrix-квантизации различных типов и размеров, включая варианты от i1-Q2_K до i1-Q6_K, что позволяет выбирать баланс между требованиями к памяти, скоростью и качеством. Модель ориентирована на генерацию текста, диалоги, программирование, математические и STEM-задачи, рассуждения, творческое письмо, создание историй и ролевые сценарии. Заявлена поддержка английского, китайского, японского и испанского языков. README указывает на мультимодальность и наличие vision-возможностей, однако конкретные характеристики обработки изображений не раскрыты. Также упоминается контекст до 256k или 1M токенов, но точное поддерживаемое значение для этой сборки не указано. К сильным сторонам относятся широкий выбор квантизаций, включая варианты с imatrix, возможность подбора компактной конфигурации и заявленная универсальность задач. Ограничения включают экспериментальный характер исходной модели, возможное снижение качества на низких уровнях квантизации и отсутствие подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B Q4KM dequant BF16 for vLLM — это преобразованная версия весов Qwen3.6-27B, подготовленная exolabs для запуска через vLLM. Исходные веса взяты из GGUF-файла Q4_K_M репозитория unsloth/Qwen3.6-27B-GGUF, деквантизированы и сохранены в формате BF16 в шардах safetensors; конфигурация и токенизатор взяты из Qwen/Qwen3.6-27B. Архитектура — плотная Qwen3_5ForConditionalGeneration; валидация описывает текстовую генерацию, а визуальная башня намеренно отсутствует. Модель предназначена для диалоговой генерации текста и развёртывания через vLLM. В README указаны успешная загрузка через Transformers CUDA и короткая генерация, а также проверка совместимости с интерфейсом vLLM completions. Для запуска автор рекомендует режим только языковой модели и максимальную длину контекста 4096 токенов. Хотя метаданные содержат тег image-text-to-text и возможность vision, данная сборка не включает визуальную башню и рассчитана на текстовый режим. Это конверсия и деквантизация исходного GGUF Q4_K_M в BF16, а не исходный чекпойнт BF16: точность ограничена исходными квантованными весами. Репозиторий не сообщает лицензию; условия использования следует сверить с лицензиями исходной модели и файла. Для запуска нужны совместимые версии vLLM и подходящее GPU-оборудование; проверка проводилась на H200 с vLLM 0.23.0.

AtomicChat/Qwen3.8-27B-GGUF — это квантизированная версия модели Qwen3.8-27B, разработанной Qwen и подготовленной командой AtomicChat. Модель распространяется в формате GGUF для запуска через llama.cpp и предназначена для локального использования в диалоговых, текстовых и мультимодальных сценариях. Модель поддерживает работу с текстом и изображениями; для обработки изображений требуется отдельный vision-проектор mmproj-Qwen3.8-27B-F16.gguf или BF16-вариант. В репозитории доступны варианты квантизации размером примерно от 8,5 до 28,9 ГБ. AtomicChat использует собственную importance matrix и публикует измерения отклонения квантизированных версий от исходных весов. Указано наличие multi-token prediction head, совместимого с llama.cpp. Контекстная ёмкость в README явно не приведена, но указано потребление около 256 КБ attention cache на токен, что существенно влияет на требования к видеопамяти при длинном контексте. Сильные стороны модели — возможность локального запуска, широкий выбор уровней квантизации, поддержка изображений и оптимизация для llama.cpp. Качество зависит от выбранного файла: более компактные варианты требуют меньше памяти, но сильнее отклоняются от исходной модели и чаще ошибаются в предсказаниях. Для мультимодальной работы необходим дополнительный проектор, а для корректного анализа изображений рекомендуется не менее 1024 image tokens. Лицензия в предоставленных данных не указана.

Qwen3.8-27B-NInfer — мультимодальный вариант модели Qwen3.8-27B, разработанной командой Qwen и преобразованной в нативный формат .ninfer для движка NInfer. Артефакт предназначен для генерации текста в режимах с рассуждением и без него, а также для обработки изображений, нескольких изображений, видео и смешанных мультимодальных сообщений. Модель содержит 27 млрд параметров базовой модели и использует groupwise-квантизацию с распределением Q4/Q5/Q6 для текстовой части, а также W8G32_F16S для эмбеддингов и выходной головы. Поддерживаются MTP-спекулятивное декодирование, BF16 и INT8 group-64 KV-кэш, CUDA Graph decode, повторное использование совместимых префиксов и небольшое параллельное пакетное обслуживание. В README указаны текстовый контекст до 262 144 токенов и мультимодальный лимит до 81 920 токенов в проведённых тестах. Сильные стороны модели — поддержка мультимодальных сценариев, высокая точность на AIME 2025 и AIME 2026 — по 96,67%, а также результаты 87,37% на GPQA-Diamond и 82,22% на RealWorldQA. Ограничения связаны с узкой средой запуска: требуется NInfer версии с ревизии 5232055, 64-битный Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a и CUDA Toolkit 13.1 или новее. Артефакт не является чекпойнтом Transformers, Safetensors или GGUF. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная модель, созданная HauhauCS на базе Qwen/Qwen3.8-27B. Она предназначена для генерации текста, рассуждений, агентских сценариев, анализа изображений и видео. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и без стандартного поведения отказа на сложные запросы. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120 и FFN-размером 17408. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention, встроенный MTP/NextN для speculative decoding и дополнительный профиль HauhauCS FastMTP 32K для ускорения генерации. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддерживаются английский, китайский и другие языки; для работы с изображениями и видео требуется отдельный vision-проектор BF16. Сильные стороны модели — сочетание текстовых, рассуждающих, агентских и мультимодальных возможностей базовой Qwen3.8-27B, большой контекст и варианты GGUF-квантизации от Q8_K_P до IQ2_M, совместимые с llama.cpp, LM Studio и другими GGUF-рантаймами. FastMTP может повысить скорость генерации, однако фактический выигрыш зависит от оборудования и программной поддержки. Ограничения включают отсутствие защитного поведения и отказов в Aggressive-варианте, что может быть нежелательно для надёжных агентских систем, а также потерю качества при использовании более сильной квантизации. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-8B-8bit — языковая модель для генерации текста, разработанная сообществом mlx-community и конвертированная из Qwen/Qwen3-8B, созданной командой Qwen. Модель предназначена для запуска и генерации текста в экосистеме MLX, в том числе через библиотеку mlx-lm, и может использовать чат-шаблон токенизатора для диалоговых сценариев. Модель представлена в формате MLX и имеет размер 8B с 8-битным представлением, что отражено в её идентификаторе. Поддерживаемая модальность — текст; README не содержит сведений о языках, размере контекста, конкретной архитектуре, результатах тестирования, сильных сторонах или ограничениях. Для работы требуется библиотека mlx-lm; конвертация выполнена с использованием версии 0.24.0. Модель распространяется по лицензии Apache-2.0.

Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

Sarashina2.2-OCR — модель оптического распознавания символов и разбора документов, разработанная SB Intuitions. Это плотная мультимодальная модель на 3 млрд параметров: она объединяет визуальный энкодер на основе SigLIP2 с языковой моделью Sarashina2.2-3B-Instruct и дообучена на наборах документов на японском и английском языках. Модель принимает изображение документа и преобразует его содержимое в структурированный Markdown с естественным порядком чтения, включая вертикальный японский текст. Она также представляет таблицы в HTML, формулы в LaTeX и отмечает графические элементы ограничивающими рамками. В карточке сообщается о сильных результатах на японском бенчмарке VJRODa и конкурентных результатах на задачах распознавания формул и таблиц. Модель предназначена для извлечения и структурирования содержимого документов, в том числе сложных сканов, таблиц, многоколоночных страниц, деловых слайдов и математических материалов. Лицензия — MIT. По опубликованным результатам качество различается между категориями бенчмарка; например, результаты на заголовках и колонтитулах и на старых сканах ниже, чем в некоторых других категориях.