I.6Перевод и языковая адаптация

cyankiwi/Qwen3.5-27B-AWQ-BF16-INT4 — квантизированная версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Репозиторий содержит веса и конфигурации в формате Hugging Face Transformers и совместим с Transformers, vLLM, SGLang и KTransformers. Модель построена как каузальная языковая модель с vision-энкодером и гибридной архитектурой, объединяющей Gated Delta Networks, Gated Attention и разреженный Mixture-of-Experts. Она содержит 27 млрд параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Название репозитория указывает на представление AWQ с использованием BF16 и INT4, что должно снижать требования к памяти и ускорять инференс, однако подробные характеристики квантизации в README не приведены. Сильными сторонами являются мультимодальность, длинный контекст, широкая языковая поддержка и эффективность гибридной архитектуры. Ограничения включают потенциальные потери качества и совместимости, связанные с квантизацией, а также отсутствие в предоставленных данных подробного описания ограничений, требований к оборудованию и результатов для конкретной квантизированной сборки. Лицензия — Apache-2.0.

sakamakismile/Qwen3.6-27B-Text-NVFP4-MTP — текстовая NVFP4-квантизованная версия базовой модели Qwen/Qwen3.6-27B. Модель подготовлена пользователем sakamakismile с использованием pipeline GGUF-to-NVFP4-SM120 от Lna-Lab. Она предназначена для генерации текста и запуска через vLLM на GPU NVIDIA Blackwell с архитектурой SM120, включая сценарии со speculative decoding. Модель содержит около 27,78 млрд параметров, 64 слоя гибридной архитектуры с linear attention и full attention, а также один MTP-слой Multi-Token Prediction. Зрительная башня удалена, поэтому модель работает только с текстом. Поддерживаются английский, китайский, японский, корейский, французский, немецкий, испанский, итальянский, португальский, русский и арабский языки. Заявлен максимальный контекст до 256 тысяч токенов. Квантизация выполнена в формате modelopt NVFP4 с помощью nvidia-modelopt 0.43.0; MTP-компоненты и ряд других частей сохранены в bf16 для совместимости и эффективной спекулятивной генерации. К сильным сторонам относятся оптимизация под Blackwell, меньшие требования к памяти по сравнению с полноразмерной bf16-моделью, поддержка KV-кэша FP8 и рабочий MTP-механизм для ускорения декодирования. Ограничения — отсутствие обработки изображений, зависимость от совместимой версии vLLM и аппаратуры Blackwell, а также потенциальные ограничения по памяти при большом контексте и высокой конкуренции запросов. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-4bit-MLX-TextOnly — текстовая 4-битная квантованная версия модели Qwen3.8-27B, разработанной командой Qwen. Модель преобразована в формат MLX с использованием mlx-lm 0.31.2 и предназначена для запуска в экосистеме MLX и mlx-lm. Она поддерживает генерацию текста, диалоговые сценарии, рассуждения, использование инструментов и работу с длинным контекстом; заявлена как многоязычная. Модель содержит около 27 миллиардов параметров в исходной версии и использует weight-only-квантование до 4 бит с group size 64, affine- и RTN-подходами. Это текстовая модель без vision tower: возможности обработки изображений удалены, поэтому она работает только с текстом. К сильным сторонам относятся уменьшенный объём весов и пригодность для локального запуска в MLX, а ограничением — отсутствие мультимодальных возможностей и потенциальная потеря точности по сравнению с полной моделью из-за квантования. Точная длина контекста в README не указана. Распространяется по лицензии Apache-2.0.

georgehenney/Qwen3-8B-heretic — производная от Qwen/Qwen3-8B-Base разговорная языковая модель на архитектуре Qwen3, доработанная методом abliteration для снижения частоты отказов. В приведённом сравнении она отказывает в 8 случаях из 100 против 86 у исходной модели; это результат конкретной оценки, а не гарантия поведения во всех запросах. Модель предназначена для генерации текста и диалогов, включая рассуждения, следование инструкциям, написание кода и многоязычные задачи, унаследованные от Qwen3. Она имеет 7,6 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 40 960 токенов. Метаданные указывают поддержку чата, а карточка базовой модели описывает переключение режимов рассуждения и поддержку более 100 языков и диалектов. Модель распространяется в формате Safetensors через Transformers по лицензии Apache-2.0. Снижение числа отказов может ослабить защитное поведение; показатели и возможности базовой Qwen3 не следует считать независимо подтверждёнными для этой производной модели.

Карточка модели yimdev/Qwen3-test на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Sarvam-30B — языковая модель семейства Sarvam, разработанная Sarvam AI. Это модель Mixture-of-Experts для генерации текста и диалогов; в README указано 2,4 млрд активных параметров без эмбеддингов, а метаданные репозитория — 3,7 млрд параметров. Модель ориентирована на практическое развёртывание, рассуждения, программирование и диалоги на индийских языках. Поддерживает вызов инструментов; архитектура включает 128 экспертов и маршрутизацию top-6. Контекст по метаданным — до 131 072 токенов. Основной упор сделан на индийский контекст и 22 индийских языка. В метаданных явно перечислены английский, хинди, бенгальский, тамильский, телугу, маратхи, гуджарати, каннада, малаялам, пенджаби, ория, ассамский, урду, санскрит, непальский, синдхи, конкани, майтхили, догри, манипури, сантали, кашмирский и тибетский. Модель может применяться для многоязычных голосовых звонков в составе речевой системы, но сама карточка описывает её как текстовую генеративную модель. Распространяется по лицензии Apache-2.0.

XVERSE-7B — многоязычная большая языковая модель, разработанная Shenzhen Yuanxiang Technology. Это плотный Decoder-only Transformer примерно с 6,9 млрд параметров, обученный предсказывать продолжение текста. Модель поддерживает контекст до 8192 токенов и предназначена для диалогов, ответов на вопросы, суммаризации и других задач генерации текста. В обучающих данных были представлены более 40 языков, включая китайский, английский, русский и испанский; разработчики сообщают о более сильных результатах на китайском и английском при поддержке других языков. Модель подходит для многоязычных текстовых приложений, которым нужна генерация в пределах указанного контекста. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Как и другие большие языковые модели, XVERSE-7B может выдавать неточную, предвзятую или оскорбительную информацию. Разработчики рекомендуют проверять результаты и проводить тестирование безопасности перед внедрением.

Baichuan2-13B-Chat-4bits — версия чат-модели Baichuan 2 от Baichuan Intelligence, представленная в 4-битном квантованном варианте. Это плотная авторегрессионная модель на 13,3 млрд параметров для генерации текста и диалогового взаимодействия. Семейство Baichuan 2 обучено на 2,6 трлн токенов; версия Chat v2, согласно карточке, улучшает математические и логические рассуждения и следование сложным инструкциям. Модель ориентирована прежде всего на китайский и английский языки. Модель подходит для диалоговых помощников, ответов на вопросы, выполнения текстовых инструкций, а также задач общего характера в областях права, медицины, математики, программирования и многоязычного перевода. Карточка сообщает о 4-битном варианте для снижения требований к памяти. Для работы указан PyTorch 2.0 или новее. Для использования требуется соблюдать Apache 2.0 и лицензионное соглашение сообщества Baichuan 2. Коммерческое применение требует предварительного обращения за официальной лицензией и зависит от условий, изложенных в карточке. Модель может ошибаться; перед использованием в чувствительных сценариях её ответы следует проверять.

Baichuan2-7B-Chat — разработанная Baichuan Intelligence чат-модель семейства Baichuan 2 с плотной архитектурой BaichuanForCausalLM и 7 млрд параметров. Семейство обучено на 2,6 трлн токенов; модель предназначена для диалога и генерации текста на китайском и английском языках. Её проверяли на задачах общего назначения, права, медицины, математики, программирования и многоязычного перевода. Модель принимает текст и генерирует текст, а её контекст ограничен 4096 токенами. Для запуска требуется PyTorch 2.0 или новее. Карточка описывает поддержку академических исследований; коммерческое использование требует предварительной заявки и получения лицензии Baichuan, с указанными в соглашении ограничениями. Возможны ошибки и небезопасные ответы; разработчик предупреждает о необходимости соблюдать требования к проверке и регистрации интернет-сервисов.

Это квантизированная версия большой языковой модели c4ai-command-r-plus-08-2024 в формате GGUF, подготовленная пользователем bartowski на основе модели CohereForAI с использованием llama.cpp. Разработчик исходной модели — Cohere for AI. Модель предназначена для генерации текста и может применяться в диалоговых системах, создании и преобразовании текстов, а также в других сценариях, поддерживаемых задачами text-generation. В README указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. Конкретные архитектурные параметры, количество параметров, размер контекста и доступные варианты квантования в предоставленных данных не указаны. Формат GGUF и использование llama.cpp позволяют запускать модель в совместимом локальном программном окружении, однако характеристики производительности и качества зависят от конкретной квантованной версии и оборудования. Модель распространяется по лицензии CC-BY-NC-4.0 и предназначена только для некоммерческого использования; для доступа также требуется согласие с условиями лицензии Cohere. Условия лицензии следует учитывать при интеграции и распространении модели.

dranger003/c4ai-command-r-plus-iMat.GGUF — это набор GGUF-квантизаций модели C4AI Command R+, разработанной CohereForAI. Репозиторий предназначен для локального запуска модели через llama.cpp и совместимые инструменты; веса используют importance matrix для улучшения соотношения качества и размера при низкоразрядном квантовании. Базовая модель содержит около 104 млрд параметров, имеет 64 слоя и контекст до 131 072 токенов. Это текстовая autoregressive-модель для генерации текста, диалогов, рассуждений, суммаризации и ответов на вопросы. Она оптимизирована для Retrieval Augmented Generation (RAG) и многошагового использования инструментов. Модель оценивалась на английском, французском, испанском, итальянском, немецком, бразильском португальском, японском, корейском, арабском и упрощённом китайском языках. Главное преимущество репозитория — широкий выбор квантизаций с разным компромиссом между размером файлов и качеством: от IQ1_S примерно на 21,59 ГиБ до FP16 примерно на 193,38 ГиБ. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству; для запуска полноразмерных вариантов необходимы значительные вычислительные ресурсы. Для работы с моделью требуется актуальная основная ветка llama.cpp с поддержкой этой архитектуры. Лицензия — CC BY-NC 4.0, предусматривающая некоммерческое использование с соблюдением условий лицензии.

unsloth/gemma-3-4b-it-GGUF — GGUF-версия инструкционно дообученной модели Gemma 3 4B IT, разработанной Google DeepMind и опубликованной Unsloth. Модель предназначена для диалогов, генерации и понимания текста, ответов на вопросы, суммаризации, рассуждений и анализа изображений. Она подходит для локального запуска на ноутбуках, настольных компьютерах и в собственной облачной инфраструктуре, включая сценарии с ограниченными ресурсами. Модель мультимодальная: принимает текст и изображения, а генерирует текст. Для изображений используется нормализация до 896×896 пикселей и кодирование каждого изображения в 256 токенов. Для варианта 4B заявлено контекстное окно до 128 000 токенов и максимальный объём генерируемого ответа до 8192 токенов. Поддерживается более 140 языков, хотя в метаданных карточки явно указан английский. Относительно небольшой размер облегчает развёртывание, а формат GGUF ориентирован на эффективный локальный запуск. Ограничения включают зависимость качества от языка, задачи и доступных вычислительных ресурсов, а также возможные ошибки в ответах и интерпретации изображений. В README не приведены точные требования к оборудованию и параметры квантования конкретного файла. Модель распространяется по лицензии Gemma; условия использования представлены в отдельных Terms of Use Google.

gaunernst/gemma-3-4b-it-int4-awq — это 4-миллиардная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind. Модель мультимодальная: принимает текст и изображения, а генерирует текст. Данный репозиторий содержит QAT INT4-чекпойнт из Flax, преобразованный в формат Hugging Face и AWQ для удобства использования; при этом квантование методом AWQ для исходного чекпойнта не применялось. Модель предназначена для диалоговых и прикладных задач: ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Она поддерживает более 140 языков, обрабатывает изображения, нормализованные до разрешения 896 × 896 и представленные 256 токенами на изображение. Для размеров 4B, 12B и 27B заявлено контекстное окно до 128 000 токенов, а максимальный объём генерируемого вывода составляет 8192 токена. Ключевые преимущества — сравнительно компактный размер, instruction-tuned поведение, мультимодальность и INT4-представление, потенциально упрощающее запуск на ограниченных ресурсах, включая локальные компьютеры и собственную облачную инфраструктуру. Ограничения включают зависимость качества от языка, задачи и входных изображений, а также необходимость учитывать особенности конвертированного формата и совместимость с поддерживаемыми инструментами. Использование регулируется лицензией Gemma; доступ к исходной модели на Hugging Face требует принятия условий использования Google.

ente-ai/gemma-4-E2B-it-GGUF — это GGUF-версия инструкционно настроенной мультимодальной модели Gemma 4 E2B, разработанной Google DeepMind и подготовленной для распространения в формате GGUF. Модель принимает текст, изображения и аудио, а генерирует текст; поддерживает более 140 языков. Она предназначена для локального запуска на ноутбуках и мобильных устройствах, а также для генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев с вызовом функций. Модель имеет 2,3 млрд эффективных параметров, или 5,1 млрд с учётом embedding-слоёв, 35 слоёв и контекстное окно до 128K токенов. В архитектуре используется гибридное внимание: локальное sliding window attention с окном 512 токенов чередуется с глобальным вниманием. Поддерживаются настраиваемые режимы рассуждений, системные промпты и native function calling. Небольшой размер и оптимизация для устройств являются сильными сторонами, однако по возможностям и качеству сложных задач модель уступает более крупным вариантам семейства; конкретные характеристики также зависят от используемой GGUF-квантизации. Модель распространяется по лицензии Apache 2.0. README не указывает точный уровень квантизации данного файла и требования к аппаратному обеспечению.

GPT-4 — крупная мультимодальная языковая модель OpenAI. В карточке она описана как флагманская модель, способная решать сложные задачи с большей точностью, чем предыдущие модели, благодаря широким общим знаниям и развитым способностям к рассуждению. Модель предназначена для генерации текста и решения разнообразных сложных задач. Карточка указывает на мультимодальность, но не уточняет поддерживаемые типы входных и выходных данных, языки, размер модели или длину контекста. Сведения о лицензии также отсутствуют.

MLX Community Llama-3.1-8B-Instruct-4bit — это 4-битно квантованная версия инструкционной языковой модели Llama 3.1 8B Instruct, разработанной Meta и адаптированной сообществом MLX для запуска с использованием экосистемы MLX. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, обобщение и другие задачи обработки естественного языка. Модель относится к текстовым моделям и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Размер базовой модели составляет 8 миллиардов параметров. Квантование до 4 бит снижает требования к памяти и может упростить локальный запуск, однако способно немного ухудшить точность и качество по сравнению с полной версией. В README не указаны размер контекстного окна, конкретные требования к оборудованию и результаты бенчмарков. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение уведомления об авторстве и соблюдение Acceptable Use Policy. Для организаций с более чем 700 миллионами ежемесячно активных пользователей предусмотрено требование получить отдельную лицензию Meta.

unsloth/Llama-3.2-3B-Instruct-unsloth-bnb-4bit — 4-битная версия instruction-tuned языковой модели Llama 3.2 с 3 млрд параметров, подготовленная Unsloth на основе meta-llama/Llama-3.2-3B-Instruct. Разработчик базовой модели — Meta; Unsloth предоставляет оптимизированное квантованное представление для использования и дообучения с меньшими требованиями к памяти. Модель предназначена для текстовых диалогов, генерации и обработки текста, включая многоязычные сценарии, агентский поиск и суммаризацию. Это авторегрессионная модель на основе оптимизированной архитектуры Transformer, обученная с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель принимает и генерирует только текст; размер контекста в карточке не указан. Ключевое преимущество версии — 4-битное квантование Unsloth, которое снижает требования к памяти и подходит для локального запуска и эффективного дообучения. Из-за квантования возможен компромисс между экономией ресурсов и точностью по сравнению с полноразмерной версией; конкретные показатели качества в карточке не приведены. Модель распространяется по лицензии Llama 3.2 Community License; её использование также должно соответствовать Acceptable Use Policy.

Это квантованная версия Meta-Llama-3.1-8B-Instruct, разработанной Meta AI и подготовленной сообществом Hugging Quants. Модель предназначена для генерации текста и ведения многоязычных диалогов, включая работу через Transformers, AutoGPTQ и Text Generation Inference. Она подходит для чат-ботов, ассистентов и других сценариев текстового взаимодействия. Модель содержит 8 миллиардов параметров и работает только с текстом на входе и выходе. Исходная модель поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В данном варианте веса преобразованы из FP16 в INT4 с использованием GPTQ, zero-point quantization и group size 128, что снижает требования к памяти: для загрузки контрольной точки требуется около 4 ГиБ VRAM без учёта KV-кэша и CUDA-графов. К преимуществам относятся уменьшенное потребление видеопамяти и возможность локального запуска с поддержкой распространённых инструментов инференса. Ограничения связаны с потерями, возможными при 4-битном квантовании, отсутствием мультимодальных возможностей и необходимостью дополнительной памяти для KV-кэша и генерации. Модель распространяется по лицензии Llama 3.1; условия исходной лицензии Meta необходимо учитывать при использовании.

Occiglot-7B-FR-EN-Instruct — генеративная языковая модель с 7 млрд параметров, разработанная исследовательским коллективом Occiglot при поддержке подразделений DFKI SAINT и SLT. Это instruct-версия модели occiglot-7b-fr-en, предназначенная для диалогового взаимодействия и выполнения инструкций на английском и французском языках, а также для работы с кодом. Модель доступна в формате GGUF и распространяется по лицензии Apache 2.0. Модель построена на архитектуре авторегрессионного decoder-only Transformer, а её токенизатор унаследован от Mistral-7B-v0.1. Для дообучения использовались 160 млн дополнительных токенов мультиязычных и кодовых инструкций, включая англоязычные и франкоязычные наборы Open-Hermes-2B, Bactrian-X, AI-Society Translated, GT-Dorimiti, OASST-2 и Aya-Dataset. Обучение выполнялось с контекстом 8192 токена и шаблоном диалогов ChatML. Сильная сторона модели — специализация на английском и французском языках при сохранении возможностей генерации кода и следования инструкциям. Она может применяться для чат-ботов, ответов на вопросы, генерации и преобразования текста, а также вспомогательных задач программирования. При этом проект позиционируется как открытое исследование, а README предупреждает, что модель не проходила safety alignment и может генерировать проблемный или небезопасный контент. Результаты оценки следует интерпретировать с осторожностью, поскольку часть неанглоязычных тестов основана на машинном переводе и англоязычных запросах.

Qwen1.5-14B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это бета-версия Qwen2: плотная авторегрессионная языковая модель на архитектуре Transformer с 13,4 млрд параметров, предназначенная для генерации текста в диалоге и следования запросам пользователя. Модель поддерживает многоязычное общение и контекст длиной до 32 768 токенов. В основе семейства — декодерная архитектура Transformer; для Qwen1.5 описаны активация SwiGLU, смещение в QKV-внимании и адаптированный к разным естественным языкам и программным кодам токенизатор. Репозиторий содержит веса в формате Safetensors. Модель подходит для чат-ботов, ответов на вопросы, создания и преобразования текста. Карточка рекомендует использовать Transformers версии 4.37.0 или новее и предоставленные параметры генерации, чтобы уменьшить проблемы с переключением языков и другие нежелательные результаты. Лицензия указана как other, поэтому условия использования следует уточнять в карточке модели.

jc-builds/Qwen3.5-4B-Q4_K_M-GGUF — это 4-битная квантованная версия базовой модели Qwen/Qwen3.5-4B, разработанной Alibaba Cloud. Квантование Q4_K_M и упаковка в формат GGUF выполнены для запуска на устройствах пользователя, в частности на iPhone, iPad и компьютерах Mac с Apple Silicon, через llama.cpp. Модель распространяется по лицензии Apache 2.0. Модель предназначена для генерации текста, рассуждений, программирования, следования инструкциям и использования инструментов. Она поддерживает режим reasoning с тегами <think> и ChatML-формат запросов. В README заявлены мультимодальные возможности с ранним объединением зрительных данных, однако vision encoder предоставляется отдельно. Указана поддержка 201 языка и диалекта, включая английский, китайский, японский, корейский, русский и другие языки. Архитектура представляет собой гибрид Gated DeltaNet и полноразмерного softmax-внимания в соотношении 3:1: из 32 слоёв восемь блоков содержат по три слоя DeltaNet и одному attention-слою. Модель имеет около 4 миллиардов параметров, размер файла составляет примерно 2,6 ГБ, а нативное контекстное окно — 262 144 токена; для расширения контекста заявлена совместимость с YaRN. Гибридная архитектура рассчитана на снижение потребления памяти, что делает модель подходящей для локального и мобильного вывода. Ограничениями являются потеря точности из-за 4-битного квантования, высокие требования к оперативной памяти для длинного контекста и то, что заявленные мультимодальные функции требуют отдельного vision encoder.

Infatoshi/Qwen3.6-35B-A3B-GGUF — это набор GGUF-конверсий базовой модели Qwen/Qwen3.6-35B-A3B, подготовленный Infatoshi для запуска в llama.cpp. Модель предназначена для генерации и обработки текста, а также для мультимодальных сценариев с изображениями и видео; для работы с визуальными входными данными требуется отдельный файл vision projector. Модель использует разреженную MoE-архитектуру: 35 млрд параметров суммарно, около 3 млрд активных параметров, 256 экспертов и один общий эксперт, маршрутизация top-8. В архитектуре сочетаются слои Gated-DeltaNet и Gated-Attention в соотношении 3:1, заявлен нативный контекст до 262 тысяч токенов. Указана поддержка английского, китайского и многоязычного применения. Доступны варианты квантования Q4_K_M, Q5_K_M, Q8_0 и BF16 с объёмом файлов от 20 до 65 ГБ. Сильными сторонами являются существенно сниженное число активных параметров при большом общем размере модели, поддержка длинного контекста и мультимодальный ввод. Вариант Q4_K_M рассчитан на одну видеокарту с 24 ГБ памяти, тогда как более качественные или менее квантованные варианты требуют 32–40 ГБ видеопамяти, частичной выгрузки или CPU. Производительность и требуемые ресурсы зависят от варианта квантования, размера контекста и режима инференса; варианты Q5_K_M, Q8_0 и BF16 не помещаются на одной 24-гигабайтной видеокарте при практически применимом контексте. Модель распространяется по лицензии Apache-2.0.

local-inference-lab/Qwen3.8-Flash-Next-NVFP4 — мультимодальная conversational-модель, дистиллированная из Qwen/Qwen3.8-Flash-Next с применением quantization-aware distillation. Она предназначена для диалогов, общего следования инструкциям, reasoning, программирования, multilingual-сценариев и обработки изображений с текстом. В качестве учителя использовалась исходная BF16-модель Qwen, а обучение проводилось на корпусе из 200 004 844 prompt-and-response токенов и 53 573 документов с последовательностями до 8 192 токенов. Архитектура сохранена без сокращения числа слоёв и экспертов: 48 decoder layers, 512 routed experts на слой, из которых для каждого токена активны 10, гибрид Gated DeltaNet/Qwen Sparse Attention и n-gram embedding tables. Сжатие достигается пониженной точностью весов: routed experts и часть компонентов используют NVFP4, другие проекции — MXFP8, а отдельные параметры остаются в BF16. Также сохранены vision encoder, MTP-модуль, tokenizer, chat template и vision assets. Размер checkpoint составляет около 98 GiB; заявлены оценки AA-LCR 79.4, GPQA Diamond 89.9 и Tool Eval Bench 91. Сильные стороны модели — сохранение исходной архитектуры, обучение с компенсацией ошибок квантования и более высокая эффективность по сравнению с NVFP4 PTQ на GPQA Diamond: при сопоставимом качестве модель использовала меньше токенов. Ограничения включают значительный объём checkpoint, дополнительные требования к памяти для KV cache и runtime buffers, а также необходимость runtime с поддержкой Qwen3.8-Flash-Next и смешанного ModelOpt-формата NVFP4/MXFP8, включая NVFP4 PLE tables. Модель распространяется по лицензии qwen-community-1.0; точные условия следует проверять по указанной license-ссылке.

Карточка модели Zhixianvsdgdsg/readbook-hf на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

XVERSE-MoE-A4.2B-Chat — разработанная Shenzhen Yuanxiang Technology чат-модель на архитектуре decoder-only Transformer с механизмом смеси экспертов (MoE), выровненная на основе XVERSE-MoE-A4.2B. В базовой модели 25,8 млрд параметров, из которых при вычислении активируются 4,2 млрд; в метаданных этого репозитория указано 1,4 млрд параметров. Модель поддерживает более 40 языков, включая китайский, английский, русский и испанский, и рассчитана на контекст до 8192 токенов. Модель предназначена для диалогов, ответов на вопросы и генерации текста на нескольких языках. В архитектуре используются общие и маршрутизируемые эксперты; по карточке, обучение проводилось на 2,7 трлн токенов с последовательностями длиной 8K. Репозиторий содержит веса PyTorch и поддерживает загрузку через Transformers. Модель может выдавать неточные, предвзятые или оскорбительные ответы, поэтому перед внедрением нужна проверка безопасности под конкретный сценарий. Метаданные указывают лицензию Apache-2.0; карточка отдельно отмечает открытость весов для академических исследований и возможность бесплатного коммерческого использования с оформлением коммерческой лицензии.

ASTRAL-256k-5.5b — языковая модель от разработчика aww для генерации текста и диалогов. Она построена на архитектуре MistralForCausalLM, имеет 1,6 млрд параметров и поддерживает контекст до 256 000 токенов, что подходит для работы с длинными документами и продолжительными беседами. Модель принимает текст и генерирует текст; в карточке заявлена поддержка английского языка. Модель предназначена для создания статей, отчётов и художественных текстов, чат-ботов, суммаризации и перевода больших документов. Карточка также заявляет оптимизацию вычислений, включая запуск с bfloat16, но не приводит сравнительных результатов. Модель распространяется по лицензии Apache-2.0.

adowu/astral-256k-7b — текстовая генеративная модель, разработанная автором aww на архитектуре MistralForCausalLM. Она предназначена для генерации текста и диалоговых сценариев, а также может применяться для суммаризации и перевода длинных документов. Модель содержит 8 млрд параметров и поддерживает контекст до 256 000 токенов. Карточка описывает обработку длинных последовательностей и оптимизацию для вычислений bfloat16; метаданные указывают формат safetensors и библиотеку Transformers. Указана поддержка английского языка и лицензия Apache-2.0. Модель подходит для создания статей и отчётов, чат-ботов и работы с большими документами. Качество для отдельных задач карточка не подтверждает количественными оценками; применение на длинном контексте потребует соответствующих вычислительных ресурсов.

ChatGLM2-6B — разработанная командой THUDM двуязычная диалоговая модель второго поколения семейства ChatGLM. Это плотная модель на 7,5 млрд параметров с архитектурой ChatGLM, обученная на 1,4 трлн китайских и английских токенов и дополнительно выровненная с предпочтениями людей. Она предназначена для диалога и генерации текста, включая ответы на вопросы, многоходовое общение и задачи на рассуждение. Модель поддерживает китайский и английский языки и контекст до 32 768 токенов; при обучении диалогов использовалась длина контекста 8K. Для ускорения инференса применяется Multi-Query Attention, а реализация использует FlashAttention. В README отмечено, что модель ограниченно понимает сверхдлинные документы в рамках одного запроса. Репозиторий содержит веса PyTorch. Код распространяется по Apache-2.0, а для весов действует отдельная лицензия модели: бесплатное коммерческое использование разрешено после заполнения анкеты.

duyntnet/gemma-3-12b-it-imatrix-GGUF — набор квантованных GGUF-вариантов инструкционно дообученной мультимодальной модели Gemma 3 12B IT, разработанной Google. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и анализа изображений с выдачей текстового ответа. Квантованные варианты ориентированы на локальный запуск с ограниченными ресурсами через llama.cpp и совместимые клиенты, включая KoboldCPP, Ollama, LM Studio и другие. Модель принимает текст и изображения: изображения нормализуются до 896×896 пикселей и кодируются в 256 токенов каждое. Заявлены поддержка более 140 языков, контекст до 128K токенов для версии 12B и максимальный объём генерируемого текста до 8192 токенов. Использование imatrix-квантизации уменьшает требования к памяти по сравнению с полноразмерными весами, но конкретные характеристики качества и расхода ресурсов зависят от выбранного файла квантизации. Сильными сторонами являются мультимодальность, большой контекст, многоязычность и возможность локального развертывания. Ограничения включают зависимость от совместимого программного обеспечения: для запуска требуется llama.cpp версии b4875 или новее; квантование также может снижать точность по сравнению с исходной моделью. В README лицензия указана как other, без дополнительных условий, поэтому перед использованием необходимо проверить лицензионные положения исходной Gemma 3 12B IT и конкретного файла модели.

Это 12-миллиардная instruction-tuned vision-language модель семейства Gemma 4, разработанная Google DeepMind и представленная в GGUF-формате пользователем prithivMLmods. Модель предназначена для задач генерации и понимания текста, анализа изображений и аудио, мультимодального диалога, вызова функций и сценариев, требующих configurable thinking/reasoning mode. Она совместима с llama.cpp и ориентирована на локальный запуск, исследовательские задачи и последующую пользовательскую компиляцию. Модель использует encoder-free архитектуру, проецирующую патчи изображений и аудиосигналы непосредственно в пространство эмбеддингов языковой модели. Она поддерживает текст, изображения и аудио, контекст до 256K токенов и более 140 языков. В архитектуре применяется гибридное внимание с чередованием локального sliding-window и глобального внимания. QAT-оптимизация призвана снизить требования к памяти и сохранить качество, близкое к bfloat16; доступны варианты от Q2_K до Q8_0, а также BF16 и F16. Указанные ограничения — большой размер высокоточных файлов и необходимость совместимого мультимодального проектора для работы с изображениями и аудио. Модель и файлы распространяются по лицензии Apache-2.0.