I.6Перевод и языковая адаптация

Kimi-VL-A3B-Instruct — открытая мультимодальная модель Moonshot AI для понимания изображений, видео и текста. Она объединяет языковую модель с архитектурой Mixture-of-Experts, визуальный энкодер MoonViT с обработкой изображений в исходном разрешении и MLP-проектор. Всего модель содержит 16 млрд параметров, при генерации активирует около 3 млрд; контекстное окно — 128 тыс. токенов. Модель предназначена для диалогов с визуальными данными, распознавания текста на изображениях, анализа длинных документов и видео, понимания нескольких изображений и выполнения агентных задач по скриншотам. Поддерживает ввод текста, изображений и видео и выдаёт текстовые ответы. В README приведены результаты на задачах OCR, визуального понимания и взаимодействия с агентами; для сложных рассуждений, включая математику, разработчики рекомендуют вариант Kimi-VL-A3B-Thinking. Модель распространяется по лицензии MIT. Для запуска доступны веса в формате safetensors и библиотека Transformers. README рекомендует температуру 0,2 для Instruct-варианта. Указанные результаты основаны на бенчмарках разработчиков; качество может зависеть от задачи и настроек инференса.

NikiKrutan/Kiwen1.2-27B-MTP-GGUF — это набор квантованных моделей в формате GGUF, созданный пользователем NikiKrutan на основе beyoru/Kiwen1.2-27B и предназначенный для запуска через llama.cpp. Модель ориентирована на диалоговые и агентские сценарии, программирование, рассуждения, математику и задачи, требующие сложной логики. В описании также заявлена многоязычность, включая английский, русский и вьетнамский языки. Ключевая особенность проекта — экспериментальная стратегия квантования niki-allocator: тип квантования выбирается отдельно для каждого тензора с учётом оценок и проверок на основе KLD-метрик. Доступно 15 вариантов размера примерно от 8500 до 23000 МиБ; автор рекомендует выбирать самый большой вариант, который помещается в доступную память, поскольку больший размер обычно обеспечивает лучшее качество. Это позволяет адаптировать модель под разные аппаратные конфигурации, но скорость работы зависит от оборудования и параметров llama.cpp и отдельно не измерялась. README не сообщает точные архитектурные характеристики исходной модели, размер контекста или подтверждённую поддержку мультимодального ввода, поэтому эти свойства нельзя надёжно определить по представленным данным. Модель распространяется по лицензии Apache-2.0. Для корректной работы требуется использовать рекомендованный авторами chat template; шаблон froggeric и его производные объявлены неподходящими.

LongChat-7B-v1.5-32k — языковая модель Large Model Systems Organization (LMSYS) для генерации текста и диалогов, рассчитанная на работу с длинными контекстами. Она основана на архитектуре LLaMA с причинно-языковой моделью LlamaForCausalLM и содержит около 6,6 млрд параметров. Конфигурация репозитория задаёт максимальную длину последовательности 32 768 токенов и масштабирование RoPE для длинного контекста. Модель подходит для диалоговых ответов, генерации текста и обработки длинных документов в одном запросе. Доступна по лицензии Apache-2.0. Метаданные каталога указывают 4096 native context tokens, тогда как конфигурация и назначение репозитория указывают расширенную длину до 32 768 токенов; фактическое качество на длинном контексте может зависеть от сценария использования.

sudo-0x2a/Qwen3.6-27B-NVFP4-GPTQ — квантованная версия базовой модели Qwen/Qwen3.6-27B, подготовленная автором репозитория sudo-0x2a. Это текстогенерационная модель с поддержкой визуальных компонентов, предназначенная прежде всего для локального запуска и инференса на высокопроизводительном потребительском оборудовании. Тестирование проводилось на одной NVIDIA RTX 5090 с использованием vLLM и FP8 для KV-кэша. Модель использует смешанную точность: слои внимания, линейного внимания и MLP квантованы в NVFP4, а vision-компоненты, MTP, lm head и embeddings сохранены в BF16. При квантовании применялись SmoothQuant и GPTQ, калибровка выполнена на 512 образцах с длиной последовательности 8192. По приведённым локальным оценкам модель показывает 85,0 на подмножестве MMLU-Pro и GPQA Diamond, 57,0 на SWE-bench Verified Easy и 84,0 на подмножестве MMMU Pro; результаты напрямую сопоставимы с BF16-оценками ограниченно, поскольку получены в разных средах. Главное преимущество — существенное снижение требований к памяти при сохранении широких возможностей базовой модели, включая работу с текстом, кодом и визуальными задачами. При этом надёжность работы с длинным контекстом не гарантируется: из-за сильного квантования чувствительных linear attention layers возможна деградация на больших длинах последовательности. Модель распространяется по лицензии Apache-2.0.

Это квантованная GGUF-сборка Qwen3.6-35B-A3B от автора xero0000, подготовленная для запуска целиком в видеопамяти. Вариант vram13 занимает 12,98 ГБ; README также описывает вариант с дополнительной MTP-головой размером 13,53 ГБ. Базовая модель — MoE с 35 млрд параметров, а базовый файл поддерживает контекст до 256 тыс. токенов; вариант MTP — до 128 тыс. токенов. Сборка предназначена для генерации текста и диалогов, в том числе для работы с кодом, на системах с ограниченной видеопамятью. Веса экспертов преимущественно квантованы в 2 бита с использованием imatrix и выборочной защиты чувствительных слоёв; внимание, SSM-проекции и некоторые общие тензоры имеют более высокую точность. Автор приводит замеры скорости и перплексии на двух видеокартах, однако результаты зависят от оборудования и программной среды. Ожидается некоторое снижение качества на сложных и редких случаях по сравнению с квантованиями Q4-класса. Вариант MTP использует голову, перенесённую из дообученной модели, поэтому выигрыш скорости зависит от содержания текста; совместимость этой сборки и MTP-файла зависит от загрузчика. Лицензия — Apache-2.0.

Qwen3.6-40B-Grand-Intelligence-Fable-Fusion-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — это 40-миллиардная модель на базе Qwen3.6, разработанная DavidAU при участии Nightmedia, TeichAI, armand0e, trohrbaugh и nbeerbower. Модель создана как результат многоэтапного fine-tuning, объединения нескольких версий Qwen3.6-27B Fable Fusion и последующей настройки с использованием Unsloth. Доступны обычные GGUF-квантизации и варианты с поддержкой MTP, включая 4-битные и 8-битные версии; заявлена совместимость с потребительским оборудованием. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, анализа, программирования, творческого письма, ролевых сценариев и работы с текстом. В README также заявлена поддержка vision, однако конкретные форматы входных данных и ограничения мультимодальности не описаны. Указаны английский и китайский языки. Модель ориентирована на более глубокие рассуждения, подробные ответы, улучшенное следование инструкциям и общую интеллектуальную производительность; заявлено сокращение числа токенов в thinking-блоке по сравнению с обычными Qwen. К сильным сторонам относятся крупный размер, многоэтапная настройка, наличие разных GGUF-квантизаций и акцент на reasoning, instruction following и универсальность. Модель обозначена как uncensored и heretic, поэтому уровень защитных ограничений может отличаться от оригинальных моделей Qwen. README не содержит точного размера контекста, полной спецификации архитектуры, детальных результатов независимых тестов и описания требований к ресурсам, поэтому производительность и пригодность для конкретных сценариев следует проверять самостоятельно. Лицензия — Apache-2.0.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF — квантованная GGUF-версия модели Qwen3.8-27B-Cold-Fusion-GAIN-V1.1, разработанная DavidAU при участии Nightmedia и TeichAI. Модель обучалась с использованием авторского метода COLD FUSION, объединяющего GAIN и инструменты Unsloth, а также датасетов Polar-STRICT-Datasets и Reasoning-STRICT-Datasets. Заявленные языки — английский и китайский; лицензия — Apache-2.0. Модель предназначена для широкого спектра сценариев: диалогов, следования инструкциям, решения задач, рассуждений, программирования, творческого письма, создания историй и ролевых взаимодействий. Она поддерживает работу с изображениями и текстом, а также три режима рассуждения — xhigh, medium и low. По заявлению разработчика, настройка направлена на сокращение объёма внутренних рассуждений и ускорение генерации при сохранении подробности ответов и качества решения задач. Поддержка MTP дополнительно ориентирована на повышение скорости вывода. Ключевые характеристики включают 27 миллиардов параметров, архитектурное семейство Qwen3.8 и форматы GGUF с различными уровнями квантования. Разработчик заявляет, что 4-битные и 8-битные варианты сохраняют около 99% производительности BF16, однако эти показатели требуют самостоятельной проверки на конкретных задачах. Ограничения включают возможные особенности и непредсказуемость изменённого поведения рассуждений, а также отсутствие в представленном README сведений о размере контекстного окна, точной архитектуре, системных требованиях и конкретных вариантах квантования.

SergiioB/Qwen3.8-27B-GPTQ-Int4-sym-G128-MTP-BF16 — это квантованная версия Qwen3.8-27B, разработанная SergiioB для запуска и обслуживания через vLLM XPU на видеокартах Intel Arc с архитектурой Xe2. Модель предназначена для генерации текста, включая кодинг и другие сценарии локального инференса, а также поддерживает обработку изображений благодаря встроенной vision tower. В карточке заявлены английский и китайский языки. Модель использует архитектуру Qwen3_5ForConditionalGeneration с гибридным механизмом внимания GDN: линейное внимание чередуется с полным вниманием каждые четыре слоя. Указаны 5120 скрытых признаков, 64 слоя, 24 Q-head и 4 KV-head с GQA. Основная часть модели квантована в GPTQ INT4 с симметричными группами размера 128 и форматом W4A16; MTP-компоненты сохранены в BF16 для поддержки нативного speculative decoding. Vision tower также не квантована. Максимальная позиционная длина в конфигурации составляет 262144 токена, однако на протестированной конфигурации Intel Arc Pro B70 32 ГБ измерялась работа с контекстом до 131072 токенов. Сильная сторона модели — ускоренная генерация благодаря MTP4: в приведённых измерениях на Intel Arc Pro B70 скорость декодирования достигала 83,7 токена в секунду без дополнительного overlay и 112,65 токена в секунду с опциональным INT4-квантованием draft-компонентов. Производительность зависит от длины контекста, числа параллельных запросов, настроек vLLM XPU и конкретного оборудования. Ограничениями являются привязка к совместимому XPU-стеку, особенности GPTQ-квантизации и то, что заявленные результаты получены на одной видеокарте и не гарантируют аналогичную скорость в других условиях. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3-VL-8B-Thinking-AWQ-4bit — это 4-битно-квантизированная версия vision-language модели Qwen3-VL-8B-Thinking, разработанной командой Qwen. Модель предназначена для совместной работы с текстом и изображениями, а также для понимания видео, визуального рассуждения и генерации ответов на естественном языке. Она подходит для анализа изображений и документов, OCR, STEM- и математического рассуждения, визуального программирования, пространственного анализа и сценариев визуального агента, включая взаимодействие с графическими интерфейсами и инструментами. Модель использует плотную архитектуру размером 8B параметров и поддерживает мультимодальный ввод. Заявлен контекст до 256K токенов с возможностью расширения до 1M, а видео может анализироваться с учетом временной структуры и привязки событий к временным меткам. Среди архитектурных особенностей указаны Interleaved-MRoPE для позиционного кодирования во времени, ширине и высоте, DeepStack для объединения многоуровневых визуальных признаков и улучшенное выравнивание текста с временными метками. OCR заявлен для 32 языков, однако полный перечень языков в README не приведен. Сильными сторонами являются визуальное и пространственное восприятие, понимание длинного контекста и видео, мультимодальное рассуждение, распознавание объектов и документов, а также поддержка агентских и визуально-кодировочных задач. Ограничения, включая возможные ошибки распознавания, рассуждения и требования к вычислительным ресурсам, в README не описаны; 4-битная AWQ-квантизация призвана снизить требования к памяти по сравнению с полноразмерной версией. Модель распространяется по лицензии Apache-2.0.

Astra-v1-12B — языковая модель на архитектуре Mistral, разработанная P0x0 как дообучение Mistral-Nemo-Base-2407. Модель содержит 12,1 млрд параметров и предназначена для генерации текста и выполнения инструкций в диалоговом формате. Её можно применять для создания и редактирования текстов, суммаризации, ответов на вопросы и диалоговых систем. В README заявлена настройка на качество и стиль ответов Claude 3 Sonnet и Opus. Указанное в метаданных контекстное окно — 1 024 000 токенов. Модель принимает текст и выдаёт текст. Карточка не подтверждает специализацию на конкретном языке или предметной области. Модель распространяется по лицензии Apache 2.0. README предостерегает от использования для принятия решений в реальном времени в критически важных сценариях и от генерации вредоносного или предвзятого контента.

bigstral-12b-32k-8xMoE — диалоговая языковая модель на архитектуре Mixtral с разреженной смесью экспертов (MoE), опубликованная bartowski. Она создана с помощью ветки MoE инструмента mergekit на основе Mistral-7B-Instruct-v0.2 и содержит 12,3 млрд параметров. Модель предназначена для генерации текста и ответов в диалоговом формате; заявленная длина контекста — 32 768 токенов. Модель принимает текст и выдаёт текст. В репозитории представлены веса Safetensors, библиотека для работы — Transformers. Лицензия в предоставленных данных не указана, поэтому условия использования определить нельзя.

Citaman/command-r-9-layer — объединённая текстовая модель, созданная автором репозитория с помощью mergekit из срезов Citaman/command-r-10-layer методом SLERP. Это плотная авторегрессионная архитектура Cohere с 9,5 млрд параметров; метаданные также указывают поддержку диалога и интерфейса вызова инструментов. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы и работу с инструментами. Контекст — до 8192 токенов; вход и выход — текст. Репозиторий содержит веса в формате safetensors. Модель опубликована под лицензией, сведения о которой не представлены в предоставленных данных.

DeepSeek-R1 — серия больших языковых моделей, разработанная DeepSeek и представленная в вариантах, дистиллированных из архитектур Qwen и Llama. Модели предназначены для генерации текста, диалогов, решения задач, требующих рассуждений, поиска и обработки информации, а также для сценариев клиентской поддержки, conversational AI, исследований и корпоративной автоматизации. В репозитории доступны варианты DeepSeek-R1-Distill-Qwen размером 1.5B, 7B, 14B и 32B параметров, а также DeepSeek-R1-Distill-Llama размером 8B и 70B параметров. Для каждой ветки указана квантованная версия q4-km по умолчанию. Модель относится к классу text-generation; сведения о поддерживаемых языках, размере контекста и дополнительных модальностях в README не приведены, поэтому она описывается как текстовая. Основные сильные стороны серии — широкий диапазон размеров, возможность выбрать баланс между ресурсопотреблением и качеством, а также ориентация на диалог и рассуждения. Более крупные варианты потенциально требуют больше вычислительных ресурсов, а квантованные версии могут отличаться по качеству от исходных моделей. Конкретные ограничения, показатели производительности и условия применения в README не указаны. Репозиторий распространяется по лицензии MIT; в README также приведена ссылка на исходную лицензию DeepSeek-R1.

GPT-4.1 nano — компактная модель OpenAI из семейства GPT-4.1, предназначенная для задач с низкой задержкой и низкой стоимостью. Карточка описывает её как самую быструю и дешёвую модель в серии и указывает контекстное окно в 1 миллион токенов. Модель подходит для сценариев, где важны скорость и экономичное выполнение задач, требующих обработки текста. Данных о конкретных возможностях, поддерживаемых языках, архитектуре и лицензии в предоставленных источниках нет.

Llama-Deepsync-3B — дообученная PrithivMLmods диалоговая языковая модель на архитектуре Llama 3.2, предназначенная для генерации текста с рассуждениями, решения задач и помощи в программировании. По карточке, модель умеет следовать инструкциям, создавать структурированные ответы, включая JSON, работать с таблицами и генерировать длинные тексты. Модель содержит 3,2 млрд параметров и поддерживает контекст до 131 072 токенов; заявленная длина генерации — до 8 000 токенов. README заявляет поддержку более 29 языков, а метаданные перечисляют английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель доступна в формате safetensors для Transformers и распространяется по лицензии CreativeML OpenRAIL-M. Модель подходит для диалоговых помощников, объяснения решений, программирования, математики и творческого письма. Заявления о повышении качества и поддержке языков приведены в карточке модели и не сопровождаются результатами оценки; фактическое качество может различаться в зависимости от задачи и языка.

MiniCPM5-1B-OptiQ-4bit — квантизированная версия языковой модели openbmb/MiniCPM5-1B, подготовленная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локального запуска на устройствах Apple Silicon через MLX, включая диалоговые приложения, переписывание и суммаризацию текста, генерацию кода, математические задачи, многошаговое рассуждение, планирование и сценарии с инструментами. Поддерживаются английский и китайский языки, текстовая генерация и длинный контекст, однако точный размер контекста в README не указан. Модель содержит около 1,08 млрд параметров и использует архитектуру Llama с гибридным режимом рассуждения. Доступны быстрый режим без рассуждений и режим с блоком <think> для математики, кода и сложных многошаговых задач. Квантизация OptiQ использует чувствительную к слоям смешанную точность: 4- и 8-битные веса, среднее значение 5,81 бит на вес. Размер модели составляет около 875 МБ, что примерно в 2,4 раза меньше версии в формате bfloat16. Сильными сторонами являются компактность, возможность локальной работы без облака, улучшенное по сравнению с равномерной 4-битной квантизацией сохранение качества, а также хорошие результаты в IFEval и HumanEval для модели такого размера. Ограничения включают слабые результаты в GSM8K и BFCL в режиме без рассуждений; заявленные бенчмарки не отражают полностью возможности режима thinking. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

MiniCPM5-2B-RotSVDMix — это сжатая и квантизованная версия языковой модели openbmb/MiniCPM5-2B, опубликованная ewin-reg. Модель предназначена для генерации текста, диалоговых сценариев, написания и анализа кода, суммаризации и запуска на устройствах с ограниченными ресурсами, включая мобильные и периферийные устройства. Поддерживаются английский и китайский языки; модель относится к текстовым causal language models и поставляется в формате SafeTensors. Модель содержит около 2 миллиардов параметров и основана на 42 слоях трансформера. Благодаря сочетанию ортогонального вращения, низкорангового SVD и квантизации ExTernD она занимает 1 985 213 632 байта, то есть менее 2 ГБ. Заявлена совместимость с PyTorch, Hugging Face Transformers, vLLM и TGI без необходимости компиляции специализированного C++-рантайма. Длина контекста в README не указана. На тестовой выборке WikiText-2 модель показала perplexity 20,92 против 20,46 у базовой FP16-версии, что соответствует ухудшению примерно на 2,25%. Косинусное сходство логитов с базовой моделью составило 98,70%, совпадение наиболее вероятного токена — 96%, а пересечение пяти наиболее вероятных токенов — 100% на ограниченном наборе из 25 промптов. Эти результаты указывают на хорошее сохранение поведения исходной модели при существенном уменьшении размера, однако качество может зависеть от задачи, языка и входных данных; заявленные измерения не заменяют полноценную оценку прикладных сценариев. Модель распространяется по лицензии Apache 2.0.

Карточка модели ashton25549/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, поэтому описание составлено по ней. NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель общего назначения от NVIDIA для диалога, рассуждений и генерации текста. Это эталонные веса в формате BF16, предназначенные прежде всего для дообучения, адаптации к предметным областям, исследований и подготовки собственных квантованных вариантов. Модель готова к коммерческому использованию; в карточке лицензия указана как other. Архитектура — гибридная Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE и отдельными слоями Attention; также используются слои Multi-Token Prediction. В README заявлены 30 млрд параметров всего и 3 млрд активных, а в метаданных каталога — 1,9 млрд параметров. Модель поддерживает контекст до 262 144 токенов по метаданным; README указывает до 1 млн токенов для отдельных конфигураций оборудования. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский, а README дополнительно описывает посттренировочные данные на китайском. Модель предназначена для настройки под пользовательские данные с помощью SFT, RL или дистилляции, а также для оценки и генерации текста в чат- и агентных сценариях. Полноточный вариант требует значительных ресурсов для инференса: README приводит 256K контекста для одной H100 80 GB и конфигурации до 1 млн токенов на более мощном оборудовании. Для более быстрой производственной генерации NVIDIA рекомендует отдельную NVFP4-версию.

Это конвертированная в формат MLX 8-битная версия NVIDIA Nemotron 3 Nano 30B A3B, подготовленная сообществом mlx-community из исходной модели NVIDIA в формате BF16 с помощью mlx-lm 0.29.1. Модель предназначена для генерации текста в диалоговом формате; базовая модель описана как средство для рассуждений, программирования и создания агентных приложений. В метаданных заявлена поддержка английского, испанского, французского, немецкого, японского и итальянского языков. Репозиторий помечен как safetensors, а описание указывает на 8-битное представление весов для запуска через MLX. Лицензия обозначена как other, поэтому конкретные условия использования следует проверять в лицензии исходной модели.

Qwen2.5-14B-DeepSeek-R1-1M — объединённая плотная языковая модель на архитектуре Qwen2, созданная с помощью MergeKit методом TIES. В качестве базовой использована Qwen/Qwen2.5-14B-Instruct-1M; в объединение также вошли DeepSeek-R1-Distill-Qwen-14B и Qwen2.5-14B-Instruct. Модель содержит 14 млрд параметров, распространяется в формате Safetensors и рассчитана на контекст до 1 010 000 токенов. Модель предназначена для диалогов и генерации текста по инструкциям, включая работу с длинным контекстом. Метаданные также указывают интерфейс для вызова инструментов. Данные карточки описывают способ объединения и состав моделей, но не приводят отдельные оценки качества или подробные рекомендации по применению. Лицензия в предоставленных данных не указана. Для использования следует учитывать условия лицензий исходных моделей; их совместимость здесь не подтверждена.

RedHatAI/Qwen3.8-2.4T-A95B-NVFP4 — квантизированная текстовая causal language model на базе Qwen/Qwen3.8-2.4T-A95B, разработанная RedHatAI. Модель принимает текст и генерирует текст; архитектура указана как Qwen3_5MoeForCausalLM с Mixture-of-Experts. Конкретные поддерживаемые языки и размер контекста в README не указаны. В модели веса и активации линейных операторов MoE-экспертов квантизированы в формат FP4 (NVFP4), тогда как attention и неквантизированные слои сохраняют исходную точность. Для квантизации использован LLM Compressor, а модель экспортирована в формате compressed-tensors и подготовлена для инференса через vLLM. Для развертывания в README приведена конфигурация с tensor parallelism и expert parallelism на 8 устройств. Ключевое преимущество — сокращение числа бит на параметр в квантизированных MoE-слоях с 16 до 4, что уменьшает их дисковый размер и требования к памяти GPU примерно на 75%. По заявленным оценкам, качество практически полностью сохраняется относительно неквантизированной версии: на GPQA Diamond получено 92,9 против 92,6, а на DeepSWE (v1.1) — 56,6 против 56,6. Ограничения включают зависимость от совместимой инфраструктуры vLLM и аппаратной поддержки NVFP4; лицензия в README не указана.

Qwen3.8-27B-NVFP4-RTX5090-LMHead4 — это производный вариант модели Qwen3.8-27B-NVFP4-RTX5090 от gittensor-model-hub, созданный с использованием инструментов NVIDIA ModelOpt. Модель предназначена для генерации текста, рассуждений, решения математических и академических задач, программирования, диалоговых сценариев и агентских приложений с вызовом инструментов. Вариант сохраняет исходные веса родительской модели, за исключением lm_head, который дополнительно квантизован в NVFP4 вместо BF16. Модель имеет размер 27B параметров и поддерживает контекст до 65 536 токенов. Указаны интеграции с Transformers, SGLang и vLLM, а также поддержка спекулятивного декодирования с черновой моделью DSpark. На одной RTX 5090 размер чекпойнта составляет 18,77 ГБ, а занимаемый весами объём VRAM — около 17,10 ГБ. По данным README, скорость декодирования достигает 88,45 токена/с без спекуляции и 181,7 токена/с при использовании DSpark. Квантизация lm_head не показала измеримого ухудшения качества на указанном небольшом наборе тестов, однако результаты нельзя считать доказательством улучшения и они зависят от конфигурации запуска. Ограничения модели связаны с узкой специализацией сборки под высокопроизводительные GPU RTX 5090 и необходимостью совместимой конфигурации инференса. Репозиторий помечен как устаревший: рекомендуется использовать более новый Qwen3.8-27B-NVFP4-RTX5090, в котором удалены NVFP4 lm_head и MTP head и заявлены меньший размер и два шарда. Модель распространяется по лицензии Apache 2.0.

Карточка модели KevinCha/Qwen3-VL-4B-Instruct-BoxSpecialToken на Hugging Face совпадает с карточкой Qwen/Qwen3-VL-4B-Instruct, поэтому описание составлено по ней. Qwen3-VL-4B-Instruct — плотная мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Она принимает текст и изображения, а также предназначена для понимания видео и временных событий; в ответ генерирует текст. Модель доступна как репозиторий весов в формате safetensors и рассчитана на диалоговое использование через Transformers. Модель подходит для визуальных вопросов и ответов, распознавания и разбора текста на изображениях, анализа видео, пространственного рассуждения, мультимодальных STEM-задач и управления интерфейсами с вызовом инструментов. В README заявлены контекст 256 тысяч токенов с возможностью расширения до миллиона и OCR на 32 языках. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных данных и объединение многоуровневых визуальных признаков DeepStack. Лицензия Apache-2.0. Это вариант Instruct, предназначенный для применения в мультимодальных диалоговых сценариях; качество зависит от задачи и входных данных, а заявленные возможности не сопровождаются в карточке результатами бенчмарков.

Qwopus-GLM-18B-Healed — плотная языковая модель примерно на 18 млрд параметров, собранная Kyle Hessling как 64-слойное слияние двух дообученных моделей Qwen3.5-9B от Jackrong. Первые 32 слоя взяты из Jackrong/Qwopus3.5-9B-v3.5, остальные — из Jackrong/Qwen3.5-9B-GLM5.1-Distill-v1; границу между частями сгладили 1000 шагами QLoRA-дообучения. В репозитории размещены исходные веса BF16 в формате safetensors для дальнейшей квантизации или дообучения. Модель предназначена для генерации текста в диалоге, рассуждений, вызова инструментов и агентных сценариев. Автор сообщает о результатах на собственной серии из 44 тестов, включая проверки вызова инструментов и агентных задач; это заявление автора, а не независимая оценка. Метаданные указывают поддержку английского, китайского, корейского, японского, французского, немецкого и испанского языков. Лицензия — Apache-2.0. Для запуска и квантизации требуются подходящие вычислительные ресурсы; готовая квантизированная версия размещена отдельно.

Thalassic-Delta-LLaMa-70B — слитая разговорная языковая модель от TareksGraveyard на архитектуре Llama. Она создана методом SCE с помощью mergekit на основе SicariusSicariiStuff/Negative_LLAMA_70B и объединяет веса Anubis-70B-v1, EVA-LLaMA-3.33-70B-v0.1, 70B-L3.3-Cirrus-x1, L3.1-70B-Hanami-x1 и DeepSeek-R1-Distill-Llama-70B. Модель предназначена для генерации текста и диалогов; базовая модель DeepSeek-R1-Distill-Llama-70B ориентирована также на математические рассуждения, программирование и сложные вопросы. Размер составляет 69,5 млрд параметров, заявленная длина контекста — 131 072 токена. Репозиторий содержит веса в формате safetensors и использует лицензию llama3.3. Автор описывает её как лучший вариант серии Thalassic по своему мнению, однако README не приводит сравнительных оценок или результатов бенчмарков.

mncai/yi-34B-v2 — инструкционно дообученная модель MindsAndCompany на базе Yi-34B для генерации текста и ответов на запросы. В карточке приводится пример вопроса на корейском языке; модель может использоваться в диалоговых и корпоративных приложениях, включая чат-ботов и помощников по коду, которые разрабатывает компания. Модель имеет плотную архитектуру LlamaForCausalLM и около 33,9 млрд параметров. Она принимает текст, выдаёт текст и поддерживает контекст до 8192 токенов. Репозиторий содержит веса safetensors. Лицензия — Apache-2.0.

Aether-12b — языковая модель AIXON Lab, дообученная на основе Xclbr7/Arcanum-12b на наборе theprint/CleverBoi-Data-20k. Это плотная авторегрессионная Transformer-модель семейства Mistral с 12,1 млрд параметров; для дообучения использовались TRL SFTTrainer, оптимизатор AdamW, планировщик cosine decay и точность bfloat16. В карточке указано контекстное окно 1 024 000 токенов. Модель предназначена для работы в роли ассистента или чат-бота с заданной ролью. Разработчик заявляет улучшения в рассуждении, решении задач, письме, анализе и понимании контекста. Основной язык — английский; карточка также отмечает возможную поддержку других языков. Лицензия — Apache-2.0. Модель может наследовать предвзятости и ограничения базовой модели и обучающих данных; результаты стоит проверять, особенно при использовании для анализа и решения задач. Оценки Open LLM Leaderboard в карточке пока отсутствуют.

mlx-community/DeepSeek-R1-Distill-Qwen-32B-abliterated — 32-миллиардная языковая модель для генерации текста и диалогов. Репозиторий mlx-community содержит версию в формате MLX, преобразованную из huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated с помощью mlx-lm 0.21.1. По метаданным, модель построена на плотной архитектуре Qwen2, поддерживает контекст до 131 072 токенов и предназначена для текстовых задач, включая рассуждения. Вариант abliterated модифицирован для уменьшения отказов. Лицензия в предоставленных данных не указана.

HauhauCS/Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced — модифицированная версия Gemma 4 12B от Google DeepMind, подготовленная HauhauCS. Модель основана на официальных QAT-весах и ориентирована на агентное программирование, рассуждения, творческое письмо, ролевые сценарии и диалоговые задачи, где важны следование инструкциям и надежность. Вариант позиционируется как uncensored и предназначен для случаев, когда стандартные отказы базовой модели нежелательны. Это плотная модель на 12 млрд параметров с контекстом до 256K токенов. Она поддерживает ввод изображений через отдельный vision-проектор mmproj, поэтому может использоваться в мультимодальных сценариях. Доступна в формате GGUF с квантизацией Q4_K_M размером около 6,9 ГБ; автор считает этот вариант оптимальным благодаря обучению Gemma 4 с учетом 4-битной квантизации. Для ускорения генерации поставляется MTP-голова для speculative decoding, которая в llama.cpp, по заявлению автора, дает примерно 60% прироста скорости без изменения проверяемого результата. Модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-рантаймами. Среди ограничений — заявленное ускорение MTP протестировано только в llama.cpp, а при использовании LM Studio автор наблюдал возможные сбои в режиме tensor-split на нескольких GPU; рекомендуется использовать один GPU или альтернативное распределение слоев. Заявление об отсутствии отказов основано на тестах автора и не исключает отдельных отказов в пограничных случаях. Лицензия указана как Gemma; конкретные условия следует уточнять в лицензии семейства Gemma.

RedHatAI/GLM-5.3-Flash-NVFP4 — квантизированная версия модели zai-org/GLM-5.3-Flash, разработанная RedHatAI. Модель использует архитектуру Glm5NextForConditionalGeneration, принимает текст и изображения и генерирует текст. Заявленные языки — английский и китайский. Размер модели и длина контекста в предоставленных данных не указаны. Веса и активации линейных операторов MoE-экспертов квантизированы в формат FP4 (NVFP4), а слои MTP сохранены в FP8. Квантизация выполнена с помощью LLM Compressor, модель экспортирована в формате compressed-tensors и предназначена для инференса через vLLM. По данным README, такое сжатие примерно на 50% уменьшает объём диска и требования к памяти GPU для квантизированных весов по сравнению с 8-битным представлением. Также заявлена поддержка speculative decoding и автоматического выбора инструментов при соответствующей настройке vLLM. Модель ориентирована на мультимодальные и текстовые сценарии генерации, включая задачи рассуждения. В приведённой оценке она показала 97,74% на GSM8K Platinum, 94,87% на MATH-500, 86,67% на AIME 2025 и 90,57% на GPQA Diamond; результаты усреднены по нескольким запускам. Ключевое преимущество — снижение потребления дисковой и GPU-памяти при сохранении возможностей исходной модели, однако FP4-квантизация может влиять на качество и требует совместимой инфраструктуры. Модель распространяется по лицензии MIT.