I.1Поиск и навигация по информации

Карточка модели kakaocorp/kanana-2-30b-a3b-mid-2601 на Hugging Face совпадает с карточкой kakaocorp/kanana-2-30b-a3b-instruct-2601, поэтому описание составлено по ней. Kanana-2-30B-A3B-Instruct-2601 — инструктивная языковая модель компании Kakao для диалогов и сценариев агентного ИИ. Она предназначена для следования сложным инструкциям, логических рассуждений и вызова инструментов; модель можно развернуть, например, через vLLM или SGLang с поддержкой выбора инструментов. Модель основана на архитектуре DeepSeek V3 с механизмом внимания MLA и разреженной смесью экспертов (MoE): всего 30 млрд параметров, из которых активируются около 3 млрд. Контекст составляет до 32 768 токенов. Семейство поддерживает корейский, английский, японский, китайский, тайский и вьетнамский языки. README указывает лицензию как отличную от стандартных вариантов, поэтому перед использованием следует проверить условия на странице репозитория Hugging Face. Для обработки контекста свыше 32 768 токенов требуется отдельно настроить YaRN; такая настройка может повлиять на качество коротких текстов. Метаданные указывают 2,9 млрд параметров, что расходится с описанием серии в README (30 млрд всего и около 3 млрд активных).

NVIDIA Llama 3.1 70B Instruct FP8 — квантованная до FP8 версия диалоговой языковой модели Meta Llama 3.1 70B Instruct. В README указано, что модель разработана не NVIDIA: веса и активации линейных операторов в блоках трансформера преобразованы в FP8 с помощью TensorRT Model Optimizer. Архитектура — авторегрессионный трансформер Llama 3.1 с 69,5 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и интерфейс для вызова инструментов. Модель предназначена для диалоговых ассистентов и генерации текста. FP8-квантование примерно вдвое сокращает требования к дисковому пространству и памяти GPU; в описанном тесте на H100 заявлено ускорение примерно в 1,5 раза. Для инференса указаны TensorRT-LLM и vLLM, совместимое оборудование включает NVIDIA Blackwell, Hopper и Lovelace. Лицензия — Llama 3.1; README сообщает о возможности коммерческого и некоммерческого использования. Следует учитывать условия лицензии Meta и ограничения исходной модели. Модель текстовая, поэтому она не принимает изображения, аудио или видео.

Карточка модели thoratsr7/Phi-4-multimodal-instruct на Hugging Face совпадает с карточкой microsoft/Phi-4-multimodal-instruct, поэтому описание составлено по ней. Phi-4-multimodal-instruct — мультимодальная модель Microsoft на 3,8 млрд параметров с плотной авторегрессионной архитектурой Phi4MM. Она принимает текст, изображения и аудио, а отвечает текстом; в метаданных указано контекстное окно 4096 токенов. В карточке README заявлено 128K токенов, поэтому длина контекста в источниках расходится. Модель предназначена для диалоговых и генеративных систем, которым нужны распознавание и перевод речи, ответы на вопросы по аудио и изображениям, понимание диаграмм и таблиц, OCR, суммаризация и вызов инструментов. Она поддерживает текст на арабском, китайском, чешском, датском, нидерландском, английском, финском, французском, немецком, иврите, венгерском, итальянском, японском, корейском, норвежском, польском, португальском, русском, испанском, шведском, тайском, турецком и украинском; аудио — на английском, китайском, немецком, французском, итальянском, японском, испанском и португальском; изображения — на английском. Microsoft сообщает о supervised fine-tuning, direct preference optimization и RLHF для следования инструкциям и повышения безопасности. Модель распространяется по лицензии MIT. Разработчики предупреждают, что качество может различаться между языками, а применимость к конкретным сценариям следует оценивать отдельно, особенно в высокорисковых областях.

Qwen3-VL-30B-A3B-Thinking-FP8 — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия модели Qwen3-VL-30B-A3B-Thinking с fine-grained-квантизацией и размером блока 128; заявлено, что её показатели почти идентичны исходной версии в формате BF16. Модель предназначена для генерации и понимания текста, анализа изображений и видео, визуального рассуждения, OCR, пространственного анализа, STEM- и математических задач, а также взаимодействия с графическими интерфейсами и инструментами. Модель использует архитектуру MoE с 30 млрд параметров и 3 млрд активных параметров. Среди заявленных компонентов — Interleaved-MRoPE для временных и пространственных признаков, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа событий в видео. Поддерживаются текст, изображения и видео; заявлен нативный контекст 256K с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный перечень языков в README не указан. Сильные стороны модели — развитое мультимодальное понимание, обработка длинного контекста, анализ пространственных отношений и видеодинамики, распознавание текста на сложных изображениях, а также возможности визуального кодирования и агентного взаимодействия. Ограничения включают отсутствие прямой поддержки загрузки этих весов в Transformers на момент публикации README; для развёртывания рекомендованы vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

Radiantloom Llama 70B Instruct — большая языковая модель Radiantloom AI на архитектуре Llama с 68,7 млрд параметров. Это дообученная модель для генерации текста и диалогов; в карточке указаны формат safetensors и лицензия Llama 2. Модель предназначена для чата, написания и суммаризации текстов, ответов на вопросы, программирования, ролевых сценариев и работы в RAG-системах. README отмечает генерацию развернутых ответов и поддержку многоходовых диалогов. Длина контекста — 32 764 токена. Для диалогов рекомендуется шаблон ChatML, хотя пример в карточке показывает другой формат. По заявлению разработчика, модель показывает хорошие результаты в письме, коде и рассуждениях, однако оценка пока предварительная и основана на LLM-as-a-Judge. Ответы могут содержать фактические ошибки, предвзятый или оскорбительный контент, включая материалы NSFW; перед применением в пользовательских системах нужна проверка безопасности.

Карточка модели MeFFyLe/gemma-4-12B-it-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-12B-it-uncensored-heretic, поэтому описание составлено по ней. llmfan46/gemma-4-12B-it-uncensored-heretic — производная от Google Gemma 4 12B IT модель, опубликованная независимым автором. По README это мультимодальная модель для диалога, рассуждений, программирования и понимания текста, изображений, видео и аудио. Вариант 12B построен на плотной архитектуре Gemma 4 Unified с чередованием локального скользящего и глобального внимания; заявленный контекст базовой модели — до 256K токенов. Модель поддерживает многоязычные сценарии и вызов инструментов. В названии и тегах автор характеризует эту версию как uncensored, decensored и abliterated; README сообщает о целевом компоненте attn.o_proj, но не раскрывает конкретную методику изменения модели. Заявлены распознавание речи и перевод речи в текст, а также анализ изображений и последовательностей видеокадров. Возможные применения включают диалоговых помощников, извлечение сведений из документов и изображений, суммаризацию и генерацию кода. Ответы могут содержать фактические ошибки, отражать смещения обучающих данных и быть ненадёжными при неоднозначных или сложных запросах. Указанная в метаданных лицензия — Apache-2.0.

haLLAwa3 — объединённая языковая модель AbacusResearch на архитектуре Mistral с 7,1 млрд параметров. Она создана методом слияния mergekit моделей openchat/openchat-3.5-0106 и machinists/Mistral-7B-SQL; в конфигурации указаны метод slerp и точность bfloat16. Модель предназначена для генерации текста и диалоговых ответов, в том числе для задач, где нужны краткие прямые ответы, понимание документов и работа с SQL. Контекст модели составляет до 32 768 токенов. В README приведены результаты Open LLM Leaderboard: средний балл 71,34, включая 67,83 на AI2 Reasoning Challenge и 87,02 на HellaSwag; эти показатели относятся к указанным тестам и не гарантируют точность в конкретном применении. Лицензия — Apache-2.0.

Qwen2.5-VL-72B-Instruct-GGUF — мультимодальная instruct-модель семейства Qwen2.5-VL, разработанная Qwen и представленная в формате GGUF. Квантизация выполнена bartowski на основе llama.cpp версии b5317. Модель предназначена для работы с текстом и изображениями. Модель подходит для анализа изображений, распознавания объектов, чтения и интерпретации текста, таблиц, графиков, значков, схем и элементов макета. Она также рассчитана на сценарии визуального агента с рассуждением и динамическим управлением инструментами, включая взаимодействие с компьютером и телефоном. Поддерживает структурированный вывод и формирование стабильного JSON, а также многоязычную работу. Заявленная длина контекста составляет 128 тысяч токенов. README не уточняет точную архитектуру, перечень поддерживаемых языков и параметры конкретного файла квантизации, поэтому производительность и требования к ресурсам зависят от выбранного варианта GGUF. Как и другие генеративные модели, модель может выдавать неточные, вредоносные или неподходящие результаты. Лицензия указана как qwen и other; подробные условия приведены в лицензии исходной модели Qwen2.5-VL-72B-Instruct.

Qwen3.5-122B-A10B-NVFP4-Full-GB10 — мультимодальная квантованная версия модели Qwen/Qwen3.5-122B-A10B. Квантование выполнено с помощью llm-compressor по схеме NVFP4 W4A4: линейные слои, включая lm_head, используют 4-битные веса, а vision encoder сохранён в BF16. Модель предназначена для запуска и вывода на NVIDIA DGX Spark с чипом GB10 и обслуживается через vLLM при использовании специальной поддержки для NVFP4 lm_head. Архитектура включает 48 слоёв гибридного внимания, из которых 36 используют GDN/Gated-DeltaNet, а 12 — полноценное внимание, 256 маршрутизируемых экспертов и один общий эксперт на слой; активируются 8 экспертов. Размер скрытого представления — 3072, словарь содержит 248 320 токенов, заявленный контекст — до 262K токенов. Модель поддерживает обработку текста и изображений, однако языки в README не указаны. На DGX Spark заявлена скорость последовательной генерации около 33–35 токенов в секунду. Главное преимущество модели — максимальная скорость декодирования среди описанных вариантов и сниженные требования к памяти: размер контрольной точки составляет около 66 ГБ. Ограничением является небольшое ухудшение качества по сравнению с вариантом FP8Dense, особенно в понимании и передаче нюансов при длительном использовании; 4-битные активации и квантованный lm_head слегка уплощают распределение выходов. В контрольной точке отсутствуют веса MTP, поэтому спекулятивное декодирование недоступно. Модель распространяется по лицензии Apache-2.0.

HaberstrohSystems/Qwen3.8-27B-int4-g128-sym-autoround — квантованная версия нативно мультимодальной модели Qwen3.8-27B, опубликованная HaberstrohSystems и предназначенная для запуска на одной видеокарте Intel Arc Pro B70 с 32 ГБ памяти. Модель поддерживает работу с текстом и изображениями, вызов инструментов и обслуживается через Transformers или vLLM с парсером qwen3_coder. Модель содержит 27 млрд параметров; языковая часть имеет 64 слоя, скрытое измерение 5120, 24 query-heads и 4 KV-heads. Заявленный нативный контекст составляет 262 144 токена, а в приведённой конфигурации обслуживания используется до 131 072 токенов. Языковая часть сжата до INT4 методом AutoRound в формате W4A16 с размером группы 128 и симметричной схемой; веса занимают около 17,69 GiB. Чувствительные компоненты языковой модели и vision tower сохранены в 16-битном виде, поэтому обработка изображений не подвергается квантованию. Указан английский язык. Сильными сторонами являются мультимодальность, большой контекст, поддержка рассуждений с уровнями xhigh, medium и low, вызов инструментов и возможность запуска на одной Intel Arc Pro B70. Ограничения включают заметную задержку при включённом рассуждении xhigh, ускоренный рост контекста из-за сохранения блоков рассуждений и существенное падение производительности при длинных контекстах и многопользовательской нагрузке. Лицензия — Apache 2.0.

Карточка модели a-ibrahim-pwc/Qwen3-Next-80B-A3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-Next-80B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Next-80B-A3B-Instruct — языковая модель от команды Qwen, предназначенная для диалогов, генерации текста и сценариев с вызовом инструментов. Это причинная модель семейства Qwen3-Next с разреженной архитектурой смеси экспертов (MoE), гибридной обработкой контекста через Gated DeltaNet и Gated Attention и поддержкой ускорения вывода с помощью Multi-Token Prediction. В модели 80 млрд параметров, из которых активируются около 3 млрд на токен; при этом метаданные Hugging Face указывают размер 2,3 млрд параметров. Модель рассчитана на инструкции в обычном, нетщательном режиме и поддерживает контекст до 262 144 токенов; в README описано расширение контекста примерно до миллиона токенов с YaRN. Подходит для длинных диалогов и документов, генерации ответов и агентных сценариев с инструментами. Карточка сообщает о результатах на ряде бенчмарков, но не приводит полный набор таблиц в предоставленном тексте. Лицензия Apache-2.0.

Карточка модели scalejade/qwen-sea-lion-v4.5-27b-it на Hugging Face совпадает с карточкой aisingapore/Qwen-SEA-LION-v4.5-27B-IT, поэтому описание составлено по ней. Qwen-SEA-LION-v4.5-27B-IT — мультимодальная инструктивная модель AI Singapore для языков Юго-Восточной Азии, дообученная на основе Qwen3.6-27B. Это плотная модель на 27 млрд параметров с гибридной архитектурой Linear и Full Attention и визуальным энкодером; она принимает текст и изображения и генерирует текст. Контекстное окно составляет 262 тыс. токенов. Модель прошла постобучение с дистилляцией и слиянием моделей на наборе SEA-Instruct-2602. Модель предназначена для многоязычного диалога, ответов на вопросы, перевода, суммаризации, рассуждений и работы с изображениями. В карточке заявлена поддержка английского, бирманского, индонезийского, филиппинского, малайского, тамильского, тайского и вьетнамского языков; метаданные также указывают китайский. Доступны интерфейсы чата и вызова инструментов. Модель распространяется по лицензии MIT. Разработчик предупреждает, что модель может галлюцинировать, давать нерелевантные или непоследовательные ответы и не проверялась на устойчивость к состязательным запросам. Она не проходила выравнивание по безопасности, поэтому перед использованием следует самостоятельно оценить риски и при необходимости провести дополнительную настройку.

Apertus-8B-2509 — открытая языковая модель семейства Apertus, разработанная Swiss AI. Это плотный авторегрессионный трансформер-декодер с 10,3 млрд параметров, обученный с нуля на 15 трлн токенов и дообученный с учителем с последующим выравниванием. Модель предназначена для генерации текста, многоязычного общения и работы с длинным контекстом; поддерживает вызов инструментов. Контекстное окно — до 65 536 токенов. Карточка заявляет поддержку более 1 800 языков. Модель ориентирована на открытое и прозрачное применение: разработчики публикуют веса, данные и сведения о процессе обучения. Репозиторий использует формат Safetensors и библиотеку Transformers; лицензия — Apache-2.0. Модель может генерировать фактически неточный или непоследовательный текст и отражать предвзятость обучающих данных. Фильтр для персональных данных в комплект не входит, поэтому важные ответы следует проверять, а выводы с персональными данными — обрабатывать с осторожностью.

DAXZEIT/GRM-2.6-Plus-0628-MTP-reasoning-i1-GGUF — это набор квантованных GGUF-сборок модели OrionLLM/GRM-2.6-Plus-0628, предназначенной для агентных сценариев, рассуждений, работы с инструментами и задач «изображение—текст». Базовая модель имеет около 27 млрд параметров, архитектуру на основе Qwen3.5/3.6 с MTP-слоем и гибридными gated DeltaNet-рекуррентными слоями. Для работы с изображениями требуется мультимодальный проектор mmproj. В README продемонстрирована конфигурация с контекстом до 262 144 токенов. Сборки используют reasoning-domain importance matrix, оптимизированную для задач рассуждения, а также повышенную точность для ключевого тензора ssm_out во всех DeltaNet-слоях. Доступны варианты квантования от IQ2_M до Q6_K размером примерно от 10,1 до 21,3 ГиБ; более высокая разрядность обычно обеспечивает меньшие отклонения от исходных bf16-весов и лучшее совпадение предсказаний, но требует больше памяти. Встроенный шаблон чата исправляет обработку вызовов инструментов внутри рассуждений и поддерживает агентные циклы. Модель подходит для локального запуска через llama.cpp, включая speculative decoding с MTP, обработки текста и изображений, а также приложений с большим контекстом. Ограничения связаны с потерями точности из-за квантования, требованиями к видеопамяти и необходимостью корректно настроить llama.cpp, мультимодальный проектор и параметры контекста. Поддерживаемые языки в README не указаны. Лицензия — Apache-2.0.

Huihui-Qwen3.6-35B-A3B-abliterated-FP8-DYNAMIC — это FP8-квантизированная версия модели huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated, подготовленная разработчиком coolthor для инференса, прежде всего на NVIDIA DGX Spark с GB10 и 128 ГБ унифицированной памяти. Модель предназначена для генерации и анализа текста, а также обработки изображений; в карточке заявлены английский и китайский языки. Она совместима с vLLM и поддерживает автоматический выбор инструментов и вызовы инструментов через соответствующие парсеры Qwen3. Модель основана на архитектуре Qwen3.6 MoE с конфигурацией 35B-A3B. Используется схема динамической квантизации FP8_DYNAMIC в формате compressed-tensors: около 31 030 линейных модулей переведены в FP8 e4m3fn, а отдельные компоненты, включая визуальный модуль, lm_head и маршрутизаторы экспертов, сохранены в BF16. Размер на диске составляет примерно 36 ГБ вместо 67 ГБ у базовой BF16-версии. Сохранённые MTP-веса позволяют применять speculative decoding; в тесте на DGX Spark скорость достигала 51,72 токена в секунду против 30,71 токена в секунду у BF16-варианта. Рекомендуемая длина контекста при запуске в vLLM — до 32 768 токенов. К сильным сторонам относятся уменьшенный размер, поддержка текстово-визуального ввода и ускорение генерации с MTP. Для работы с изображениями требуется версия контрольной точки после исправления от 3 мая 2026 года; более ранние загрузки имели неисправный визуальный ввод. Карточка также предупреждает о проблемах точности и повторов при использовании FP8 KV-кэша на SM121, поэтому его применение не рекомендуется. Лицензия модели — Apache 2.0.

Linkbricks-Horizon-AI-Japanese-Avengers-V3-70B — дообученная языковая модель компании Linkbricks, созданная дата-сайентистом Юнсоном Джи (Saxo) на основе Saxo/Linkbricks-Horizon-AI-Japanese-Avengers-V2-70B. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров и контекстом до 131 072 токенов; веса опубликованы в формате Safetensors по лицензии Apache 2.0. Модель обучали на японских новостях и Википедии, а также на многоязычных данных и примерах для перевода, суммаризации, вопросов и ответов, анализа тональности, математики и логических задач. Она предназначена для диалогов и генерации текста, включая написание и редактирование, анализ отзывов и публикаций в социальных сетях, программирование и сложные рассуждения. Поддерживается интерфейс вызова инструментов. Заявленная языковая направленность — японский, корейский, китайский и английский; метаданные карточки подтверждают корейский и английский, а README описывает обучение на четырех языках. Возможное качество ответов и работы с каждым языком отдельно не приведено. Большой размер модели требует значительных вычислительных ресурсов.

Muse-Glimmer-30B-OptiQ-4bit — мультимодальная модель для работы с текстом и изображениями, разработанная сообществом mlx-community на базе meta-models/Muse-Glimmer-30B. Она предназначена для локального запуска на компьютерах Apple Silicon через MLX и подходит для анализа изображений, генерации текста, рассуждений, решения математических задач, извлечения информации из длинного контекста, следования инструкциям, вызова инструментов и генерации кода. Модель содержит около 30 млрд параметров и 52 decoder-слоя. Языковая часть использует чувствительно-ориентированное смешанное квантование 4/8-bit: 169 слоёв работают в 4-bit, 248 — в 8-bit. Vision tower сохраняется в формате bf16 в отдельном sidecar-файле. Объём на диске составляет около 18,6 ГБ для языковой части и 3,8 ГБ для визуальной. Поддерживаются текстовая и визуальная модальности; конкретный набор языков в README не указан. Архитектура использует gated attention, sliding window размером 2048 в трёх слоях и NoPE в 13 глобальных слоях. К сильным сторонам относятся локальная работа без PyTorch и облачных сервисов, сохранение визуальной части в bf16, высокая оценка OptiQ Capability Score — 87,36, а также идеальный результат на тесте извлечения из длинного контекста HashHop. Ограничения включают требовательность к объёму памяти и необходимость специального стека mlx-optiq, поскольку стандартный mlx-lm не знает архитектуру модели. Для корректного использования также требуется учитывать раздельные каналы рассуждений и финального ответа. Модель распространяется по лицензии Apache-2.0.

nvidia/Qwen3-14B-FP8 — квантизированная версия авторегрессионной языковой модели Qwen3-14B, разработанной Alibaba и подготовленной NVIDIA с помощью TensorRT Model Optimizer. NVIDIA не является владельцем или разработчиком исходной модели; компания выпустила её FP8-вариант для заданных сценариев развертывания. Модель предназначена для генерации текста в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Она принимает текстовые последовательности и возвращает текст. Модель имеет архитектуру Transformer, около 14,8 млрд параметров и контекстное окно до 131 тысячи токенов. Поддерживается только текстовая модальность; конкретный набор языков в README не указан. Вариант FP8 квантизирует веса и активации линейных операторов внутри блоков Transformer, что делает модель ориентированной на эффективный инференс с TensorRT-LLM. Указана совместимость с GPU-архитектурой NVIDIA Blackwell, операционной системой Linux и тестовым оборудованием NVIDIA B200. Ограничения включают зависимость от поддерживаемого NVIDIA-стека и отсутствие опубликованных в README сведений о результатах тестирования, обучающих данных и языковых характеристиках. Калибровка выполнялась на датасете cnn_dailymail, а остальные сведения о наборах данных не раскрыты. Модель доступна для коммерческого и некоммерческого использования по лицензии Apache License 2.0. Перед применением разработчикам рекомендуется самостоятельно оценить качество, безопасность и соответствие модели требованиям конкретной отрасли и сценария.

Карточка модели jahseh1654/Qwen3.5-4B на Hugging Face совпадает с карточкой Qwen/Qwen3.5-4B, поэтому описание составлено по ней. Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.

Qwen3.5-9B-AWQ — это 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen группы Alibaba. Модель предназначена для генерации текста по текстовым запросам, а также для обработки интерleaved-входов с изображениями и текстом; базовая модель также поддерживает видео. Предусмотрен режим рассуждений, включённый по умолчанию. Модель содержит около 9 млрд параметров и использует гибридную архитектуру Gated DeltaNet и sparse MoE с vision encoder. Нативная длина контекста составляет 262 144 токена, с возможностью расширения посредством RoPE scaling. Заявлена поддержка 201 языка и диалекта. Квантизация выполнена по схеме W4A16: веса линейных слоёв языковой модели представлены в 4-битном формате, а активации — в 16-битном; vision tower, router gates и lm_head сохранены в более высокой точности. Главное преимущество версии AWQ — уменьшенные требования к дисковому пространству и VRAM при сохранении возможностей базовой vision-language модели, что делает её подходящей для запуска на одной потребительской GPU. Для инференса требуется совместимая GPU с поддержкой INT4 Marlin и свежая версия vLLM с поддержкой архитектуры Qwen3_5ForConditionalGeneration; работоспособность проверена на NVIDIA Blackwell. Ограничения включают зависимость от поддержки compressed-tensors в используемом стеке и потенциальные потери точности, характерные для квантизации, хотя vision tower намеренно не квантизован для сохранения качества понимания изображений. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели Qwen3.5-9B.

Pilcothink/Qwen3.8-27B-MixedInt4-AutoRound — это квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen и подготовленной Pilcothink. Модель предназначена для инференса в сценариях обработки текста и изображений, включая рассуждения, работу с инструментами и задачи, поддерживаемые исходной моделью. Это не дообучение, слияние или дистилляция, а производная версия исходного checkpoint. Квантизация выполнена с помощью Intel AutoRound по пользовательской схеме смешанной точности INT4 с размером группы 32. Языковые слои квантизированы, а vision tower сохранён в исходной точности; точное распределение разрядности между компонентами не раскрыто. Заявлена совместимость с поддерживающими AutoRound версиями vLLM. В README указана возможность работы с контекстом до 262 144 токенов, а для специального режима обслуживания — до 1 010 000 токенов, однако такие значения зависят от конфигурации и используемой версии инфраструктуры. Основное преимущество модели — снижение требований к памяти при сохранении близкого к оригиналу качества. В приведённой оценке средний результат составил 76,97% против 77,45% у исходной модели; наиболее заметное снижение наблюдалось в BoolQ, а на GSM8K квантизированная версия показала более высокий результат. При этом результаты бенчмарков не гарантируют идентичное поведение на каждом запросе, мультимодальных или длинноконтекстных нагрузках. Лицензия в карточке не указана; для условий использования, ограничений и лицензирования рекомендуется обращаться к карточке базовой модели Qwen/Qwen3.8-27B.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-AWQ-MTP — это 4-битная AWQ-квантизованная версия модели HauhauCS/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF, опубликованная twolven. Модель предназначена для генерации текста, рассуждений, работы с изображениями и вызова инструментов; поддерживает speculative decoding через встроенную NextN/MTP draft head при использовании vLLM. В карточке указан английский язык и мультимодальный режим image-text-to-text. Модель содержит около 27 млрд параметров и использует гибридную архитектуру Qwen3.5: 64 декодерных слоя, включая 48 слоёв с линейным вниманием Qwen3_5GatedDeltaNet и 16 слоёв с полным вниманием, а также 27-слойную vision tower. Основные линейные слои квантизованы в формате W4A16 с размером группы 128 и асимметричным квантованием; vision tower, lm_head, MTP head и отдельные компоненты сохранены в bf16. Размер модели на диске составляет около 19 ГБ. Проверки показали связное поведение, арифметическое рассуждение, распознавание форм и цветов на изображениях, работу tool calling и извлечение данных из контекстов до 229 200 токенов. К сильным сторонам относятся мультимодальность, сохранённая поддержка MTP для ускорения генерации, совместимость с vLLM, инструментами и длинным контекстом, а также отсутствие отказов в заявленных тестах uncensored-профиля. Главное ограничение — модель восстановлена из GGUF-квантизации Q8_K_P, а затем повторно квантизована до 4 бит, поэтому накопленная ошибка выше, чем у сборки, созданной непосредственно из исходных BF16-весов. Производительность MTP зависит от характера запроса и может различаться примерно на 30%; единое значение скорости генерации не приводится. Лицензия — Apache-2.0.

MIRALABS/Qwen3.8-27B-W4A16-AutoRound — 4-битная квантованная версия модели Qwen/Qwen3.8-27B, разработанная MIRALABS на основе базовой модели Qwen. Модель предназначена для генерации текста и обработки изображений с текстом; заявлены английский и китайский языки. Поддерживает рассуждения, вызов инструментов и работу в режиме image-text-to-text. Модель использует INT4-квантизацию весов при BF16-активациях (W4A16), алгоритм AutoRound 0.14.2 с размером группы 128 и формат compressed-tensors для ядер Marlin в vLLM. Размер файлов составляет около 19,5 ГБ. Нативный контекст — 262 144 токена, а с YaRN заявлена поддержка до 1 000 000 токенов. Квантование заметно снижает требования к памяти по сравнению с версией BF16, при этом запуск рассчитан на видеокарты Ampere и новее, включая RTX 3090, RTX 4090 и A100. Сильными сторонами являются большой контекст, поддержка мультимодального ввода, режима рассуждений и эффективный запуск через vLLM на распространённых GPU. Ограничения связаны с требованиями к видеопамяти: на одной RTX 3090 веса помещаются, но полный контекст 262 144 токена недоступен; для длинного контекста рекомендуется несколько GPU или другой формат. Модель использует AutoRound, а не AWQ, GGUF или NVFP4. Распространяется по лицензии Apache 2.0, как и базовая модель.

DeepSeek-V4-Flash-0731-REAP37-native-MLX — это MLX-конверсия модели DeepSeek-V4-Flash-0731, разработанной командой DeepSeek. Модель предназначена для генерации текста, диалоговых приложений, агентских сценариев и вызова инструментов через формат DSML. Она работает только с текстом и не содержит компонентов для обработки изображений. Модель использует архитектуру deepseek_v4 с механизмом внимания HISA, hyper-connections и маршрутизацией экспертов: в 40 слоях применяется обучаемая маршрутизация, а в первых трёх — hash-routing. Из исходных 256 экспертов в каждом слое сохранено 163, что соответствует сокращению примерно на 36,7%. Размер модели на диске составляет около 96 ГБ против примерно 155 ГБ у исходного варианта с 304 млрд параметров. Сохранённая точность является штатной для исходных весов — дополнительное квантование не применялось; выжившие эксперты побитово совпадают с исходным checkpoint. Главное преимущество модели — уменьшенный размер при сохранении исходной 4-битной точности оставшихся весов, а также поддержка нативного вызова инструментов DSML. Модель рассчитана на запуск в экосистеме MLX и тестировалась с oMLX; также доступна через mlx_vlm. Ограничения включают отсутствие независимого сравнения с полной моделью на стандартных бенчмарках, поэтому качество следует проверять на собственных задачах. Лицензия — MIT, унаследованная от базовой модели.

Granite-4.0-H-Tiny-Base — базовая языковая модель IBM Granite Team для генерации текста и кода. Это декодерный гибридный MoE-трансформер примерно на 500,2 млн параметров с компонентами GQA и Mamba2; модель обучена с нуля на смеси открытых и проприетарных данных. Контекст — до 131 072 токенов. Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы, генерации текста с длинным контекстом и автодополнения кода, включая Fill-in-the-Middle. В первую очередь поддерживает английский, а также немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Весы доступны в формате safetensors; лицензия Apache 2.0. Модель не прошла safety alignment, поэтому может генерировать проблемные ответы. Возможны предвзятость, дезинформация, галлюцинации и дословное воспроизведение фрагментов обучающих данных.

Granite-4.0-Micro-Base — базовая языковая модель IBM Granite Team для генерации текста и кода. Это декодерный трансформер с плотной архитектурой GraniteMoeHybridForCausalLM; в метаданных указано 3,4 млрд параметров и контекст до 131 072 токенов. Модель обучена с нуля на смеси открытых и проприетарных данных примерно на 15 трлн токенов. Модель предназначена для генерации текста, суммаризации, классификации, извлечения информации, ответов на вопросы и дополнения кода, включая заполнение пропусков между префиксом и суффиксом (FIM). Поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Архитектура включает GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Модель не проходила safety alignment, поэтому может генерировать предвзятые, ошибочные или проблемные ответы; для небольшой модели также отмечен риск дословного воспроизведения обучающих данных. Лицензия — Apache 2.0.

K2-Horizon-375B-A23B — флагманская языковая модель семейства K2-Horizon от IFM. Это разреженная архитектура Mixture-of-Experts: в модели 375 млрд параметров, из которых 23 млрд задействуются на каждом токене. Модель принимает текст и поддерживает контекст до 524 288 токенов; карточка указывает английский язык и возможность диалогового взаимодействия. Модель предназначена для генерации текста, работы с инструментами и агентных сценариев, включая терминальные задачи и длительные многоэтапные процессы. В README заявлены конкурентные результаты на соответствующих бенчмарках. Доступны контрольные точки обучения, обучающие данные и код обучения; для запуска описаны рецепты vLLM и SGLang, а реализация Transformers проверена с указанными в карточке версиями библиотек. Веса опубликованы в формате Safetensors под лицензией Apache-2.0. Для запуска требуются значительные вычислительные ресурсы: README приводит пример обслуживания на восьми ускорителях H200. Заявленная длина контекста — 524 288 токенов; поведение обучения в реализации Hugging Face может отличаться от исходной реализации xLLM.

Kanana-2-30B-A3B-Thinking — языковая модель Kakao Corporation из семейства Kanana-2, предназначенная для генерации текста с пошаговым рассуждением. Это дообученная версия Kanana-2-30B-A3B-Base на архитектуре DeepSeek V3 с механизмами MLA и Mixture of Experts: всего 30 млрд параметров, из которых активируются около 3 млрд. Репозиторий содержит веса в формате Safetensors; для запуска README рекомендует Transformers версии 4.51.0 или новее. Модель рассчитана на сложные инструкции, логические задачи, длительные диалоги и агентные сценарии с вызовом инструментов. Она поддерживает корейский, английский, японский, китайский, тайский и вьетнамский языки, а её штатная длина контекста составляет 32 768 токенов. README описывает настройку YaRN для контекстов до 128 тысяч токенов, но предупреждает, что масштабирование может ухудшить качество на коротких текстах. Лицензия указана как Other, поэтому условия использования следует уточнять в карточке модели. README сообщает, что пользовательские данные Kakao не использовались при предварительном обучении и дообучении. Модель ориентирована на генерацию текста; изображения и аудио в качестве входа не заявлены.

Linkbricks-Horizon-AI-Japanese-Advanced-V8-70B — языковая модель, дообученная директором по данным Linkbricks Джи Юнсоном (Saxo) на основе версии V7. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, предназначенная для генерации текста, диалога и вызова инструментов. В карточке указано контекстное окно 128 тыс. токенов. Модель усилена для работы на японском, корейском, китайском и английском языках. Среди заявленных сценариев — перевод между этими языками, анализ отзывов клиентов и публикаций в социальных сетях, написание текстов и кода, а также решение математических и логических задач. Для обучения использовались японские новостные и вики-корпуса, многоязычные данные для разных задач и примеры по математике и логике. Модель основана на V7 и прошла японское SFT, DPO и слияние. Веса опубликованы в формате Safetensors для Transformers; лицензия — Apache-2.0. Заявленные возможности и качество описаны в карточке модели и могут зависеть от языка, запроса и способа использования.

mlx-community/Llama-3.3-70B-Instruct-bf16 — конверсия модели Meta Llama 3.3 70B Instruct в формат MLX, выполненная сообществом mlx-community с помощью mlx-lm 0.20.1. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, предназначенная для диалогов, следования инструкциям и генерации текста; метаданные также указывают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст. Контекстное окно составляет до 131 072 токенов. Поддерживаемые языки включают английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий. Модель подходит для диалоговых ассистентов, генерации и преобразования текста, а также работы с длинными текстовыми контекстами. Репозиторий содержит веса в safetensors и предназначен для использования с MLX. Лицензия — Llama 3.3; условия Meta следует соблюдать при использовании и распространении модели. Для запуска требуется совместимая среда MLX, а модель такого размера предъявляет значительные требования к памяти и вычислительным ресурсам.