I.1Поиск и навигация по информации

FuriosaAI публикует эту сборку Qwen3-VL-4B-Instruct с Furiosa Executable Bundle для запуска через Furiosa-LLM на ускорителях RNGD. Это плотная vision-language модель на 4 млрд параметров: кодировщик изображений сочетается с трансформерным декодером, а Interleaved-MRoPE и многоуровневое слияние признаков DeepStack поддерживают обработку изображений и видео. Веса хранятся в safetensors; README указывает, что дополнительная квантизация не применялась. Базовая модель — Qwen/Qwen3-VL-4B-Instruct. Модель принимает текст и изображения и формирует текстовые ответы. Она предназначена для диалога по изображениям, OCR, анализа документов и диаграмм, пространственных рассуждений и понимания видео; также поддерживает вызов инструментов через интерфейс функций. Для работы с Furiosa-LLM на RNGD используется параллелизм по тензорам на 8 вычислительных элементах одной карты. README также указывает совместимость с vLLM, SGLang и Transformers. Модель распространяется по лицензии Apache 2.0. Карточка описывает её как Instruct-вариант без режима thinking; качество ответов может зависеть от сложности изображения или видео и формулировки запроса.

Solar-Open-100B-NVFP4A16 — сборка модели Solar-Open-100B, разработанной компанией Upstage, которую FuriosaAI самостоятельно квантизировала в формате NVFP4A16 и подготовила для запуска на аппаратуре FuriosaAI RNGD с использованием Furiosa-LLM. Это авторегрессионная текстовая языковая модель с архитектурой Mixture-of-Experts (MoE), предназначенная для генерации текста, чат-взаимодействия, задач с рассуждениями и без них, а также вызова инструментов через функции. Поддерживаются английский и корейский языки, входные и выходные данные представлены в текстовом формате. Веса модели используют 4-битный формат NVFP4, тогда как активации и KV-кэш сохраняются в 16-битной точности. Для рассуждений можно задавать уровень reasoning_effort: low, medium или high; модель также поддерживает отдельную передачу рассуждений и автоматический выбор инструментов при соответствующей настройке сервера. На FuriosaAI RNGD модель работает с tensor parallelism на 32 PE, что соответствует четырём картам RNGD. В README не указаны общий и активный размер модели, длина контекста и точные параметры архитектуры, поэтому эти характеристики нельзя определить по имеющимся данным. Основное преимущество модели — сочетание крупной MoE-архитектуры, возможностей рассуждения и вызова инструментов с экономией памяти благодаря 4-битной квантизации. Сборка ориентирована прежде всего на FuriosaAI RNGD и Furiosa-LLM, хотя квантизированные веса также заявлены как совместимые с vLLM, SGLang и Transformers. Модель распространяется по лицензии Upstage Solar License; в карточке она обозначена как license: other, с отдельной ссылкой на текст лицензии.

DeepSeek-V3.1-Terminus-W4AFP8 — смешанно-точная квантованная версия DeepSeek-V3.1-Terminus. Репозиторий модели связан с deepseek-ai/DeepSeek-V3.1-Terminus; по метаданным это производная модели с архитектурой DeepSeek V3 и классом DeepseekV3ForCausalLM. Модель содержит 37,6 млрд параметров и рассчитана на генерацию текста, включая диалог и вызов инструментов через соответствующий интерфейс. Контекст составляет до 163 840 токенов. Веса плотных слоёв сохраняют формат FP8 исходной модели, а веса MoE-слоёв представлены в INT4 с активациями FP8 (W4AFP8). В README приведены результаты тестирования в режиме без рассуждений; для инференса описан запуск через SGLang версии 0.5.2 или новее с tensor parallel. Модель распространяется по лицензии MIT. Карточка не уточняет языки и специфические ограничения качества.

DeepSeek V4 Flash REAP K150 Mixed NVFP4 — производная версия DeepSeek V4 Flash, подготовленная sleepyeldrazi на основе официального чекпойнта deepseek-ai/DeepSeek-V4-Flash. Это текстовая MoE-модель для генерации текста и диалогов. REAP удаляет наименее активные эксперты: в слоях 3–42 оставлено по 150 маршрутизируемых экспертов из исходного набора, что соответствует сокращению примерно на 41%; первые три слоя сохранены без такого сокращения. Дообучения не проводилось. Веса упакованы в смешанном формате: NVFP4 для gate/up проекций маршрутизируемых экспертов, Q2_K для down проекций, Q8_0 для внимания, общих экспертов и выходной головы; эмбеддинги сохранены в F16. Конверсия MXFP4 в NVFP4 описана как преобразование формата шкал без изменения значений весовых нибблов. Репозиторий содержит GGUF, однако для запуска требуется специальный движок ds4 с пользовательскими CUDA-ядрами; стандартные сборки llama.cpp и другие обычные GGUF-рантаймы модель не загружают. Калибровка ориентирована на код, вызов инструментов, исследования и поиск знаний. Карточка приводит бюджет памяти для DGX Spark, включая запуск с контекстом до 1 млн токенов при использовании FP8 KV-кэша, но точная длина контекста в метаданных не указана. Лицензия — MIT.

HelixLM — плотная авторегрессионная языковая модель семейства Helix, опубликованная dusersad12 в формате PyTorch для генерации текста. В карточке заявлены улучшения рассуждений и вывода, включая задачи по математике, программированию и логике; модель также позиционируется как чат-ассистент с поддержкой вызова функций. README сообщает об улучшении результата на AIME 2026 до 89,3% и увеличении среднего расхода токенов на вопрос с 14 тыс. до 27 тыс., а также о снижении галлюцинаций. Для локального запуска и взаимодействия предлагаются отдельные кодовый репозиторий, веб-интерфейс и API; для генерации рекомендована температура 0,6. Репозиторий распространяется по лицензии Apache-2.0. Размер модели, длина контекста и поддерживаемые языки в предоставленных данных не указаны.

Huihui-Qwen3.6-35B-A3B-abliterated-NVFP4 — квантованная версия модели huihui-ai/Huihui-Qwen3.6-35B-A3B, подготовленная пользователем YuYu1015. Модель предназначена для генерации текста, диалоговых и рассуждающих сценариев, а также использования с вызовом инструментов. Она поддерживает режим рассуждений, tool calling через парсер qwen3_xml и спекулятивное декодирование MTP; совместимость с DFlash также заявлена. В основе лежит MoE-архитектура с 35 млрд параметров в общей сложности и примерно 3 млрд активных параметров: 256 экспертов, 8 маршрутизируемых и 1 общий эксперт, в сочетании с GDN/Mamba и механизмом внимания. Поддерживается контекст до 262 144 токенов, языки — английский и китайский. Модель использует NVFP4-квантизацию W4A4, занимает около 25,1 ГБ вместо примерно 71,9 ГБ в исходном формате BF16 и оптимизирована для NVIDIA DGX Spark с GPU GB10 SM121. Основные преимущества — существенно сниженные требования к памяти, сохранённые MTP-веса в BF16 и специальная смешанная калибровка на диалоговых и рассуждающих данных для восстановления точности. Ограничения включают зависимость от совместимых версий vLLM, FlashInfer и CUDA, а также необходимость подходящего оборудования и программного стека для заявленного режима W4A4. После abliteration распределение активаций отличается от исходного, поэтому эффективность DFlash снижается; для этой версии рекомендуется MTP с одним спекулятивным токеном. Модель распространяется по лицензии Apache-2.0.

JiRack DeltaNet 180B — текстовая диалоговая модель CMSManhattan на основе Qwen3.8-Flash-Next. Она предназначена для генерации текста, работы с инструментами и агентных сценариев, включая маршрутизацию, программирование и использование в RAG-системах. Модель содержит около 180 млрд параметров общей ёмкости, из которых примерно 6 млрд активны на каждом токене; в карточке описана архитектура Mixture-of-Experts с Gated DeltaNet, разреженным вниманием Qwen и маршрутизацией между экспертами. Указаны форматы GGUF и Safetensors, а также варианты GGUF Q3_K_M и Q4_K_M. Сборка JiRack пока текстовая, хотя базовая Qwen3.8-Flash-Next поддерживает изображения и видео. README сообщает, что текущие веса численно совпадают с базовой моделью: QAT ещё не завершён, поэтому заявленные преимущества троичных весов пока не реализованы. Карточка описывает многоязычное применение, включая русский, английский, китайский, японский и другие языки. Лицензия указана как other; конкретные условия следует проверять в репозитории модели.

amd/Kimi-K3-Quark-MXFP4 — мультимодальная модель на базе moonshotai/Kimi-K3, разработанная и оптимизированная Advanced Micro Devices, Inc. Она предназначена для генерации текста по текстовым, графическим и видеовходам, а также для задач рассуждения, включая работу с инструментами. Архитектура указана как KimiK3ForConditionalGeneration; выход модели — текст. Модель квантизирована с помощью AMD-Quark: веса и активации используют формат OCP MXFP4, а слои self-attention — PTPC-FP8. В MoE-компонентах experts и shared_experts применяется OCP MXFP4. README не содержит сведений о количестве параметров, длине контекста и поддерживаемых языках. Для запуска заявлена совместимость с AMD MI350 и MI355, ROCm 7.1.1, PyTorch 2.10.0, Transformers 5.2.0 и Linux; в качестве inference engine используются vLLM и, для оценки, SGLang. К сильным сторонам относятся мультимодальность и снижение требований к памяти и вычислениям благодаря квантизации. На тесте GSM8K модель показала 96,36 против 96,82 у исходной moonshotai/Kimi-K3, что соответствует восстановлению 99,52% исходного результата. Ограничения включают зависимость от совместимого оборудования и программного стека, а также необходимость специальных настроек vLLM для воспроизведения указанной конфигурации. Лицензия обозначена как other с названием kimi-k3; модификации защищены авторским правом Advanced Micro Devices, Inc. за 2026 год.

LFM2.5-8B-A1B-ThinkingCap-GGUF — GGUF-сборка модели LFM 2.5 8B ThinkingCap, основанная на весах Liquid AI LFM 2.5 8B A1B и аблитерированной версии huihui-ai. Модель дообучена osk-arr00 с применением Supervised Fine-Tuning (SFT) и Direct Preference Optimization (DPO) и ориентирована на рассуждения, генерацию текста, структурированные ответы и tool-calling. Заявлена поддержка английского и испанского языков. Архитектура представляет собой гибридную модель с 36 слоями одномерных коротких свёрток и MoE-основой на 32 эксперта. Всего модель содержит около 8,47 млрд параметров, из которых примерно 1,2 млрд активны на каждый токен. В репозитории доступны варианты GGUF от BF16 до Q4, включая специализированные APEX и ROCmFPX-квантизации для AMD Strix Halo с архитектурой RDNA 3.5 и gfx1151, а также версии для llama.cpp, Vulkan, CPU и CUDA. Указана поддержка глобального контекста до 256K токенов в серверном сценарии, однако точные ограничения зависят от сборки и конфигурации. Сильными сторонами являются ориентация на reasoning, детерминированные структурированные ответы, англо- и испаноязычная генерация, широкий выбор квантизаций и оптимизация для AMD Strix Halo. Ограничения включают зависимость производительности от аппаратной платформы, рантайма, квантизации и параметров запуска; приведённые показатели относятся к AMD Ryzen AI Max 385 с 64 ГБ LPDDR5X и не гарантируют аналогичную скорость на других системах. Лицензия обозначена как lfm1.0; конкретные условия следует уточнять в приложенном файле лицензии.

fedric95/Meta-Llama-3.1-8B-GGUF — это квантованная версия большой языковой модели Meta-Llama-3.1-8B, подготовленная пользователем fedric95 в формате GGUF. Модель предназначена для генерации текста и работы в сценариях, где требуется локальный или ресурсосберегающий запуск языковой модели, включая диалоговые приложения, написание и преобразование текста, извлечение информации и другие задачи обработки естественного языка. Модель относится к семейству Llama 3.1 и содержит 8 миллиардов параметров. Она работает с текстом; заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Квантование в формате GGUF может снизить требования к памяти и упростить запуск на совместимом оборудовании, однако конкретный уровень квантования, размер контекста, точные требования к ресурсам и показатели качества в README не указаны. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов требуется предоставить копию лицензии, указывать «Built with Llama», сохранять установленное уведомление об авторских правах и соблюдать применимые законы и Acceptable Use Policy. Для продуктов с более чем 700 миллионами ежемесячно активных пользователей предусмотрено требование получить отдельную лицензию Meta.

MiniCPM4.1-8B-GPTQ — квантизированная в формате GPTQ версия большой языковой модели MiniCPM4.1-8B, разработанной командой OpenBMB. Модель предназначена для генерации и обработки текста, включая диалоговые приложения, следование инструкциям, задачи, требующие рассуждений, понимание длинных текстов и вызов инструментов. Она поддерживает китайский и английский языки и рассчитана на эффективное использование на периферийных устройствах и конечных пользовательских системах. Модель содержит 8 миллиардов параметров и относится к гибридным reasoning-моделям: её можно использовать в режиме глубокого рассуждения и в обычном режиме без рассуждений. В архитектуре заявлен механизм разреженного внимания InfLLM v2, при котором при обработке текста длиной до 128K токенов каждый токен взаимодействует менее чем с 5% токенов, что должно снижать вычислительные затраты. GPTQ-квантизация уменьшает требования к памяти и может ускорить инференс на совместимом оборудовании, однако README не содержит точных требований к ресурсам, результатов тестирования именно этой сборки или подробностей о влиянии квантизации на качество. К сильным сторонам относятся ориентация на эффективный инференс, поддержка длинного контекста, гибридный режим рассуждений и наличие оптимизаций для локального запуска. Ограничения и перечень конкретных поддерживаемых аппаратных платформ в README не раскрыты. Модель распространяется по лицензии Apache-2.0.

Карточка модели PositronicLlama/Ovis2.5-9B на Hugging Face совпадает с карточкой ATH-MaaS/Ovis2.5-9B, поэтому описание составлено по ней. Ovis2.5-9B — мультимодальная модель семейства Ovis2.5, разработанная командой AIDC-AI. Она сочетает визуальный энкодер NaViT для обработки изображений в исходном переменном разрешении с языковой моделью Qwen3-8B; размер модели — 9 млрд параметров. Модель принимает текст и изображения и генерирует текст, поддерживает контекст до 40 960 токенов и рассчитана прежде всего на английский и китайский языки. Модель предназначена для визуальных вопросов и ответов, мультимодальных рассуждений, понимания видео, распознавания текста и анализа документов, таблиц, форм, графиков и диаграмм. Режим размышления с самопроверкой и пересмотром ответа можно включать при выводе, увеличивая задержку ради потенциально более точного ответа на сложные запросы. В README заявлен средний результат 78,3 в мультимодальном наборе OpenCompass и сильные результаты в задачах понимания изображений и документов. Модель распространяется по лицензии Apache-2.0. README предупреждает, что разработчики не гарантируют полного отсутствия проблем с авторскими правами или неподобающим содержимым.

lmstudio-community/Qwen2.5-VL-32B-Instruct-GGUF — мультимодальная инструкционная модель семейства Qwen2.5-VL, разработанная командой Qwen и представленная в формате GGUF. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для работы с текстом и изображениями, включая анализ визуального содержимого и выполнение задач по инструкциям. Модель подходит для распознавания объектов, анализа текста на изображениях, таблиц, диаграмм, значков, графики и макетов. Она также может использоваться как визуальный агент для рассуждений и динамического управления инструментами, включая сценарии взаимодействия с компьютером и телефоном. Поддерживаются структурированные ответы и стабильная генерация JSON, а также многоязычная работа. Заявленная длина контекста составляет 128 000 токенов, размер модели — 32B параметров. К сильным сторонам относятся развитый анализ визуальной информации, поддержка длинного контекста, мультимодальность, многоязычность и способность формировать структурированные результаты. Это квантизированная community-версия, поэтому её характеристики могут зависеть от конкретной квантизации и среды запуска; как и другие языковые модели, она может генерировать неточные или неподходящие ответы. Лицензия модели — Apache 2.0.

Qwen3-30B-A3B-Instruct-2507-FP8 — это инструктивная авторегрессионная текстовая модель семейства Qwen3, представленная в репозитории furiosa-ai и предназначенная для запуска на аппаратной платформе FuriosaAI RNGD с использованием Furiosa-LLM. В основе лежит архитектура Mixture-of-Experts (MoE): модель содержит около 30,5 млрд параметров, из которых примерно 3,3 млрд активируются для каждого токена. Модель работает только в режиме non-thinking, поддерживает ввод и вывод текста, а также выпущена под лицензией Apache 2.0. Модель предназначена для следования инструкциям, рассуждений над текстом, многоязычных задач и использования инструментов через function calling. Она поддерживает вызовы инструментов с parser hermes, применяемым в серии Qwen3, и может обслуживаться через OpenAI-совместимый API Furiosa-LLM. Указанный вариант рассчитан на работу с четырьмя картами FuriosaAI RNGD, использующими tensor parallelism с размером 32 processing elements. Веса статически квантизированы в FP8, активации динамически квантизируются в FP8 во время выполнения, а KV-кэш сохраняется в 16-битной точности. Это может снизить требования к памяти и повысить эффективность инференса, но README не содержит данных о размере контекстного окна, поддерживаемых языках, точных показателях качества и производительности, поэтому эти характеристики оценить нельзя. Основное ограничение — привязка описанной конфигурации к Furiosa-LLM и оборудованию FuriosaAI RNGD; для других фреймворков следует обращаться к карточке исходной модели Qwen.

Карточка модели TreezzZ/r2s-scienceworld-qwen3.5-4b-student на Hugging Face совпадает с карточкой Qwen/Qwen3.5-4B, поэтому описание составлено по ней. Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.

TenyxChat-8x7B-v1 — диалоговая языковая модель от Tenyx, дообученная на базе Mixtral-8x7B-Instruct-v0.1 методом Direct Preference Optimization (DPO) на датасете UltraFeedback. Модель использует архитектуру Mixture of Experts Mixtral и предназначена для генерации ответов в формате чата. В метаданных указаны 7,1 млрд параметров и контекст до 32 768 токенов. Модель подходит для диалоговых помощников, написания и редактирования текстов, извлечения сведений, ответов на вопросы, а также задач по программированию и STEM. В опубликованном сравнении MT-Bench она получила средний балл 8,4; это результат конкретной оценки, а не гарантия качества в каждом сценарии. Модель принимает текст и генерирует текст. Карточка и метаданные указывают английский язык. Лицензия Apache 2.0 допускает коммерческое использование. Разработчики предупреждают, что модель не настраивали специально для соблюдения предпочтений безопасности людей; при провокационных запросах она может выдавать нежелательные ответы, испытывает трудности с рассуждениями и математикой и иногда отвечает многословно.

Solstice-AI публикует GGUF-сборку DeepSeek-V4-Flash-Vision-UNCENSORED для локального мультимодального диалога и анализа изображений. В ней используются MoE-веса MXFP4 с 305 млрд параметров, включая 256 маршрутизируемых экспертов и около 18 млрд активных параметров на токен; визуальный энкодер сохранён в BF16. К сборке приложены спекулятивные черновые модели DSpark для ускорения вывода. Заявлена длина контекста 1 048 576 токенов. Модель принимает текст и изображения и выдаёт текст; среди подходящих сценариев — визуальные вопросы и ответы, анализ документов и графиков, а также задачи программирования и рассуждений в диалоге. Карточка приводит высокие результаты в ряде бенчмарков, включая DocVQA и ChartQA, но эти показатели заявлены автором и не гарантируют аналогичного качества в конкретной среде. Сборка распространяется по лицензии MIT. В README упоминается режим UNCENSORED, поэтому её ответы могут содержать материалы, которые обычно ограничиваются отказами.

Gemma 3 4B PT — предварительно обученная мультимодальная модель Google из семейства Gemma, созданного на основе исследований и технологий Gemini. Она принимает текст и изображения и генерирует текст; открытые веса позволяют запускать её на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Модель подходит для ответов на вопросы по тексту и изображениям, суммаризации, генерации текстов, диалоговых интерфейсов и извлечения сведений из изображений. Семейство Gemma 3 поддерживает контекст до 128 тысяч токенов и более 140 языков. Карточка описывает как предварительно обученные, так и настроенные на инструкции варианты семейства; этот репозиторий — вариант PT. Ответы могут содержать фактические ошибки и отражать смещения обучающих данных; модель может испытывать трудности с неоднозначностью, нюансами языка и сложными открытыми задачами. Лицензия — Gemma, с условиями использования Google Gemma.

NVIDIA Llama 3.1 405B Instruct NVFP4 — квантованный чекпойнт Meta Llama 3.1 405B Instruct, подготовленный NVIDIA с помощью TensorRT Model Optimizer. Это авторегрессионная плотная трансформерная языковая модель семейства Llama для генерации текста по инструкциям, диалога и интерфейсов вызова инструментов. Веса и активации линейных операторов в блоках трансформера квантованы до FP4; заявленное сокращение требований к диску и памяти GPU составляет примерно 3,5 раза. Модель содержит 403,7 млрд параметров и поддерживает контекст до 131 072 токенов. Модель принимает текст и выдаёт текст. Для инференса предусмотрен TensorRT-LLM; README указывает совместимость с архитектурой NVIDIA Blackwell и Linux. Можно применять для диалоговых ассистентов, генерации и преобразования текста по инструкциям, а также сценариев с вызовом инструментов. README заявляет возможность коммерческого и некоммерческого использования; лицензия в метаданных — llama3.1. Квантование может влиять на точность, а для запуска требуется совместимое оборудование и программный стек TensorRT-LLM.

LwQ-Reasoner-10B — дообученная модель prithivMLmods для генерации текста и диалогов. Она основана на плотной авторегрессионной архитектуре Llama и обучена на синтетических наборах данных для рассуждений. Размер модели — 9,9 млрд параметров, контекстное окно — 32 768 токенов; веса доступны в формате safetensors, запуск предполагает библиотеку Transformers. Модель предназначена для многоязычных диалогов, следования инструкциям и решения задач, требующих математических рассуждений или использования заданного контекста. Её можно применять в чат-ботах, обучающих помощниках, для ответов на вопросы, составления сводок и генерации текстов. Карточка указывает лицензию Llama 3.1. Качество может различаться между языками; модель может ошибаться в узкоспециализированных темах и сложных многошаговых рассуждениях, а неоднозначные инструкции способны ухудшить результат. При работе с длинными материалами нужно учитывать ограничение контекста, а для запуска модели такого размера требуются значительные вычислительные ресурсы.

Omega AI 70B — диалоговая языковая модель семейства Omega AI, представленная как дообученная на базе meta-llama/Llama-3.3-70B-Instruct. По метаданным, модель содержит 71,5 млрд параметров, использует архитектуру Qwen2ForCausalLM и принимает текст для генерации ответов; доступны интерфейсы чата и вызова инструментов. Контекст составляет до 32 768 токенов. Модель предназначена для диалоговых ассистентов и генерации текста. README характеризует репозиторий как справочный и уточняет, что фирменное название Omega AI не меняет архитектуру или предварительно обученные веса базовой модели. Условия исходной лицензии и требования к атрибуции продолжают действовать; конкретная лицензия в предоставленных данных не приведена.

RukaRat/Qwen3.8-27B-INT8-W8A8-imatrix-MTP — квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и подготовленной пользователем RukaRat. Модель предназначена для генерации и анализа текста, работы с изображениями, вызова инструментов и запуска локальных inference-сервисов на видеокартах Ampere, включая конфигурации с двумя RTX 3090 по 24 ГБ. Указана интеграция с Transformers, SGLang и vLLM, а также поддержка tool calls в формате qwen3_coder и reasoning-парсера qwen3. Весовая часть представлена в формате compressed-tensors с квантизацией INT8 W8A8; общий размер составляет около 29,1 GiB, при этом часть параметров сохранена в BF16. Архитектура включает 64 слоя, из которых 48 используют Gated DeltaNet linear attention и 16 — full attention. Сохранены vision tower и MTP-модуль, благодаря чему поддерживаются мультимодальный ввод и speculative decoding. Нативное окно контекста заявлено до 262 144 токенов, а в описанной конфигурации на двух RTX 3090 протестирован контекст до 245 760 токенов. Языки модели в README не указаны. К сильным сторонам относятся сохранённая обработка изображений, MTP для ускорения декодирования, совместимость с видеокартами Ampere и сравнительно экономичное INT8-представление. Ограничения связаны с высокой потребностью в памяти: каждая параллельная последовательность требует значительный фиксированный recurrent state, поэтому число одновременных запросов приходится ограничивать. Производительность и доступный контекст зависят от настроек SGLang или vLLM, а сведения о работе vLLM отмечены как устаревшие. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NVFP4-RTX5090 — оптимизированная для видеокарт GeForce RTX 5090 версия модели Qwen/Qwen3.8-27B. Сборка опубликована в gittensor-model-hub и квантизована с помощью NVIDIA Model Optimizer в формате NVFP4. Модель предназначена для развёртывания через SparkInfer, SGLang и vLLM на архитектуре NVIDIA Blackwell; Hopper может загрузить файлы, но не поддерживает выполнение NVFP4. Модель поддерживает работу с текстом, изображениями и видео через OpenAI-совместимый API. Она рассчитана на контекст до 262 144 токенов и помещается на одной RTX 5090 с 32 ГБ памяти; размер чекпойнта составляет около 17,92 ГБ в двух шардах. В сборке квантизирован также lm_head, а неиспользуемая MTP head удалена. Для ускорения генерации может использоваться спекулятивное декодирование с drafter DSpark v2. Сильные стороны модели — большой контекст, мультимодальный ввод, низкие требования к памяти и высокая скорость инференса на RTX 5090, особенно в связке SparkInfer и DSpark v2. Ограничения включают зависимость от Blackwell для полноценного выполнения NVFP4, необходимость специализированных движков и отдельные ограничения текущего API SparkInfer: видео поддерживается фактически, но не всегда корректно отражается в поле input_modalities. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Opus-Distill-v2-FP8 — это квантизированная версия модели barozp/Qwen3.8-27B-Opus-Distill-v2, опубликованная пользователем или организацией barozp. Модель предназначена для задач рассуждения и мультимодального общения с текстом и изображениями; в карточке также заявлена поддержка MTP и speculative decoding. Она распространяется в формате, совместимом с Transformers, и основана на архитектуре Qwen3.8 с 27 млрд параметров, однако точные сведения о контекстном окне и поддерживаемых языках не указаны. В модели используется блочная FP8-квантизация E4M3 с блоками 128×128 и динамическим масштабированием активаций. Квантизируются главным образом веса, без калибровочного набора данных; vision tower, MTP head, нормализующие и gate-слои, embedding-слои и отдельные параметры Gated-DeltaNet сохраняются в исходной точности. Размер checkpoint составляет примерно 31 ГБ против около 55 ГБ у исходной BF16-версии. По представленным тестам, снижение качества на MMLU, HellaSwag и ARC-Challenge находится в пределах статистической погрешности. Сильные стороны модели — существенно меньший размер, поддержка native FP8 на совместимом оборудовании и близкое к BF16 качество на проверенных задачах. Ограничения связаны с требованиями к программному окружению и аппаратуре: для native FP8 в Transformers требуется специальный FP8 kernel, а некоторые сценарии MTP и sampling на Blackwell могут быть ограничены проблемами flashinfer. На A100 модель автоматически вычисляется через BF16 после де-квантизации. Лицензия — Apache-2.0.

Chungulus/Qwen3.8-27B-Q8_0-GGUF — это независимая, неизменённая квантизация Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель распространяется в формате GGUF для запуска с llama.cpp и предназначена для генерации текста, работы с изображениями и видео, а также вызова инструментов в нативном формате Qwen. Это не дообученная модель, не объединение моделей и не модификация шаблона чата. Модель содержит около 27 миллиардов параметров и использует квантизацию Q8_0 с 8-битным представлением весов. Архитектура сочетает Hybrid Gated DeltaNet и полноценное внимание; в составе также есть vision tower, проектор для мультимодального ввода и сохранённые MTP-тензоры. Для работы с изображениями требуется отдельный файл vision projector. Поддерживаются режимы управления рассуждением через enable_thinking, reasoning_effort и preserve_thinking. Сведения о поддерживаемых языках и максимальной длине контекста в README не указаны. К сильным сторонам относятся сохранение исходной архитектуры и шаблона чата, проверенная генерация текста, вызов инструментов, обработка изображений и видео, а также отсутствие дополнительной потери качества от тонкой настройки или слияния моделей. Для запуска требуется совместимый runtime с поддержкой гибридного графа Qwen3.8, vision-компонентов, токенизатора и MTP-метаданных. Основные ограничения — возможное снижение качества из-за квантизации, высокая потребность в памяти: рекомендуется иметь не менее примерно 33 ГБ с учётом модели, проектора и служебных расходов, а память под KV-кэш дополнительно растёт вместе с контекстом. Максимальный контекст не был проверен в рамках описанной валидации. Родительская модель и данная ванильная квантизация распространяются по лицензии Apache-2.0.

Sawfwair/Qwen3.8-Flash-Next-MLX-4bit — это воспроизводимая конверсия модели Qwen/Qwen3.8-Flash-Next в формат MLX, разработанная Sawfwair на основе исходной модели Qwen. Модель предназначена для задач генерации текста и обработки изображений с текстом, включая мультимодальные сценарии, совместимые с архитектурой Qwen4-Exp. Поддерживает нативный контекст до 262 144 токенов. Исходная модель насчитывает около 180 млрд параметров: 125 млрд параметров основной модели, 51 млрд параметров n-граммовых эмбеддингов и 4 млрд параметров MTP. Квантизация выполнена в формате MLX affine Q4: применяются Q4/group-64 для языковых, MTP- и vision-матриц и Q4/group-32 для таблицы n-грамм; маршрутизаторы, нормализации, смещения, свёртки и несовместимые формы оставлены в плотном формате. Размер артефактов составляет около 97,55 GiB. К сильным сторонам относятся большой контекст, поддержка текста и изображений, воспроизводимая конверсия и существенное уменьшение размера по сравнению с полноразмерным представлением. Для работы требуется runtime MLX с поддержкой архитектуры Qwen4-Exp; старые версии mlx-lm или mlx-vlm могут не поддерживать модель. Распространение осуществляется по Qwen Community License 1.0. Лицензия содержит требования к атрибуции и отображению для очень крупных коммерческих продуктов, а также отдельные условия для некоторых коммерческих Model-as-a-Service и AI Work Assistant-сценариев; перед использованием необходимо ознакомиться с её полным текстом.

Rombos-LLM-70b-Llama-3.3 — дообученная диалоговая языковая модель на архитектуре Llama, опубликованная пользователем rombodawg. Она предназначена для генерации текста и общения в формате инструктивного ассистента; метаданные также указывают интерфейс вызова инструментов. Модель содержит 69,5 млрд параметров, использует формат safetensors и поддерживает контекст до 131 072 токенов. В качестве основы указана meta-llama/Llama-3.3-70B-Instruct, мультиязычная инструктивная модель Meta. README не раскрывает подробности обучения или особые сценарии применения. Лицензия — llama3.3.

Sakalti разработал ultiima-32B-v1.5 — объединённую языковую модель на архитектуре Qwen2 с 32 млрд параметров. Она создана методом TIES с помощью mergekit: в качестве основы использована Qwen/Qwen2.5-32B, объединённая с Qwen/Qwen2.5-32B-Instruct. Модель предназначена для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Она работает с текстом и поддерживает контекст до 131 072 токенов. Модель подходит для создания чат-ботов, подготовки текстовых ответов и запросов к инструментам в приложениях. В репозитории веса представлены в формате safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана.

YOYO-AI/ZYH-LLM-Qwen2.5-14B-V3 — третья версия модели серии ZYH-LLM от YOYO-AI, созданная с помощью слияния нескольких языковых моделей. Это плотная авторегрессионная модель семейства Qwen2 с 14 млрд параметров в формате safetensors. В README описан первый этап слияния Qwen/Qwen2.5-14B-Instruct и Qwen/Qwen2.5-14B методом DELLA; метаданные также указывают среди исходных моделей Azure99/Blossom-V6-14B, arcee-ai/Virtuoso-Small-v2 и варианты Qwen2.5-14B. Модель предназначена для генерации текста и диалогов, включая структурированные ответы и взаимодействие через интерфейс вызова инструментов. Заявленная длина контекста — 1 010 000 токенов. Метаданные карточки указывают английский и китайский языки. В README приведены результаты Open LLM Leaderboard: среднее значение 41,63, IFEval — 85,78 и BBH — 48,18; эти результаты не описывают все сценарии применения. Модель распространяется по лицензии Apache-2.0.

Apertus-70B-2509 — большая языковая модель семейства Apertus, разработанная Swiss AI Initiative. Это плотный авторегрессионный трансформер с 97,7 млрд параметров по метаданным репозитория; в карточке семейство описано как модель на 70 млрд параметров. Модель обучена с нуля на 15 трлн токенов, а затем прошла supervised fine-tuning и выравнивание QRPO. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. Модель предназначена для генерации текста, многоязычных запросов и работы с длинным контекстом до 65 536 токенов. Карточка заявляет поддержку более 1 800 языков и возможность использования инструментов; модель рассчитана на запуск через Transformers, vLLM, SGLang и MLX. Разработчики также описывают её как полностью открытую и обученную на данных с соблюдением требований согласия и отказа от использования. Модель подходит для диалоговых и агентных сценариев, ответов на вопросы, создания и продолжения текста, а также задач на разных языках. Генерируемый текст может содержать фактические ошибки, логические несоответствия и предвзятость; встроенного фильтра персональных данных нет, поэтому важную информацию нужно проверять, а защиту от вывода персональных данных организовывать отдельно.