I.1Поиск и навигация по информации

GLM-5.3-W4A8 — квантизированная версия модели GLM-5.3, разработанная на базе официального чекпойнта zai-org/GLM-5.3. Это генеративная текстовая модель для англоязычных и китайскоязычных сценариев, включая рассуждения и другие задачи генерации текста. Модель предназначена для развёртывания через vLLM и SGLang. Модель сохраняет около 753 млрд параметров и использует архитектуру Mixture-of-Experts. Маршрутизируемые экспертные веса представлены в INT4 с размером группы 128, активации и неэкспертные слои — в FP8. Формат хранения — compressed-tensors; чекпойнт занимает около 372,3 GiB вместо 703,7 GiB у официальной FP8-версии. На конфигурации из 8 GPU H20 это примерно вдвое увеличивает доступный KV-кэш — до 1,26 млн токенов, что полезно для длинного контекста и высокой параллельности запросов. Поддерживается MTP-спекулятивное декодирование. По опубликованным измерениям, заметного ухудшения качества относительно официальной FP8-версии не обнаружено: показатели GPQA-Diamond находятся в пределах статистического шума, а прирост teacher-forced NLL составляет около 0,001 натов на токен. Основное преимущество — экономия памяти и возможность запускать две реплики с TP4 на тех же восьми GPU. Ограничения включают требование GPU с архитектурой SM90, использование CUTLASS W4A8 и необходимость включать expert parallelism; на одной конфигурации TP8 модель может быть медленнее FP8-версии. Лицензия указана как glm-5.3; подробные условия приведены в лицензии базовой модели на странице zai-org/GLM-5.3.

HunyuanOCR-1.5-GGUF-Updated — GGUF-сборка мультимодальной модели HunyuanOCR-1.5, разработанной Tencent на базе tencent/HunyuanOCR. Это специализированная vision-language модель для распознавания и анализа документов: извлечения текста, разбора структуры и макета, обработки таблиц, графиков и формул, text spotting, информационного извлечения, а также перевода текста с изображений между китайским и английским языками. Поддерживаются английский и китайский языки. Модель использует архитектуру HunYuanVLForConditionalGeneration и рассчитана на работу с изображениями и текстом. Заявлены максимальное разрешение изображения до 4K и контекстное окно до 128K токенов. Версия 1.5 сохраняет архитектурную основу HunyuanOCR-1.0 и добавляет DFlash speculative decoding для ускорения генерации длинных структурированных результатов, включая плотные документы, таблицы и формулы. Доступны варианты точности BF16, F16, F32 и квантизации Q3–Q8, что позволяет запускать модель на CPU, потребительских GPU и ноутбуках через llama.cpp, а также использовать Transformers и vLLM. Сильные стороны модели — объединение нескольких OCR-сценариев в одном VLM, поддержка структурированного разбора документов, длинного контекста, 4K-изображений и локального запуска в GGUF-формате. Ограничения включают заявленную специализацию преимущественно на китайском и английском языках, необходимость совместимых инструментов и компонентов для отдельных режимов инференса, а также возможные компромиссы между качеством и ресурсами при использовании квантизированных вариантов. Распространяется по Tencent Hunyuan Community License Agreement; в метаданных также указана лицензия Apache-2.0.

win10/Mistral-Nemo-abliterated-Nemo-Pro-v2 — слитая диалоговая языковая модель на архитектуре Mistral, созданная методом TIES с помощью mergekit. В качестве основы использована natong19/Mistral-Nemo-Instruct-2407-abliterated; в слияние также включены shuttleai/shuttle-2.5-mini и cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b. Модель предназначена для диалогов и генерации текста. Она содержит 12,1 млрд параметров, работает с текстом и опубликована в формате safetensors для библиотеки Transformers. Метаданные указывают контекст до 1 024 000 токенов и интерфейс вызова инструментов. Модель поддерживает многоязычную генерацию. Данных о специальных предметных областях или конкретных ограничениях качества в карточке нет. Лицензия в предоставленных сведениях не указана.

Карточка модели JSCreatorPro/offline-vision-qwen25-vl-7b на Hugging Face совпадает с карточкой unsloth/Qwen2.5-VL-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-VL-7B-Instruct — мультимодальная инструкционная модель семейства Qwen, представленная в репозитории Unsloth на основе Qwen/Qwen2.5-VL-7B-Instruct. Это плотная архитектура Qwen2.5-VL с 7,1 млрд параметров, поддерживающая диалоговую работу с изображениями; длина контекста составляет 32 768 токенов. Модель принимает изображения и текстовые запросы, а отвечает текстом, в том числе может выдавать структурированные данные и координаты объектов. Модель предназначена для анализа изображений и документов, распознавания текста, таблиц, диаграмм и макетов, визуальных вопросов и ответов, а также понимания видео и локализации событий. Карточка описывает возможности визуального агента для взаимодействия с интерфейсами и инструментами. Динамическое разрешение позволяет настраивать баланс качества, скорости и расхода памяти. В README приведены результаты на бенчмарках изображений, видео и экранных интерфейсов. Для обработки изображений высокого разрешения требуется больше вычислений; поддержка видео зависит от используемой библиотеки, а видеофайлы подаются локально. Увеличение контекста с YaRN может ухудшить временную и пространственную локализацию. Лицензия — Apache-2.0.

TeichAI/Qwen3-14B-DeepSeek-v3.2-Speciale-Distill — плотная языковая модель семейства Qwen3 на 14 млрд параметров, дообученная TeichAI на наборах рассуждений DeepSeek v3.2 Speciale. Она предназначена для генерации текста в диалоге, решения математических задач, программирования и исследовательских запросов. Модель принимает текст и выдаёт текст; метаданные указывают контекст до 40 960 токенов и поддержку интерфейса вызова инструментов. Модель основана на unsloth/Qwen3-14B и распространяется в формате safetensors. В карточке перечислены обучающие наборы OpenCodeReasoning, 1000x и openr1-math. Указаны английский язык и лицензия не приведена в предоставленных данных. Возможности и качество рассуждений, кодирования и вызова инструментов независимо не подтверждены.

btbtyler09/Qwen3.8-27B-GPTQ-4bit — это квантизированный вариант Qwen/Qwen3.8-27B, разработанный сообществом Qwen и подготовленный пользователем btbtyler09. Модель представляет собой плотную мультимодальную модель примерно на 27 млрд параметров с поддержкой текста и изображений, предназначенную для генерации и понимания текста, анализа изображений, обслуживания через vLLM и ускоренного декодирования с помощью модуля MTP. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания, скрытое представление размером 5120 и промежуточный размер 17408. Максимальная длина контекста составляет 262 144 токена. В состав входят 27-блочный визуальный ViT-энкодер и однослойная голова Multi-Token Prediction. Текстовый декодер квантизирован в INT4 методом GPTQ с компенсацией ошибок FOEM и размером группы 32, а визуальный энкодер, MTP, эмбеддинги, нормы и LM head сохранены в BF16 или FP16. Итоговый размер — около 21 ГБ вместо примерно 56 ГБ у исходной BF16-модели. Основное преимущество — существенно меньшие требования к памяти при сохранении близкого к исходной модели качества: на wikitext-2-raw-v1 ухудшение perplexity составляет 0,81%. Модель поддерживает мультимодальные запросы и совместима с ядрами GPTQ в vLLM, однако для полноценного запуска требуется значительный объём видеопамяти и подходящая конфигурация GPU. Квантизация может снижать качество на отдельных задачах, а в некоторых версиях vLLM возможна ошибка разбора конфигурации, требующая исправления. Лицензия — Apache 2.0; поддерживаемые языки README не указывает.

Qwen3.8-27B-MLX-oQ4e-mtp — квантованная MLX-версия мультимодальной модели Qwen3.8-27B, разработанной Qwen. Модель предназначена для задач генерации текста и визуального понимания, включая обработку изображений и видео, а также для локального запуска на устройствах Apple Silicon через oMLX или mlx-vlm. Модель содержит около 27 млрд параметров и занимает примерно 16 ГБ. Используется улучшенная примерно 4-битная oQ4e-квантизация с эффективной точностью около 4,9 бит на вес, размером группы 64, imatrix-калибровкой и компенсацией ошибок на основе Hessian. В состав входит vision tower для работы с изображениями и видео. Сохранён нативный MTP head с одним дополнительным скрытым слоем, что позволяет использовать Lightning-MTP для спекулятивного декодирования в oMLX. Заявлена поддержка контекстного окна до 262144 токенов при соответствующей настройке. Сильные стороны модели — сочетание мультимодальности, сниженного потребления памяти, сохранённой совместимости с MTP и высокой скорости декодирования: на M5 Max заявлены около 54 токенов в секунду и принятие черновых токенов на уровне 81%. Ограничения включают зависимость от MLX-совместимого оборудования и программного обеспечения, а также возможную потерю точности из-за квантизации; конкретные языки в README не указаны. Модель распространяется по лицензии Apache-2.0.

bowmanslayer/Qwen3.8-27B-Uncensored-W4A16-vision-mtp — квантованная версия мультимодальной модели Qwen3.8-27B-Uncensored, разработанная bowmanslayer на базе Qwen/Qwen3.8-27B. Исходная модель была адаптирована JonathanColetti с помощью abliteration через Heretic, а в этом репозитории выполнены 4-битное квантование W4A16 и перепаковка vision tower. Модель предназначена для генерации текста, рассуждений и обработки изображений, а также может использовать видеовход через vLLM. Заявлены языки English и Chinese. Текстовая часть использует квантование с group size 128, формат GPTQ/AutoRound и kernels Marlin; vision tower сохранён в формате bf16. Размер модели составляет около 19 ГБ, включая MTP head объёмом 849 МБ. Поддерживается контекст до 256K токенов. Разработчик проверил запуск на двух NVIDIA RTX 3090 с tensor parallelism; для инференса рекомендован vLLM. Доступны reasoning и tool calling через соответствующие парсеры vLLM, а MTP head предназначен для экспериментов со speculative decoding. Сильными сторонами являются сочетание мультимодальности, большого контекстного окна и существенной экономии памяти благодаря W4A16-квантованию, при сохранении vision tower в bf16. Ограничения включают зависимость от совместимого окружения vLLM и необходимости корректно задавать параметры обработки изображений; квантование может влиять на качество относительно исходной модели. Оценки в README приведены при включённом режиме thinking и не должны напрямую сравниваться с результатами, полученными при отключённом reasoning. Лицензия — Apache 2.0.

Qwen3.8-Flash-Next-CRACK-JANG_6S — модель, опубликованная dealignai на основе JANGQ-AI/Qwen3.8-Flash-Next-JANG_6S, относящегося к экспериментальной линейке Alibaba Qwen. Это CRACK-abliterated-сборка, в которой удалено поведение отказа при сохранении рассуждений, инструментального взаимодействия и мультимодальных возможностей. Модель предназначена для исследовательских задач, агентных сценариев, работы с инструментами, рассуждений, а также анализа изображений и видео. Модель представляет собой квантованную версию примерно 176-миллиардной MoE-архитектуры с 512 экспертами и около 6 миллиардов активных параметров. В описании указаны гибрид Gated DeltaNet и Qwen Sparse Attention, хешированное n-граммное embedding, встроенная multi-token prediction head, поддержка режимов рассуждений off, low и xhigh, а также vision-language и video-возможности. Заявлены языки English и Chinese. Для запуска используется MLX на Apple Silicon; требуется около 106 ГБ дискового пространства и примерно 82 ГБ активной оперативной памяти, при этом около 24 ГБ таблицы embedding потоково считываются с SSD. К сильным сторонам относятся мультимодальность, поддержка агентных инструментов, рассуждений и эффективная MoE-архитектура с небольшим числом активных параметров. По приведённым тестам CRACK-версия получила 86,10% на MMLU, что на 1,62 процентного пункта ниже базовой модели, и не демонстрировала жёстких отказов в 960 проверках HarmBench. Это одновременно является ограничением и фактором риска: модель намеренно лишена части защитного поведения, поэтому требует осторожного применения и дополнительного контроля безопасности. В README также отмечен один некорректный длинный цикл генерации в режиме xhigh. Модель распространяется по лицензии qwen-community-1.0, обозначенной как other. Она представлена как исследовательский артефакт; ответственность за использование весов возлагается на пользователя. Для запуска рекомендуется окружение vMLX и платформа Apple Silicon.

Star-Command-R-Lite-32B-v1 — плотная языковая модель на 32,3 млрд параметров, полученная автором репозитория методом SLERP-слияния Star-Command-R-32B-v1 и Cohere Command R от Cohere. Она предназначена для генерации текста и диалогового общения; метаданные также указывают интерфейс вызова инструментов. Модель работает через Transformers, использует формат safetensors и поддерживает контекст до 131 072 токенов. Слияние призвано смягчить поведение Star-Command-R и сохранить больше характеристик Command R. Это позволяет использовать модель для диалогов, генерации текста и сценариев с вызовом инструментов. Карточка не сообщает лицензию и не уточняет поддерживаемые естественные языки, поэтому эти характеристики здесь не приводятся.

StockSeaLLMs-7B-v1 — текстовая диалоговая модель на 7,1 млрд параметров, созданная слиянием моделей на базе SeaLLMs-v3-7B-Chat. В карточке указано слияние методом TIES; метаданные также связывают модель с SeaLLMs-v3-7B-Chat как с базовой моделью. Архитектура — плотная Qwen2ForCausalLM, веса представлены в safetensors, контекст — до 131 072 токенов. Модель предназначена для диалога и генерации текста по инструкциям; метаданные также отмечают интерфейс для вызова инструментов. Описание базовой модели указывает поддержку английского, китайского и языков Юго-Восточной Азии. Лицензия в предоставленных данных не указана.

Xwen-72B-Chat — диалоговая языковая модель команды Xwen, дообученная на базе Qwen2.5-72B. Модель имеет плотную архитектуру Qwen2 и 71,5 млрд параметров; она предназначена для генерации текста и ведения диалогов, включая сценарии с интерфейсом вызова инструментов. Заявленная длина контекста — 131 072 токена. Модель ориентирована на ответы на вопросы, диалоговое взаимодействие и другие задачи генерации текста. В README приведены результаты сравнительных оценок Arena-Hard-Auto, AlignBench и MT-Bench, однако авторы предупреждают, что некоторые сравнения используют заменённые модели-судьи, а результаты других бенчмарков ещё планировалось добавить. Карточка также отмечает, что ответы о личности модели и её разработчиках могут быть случайными, поскольку её идентичность специально не настраивали. Модель опубликована в формате Safetensors и доступна по лицензии Apache-2.0. Отдельные репозитории команды содержат варианты Xwen-72B-Chat в GGUF с различными видами квантования; они не являются форматом данного репозитория.

Alfred-40B-1023 — языковая модель LightOn, дообученная на базе Falcon-40B. Это причинная авторегрессионная модель с архитектурой Falcon/RefinedWeb и примерно 65 млрд параметров; она предназначена для диалогов и выполнения инструкций. Модель доступна под лицензией Apache 2.0. Модель обучена на англоязычных, немецких, испанских и французских данных, а также имеет ограниченные возможности для итальянского, португальского, польского, нидерландского, румынского, чешского и шведского языков. Контекст расширен до 8192 токенов методом NTK-YaRN. Обучение использовало короткие и длинные задачи, включая диалоговые данные и наборы для работы с длинным контекстом. Модель подходит для создания чат-ассистентов, ответов на запросы и обработки длинных текстовых входов. Ограничения включают слабую переносимость на языки, не представленные в обучении, и возможное воспроизведение стереотипов и смещений из веб-данных. Для практического применения карточка рекомендует оценивать риски и применять защитные меры.

bartowski/arcee-ai_Trinity-Large-Thinking-GGUF — это GGUF-квантизации текстовой генеративной модели Trinity-Large-Thinking, разработанной arcee-ai. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач рассуждения, агентских сценариев и вызова инструментов, а также для локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI и совместимые интерфейсы. Модель работает с текстом и поддерживает английский, испанский, французский, немецкий, итальянский, португальский, русский, арабский, хинди, корейский и китайский языки. Доступны варианты квантизации от Q8_0 до более компактных Q3 и IQ3/IQ4; заявленный размер файлов составляет примерно от 181 до 424 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти, тогда как компактные варианты рассчитаны на системы с ограниченными ресурсами. Архитектура, число параметров и размер контекста в README не указаны. Сильными сторонами являются поддержка многоязычной генерации, задач рассуждения и агентского взаимодействия, а также широкий выбор квантизаций. Ограничениями выступают очень большие требования к дисковому пространству и памяти, зависимость совместимости от обновлений используемого программного обеспечения и возможное снижение качества у компактных вариантов. Модель распространяется по лицензии Apache-2.0.

Euphrates-14B — объединённая языковая модель на архитектуре Qwen2, опубликованная Sakalti. Она создана методом TIES с помощью mergekit на основе Spestly/Athena-1-14B и включает веса Qwen/Qwen2.5-14B. Модель содержит 14 млрд параметров, работает с текстом и рассчитана на генерацию текста и диалоговые сценарии; метаданные также отмечают интерфейс вызова инструментов. Максимальная длина контекста — 32 768 токенов. Модель может применяться для диалоговых помощников, составления и продолжения текстов, а также интеграции с приложениями, использующими вызов инструментов. В карточке указаны библиотека Transformers и формат весов safetensors. Лицензия в предоставленных данных не указана.

alpindale/gemma-7b — текстовая авторегрессионная модель семейства Gemma, разработанного Google на основе исследований и технологий, применявшихся для Gemini. Это плотная decoder-only модель с 8,2 млрд параметров; карточка указывает поддержку английского языка и контекст до 8192 токенов. Модель принимает текст и генерирует текст, подходит для ответов на вопросы, суммаризации, диалога, создания текстов и рассуждений. Модель можно запускать через Transformers; сравнительно небольшой размер позволяет использовать её на персональных компьютерах и собственной облачной инфраструктуре. В репозитории указаны веса в формате safetensors. README описывает Gemma как семейство с предварительно обученными и дообученными для инструкций вариантами, но не уточняет отдельно тип этого чекпойнта. Лицензия в предоставленных данных не указана. Как и другие языковые модели, она может выдавать фактически неверные ответы, отражать предвзятость обучающих данных и испытывать трудности с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами. Для пользовательских приложений следует оценивать качество ответов и применять меры безопасности.

T145/KRONOS-8B-V5 — объединённая языковая модель, созданная автором репозитория методом TIES с помощью mergekit. В качестве основы использована unsloth/Meta-Llama-3.1-8B; в объединение также вошли mukaj/Llama-3.1-Hawkish-8B, T145/KRONOS-8B-V1-P2, T145/KRONOS-8B-V1-P3 и unsloth/Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, рассчитанная на генерацию текста и диалоги. Она принимает текст и генерирует текст, поддерживает интерфейс вызова инструментов и контекст до 131 072 токенов. Карточка приводит результаты Open LLM Leaderboard, включая среднее значение 25,43 и IFEval 54,05; они характеризуют оценивание, но сами по себе не гарантируют качество в конкретных задачах. Лицензия в предоставленных данных не указана. Как и другие генеративные языковые модели, она может выдавать неточные или неподходящие ответы; результаты оценивания ограничены указанными тестами.

6block/Nex-N2.5-Pro-GGUF — это GGUF-квантизации мультимодальной модели Nex-N2.5-Pro, разработанной nex-agi и преобразованной в формат GGUF с помощью llama.cpp командой 6block. Модель предназначена для генерации и анализа текста, а также для задач понимания изображений при использовании отдельного vision-проектора mmproj. Заявлены поддерживаемые языки английский и китайский. Модель имеет 397 млрд параметров, 60 слоёв в гибридной архитектуре: 45 слоёв Gated DeltaNet с линейным вниманием и 15 полноценных attention-слоёв с GQA. Это MoE-модель: каждый токен направляется к 10 из 512 экспертов и общему эксперту. Контекст составляет 262 144 токена, словарь — 248 320 токенов. Vision-энкодер содержит 27 слоёв, принимает изображения размером до 768 пикселей и использует патчи 16 пикселей. Поддерживаются адаптивный режим рассуждений и его отключение. Доступны варианты IQ4_XS, Q2_K и IQ2_XS размером примерно 200,1, 138,9 и 113,2 ГиБ соответственно, каждый в 19 сегментах. IQ4_XS наиболее близок к исходной BF16-версии по заявленным метрикам, Q2_K позиционируется как сбалансированный вариант для CPU, а IQ2_XS предназначен для систем с жёсткими ограничениями по памяти. Основные ограничения — очень большой размер, необходимость загрузить все сегменты, наличие совместимой сборки llama.cpp с поддержкой Qwen3.5-MoE и отдельного vision-проектора для работы с изображениями. Для изображений рекомендуется выделять не менее 1024 image tokens. Модель распространяется по лицензии Apache-2.0. Для запуска требуется llama.cpp; параметры и возможности использования изображений зависят от соответствующих инструментов и шаблона чата модели.

mlx-community/Qwen3.6-35B-A3B-4bit-DWQ — это MLX-совместимая 4-битная версия модели Qwen3.6-35B-A3B, опубликованная сообществом mlx-community. Исходную модель разработала команда Qwen компании Alibaba Cloud. Она предназначена для локального запуска и генерации текста, диалогов, а также мультимодальных сценариев с обработкой изображений и видео; репозиторий поддерживает использование через MLX и mlx-lm. Модель имеет архитектуру Mixture of Experts с 35 млрд параметров, из которых на один токен выбираются 8 из 256 экспертов. Конфигурация включает гибридные linear attention и full attention, 40 слоёв и максимальную длину контекста 262 144 токена. Исходная модель поддерживает текстовые и визуальные входы; для производного MLX-файла заявлена 4-битная квантизация, уменьшающая размер до примерно 20,7 ГБ и предназначенная прежде всего для запуска на совместимом оборудовании Apple Silicon. Сильная сторона варианта — существенно сниженные требования к памяти по сравнению с полной моделью и возможность локального использования через MLX. Ограничения включают зависимость от MLX-совместимой инфраструктуры и потенциальную потерю качества из-за квантизации; в карточке производного репозитория подробные результаты тестов, перечень поддерживаемых языков и отдельные ограничения не указаны. Для исходной Qwen3.6-35B-A3B указана лицензия Apache-2.0, однако отдельная лицензия производного репозитория mlx-community явно не приведена.

Qwen3.8-27B-3bit-MLX — мультимодальная vision-language модель, разработанная на основе Qwen/Qwen3.8-27B и конвертированная пользователем lukaskremla в формат MLX с помощью mlx-vlm 0.6.13. Модель предназначена для диалоговых сценариев, обработки текста и изображений, а также задач, связанных с видео, рассуждениями и использованием инструментов. Она поддерживает мультиязычную работу и длинный контекст, однако точный размер контекста и перечень языков в представленном README не указаны. Модель использует 3-битное квантование весов с group size 64, affine- и RTN-квантованием, при этом vision tower сохранён в формате BF16. Такой формат ориентирован на запуск в экосистеме MLX и снижает требования к памяти по сравнению с полноразмерной версией, но квантование может ограничивать точность относительно исходной модели. README также предупреждает, что Hugging Face может некорректно отображать число параметров MLX-квантизаций. Модель распространяется по лицензии Apache-2.0.

QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4 — 4-битная NVFP4-версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и квантованной методом QUASAR. Модель предназначена для задач image-text-to-text, reasoning, работы с изображениями и текста, а также агентских и сценариев с длинным контекстом. Точный набор поддерживаемых языков в README не указан. Модель содержит 27 млрд параметров; все 496 из 496 линейных слоёв трансформера, включая компоненты attention и gated delta-net, представлены в формате NVFP4 W4A4. Размер модели составляет 19,7 ГБ. Она поддерживает контекст до 262 144 токенов при запуске через vLLM, а на видеокарте с 32 ГБ памяти, например RTX 5090, рекомендуется ограничить его 65 536 токенами. Для ускорения генерации заявлена поддержка speculative decoding с MTP. Ключевое преимущество — существенное уменьшение размера при сохранении качества, близкого к BF16-версии: результат GPQA-Diamond составляет 0,909 против 0,914 у оригинальной модели, а на AIME'26 заявлен результат 100%. Модель требует NVIDIA GPU с аппаратной поддержкой FP4, то есть Blackwell с compute capability 10.0 и выше, поэтому не подходит для систем без совместимого оборудования. Запуск возможен напрямую через vLLM без этапа конвертации. Модель распространяется по лицензии Apache 2.0.

ashuaria/Qwen3.8-Flash-Next-GGUF-FineTuning — GGUF-версия экспериментальной мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen и опубликованной для запуска через llama.cpp или Unsloth Desktop. Модель предназначена для задач обработки текста и изображений, включая мультимодальные приложения и агентские сценарии с длинным контекстом. Это авторегрессионная языковая модель с vision encoder, построенная на гибридной архитектуре Qwen3.8-Flash-Next. Она использует Gated DeltaNet и Qwen Sparse Attention, Gated Residual, n-gram embedding и Mixture of Experts. Заявлено 125 млрд параметров, из которых активируется 6 млрд, дополнительно используются 51 млрд параметров n-gram embedding и 4 млрд для MTP. Модель содержит 48 слоёв, 512 экспертов с 10 маршрутизируемыми и одним общим активируемым экспертом, а её нативный контекст составляет 262 144 токена с возможностью расширения до 1 млн токенов. Сильными сторонами являются высокая эффективность активации параметров, поддержка длинного контекста, разреженное внимание на уровне блоков и сочетание текстовой и визуальной обработки. README не указывает точный список поддерживаемых языков, конкретные значения квантования GGUF, системные требования или результаты бенчмарков. Модель распространяется по лицензии qwen-community-1.0; указано, что это экспериментальный preview архитектуры, которая должна лечь в основу Qwen4, поэтому совместимость и стабильность следует проверять в целевом окружении.

RemySkye/Qwen3.8-Flash-Next-REAM-60Pct-GGUF — пользовательская высококачественная сборка модели Akicou/Qwen3.8-Flash-Next-REAM-60Pct в формате GGUF. Она предназначена для запуска и генерации текста через llama.cpp на системах примерно с 64 ГиБ оперативной памяти, включая локальные сценарии инференса. Лицензия в README не указана. Модель использует архитектуру qwen4exp и разреженную Mixture-of-Experts (MoE). В ней около 129 млрд сохранённых параметров до обрезки PLE, около 90 млрд физических параметров после неё, а на каждый токен активируется примерно 6 млрд параметров. Большая таблица PLE/n-gram была сокращена с 16 до 4 активных голов: сохранены 2 из 8 bigram- и 2 из 8 trigram-голов. Итоговый файл занимает около 56 ГБ, или 52 ГиБ. Применён смешанный профиль квантования BALANCED_MAX_PROTECTED: основные компоненты используют форматы от Q4_K до Q8_0, а критичные малые тензоры сохраняются в BF16/F32. Ключевое преимущество сборки — сохранение более высокой точности основных весов за счёт уменьшения крупной таблицы n-грамм вместо агрессивного квантования всей модели до Q2/Q3. Это делает модель практичнее на машине с 64 ГиБ RAM, оставляя место для контекста, KV-кэша, рабочих буферов и операционной системы. Ограничениями являются большой объём файла, зависимость от актуальной версии llama.cpp с поддержкой Qwen3.8/qwen4exp и возможная потеря части информации PLE из-за удаления 12 из 16 голов. Фактическое потребление памяти зависит от размера контекста, настроек llama.cpp, GPU-offload и используемого backend.

OpenYourMind/Qwopus3.5-122B-A10B-Kimi-K2.6-destill-healed-abliterated-MTPLX-4bit — это 4-битная сборка модели OpenYourMind Qwopus3.5 на базе архитектуры Qwen3.5 MoE с компонентами Qwen3-VL. Модель разработана OpenYourMind и предназначена для запуска на Apple Silicon через MLX и MTPLX. Она поддерживает обработку текста и содержит vision tower для работы с изображениями, однако данная сборка ориентирована на текстовый путь; для мультимодального ввода рекомендуется использовать связанную сборку MLX-4bit с mlx-vlm. Модель имеет около 122 млрд параметров в общей сложности, из которых примерно 10 млрд активируются при обработке токена. Языковые веса квантизованы в 4 бита с размером группы 64, а маршрутизирующие компоненты сохранены в более высокой точности. В комплект включена BF16 MTP-голова на базе MoE с 256 экспертами, из которых активны 8, и общим экспертом. Она предназначена для ускоренного speculative decoding: на M5 Max зафиксировано около 52 токенов в секунду и примерно 70% принятия черновых токенов в указанном тесте. К сильным сторонам относятся существенно уменьшенный объём по сравнению с полной моделью, поддержка мультимодальной архитектуры базовой модели и ускорение генерации при использовании совместимой версии MTPLX. Для запуска требуется около 80 ГБ объединённой памяти, а комфортная работа заявлена на компьютерах Mac с 96 ГБ и более. MTPLX должен поддерживать MoE MTP-голову; старые версии могут быть несовместимы. Из-за особенностей маршрутизации MoE при температуре 0 возможны редкие отличия отдельных токенов по сравнению с обычной авторегрессионной генерацией, поэтому строгая побитовая идентичность не гарантируется. Лицензия указана как Other; README сообщает, что применяются условия лицензии базовой модели Qwen3.5.

Smaug-72B-v0.1 — языковая модель abacus.ai, дообученная методом DPO-Positive (DPOP) для повышения качества ответов и результатов на задачах общего назначения. Она построена на архитектуре LlamaForCausalLM и содержит 71 млрд параметров; исходной моделью для дообучения указана moreh/MoMo-72B-lora-1.8.7-DPO, которая, согласно README, основана на Qwen-72B. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Модель предназначена для диалога, ответов на вопросы, рассуждений и решения задач, в том числе математических. В README приведены результаты оценки на ARC, HellaSwag, MMLU, TruthfulQA, Winogrande, GSM8K и MT-Bench; они характеризуют тестирование авторов и не гарантируют аналогичное качество в других сценариях. Модель выпущена в формате safetensors. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует проверить в карточке модели.

Sakalti/ultiima-108B — языковая модель для генерации текста, созданная автором репозитория с помощью mergekit из слоёв Sakalti/ultiima-72B. Использован метод passthrough: в итоговую модель включены диапазоны слоёв базовой модели, а веса записаны в формате float16. Архитектура — плотная Qwen2ForCausalLM с 106,6 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Лицензия обозначена как other, поэтому условия использования следует уточнять по карточке репозитория. README описывает способ сборки, но не приводит оценки качества или подробные ограничения применения.

Aya Expanse — открытая исследовательская мультиязычная языковая модель, разработанная Cohere For AI на основе предварительно обученных моделей семейства Command. В README указаны варианты с 8 и 32 млрд параметров. Модель предназначена для генерации текста и работы с широким кругом языковых задач в многоязычных сценариях. Модель поддерживает 23 языка и создавалась с использованием исследований в области data arbitrage, мультиязычного обучения на предпочтениях, настройки безопасности и объединения моделей. Она может применяться в локальных приложениях и инструментах, поддерживающих Cortex или Jan. Модальность — текстовая; сведения о точной архитектуре, максимальной длине контекста и перечне поддерживаемых языков в README не приведены. К сильным сторонам относятся широкий мультиязычный охват, наличие двух вариантов размера и открытые веса, что делает модель пригодной для исследовательского и локального использования. Ограничения включают отсутствие в предоставленных данных подробных характеристик качества, архитектуры, контекстного окна и требований к ресурсам. В метаданных указана лицензия CC BY-SA 4.0, а для оригинальной модели в разделе Credits приведена ссылка на C4AI CC-BY-NC License; условия следует уточнить для конкретного варианта и сценария использования.

Rarri/DeepSeek-V4-Flash-0731-NVFP4 — это квантизированная версия модели DeepSeek-V4-Flash-0731, разработанная на основе релиза deepseek-ai и подготовленная с помощью NVIDIA Model-Optimizer. Модель предназначена для генерации текста и высокопроизводительного инференса с использованием vLLM или TensorRT-LLM на GPU NVIDIA Blackwell с поддержкой NVFP4. Она ориентирована на сценарии, где важны высокая скорость декодирования и использование длинного контекста, включая speculative decoding с механизмом DSpark. Модель содержит 304 млрд параметров, 43 слоя MoE, 256 маршрутизируемых экспертов в каждом MoE-слое и три слоя multi-token prediction (MTP). Все маршрутизируемые экспертные веса, включая MTP-экспертов, переведены в NVFP4 W4A4; attention, роутеры, shared experts, embeddings и lm_head сохранены в исходном формате FP8. Поддерживается контекст до 131K токенов. Экспертные веса преобразованы без потери значений исходных MXFP4-весов, а speculative decoding в тестовой конфигурации примерно удваивал скорость однопоточного декодирования, достигая типичных 200–240 токенов в секунду. Ключевые ограничения — зависимость от GPU Blackwell (sm_120+), специализированных сборок инференсных фреймворков и гибридной FP8/NVFP4-MoE-разметки. Рекомендуемые параметры speculative decoding включают жадное семплирование, пять draft-токенов и bf16 draft head; вероятностное семплирование может приводить к некорректному выводу в NVFP4-пути. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

FranQwenStein-35B — языковая модель на архитектуре Qwen2, собранная Nisten методом evo-merge из Qwen2.5-32B-Instruct, Qwen2.5-32B-AGI и Qwen2.5-32B-Base. Она предназначена для диалогов и генерации текста с выполнением системных инструкций; в карточке также приведены результаты оценок на нескольких бенчмарках. Модель содержит 33,9 млрд параметров и поддерживает контекст до 131 072 токенов. По README, слияние сохраняет защитные ограничения Qwen и усиливает следование системному промпту; автор сообщает о результате примерно на 1% выше Qwen2.5-72B-Instruct на GPQA Diamond Zero-Shot. Эти оценки приведены автором и не гарантируют аналогичного качества в других сценариях. Репозиторий распространяется в формате safetensors по лицензии MIT.

hugging-quants/gemma-2-9b-it-AWQ-INT4 — общественная квантованная версия Google Gemma 2 9B Instruct, подготовленная сообществом с использованием AutoAWQ. Это текстовая decoder-only языковая модель с открытыми весами, ориентированная на генерацию текста на английском языке. Модель предназначена для диалоговых приложений, ответов на вопросы, суммирования, рассуждений и других задач генерации текста. Она использует 4-битное представление INT4 с GEMM-ядрами, zero-point-квантованием и размером группы 128, что уменьшает требования к памяти и упрощает локальное или облачное развёртывание. Для загрузки контрольной точки требуется около 6 ГиБ видеопамяти без учёта KV-кэша и CUDA-графов; рекомендуется иметь немного больше доступной памяти. Модель поддерживается через transformers, AutoAWQ и Text Generation Inference. Для работы требуется transformers версии 4.45.0 или выше; токенизатор из репозитория несовместим с более старыми версиями. Квантование может снизить точность по сравнению с исходной версией Gemma 2 9B Instruct в BF16, однако README не содержит количественной оценки этого эффекта. Лицензия указана как gemma.