I.1Поиск и навигация по информации

Apertus-v1.5-70B-FP8 — квантованный чекпойнт мультимодальной модели Apertus 1.5 70B, разработанной Swiss AI и опубликованной onprem-ai. Модель предназначена для генерации и обработки текста, а также работы с изображениями и аудио; поддержка мультимодальных возможностей исходной модели сохранена. В README языки и точное устройство базовой архитектуры не указаны. Веса сжаты методом FP8_DYNAMIC для линейных проекций, тогда как lm_head, эмбеддинги, vision tokenizer и audio tokenizer остаются в BF16. Размер чекпойнта составляет около 71 GiB против 135 GiB у исходной BF16-версии, при этом на тесте MMLU заявлена отсутствие измеримой потери качества. На видеокарте с 96 GiB памяти после загрузки весов остаётся примерно 14 GiB под KV-кэш, что позволяет получить около 60 тысяч токенов контекста при использовании FP8 KV-кэша; это оценка для конкретного сценария развертывания, а не явно указанное максимальное окно контекста. Модель подходит для локального и серверного инференса, включая мультимодальные приложения, вызов инструментов и задачи рассуждения при наличии соответствующей поддержки. Основные преимущества — высокое сохранение качества исходной модели, почти двукратное сокращение занимаемой памяти и сохранённые возможности работы с изображениями и аудио. Ограничения включают требование vLLM с поддержкой архитектуры Apertus 1.5, несовместимость с SGLang для compressed-tensors, а также необходимость примерно 96 GiB GPU-памяти для полноценного мультимодального запуска; для текстового инференса с коротким контекстом может подойти карта на 80 GiB. Модель распространяется по лицензии Apache 2.0.

Calcium-Opus-14B-Merge — языковая модель на архитектуре Qwen2, созданная prithivMLmods слиянием моделей методом Model Stock через mergekit. В основу слияния вошла Qwen/Qwen2.5-14B-Instruct вместе с Calcium-Opus-14B-Elite и QwQ-LCoT-14B-Conversational; размер модели — 14 млрд параметров, формат весов — safetensors, контекст — до 32 768 токенов. Модель предназначена для диалогов, следования инструкциям, генерации текста и задач, требующих логических рассуждений и решения задач в несколько шагов. Карточка особо отмечает понимание контекста, математические задачи и подробные объяснения; метаданные также указывают интерфейс вызова инструментов. Веса доступны по лицензии из репозитория; сведения о лицензии в предоставленных данных отсутствуют.

CortexLM выпустила Cortex-Mini-1-Preview — предварительную версию модели Qwen/Qwen3.8-27B, дополнительно обученную методом post-training. Это плотная причинная языковая модель с нативной обработкой изображений и видео, содержащая 27 млрд параметров. Репозиторий использует Transformers и формат Safetensors. Модель предназначена для диалогов, программирования, агентных сценариев и задач «изображение—текст», а также для исследований и дальнейшей адаптации. Она принимает текст, изображения и видео и генерирует текст. Унаследованный от базовой модели контекст составляет 262 144 токена; с YaRN он может расширяться до 1 000 000 токенов. В карточке указаны английский и китайский языки. Лицензия — Apache 2.0. Это preview-чекпойнт: веса, рецепт обучения, API, дополнительные элементы токенизатора и шаблон чата могут меняться. До замены базовой Qwen3.8-27B следует сравнить поведение, поскольку post-training может повлиять на стиль, отказы и использование инструментов. Настройки длинного контекста и обработки видео унаследованы от Qwen и отдельно не перенастраивались; публичные метрики качества не представлены.

DeepSeek V4 Flash REAP K128 — это экспериментальная структурно прореженная версия DeepSeek V4 Flash, подготовленная sleepyeldrazi. Метод REAP от Cerebras Research удаляет 50% маршрутизируемых экспертов в слоях Mixture-of-Experts, сохраняя внимание, эмбеддинги, общих экспертов, маршрутизатор и компоненты MTP. Это GGUF-модель смешанной точности: в слоях 37–42 используются эксперты Q4_K, в остальных — IQ2_XXS/Q2_K. Для запуска требуется среда ds4, поддерживающая выбор типа квантования по слоям. Модель предназначена для генерации текста и диалогов, в том числе для задач программирования, вызова инструментов и поиска знаний. Для калибровки использованы 8 000 промптов на 5 млн токенов; автор сообщает о прореживании без дообучения и без изменения весов сохранённых экспертов. Модель распространяется по лицензии MIT. Для запуска требуется совместимый runtime; README предупреждает о несовместимости с некоторыми средами, ожидающими тензоры экспертов IQ2_XXS.

google/gemma-3n-E2B-it-litert-lm — компактная instruction-tuned мультимодальная модель семейства Gemma, разработанная Google DeepMind на основе технологий, использованных при создании Gemini. Модель предназначена для эффективного запуска на устройствах с ограниченными ресурсами, включая смартфоны, ноутбуки, браузеры и собственную облачную инфраструктуру, с использованием LiteRT-LM. Модель поддерживает текстовые запросы и документы, изображения, аудио и видео на входе, формируя текстовые ответы. Она подходит для вопросов и ответов, суммаризации, рассуждений, анализа изображений, транскрибации и других задач понимания контента. Заявлена поддержка данных более чем на 140 разговорных языках. Контекст составляет до 32K токенов, максимальная длина вывода — до 32K токенов за вычетом входного запроса; изображения кодируются в 256 токенов, аудио — со скоростью 6,25 токена в секунду. Gemma 3n использует архитектуру Matformer и технологию выборочной активации параметров, благодаря чему E2B имеет эффективный размер около 2B параметров при меньших требованиях к ресурсам, чем модели с сопоставимым полным размером. В репозитории доступна квантизованная версия с весами int4 и активациями float. Это обеспечивает высокую скорость инференса на совместимом CPU, GPU и NPU, однако фактическая производительность зависит от устройства, аппаратного ускорения и настроек выполнения. Модель ориентирована на генерацию текста и не предназначена для выдачи мультимодальных данных. Использование регулируется лицензией Gemma и условиями Google; доступ к модели на Hugging Face требует принятия соответствующих условий. Авторы — Google DeepMind.

Это 12-миллиардная instruction-tuned vision-language модель семейства Gemma 4, разработанная Google DeepMind и представленная в GGUF-формате пользователем prithivMLmods. Модель предназначена для задач генерации и понимания текста, анализа изображений и аудио, мультимодального диалога, вызова функций и сценариев, требующих configurable thinking/reasoning mode. Она совместима с llama.cpp и ориентирована на локальный запуск, исследовательские задачи и последующую пользовательскую компиляцию. Модель использует encoder-free архитектуру, проецирующую патчи изображений и аудиосигналы непосредственно в пространство эмбеддингов языковой модели. Она поддерживает текст, изображения и аудио, контекст до 256K токенов и более 140 языков. В архитектуре применяется гибридное внимание с чередованием локального sliding-window и глобального внимания. QAT-оптимизация призвана снизить требования к памяти и сохранить качество, близкое к bfloat16; доступны варианты от Q2_K до Q8_0, а также BF16 и F16. Указанные ограничения — большой размер высокоточных файлов и необходимость совместимого мультимодального проектора для работы с изображениями и аудио. Модель и файлы распространяются по лицензии Apache-2.0.

Huihui-Qwen3.8-27B-abliterated-FP8-v2 — мультимодальная модель для обработки текста и изображений, созданная пользователем batsclamp на основе huihui-ai/Huihui-Qwen3.8-27B-abliterated. Это версия v2, квантизированная из upstream-релиза от 24 августа 2026 года; исходная модель основана на семействе Qwen3.8. Модель предназначена для генерации текста, рассуждений, работы с изображениями, а также сценариев с вызовом инструментов и использованием vLLM. Модель имеет размер 27B параметров и поддерживает контекст до 262 144 токенов при указанной конфигурации обслуживания. Используется гибридная архитектура с Mamba-проекциями и визуальной башней; 256 плотных линейных модулей квантизированы в FP8 E4M3 с поканальными статическими масштабами для весов и динамическим масштабированием по токенам для активаций. Формат хранения — compressed-tensors float-quantized. Визуальная часть, эмбеддинги, нормализации, lm_head и MTP-модуль сохранены в BF16, что позволяет использовать speculative decoding. Преимуществами являются уменьшенный размер по сравнению с BF16-версией, совместимость с vLLM и потенциально более высокая точность квантизации благодаря поканальному масштабированию. При этом качество FP8-варианта не подтверждено полноценными бенчмарками: заявлены только структурная проверка и тестовая генерация. Модель аблитерирована, поэтому у неё удалено исходное поведение отказа и отсутствуют гарантии безопасности оригинального релиза; при высоком уровне reasoning effort она может расходовать очень большой бюджет вывода и возвращать пустой ответ при преждевременном ограничении max_tokens. Лицензия — Apache 2.0.

Ling-3.0-flash-VL GGUF — GGUF-конверсия мультимодальной модели inclusionAI/Ling-3.0-flash-VL, подготовленная bloomer010 для запуска через llama.cpp. Это Mixture-of-Experts-модель с 124 млрд общих параметров и примерно 5,5 млрд активируемых параметров на токен. Она поддерживает текстовые, графические и видео-входы и предназначена для мультимодального понимания, рассуждений, выполнения агентских задач и проверки результатов. Заявлено контекстное окно до 256K токенов, однако в README отдельно указана поддержка до 128K, поэтому фактический предел зависит от используемой сборки и конфигурации. Для обработки изображений требуется отдельный файл mmproj-model-f16.gguf размером около 875 МБ; текстовый чат может работать без него. Модель рассчитана на использование с llama.cpp, но пока требует сборки с ещё не объединённым PR для архитектуры bailingmoe3vl и визуального проектора Ling VL. Доступны различные варианты квантования от BF16 до Q3_K_M, что позволяет адаптировать требования к памяти, но уменьшение размера может снижать точность и стабильность ответов. Поддерживаются режим рассуждений и ускорение speculative decoding через DSpark, хотя выигрыш в скорости зависит от оборудования и сценария. Лицензия — MIT.

Meta Llama 3.1 405B Instruct — разработанная Meta инструктивно дообученная большая языковая модель для диалогового взаимодействия. Это авторегрессионный трансформер с оптимизированной архитектурой и Grouped-Query Attention; вариант Instruct использует supervised fine-tuning и обучение с подкреплением на основе обратной связи от людей. Модель работает с текстом на входе и выходе и рассчитана на многоязычные сценарии. Модель предназначена для диалоговых помощников, ответов на вопросы и генерации текста по инструкциям, а также для создания синтетических данных. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для некоторых дополнительных возможностей, включая интеграцию с инструментами, требуется самостоятельная настройка приложения. Модель представляет собой статический чекпойнт, обученный на офлайн-данных. Качество и безопасность ответов могут различаться по языкам и сценариям, а выводы требуют проверки. Использование регулируется пользовательской лицензией Meta Llama 3.1 Community License и Acceptable Use Policy; до коммерческого или иного применения следует ознакомиться с их условиями.

Jongbin-kr/llama-3.1-8b-instruct-4x1-moe-switch-top1 — диалоговая языковая модель на архитектуре Llama 3.1, разработанная Jongbin. Она предназначена для генерации текста и общения по инструкциям; среди сценариев — ответы на вопросы, помощь в написании текстов и использование интерфейса вызова инструментов. Модель построена на базе meta-llama/Llama-3.1-8B-Instruct и содержит около 7,5 млрд параметров. В каждом слое Transformer используются четыре клонированных FFN-эксперта, а маршрутизатор выбирает одного эксперта для каждого токена. В отличие от варианта с нормализованным коэффициентом гейта, выбранный эксперт сохраняет исходную вероятность softmax. При обучении использованы коэффициент балансировки нагрузки 0,01 и z-loss маршрутизатора 0,001. Контекст — до 131 072 токенов; модель работает через Transformers, веса доступны в формате safetensors. Модель унаследовала многоязычные возможности базовой Llama 3.1 8B Instruct, однако README не перечисляет конкретные поддерживаемые языки. Для загрузки требуется trust_remote_code=True. Лицензия — llama3.1; применяются условия лицензии Llama 3.1 от Meta.

Llama-3.1-Storm-8B — диалоговая языковая модель с 7,5 млрд параметров, разработанная Ashvini Kumar Jindal, Pawan Kumar Rajpoot, Ankur Parikh и Akshita Sukhlecha. Это плотная архитектура Llama, дообученная на базе Llama-3.1-8B-Instruct с выборочной настройкой слоёв и объединённая методом SLERP с Llama-Spark. В карточке описан чекпойнт в формате safetensors для запуска через Transformers и vLLM. Модель предназначена для диалога, следования инструкциям, ответов на вопросы, рассуждений и вызова функций. Авторы сообщают об улучшениях относительно Llama-3.1-8B-Instruct на ряде бенчмарков, включая IFEval, GPQA, MMLU-Pro, TruthfulQA и BFCL. Контекст — до 131 072 токенов; заявленный язык карточки — английский. Модель принимает текст и генерирует текст, включая ответы в сценариях вызова функций. Авторы отмечают, что отдельное выравнивание поведения не проводилось, поэтому унаследованные от базовой модели свойства выравнивания могут быть неполными. Лицензия — Llama 3.1; применяются её условия использования.

MiniMax-M1-40k-hf — открытая по весам языковая модель компании MiniMax для рассуждений, диалога и построения агентных приложений. Это версия с бюджетом размышления 40K, предназначенная для Transformers; в README для других открытых фреймворков рекомендуется альтернативный репозиторий MiniMax-M1-40k. Модель использует гибридную архитектуру Mixture-of-Experts с механизмом lightning attention. В метаданных указаны 21,6 млрд параметров, а README описывает базовое семейство MiniMax-M1 как модель, рассчитанную на контекст до 1 млн токенов. Обучение с подкреплением охватывало математические задачи и программную инженерию; заявлены сильные результаты на сложных задачах кодирования, использования инструментов и работы с длинным контекстом. Модель поддерживает чат и интерфейс вызова инструментов. Подходит для решения сложных математических задач, анализа длинных документов, программирования и агентных сценариев с вызовом внешних функций. README указывает рекомендации по параметрам генерации, но фактическое качество зависит от задачи и конфигурации инференса. Лицензия репозитория — Apache-2.0.

Ministral 3 14B Instruct 2512 — мультимодальная модель Mistral AI для диалогов и выполнения инструкций, дообученная на базе Ministral 3 14B Base 2512 и представленная в формате FP8. Архитектура Mistral3 включает языковую модель на 13,5 млрд параметров и визуальный энкодер на 0,4 млрд; веса хранятся в safetensors, для запуска рекомендуется vLLM. Модель рассчитана на локальное и периферийное развертывание, в частности для приватных ассистентов и агентных сценариев. Она принимает текст и изображения, умеет анализировать визуальное содержимое, следовать системным инструкциям, вызывать функции и формировать JSON. Поддерживает контекст до 256 тысяч токенов и многоязычное взаимодействие, включая английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский. В README заявлены результаты, сопоставимые с более крупной Mistral Small 3.2 24B; для запуска в FP8 указано требование около 24 ГБ VRAM, а дополнительная квантизация может снизить его. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию. Качество может зависеть от аппаратуры и настроек; для изображений рекомендуется близкое к квадратному соотношение сторон, а для повседневного использования — температура ниже 0,1.

Это GGUF-квантизированная версия Mistral-Small-3.1-24B-Instruct-2503, разработанного Mistral AI и подготовленного пользователем bartowski. Модель предназначена для диалоговых задач и сценариев, где требуется обработка текста и изображений, и может запускаться через llama.cpp, LM Studio и другие совместимые проекты. Модель содержит 24 млрд параметров и поддерживает мультимодальный режим с входными данными в виде текста и изображений; для работы с изображениями требуется отдельный файл mmproj. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Доступны варианты от BF16 до различных форматов квантования GGUF размером примерно от 12,76 до 47,15 ГБ. В README размер контекста не указан. Основное преимущество — сочетание высокой точности исходной модели с выбором квантизаций, позволяющих адаптировать требования к памяти и качеству; варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M рекомендован как типичный компромисс. Ограничения включают значительный объём файлов, зависимость мультимодальной работы от mmproj и возможное снижение качества у более компактных вариантов. Лицензия — Apache-2.0.

Qwen3.5-9B-NVFP4 — это квантованная версия мультимодальной vision-language модели Qwen3.5-9B, опубликованная sanskar003 на базе модели команды Qwen из Alibaba Group. Она принимает изображения, текст и видео в чередующемся формате и генерирует текст, включая режим рассуждений, включённый по умолчанию. Модель содержит около 9 млрд параметров и использует гибридную архитектуру Gated DeltaNet и sparse MoE с vision encoder. Базовая модель поддерживает 201 язык и диалект, а её нативная длина контекста составляет 262 144 токена с возможностью расширения посредством RoPE scaling. Квантование выполнено в формате NVFP4 с использованием compressed-tensors: линейные слои языковой модели переведены в 4-битный формат, тогда как vision tower, router gates и lm_head сохранены в более высокой точности. Основное преимущество версии NVFP4 — снижение требований к вычислениям и потенциально высокая производительность на GPU NVIDIA Blackwell с FP4 tensor cores, например RTX 5090 с архитектурой sm_120, при сохранении возможностей работы с изображениями. Для запуска рекомендуется современная версия vLLM с поддержкой архитектуры Qwen3_5ForConditionalGeneration. Ограничение модели заключается в том, что ожидаемая производительность NVFP4 ориентирована на совместимое оборудование NVIDIA Blackwell; характеристики качества и подробные результаты тестирования в карточке этой версии не приведены. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой Qwen3.5-9B.

Chungulus/Qwen3.8-27B-Q3_K_M-GGUF — это независимая vanilla-квантизация модели Qwen3.8-27B, разработанной командой Qwen. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp. Квантизация Q3_K_M выполнена без дообучения, слияния, изменения выравнивания или шаблона чата. Модель поддерживает генерацию текста, нативный tool calling, обработку изображений и видео, а также режимы управления рассуждением через параметры enable_thinking, reasoning_effort и preserve_thinking. Архитектура включает гибридную структуру Hybrid Gated DeltaNet/full-attention, vision tower и проектор; в репозитории сохранены MTP-тензоры, однако ускорение speculative decoding не заявлено. Основной файл занимает около 13,5 ГБ, vision projector — в формате F16, общий размер репозитория — около 14,4 ГБ. Для запуска рекомендуется не менее примерно 18 ГБ доступной памяти, при этом KV-cache дополнительно увеличивает потребление в зависимости от контекста. К сильным сторонам относятся сохранённые возможности исходной модели, проверенная поддержка текста, инструментов, изображений и видео, а также совместимость с нативным форматом вызова инструментов Qwen. Ограничение — возможное снижение качества из-за низкобитной квантизации; заявленные проверки не позволяют делать выводы о максимальной длине контекста. Для работы требуется runtime с поддержкой архитектуры Qwen3.8, vision-компонентов, токенизатора и MTP-метаданных. Модель и её vanilla-квантизация распространяются по лицензии Apache-2.0.

Chungulus/Qwen3.8-27B-Q3_K_S-GGUF — независимая ванильная квантизация модели Qwen/Qwen3.8-27B, опубликованная Chungulus. Модель предназначена для локального запуска задач генерации текста, вызова инструментов, анализа изображений и видео. Это vision-language модель с поддержкой мультимодального ввода; для работы с изображениями используется отдельный vision projector mmproj-Qwen3.8-27B-F16.gguf. Поддерживаются нативный формат вызова инструментов Qwen и управление режимами рассуждений через enable_thinking, reasoning_effort и preserve_thinking. Основной файл имеет размер около 12,257 ГБ, полный репозиторий — около 13,197 ГБ. Используется квантизация Q3_K_S на базе llama.cpp K/IQ quantization без дополнительного обучения, слияния или изменения шаблона чата. Сохранена гибридная структура Hybrid Gated DeltaNet/full-attention, а также MTP-тензоры и метаданные, однако спекулятивное ускорение не заявлено. Текстовая генерация, вызов инструментов, обработка изображений и видео прошли проверки; на валидационном хосте зафиксирована скорость около 17,35 токена в секунду. Для запуска требуется совместимый runtime, поддерживающий граф Qwen3.8, vision tower/projector, токенизатор и MTP-метаданные; рекомендуется иметь не менее примерно 17 ГБ доступной памяти, при этом KV-кэш увеличивает потребление в зависимости от контекста. Низкая разрядность квантизации может снижать качество. Максимальный контекст в README не указан и полноценно не тестировался. Модель и квантизация распространяются по лицензии Apache-2.0.

Chungulus/Qwen3.8-27B-Q4_K_M-GGUF — это неизменённая vanilla-квантизация базовой модели Qwen/Qwen3.8-27B в формате GGUF. Репозиторий подготовлен Chungulus и содержит основной файл модели с квантизацией Q4_K_M, а также отдельный vision projector в формате F16. Это не дообученная, не объединённая и не изменённая с точки зрения шаблона чата модель. Модель предназначена для генерации текста, работы с изображениями и видео, а также вызова инструментов через нативный формат Qwen. Сохранены механизмы управления рассуждениями, включая enable_thinking, reasoning_effort и preserve_thinking. Архитектура включает гибридную структуру Gated DeltaNet и полноразмерного внимания, зрительную башню и проектор; заявленный размер базовой модели — 27 млрд параметров. Поддерживаемые языки и максимальная длина контекста в README не указаны. Преимущества модели — подтверждённая работоспособность генерации текста, vision- и video-сценариев, tool calling и совместимость с llama.cpp при наличии соответствующей поддержки архитектуры. Квантизация уменьшает требования к памяти, однако может снижать качество, особенно по сравнению с полной точностью. Для запуска рекомендуется иметь примерно 21 ГБ доступной памяти, причём KV-кэш дополнительно увеличивает расход памяти в зависимости от контекста. Максимальный контекст README не подтверждает тестированием. Модель и её квантизация распространяются по лицензии Apache-2.0.

Accio-Lab_occamy-1.0-GGUF — это квантизированная версия модели occamy-1.0, разработанной Accio-Lab и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 35 млрд параметров и предназначена для локального запуска в задачах агентного взаимодействия, совместной работы, использования инструментов и программирования. Модель поддерживает мультимодальный ввод: текст и изображения при наличии файла mmproj. В карточке также заявлены архитектура mixture-of-experts и поддержка длинного контекста, однако точный размер контекстного окна и перечень поддерживаемых языков не указаны. Спекулятивное декодирование не поддерживается, а для квантизации использована imatrix. Доступны варианты от BF16 до низкобитных Q2–Q8, что позволяет выбирать между качеством, требованиями к памяти и скоростью; рекомендуемым универсальным вариантом назван Q4_K_M размером 22,32 ГБ. К сильным сторонам относятся большой размер, поддержка изображений, сценариев tool-use и агентных приложений, а также широкий выбор уровней квантизации. Ограничения связаны с высокими требованиями к памяти даже для компактных вариантов, необходимостью отдельного mmproj-файла для работы с изображениями и отсутствием в README подробных результатов тестирования, сведений о языках и точном контексте. Модель распространяется по лицензии Apache-2.0.

TechxGenus/DeepSeek-V2-Lite-Chat-AWQ — AWQ-квантованная версия диалоговой модели DeepSeek-V2-Lite-Chat, разработанной DeepSeek AI. Это языковая модель, дообученная для взаимодействия в формате чата и предназначенная для генерации текста, ответов на вопросы и других сценариев использования разговорных LLM. Модель построена по архитектуре Mixture-of-Experts (MoE) с Multi-head Latent Attention (MLA): всего она содержит 16 млрд параметров, из которых при обработке активируется 2,4 млрд. MLA сжимает KV-кэш в латентное представление, а разреженные вычисления MoE повышают эффективность обучения и инференса. Контекстное окно составляет 32 тысячи токенов. В README заявлена поддержка сценариев на английском и китайском языках; модель обучалась с нуля на 5,7 трлн токенов. К сильным сторонам относятся сравнительно небольшое число активных параметров, эффективность инференса и возможность развертывания на одной GPU с 40 ГБ памяти. Квантованный формат AWQ ориентирован на более экономичное локальное развертывание, однако README не приводит подробностей о влиянии квантования на качество, аппаратных требованиях конкретного запуска или результатах именно этой квантованной сборки. Модель распространяется по лицензии DeepSeek Model Agreement; код проекта отдельно отмечен как распространяемый по MIT, но это не заменяет условия лицензии самой модели.

SteelStorage выпустила слитую диалоговую языковую модель на архитектуре Llama с 69,5 млрд параметров. Веса объединены методом Model Stock с помощью mergekit: базой послужила NaniDAO/Llama-3.3-70B-Instruct-ablated, также включены abacusai/Dracarys2-Llama-3.1-70B-Instruct и nbeerbower/Llama-3.1-Nemotron-lorablated-70B. Модель распространяется в формате safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и ответов на инструкции в диалоговом формате; метаданные также указывают интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Данные не уточняют поддерживаемые естественные языки, лицензию или ограничения по использованию, поэтому их нельзя определить по доступной карточке.

amd/Llama-3.1-70B-Instruct-FP8-KV — квантизированная версия Meta-Llama-3.1-70B-Instruct, разработанная Advanced Micro Devices (AMD) с применением инструментария Quark и калибровочных образцов из датасета Pile. Модель предназначена для задач генерации текста и инструкционного взаимодействия, а также для эффективного развертывания через совместимый с vLLM backend. Точные поддерживаемые языки и размер контекстного окна в README не указаны. Квантизация выполнена для всех линейных слоёв, кроме lm_head: веса и активации представлены в формате FP8 с симметричным масштабированием на тензор, а KV-cache также хранится в FP8. Такой подход снижает требования к памяти и может повысить эффективность инференса, но способен незначительно ухудшать точность по сравнению с исходной моделью. На тесте Perplexity-wikitext2 значение perplexity составило 3,8561 против 3,7797 у исходной Meta-Llama-3.1-70B-Instruct; результаты получены в режиме псевдоквантизации и могут отличаться от фактического инференса. Для использования требуется экспортированный формат Quark и окружение с Quark; поддерживается развёртывание с использованием vLLM. Лицензия указана как llama3.1, при этом модификации принадлежат Advanced Micro Devices, Inc.; применимые условия следует уточнять в лицензии Meta по указанной ссылке.

RedHatAI/Llama-4-Scout-17B-16E-Instruct-FP8-dynamic — это динамически квантованная версия мультимодальной модели Meta Llama-4-Scout-17B-16E-Instruct, подготовленная Red Hat совместно с Neural Magic. Модель реализует архитектуру Llama4ForConditionalGeneration, принимает текст и изображения, а генерирует текст. Она поддерживает арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский языки. Модель предназначена для задач text-to-text и image-text-to-text: диалоговых приложений, обработки текстовых запросов и анализа изображений с формированием текстового ответа. Веса и активации переведены в формат FP8 с использованием llm-compressor. По данным README, это примерно вдвое снижает требования к GPU-памяти и размер модели на диске, а также может примерно вдвое увеличить пропускную способность матричных вычислений по сравнению с представлением FP16. В примере развертывания используется максимальная длина контекста 32768 токенов. К сильным сторонам относятся мультимодальность, поддержка нескольких языков и оптимизация для эффективного инференса на vLLM, Red Hat Enterprise Linux AI и Red Hat OpenShift AI. Ограничения включают зависимость от совместимого FP8-оборудования и программного стека; README не содержит результатов бенчмарков или оценки возможной потери качества после квантования. Модель выпущена 15 апреля 2025 года, версия 1.0, и распространяется по лицензии Llama 4.

EmbeddedLLM выпустила Mistral-7B-Merge-14-v0.3 — экспериментальную объединённую модель на базе Mistral-7B-v0.1. Она создана методом DARE TIES путём слияния 14 моделей Mistral-7B, обученных для диалога, следования инструкциям, работы с документами, математикой и кодом. Модель содержит 7,1 млрд параметров и принимает текст для генерации продолжений и ответов; максимальный контекст составляет 32 768 токенов. Модель рассчитана на генерацию текста, ответы на инструкции и диалоговые сценарии. Авторы приводят средний результат 69,66 в Open LLM Leaderboard и отмечают, что модель может потребовать дополнительной настройки для чата; в README также указана более сильная версия v0.4. Карточка ориентирована на английский язык. Репозиторий распространяется по лицензии Apache-2.0.

Kaoeiri/MS_a-coolyte-2409-22B — языковая модель для диалогов и генерации текста, созданная с помощью mergekit. Это плотная модель архитектуры Mistral с 22 млрд параметров, полученная слиянием unsloth/Mistral-Small-Instruct-2409 и rAIfle/Acolyte-LORA методом task arithmetic; веса представлены в формате Safetensors. Модель рассчитана на текстовый ввод и генерацию текста, поддерживает чат и интерфейс вызова инструментов. Контекст — до 131 072 токенов. Модель можно использовать для диалоговых ассистентов, генерации и продолжения текста, а также сценариев, где ответ опирается на длинный контекст или вызов инструментов. README указывает, что плотность слияния подбиралась для целевого training loss 0,3. Сведения о конкретных поддерживаемых естественных языках и лицензии в предоставленных источниках отсутствуют.

OnlyTextLLMs/Qwen3.5-4B-OnlyText — текстовая причинная языковая модель, подготовленная на основе Qwen/Qwen3.5-4B: из исходной модели удалены компоненты обработки изображений и аудио, а текстовая часть и выходная голова сохранены. Разработчик репозитория сообщает, что новые обучающие данные и дообучение не применялись; сохранена также MTP-голова для чернового предсказания токенов. Модель предназначена для генерации текста и диалоговых сценариев. Она использует плотную архитектуру Qwen3_5ForCausalLM; в метаданных указаны 3,4 млрд параметров и контекст до 262 144 токенов. README приводит размер 4,33 млрд параметров и точность bfloat16. Модель работает только с текстом; интерфейс вызова инструментов указан среди возможностей, но сам по себе не гарантирует выполнение инструментов. Репозиторий распространяется по лицензии Apache-2.0. Поскольку это производная версия исходной Qwen3.5-4B с удалёнными мультимодальными компонентами, она не предназначена для обработки изображений или аудио.

Карточка модели spinochenza/Qwen3.6-35B-A3B-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/Qwen3.6-35B-A3B-uncensored-heretic, поэтому описание составлено по ней. llmfan46/Qwen3.6-35B-A3B-uncensored-heretic — мультимодальная чат-модель независимого автора, созданная на основе Qwen/Qwen3.6-35B-A3B. Это вариант с ослабленным отказом на запросы: в карточке приведено сравнение, где доля отказов составляет 10 из 100 против 83 из 100 у исходной модели. Модель предназначена для диалога, анализа изображений и сценариев агентного программирования с вызовом инструментов. Архитектура Qwen3.5 MoE содержит 35 млрд параметров, из которых активируется около 3 млрд; README также описывает языковую модель с визуальным энкодером и 262 144 токена нативного контекста, расширяемого до 1 010 000. Указаны возможности сохранения рассуждений в истории диалога и результаты тестирования MMLU, но эти сведения не гарантируют качество на конкретных задачах. Модель принимает текст и изображения и выдаёт текст. Файлы представлены в формате safetensors, библиотека для работы — Transformers. Лицензия Apache-2.0. Поскольку модель специально снижает число отказов, она может отвечать на запросы, которые исходная модель отклоняет; ответы следует проверять, особенно в чувствительных сценариях.

Qwen3.6-35B-A3B Uncensored Heretic MLX 8bit — мультимодальная версия модели Qwen, разработанной Alibaba Cloud, конвертированная пользователем froggeric в формат MLX для нативной работы на Apple Silicon. Базовая модель — llmfan46/Qwen3.6-35B-A3B-uncensored-heretic; для устранения отказов использовался Heretic v1.2.0 с вариантом метода Magnitude-Preserving Orthogonal Ablation, применённым с учётом гибридной архитектуры внимания Qwen 3.6. Модель предназначена для диалогов, генерации и анализа текста, задач с изображениями и видео, рассуждений и tool calling. Поддерживаются текстовые и визуальные входы, режимы с рассуждением и без него, а также языки English, Chinese и другие языки, обозначенные как multilingual. Указаны размер класса 35B-A3B и 8-битная квантизация. Исправленный chat template поддерживает современные роли, вызовы инструментов и переключатель thinking, а также устраняет проблемы обработки визуальных входов. Сильные стороны модели — мультимодальность, работа в экосистеме MLX, совместимость с MLX-LM, MLX-VLM, LM Studio, llama.cpp, vLLM и другими движками с HuggingFace Jinja templates, а также снижение частоты отказов при заявленной минимальной потере возможностей. Для работы требуются mlx-lm версии 0.31.2 или новее и mlx-vlm версии 0.4.4 или новее. Модель распространяется по лицензии Apache-2.0. README не содержит подробных независимых результатов бенчмарков и не уточняет фактический объём контекстного окна.

Qwen3.8-27B-NVFP4-RTX5090-LMHead4 — это производный вариант модели Qwen3.8-27B-NVFP4-RTX5090 от gittensor-model-hub, созданный с использованием инструментов NVIDIA ModelOpt. Модель предназначена для генерации текста, рассуждений, решения математических и академических задач, программирования, диалоговых сценариев и агентских приложений с вызовом инструментов. Вариант сохраняет исходные веса родительской модели, за исключением lm_head, который дополнительно квантизован в NVFP4 вместо BF16. Модель имеет размер 27B параметров и поддерживает контекст до 65 536 токенов. Указаны интеграции с Transformers, SGLang и vLLM, а также поддержка спекулятивного декодирования с черновой моделью DSpark. На одной RTX 5090 размер чекпойнта составляет 18,77 ГБ, а занимаемый весами объём VRAM — около 17,10 ГБ. По данным README, скорость декодирования достигает 88,45 токена/с без спекуляции и 181,7 токена/с при использовании DSpark. Квантизация lm_head не показала измеримого ухудшения качества на указанном небольшом наборе тестов, однако результаты нельзя считать доказательством улучшения и они зависят от конфигурации запуска. Ограничения модели связаны с узкой специализацией сборки под высокопроизводительные GPU RTX 5090 и необходимостью совместимой конфигурации инференса. Репозиторий помечен как устаревший: рекомендуется использовать более новый Qwen3.8-27B-NVFP4-RTX5090, в котором удалены NVFP4 lm_head и MTP head и заявлены меньший размер и два шарда. Модель распространяется по лицензии Apache 2.0.

Qwen3-VL-8B-Thinking — плотная мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen; этот репозиторий содержит её веса. Модель принимает изображения и текст, поддерживает диалог и интерфейс вызова инструментов, а режим Thinking предназначен для задач, требующих рассуждений. Архитектура — Qwen3VLForConditionalGeneration, веса доступны в формате safetensors; модель использует библиотеку Transformers. Модель предназначена для визуальных вопросов и ответов, распознавания текста и структуры документов, анализа видео и временных событий, пространственных рассуждений, STEM-задач и управления графическими интерфейсами с помощью инструментов. Также она может генерировать код интерфейсов Draw.io и HTML/CSS/JS по изображениям или видео. В README заявлен контекст 256K токенов с возможностью расширения до 1M и OCR на 32 языках; эти характеристики относятся к описанию семейства Qwen3-VL. Лицензия — Apache-2.0. README не приводит отдельных результатов бенчмарков для этой версии 8B; заявленные возможности и качество следует считать характеристиками из карточки разработчика, а эффективность на конкретных задачах может зависеть от входных данных и конфигурации запуска.