I.1Поиск и навигация по информации

QuantFactory/Llama-3.1-Storm-8B-GGUF — квантизированная версия модели Llama-3.1-Storm-8B, созданная с помощью llama.cpp. Исходную модель разработали Ashvini Kumar Jindal, Pawan Kumar Rajpoot, Ankur Parikh и Akshita Sukhlecha. Она основана на Llama-3.1-8B-Instruct и дополнительно обучена с применением целевого fine-tuning и объединения с Llama-Spark методом SLERP. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, ответов на вопросы, рассуждений и function calling. Заявлены улучшения по сравнению с Meta-Llama-3.1-8B-Instruct в instruction following, knowledge-driven QA, reasoning, truthful answer generation и агентских сценариях. В частности, авторы сообщают о лучших результатах на IFEval, GPQA, MMLU-Pro, ARC-C, MuSR, BBH, TruthfulQA и BFCL. Квантизация ориентирована на запуск модели с более ограниченными вычислительными ресурсами. Модель имеет около 8 миллиардов параметров и работает с текстом. В README указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Размер контекстного окна и конкретные варианты квантизации в представленном описании не указаны. GGUF-формат предназначен для использования в совместимых инструментах экосистемы llama.cpp, включая Ollama. Модель позиционируется как универсальная и улучшенная в следовании инструкциям, рассуждениях, function calling и снижении галлюцинаций, однако заявленные преимущества основаны на бенчмарках авторов и могут зависеть от сценария и настроек запуска. Условия использования определяются лицензией llama3.1; дополнительные ограничения или требования в README не приведены.

Mistral Medium 3.1 — обновлённая версия Mistral Medium 3 от Mistral AI. Это высокопроизводительная языковая модель корпоративного уровня, рассчитанная на широкий круг задач и призванная сочетать передовые возможности с более низкими эксплуатационными затратами. В доступном описании не приведены сведения об архитектуре, размере, контексте, языках, условиях лицензирования и конкретных сценариях применения.

mistral-community/mixtral-8x22B-v0.3 — текстовая генеративная модель семейства Mixtral, опубликованная сообществом mistral-community. Архитектура — MixtralForCausalLM с механизмом смеси экспертов (MoE); модель предназначена для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Контекстное окно составляет до 65 536 токенов. Эта версия соответствует v0.1, но использует токенизатор большего размера. В репозитории представлены веса Safetensors; лицензия — Apache-2.0. Карточка предупреждает, что чекпойнт может быть неактуальным, и рекомендует использовать соответствующую версию у организации-разработчика.

Qwen3.5-4B-OptiQ-4bit — это квантизированная версия языковой модели Qwen/Qwen3.5-4B, разработанная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локального запуска генеративных задач на компьютерах Apple Silicon через MLX, без PyTorch и облачной инфраструктуры: генерации и понимания текста, рассуждений, программирования, следования инструкциям, вызова инструментов и агентских сценариев. Модель использует смешанную чувствительно-ориентированную квантизацию: 173 слоя имеют точность 4 бит, а 75 наиболее чувствительных слоёв — 8 бит; всего квантизировано 248 слоёв. Размер группы составляет 64, размер модели на диске — около 3,0 ГБ. В комплект входит MTP-голова для speculative decoding, которая при использовании mlx-optiq может обеспечивать примерно 1,4-кратное ускорение декодирования. Доступны текстовые сценарии; другие модальности, языки и размер контекста в README не указаны. По приведённым тестам модель превосходит равномерную 4-битную квантизацию на задачах общих знаний, математики, следования инструкциям, вызова функций, программирования и поиска в длинном контексте. Ограничения включают зависимость от экосистемы MLX и Apple Silicon, а также потери точности, неизбежные при квантизации; заявленные результаты относятся к конкретной методике оценки. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-MLX-mxfp4 — это мультимодальная языковая модель на базе Qwen3.5-9B, разработанная HauhauCS и преобразованная TheCluster в формат MLX. Модель предназначена для генерации и анализа текста, работы с изображениями и видео, а также для сценариев, где требуется модель без встроенных отказов на запросы. Модель содержит 9 миллиардов плотных параметров и 32 слоя. Она использует гибридную архитектуру с линейным вниманием Gated DeltaNet и полным softmax-вниманием в соотношении 3:1, поддерживает Multi-Token Prediction и контекст длиной 262 тысячи токенов с возможностью расширения до 1 миллиона через YaRN. Заявлены нативная мультимодальность для текста, изображений и видео, словарь на 248 тысяч токенов и поддержка 201 языка, включая английский, китайский и русский. Ключевая особенность — агрессивное удаление отказов: согласно карточке, модель не отказывается отвечать на запросы, сохраняя заявленные возможности исходной модели. При этом она может иногда добавлять краткие дисклеймеры в конце ответа. Модель квантизована в формате mxfp4 с эффективностью 4,821 бит на вес, поэтому её характеристики следует оценивать с учётом квантизации. Для использования доступны отдельные рекомендуемые параметры генерации для режимов с рассуждением и без него. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-W4A16-AWQ — это 4-битная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Qwen и дополнительно квантованной пользователем hyperhuzaifa. Квантизация выполнена методом AWQ в формате compressed-tensors pack-quantized с симметричной схемой int4, размером группы 128 и разрядностью W4A16. Модель использует MoE-архитектуру с 35 млрд параметров и рассчитана на запуск с длинным контекстом на одной потребительской видеокарте с 24 ГБ памяти. На диске она занимает около 20,5 ГБ, а в памяти GPU — около 19,06 GiB. Модель предназначена для генерации текста и обработки изображений, поскольку сохраняет vision tower. В архитектуре используются 40 слоёв, включая 30 слоёв gated DeltaNet с линейным вниманием и 10 блоков полного внимания, а маршрутизация MoE выбирает 8 экспертов из 256. Также сохранена MTP-голова для спекулятивного декодирования. Квантированы языковые Linear-слои, включая routed и shared experts, но эмбеддинги, lm_head, vision tower, маршрутизаторы, нормализации и MTP-голова оставлены в bf16 для сохранения качества и совместимости. Основные преимущества — заметно сниженные требования к памяти, поддержка длинного контекста, мультимодальность и совместимость с vLLM версии 0.26.0 и новее. На одной 24-ГБ видеокарте заявлена работа с контекстом до 32K при использовании CUDA graphs; на двух GPU через tensor parallelism поддерживается до 262K токенов. Ограничения включают невысокую допустимую конкурентность на одной карте из-за recurrent cache для DeltaNet, резкое снижение скорости при использовании enforce-eager и необходимость корректно выбирать мультимодальный класс загрузки. MTP не рекомендуется включать на одной 24-ГБ карте из-за резкого уменьшения доступного KV-кэша; на двух PCIe-GPU он также может снижать итоговую производительность. Модель распространяется по лицензии Apache-2.0.

avlp12/Qwen3.8-27B-Alis-MLX-8bit — 8-битная квантизированная версия мультимодальной модели Qwen3.8-27B от Qwen, подготовленная пользователем avlp12 для запуска на Apple Silicon с использованием MLX. Модель предназначена для генерации и анализа текста, работы с изображениями и сценариев, где важны высокая точность, длинные последовательности генерации и агентские циклы. Поддержка изображений сохранена благодаря полной vision-башне, а также сохранена MTP-голова для speculative decoding. Модель основана на архитектуре Qwen3_5ForConditionalGeneration с типом модели qwen3_5 и содержит 27 миллиардов параметров. Квантованный языковой компонент использует 8-битное представление, тогда как 333 тензора vision-башни объёмом около 0,461 млрд параметров сохранены в исходном формате bf16. Указанный размер сборки составляет 27,9 ГБ, пиковое потребление оперативной памяти при загрузке и коротком контексте — около 28,1 ГБ, скорость декодирования на Apple M3 Ultra — около 22 токенов в секунду. Модель поддерживает мультимодальный ввод, включая изображения; заявленные языки включают английский и корейский, также отдельно измерялось качество на коде. Размер контекста в README не указан. Главное преимущество сборки — близкое к исходной bf16-модели поведение при существенно меньшем размере и более высокой скоростью декодирования; заявленные различия perplexity статистически неразличимы на проверенных корпусах. Ограничения — необходимость совместимого Apple Silicon и MLX-окружения, значительные требования к памяти, а также возможное снижение точности из-за 8-битной квантизации по сравнению с bf16. Лицензия модели — Apache-2.0.

Qwen3.8-27B-FP8-Pessoa — квантованный вариант мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для обработки текста, изображений и видео, включая сценарии визуально-языкового анализа и генерации текста по мультимодальному вводу. Квантование выполнено с использованием llm-compressor; веса сохранены в формате compressed-tensors для непосредственного применения с vLLM. Лицензия — Apache-2.0. Языковая часть содержит около 27 млрд параметров, vision tower — 460,7 млн, а MTP-голова — 82,3 млн. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания с GQA; нативный контекст составляет 262 144 токена. Поддерживается многоязычный ввод. Линейные, MLP- и полные attention-слои используют weight-only FP8 E4M3 W8A16 с BF16-активациями, GPTQ-коррекцией и поканальным масштабированием. Vision tower и MTP-голова оставлены в BF16, поэтому сохраняются возможности понимания изображений и видео, а также speculative decoding. Главные преимущества — уменьшенный до 31,24 ГБ размер чекпойнта против 55,6 ГБ у BF16-версии и низкая ошибка квантования. Компромисс заключается в более низкой скорости предварительной обработки по сравнению с W8A8 из-за деквантования перед GEMM, а также в высоких требованиях к памяти и ускорителям. Для работы рекомендуется vLLM 0.26.1rc0 с FlashInfer; заявлена поддержка NVIDIA Blackwell, Ampere и Hopper с поддержкой FP8 E4M3.

Qwen3.8-27B-Omnimerge-v6 — плотная мультимодальная модель семейства Qwen, созданная ManniX-ITA слиянием опубликованных чекпойнтов на базе Qwen/Qwen3.8-27B. Веса получены арифметическим слиянием трёх дообученных моделей Qwen3.6 с переносом их изменений на новую базу; модель сама не дообучалась и не дистиллировалась. Архитектура поддерживает обработку текста и изображений, диалог, программирование, рассуждения и интерфейс вызова инструментов. Модель предназначена для диалоговых сценариев, анализа изображений, задач программирования и многошаговых рассуждений. В единственном сравнительном тестировании на выборке из пяти бенчмарков заметное улучшение относительно v4 показано на LiveCodeBench; остальные результаты в основном находятся в пределах погрешности, а GPQA ниже на 2 процентных пункта. Модель склонна к длинным рассуждениям и может исчерпать лимит бюджета ответа. Оценки проводились на Q6_K; другие уровни квантования отдельно не проверялись. Модель использует Transformers и формат Safetensors. Лицензия — Apache-2.0. README характеризует её как исследовательский чекпойнт и отмечает ограничения оценки: одна выборка, один seed и один уровень квантования.

Qwen3.8-27B-Uncensored-YMQ-MTP-GGUF — семейство GGUF-квантизаций модели JonathanColetti/Qwen3.8-27B-Uncensored, подготовленное проектом ZeroDigest с использованием собственного YMQ-Compiler v2.0. Модель предназначена для генерации текста, программирования и агентных сценариев, включая выполнение API-задач в инструментах вроде RooCode и Aider. Это плотная модель на 27 млрд параметров, преобразованная из исходных BF16-файлов в смешанные по точности варианты с архитектурно-зависимой квантизацией. Сборка ориентирована на поддержку параллельного multi-token prediction (MTP) и speculative decoding, а также на работу с большими контекстами. В README упоминаются компоненты и методы, связанные с Mamba, SSM и AutoRound, однако точный размер контекстного окна, список языков и полный набор поддерживаемых модальностей не указаны; по представленным данным модель является текстовой. Доступно несколько пресетов размером примерно от 9,3 до 17 ГБ, рассчитанных на видеокарты с 12 или 16 ГБ памяти и на разные компромиссы между компактностью и качеством. Более компактные варианты подходят для ограниченной VRAM и коротких однопользовательских запросов, но могут проявлять забывание контекста, циклы форматирования и повышенный шум квантизации. Более крупные пресеты обеспечивают лучшую стабильность логики, форматирования и многошаговой работы, но требуют больше памяти. Лицензия — Apache-2.0.

Qwen3-VL-235B-A22B-Instruct — мультимодальная модель семейства Qwen3-VL от Qwen, представленная в варианте Mixture-of-Experts с инструктивной настройкой. Она принимает текст и изображения и формирует текстовые ответы; поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для визуальных вопросов и ответов, распознавания текста на изображениях, понимания видео, пространственных рассуждений и взаимодействия с графическими интерфейсами. В карточке заявлены контекст длиной 256 тысяч токенов с возможностью расширения до 1 миллиона, понимание длинных документов и видео, а также OCR на 32 языках. Среди описанных возможностей — локализация событий по временным меткам, анализ объектов и их взаимного расположения, решение задач STEM и генерация кода интерфейсов по изображениям или видео. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Модель распространяется по лицензии Apache-2.0. Практическое качество может зависеть от языка, сложности изображения или видео и характера задачи; приведённый README не содержит конкретных численных результатов бенчмарков.

protoLabsAI/Agents-A1-NVFP4 — квантизированная версия модели InternScience/Agents-A1, разработанная и проверенная protoLabs. Это агентная гибридная MoE-модель класса Qwen3.5-35B-A3B для генерации текста, рассуждений, работы с инструментами, function calling, программирования и других агентных сценариев. Модель предназначена для запуска через vLLM, прежде всего на GPU NVIDIA Blackwell, включая RTX PRO 6000 и RTX 50xx. Модель использует квантизацию NVFP4 W4A4 с калибровкой всех экспертов MoE и занимает около 21,8 ГБ. В контрольной точности сохранены маршрутизаторы MoE, DeltaNet-линейное внимание, эмбеддинги, lm_head, vision tower и MTP-тензоры. В README заявлена поддержка длинного контекста с проверками на длинах до 60K токенов; для работы у верхней границы рекомендуется оставить более 5K токенов запаса либо отключить режим рассуждений. Веса vision tower присутствуют, но рекомендуемая конфигурация vLLM работает только в текстовом режиме. Языки явно не указаны. По приведённым тестам NVFP4-версия превосходит официальную FP8-версию на наборах reasoning-v2, function-call и claw agentic, но немного уступает ей в code spec-delta. На одной RTX PRO 6000 заявлена скорость до 215 токенов в секунду при однопоточном чате. Ограничения включают зависимость от специальной конфигурации vLLM с marlin MoE backend на sm120, несовместимость spec-decode с этим backend и необходимость учитывать значительные затраты контекста при длинных рассуждениях. Модель распространяется по лицензии Apache-2.0.

Bagel-DPO-20B-v04 — это дообученная с помощью Direct Preference Optimization (DPO) модель InternLM2-20B, опубликованная jondurbin. Она предназначена для диалогов и генерации текста: может отвечать на вопросы, следовать инструкциям, помогать с программированием и математикой, писать и пересказывать текст, а также работать с контекстом. В обучении использованы разнообразные наборы инструкций, диалогов и предпочтений, включая данные для вызова функций; карточка описывает форматирование запросов в стилях Vicuna, Llama 2, Alpaca и ChatML. Модель имеет плотную архитектуру InternLM2 с 19,3 млрд параметров и контекст до 32 768 токенов. Это текстовая модель; наборы обучения включают многоязычное понимание текста, но конкретный полный перечень поддерживаемых языков не заявлен. Лицензия указана как other, поэтому условия использования следует сверить с карточкой модели и базовой модели. Среди ограничений — результаты зависят от формата запроса, а README предупреждает, что недо-DPO версия может быть предпочтительнее для ролевых сценариев; в обучающие данные также входили токсичные и потенциально незаконные примеры.

Это 4-битная версия модели DeepSeek-R1-0528-Qwen3-8B, подготовленная mlx-community для запуска в формате MLX. Исходная модель основана на плотной архитектуре Qwen3 с 7,6 млрд параметров; версия создана конвертацией с применением AWQ-квантизации через mlx-lm 0.25.2. Контекстное окно составляет 131 072 токена. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения, математики, программирования и логики. Репозиторий предоставляет интерфейс для вызова инструментов. Метаданные указывают на лицензию MIT; запуск рассчитан на экосистему MLX.

sail-ing-north/DeepSeek-V3-rescaled — это версия языковой модели DeepSeek-V3, размещённая в формате safetensors FP8 и предназначенная для генерации текста и диалогового общения. В карточке указаны архитектура DeepSeek-V3 и 37,6 млрд параметров; исходная модель описана как Mixture-of-Experts с 671 млрд общих и примерно 37 млрд активных параметров на токен, использующая Multi-head Latent Attention и DeepSeekMoE. Метаданные указывают длину контекста 163 840 токенов. Модель подходит для диалогов, генерации и продолжения текста, ответов на вопросы, а также вызова инструментов через соответствующий интерфейс. В README описаны предобучение на 14,8 трлн токенов, последующая настройка с учителем и обучение с подкреплением, а также перенос навыков рассуждения из DeepSeek-R1. Эти сведения относятся к DeepSeek-V3 в целом; карточка не уточняет, как именно была получена версия rescaled. Репозиторий содержит веса FP8, что может снизить требования к памяти при выводе, однако запуск требует подходящей инфраструктуры для крупной модели. README перечисляет способы развертывания через SGLang, LMDeploy, TensorRT-LLM и vLLM. Лицензия в предоставленных данных не указана.

gaunernst/gemma-3-27b-it-int4-awq — конвертированная в формат Hugging Face и AWQ модель Gemma 3 27B Instruction-tuned, разработанная Google DeepMind. Это QAT INT4-чекпойнт из Flax, первоначально полученный из Kaggle; в репозитории указано, что AWQ не применялся для самой квантизации. Модель предназначена для генерации текста и понимания изображений по текстовым и визуальным запросам, включая ответы на вопросы, суммаризацию, рассуждения и описание содержимого изображений. Модель имеет 27 млрд параметров, поддерживает текстовый и графический ввод и генерирует текст. Для изображений используется нормализация до 896×896 пикселей с кодированием в 256 токенов на изображение. Контекстное окно составляет 128 000 токенов, максимальный заявленный объём вывода — 8192 токена. Gemma 3 поддерживает более 140 языков и рассчитана на развёртывание на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре, хотя 27B-модель и мультимодальный режим требуют значительных вычислительных ресурсов. К сильным сторонам относятся мультимодальность, большое контекстное окно, многоязычность и снижение требований к памяти благодаря INT4-квантизации. Ограничения включают возможные потери качества по сравнению с полноразмерной моделью из-за квантизации, а также необходимость совместимого программного окружения и достаточных аппаратных ресурсов. Для использования требуется принять условия лицензии Google Gemma на Hugging Face; в карточке указана лицензия gemma.

Lizzy 7B — открытая по весам разговорная модель-помощник семейства Lizzy, разработанная Flower Labs. Это плотный авторегрессионный трансформер-декодер класса 7B с 6,9 млрд параметров, поддержкой контекста до 65 536 токенов, локальным и скользящим вниманием и собственными токенами для чата и управления. Модель принимает текстовые запросы и рассчитана на диалог, следование инструкциям, рассуждения, работу с кодом и вызов инструментов; её настройка уделяет особое внимание британскому английскому и знаниям о Великобритании. Модель предназначена для британских ассистентских сценариев, а также для общих задач рассуждения и помощи с кодом. В карточке приведены результаты сравнений на внутренних бенчмарках Flower Labs по британской тематике, математике и рассуждениям. Для много GPU-развёртывания через vLLM с тензорным параллелизмом может потребоваться патч, приложенный к поставке. Модель распространяется по лицензии Apache-2.0. Она может выдавать ошибочные, устаревшие или чрезмерно уверенные ответы; британская настройка может смещать тон и предположения к нормам Великобритании. Для рискованных сценариев рекомендуется проверка человеком и собственные меры модерации.

ssmits опубликовал текстовую диалоговую модель Llama-3.1-Nemotron-92B-Instruct-HF-late, полученную слиянием через mergekit методом passthrough на основе nvidia/Llama-3.1-Nemotron-70B-Instruct-HF. Модель с плотной архитектурой LlamaForCausalLM содержит 90,9 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Модель предназначена для диалога, генерации ответов на инструкции и запросы, а также сценариев с интерфейсом вызова инструментов. Она распространяется в формате safetensors через библиотеку Transformers. Сведения о лицензии и конкретных ограничениях качества или безопасности в предоставленных данных отсутствуют.

unsloth/Llama-3.2-3B-Instruct-GGUF — GGUF-версия инструкционно дообученной языковой модели Llama 3.2 с 3 млрд параметров, разработанной Meta и опубликованной Unsloth. Это авторегрессионная модель на оптимизированной архитектуре Transformer с Grouped-Query Attention (GQA); варианты GGUF доступны в форматах квантования от 2 до 16 бит, что позволяет выбирать баланс между качеством, размером и требованиями к памяти. Модель предназначена для генерации текста и мультиязычного диалога, включая агентский поиск по данным и суммаризацию. Она работает в режиме «текст на входе — текст на выходе» и официально поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Инструкционная версия обучалась с использованием supervised fine-tuning (SFT) и reinforcement learning with human feedback (RLHF) для повышения полезности и безопасности. README не указывает размер контекстного окна и конкретные показатели производительности; модель является статичной и обучена на офлайн-данных. Использование регулируется Llama 3.2 Community License — специальной коммерческой лицензией Meta, а также Acceptable Use Policy. GGUF-квантизация может снизить требования к памяти и упростить локальный запуск, но при меньшей разрядности возможна потеря качества. Модель не является мультимодальной: заявлены только текстовые входы и выходы.

QuantFactory/Llama-3-8B-Instruct-Gradient-1048k-GGUF-v2 — квантованная GGUF-версия модели gradientai/Llama-3-8B-Instruct-Gradient-1048k, созданная QuantFactory с использованием llama.cpp. В основе лежит Meta Llama 3 8B Instruct, дообученная Gradient при спонсорской поддержке вычислительной инфраструктуры Crusoe Energy. Версия v2 использует обновлённые веса исходной модели и дополнительно усиливает диалоговые возможности ассистента. Модель предназначена для генерации текста и кода, диалоговых сценариев и обработки исключительно текстовых входных данных. Её ключевая особенность — расширенный контекст длиной более 1,04 млн токенов вместо стандартных 8 тысяч у базовой Llama 3. Для этого применялись NTK-aware interpolation, оптимизация параметра RoPE theta и прогрессивное обучение на последовательно увеличивающихся длинах контекста. Архитектурно это авторегрессионная модель на основе оптимизированного Transformer с Grouped-Query Attention; размер — 8 млрд параметров. Заявлена поддержка английского языка. Сильная сторона модели — способность работать с очень большими текстовыми контекстами; в README приведены результаты тестов Needle-in-a-Haystack на длинах до 1 040 200 токенов, включая высокую точность на описанных сценариях. Ограничения включают текстовую модальность, зависимость практической производительности от используемой квантовки и аппаратного обеспечения, а также отсутствие подробных сведений о конкретном формате квантования, требованиях к памяти и скорости инференса. Модель распространяется по лицензии Llama 3.

Meta-Llama-3.1-70B-Instruct-FP8 — квантизированная версия языковой модели Meta-Llama-3.1-70B-Instruct, разработанная Neural Magic. Модель предназначена для коммерческого и исследовательского использования, прежде всего для диалоговых ассистентов и генерации текста. Она принимает текст и генерирует текст, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако в документации отдельно указано ограничение на использование неанглийских языков. Модель имеет архитектуру Meta-Llama-3.1 и размер 70B параметров. Веса и активации линейных слоёв внутри трансформерных блоков квантизированы в формат FP8 с симметричной потензорной схемой; квантизация уменьшает объём хранения и требования к GPU-памяти примерно на 50%. Оптимизированная версия сохраняет близкие результаты базовой модели: средний балл OpenLLM составляет 84,29 против 84,40 у неквантизированной версии. Для развёртывания рекомендуется vLLM, включая режим, совместимый с OpenAI API. К ограничениям относятся возможное снижение качества относительно полной точности, отсутствие указанного в README размера контекстного окна и формальное требование соблюдать применимое законодательство. Модель распространяется по лицензии llama3.1; релиз версии 1.0 состоялся 23 июля 2024 года.

QuantFactory/Meta-Llama-3-8B-Instruct-GGUF — это квантованное представление инструкционно настроенной языковой модели Meta Llama 3 с 8 млрд параметров, подготовленное QuantFactory в формате GGUF. Модель предназначена для генерации текста и взаимодействия по инструкциям, включая ответы на вопросы и другие задачи обработки естественного языка. В метаданных указаны английский язык и назначение text-generation. Формат GGUF ориентирован на локальный запуск и совместим с программами, поддерживающими этот формат, однако конкретный тип квантования, требования к памяти, максимальный размер контекста и поддерживаемые аппаратные платформы в предоставленных данных не указаны. Модель является текстовой и не заявлена как мультимодальная. Её сильные стороны — компактный размер по сравнению с более крупными моделями и возможность использования локальных средств инференса; ограничения, точные характеристики производительности и качество на отдельных языках по README не определены. Модель распространяется по лицензии Meta Llama 3 Community License. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Meta Llama 3», сохранение требуемого уведомления об атрибуции и соблюдение применимой политики допустимого использования. Для организаций с более чем 700 млн ежемесячных активных пользователей предусмотрено требование получить отдельную лицензию Meta.

Ministral-3-Instruct-2512-AIO-GGUF — набор квантованных моделей в формате GGUF, опубликованный prithivMLmods на основе семейства Ministral 3 Instruct от Mistral AI. В набор входят варианты на 3B, 8B и 14B параметров, совместимые с llama.cpp и интеграциями через Transformers. Модели предназначены для локального и эффективного запуска на устройствах с ограниченными ресурсами. Это мультимодальные vision-language модели для работы с текстом и изображениями. Они поддерживают анализ изображений, генерацию описаний, понимание документов, извлечение данных, перевод, краткую генерацию контента и агентские сценарии с function calling и JSON-выводом. Заявлено контекстное окно до 256K токенов и поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Архитектура включает языковую модель и vision encoder примерно на 0,4B параметров. Сильные стороны набора — разнообразие размеров и уровней квантования, поддержка мультимодальных задач, многоязычность, следование системным инструкциям и возможность локального развертывания. Компромиссом квантованных вариантов могут быть снижение точности и качества по сравнению с полноразмерными версиями; требования к памяти зависят от размера модели и выбранного формата. Доступ предоставляется по лицензии Apache 2.0.

AMD Qwen3-235B-A22B-Instruct-2507-MXFP4 — текстовая instruction-tuned модель на архитектуре Qwen3MoeForCausalLM, созданная Advanced Micro Devices на базе Qwen/Qwen3-235B-A22B-Instruct-2507. Модель принимает текст и генерирует текст; в карточке указана поддержка английского языка. Обозначение модели относится к классу 235B с разреженной MoE-архитектурой и примерно 22B активных параметров, однако подробные архитектурные характеристики в README не приведены. Модель предназначена для задач генерации и понимания текста, включая диалоговые и инструкционные сценарии, а также развёртывание инференса на ускорителях AMD MI300 и MI350/MI355 под Linux. Она оптимизирована для SGLang и vLLM, использует AMD-Quark 0.11 и статическую квантизацию весов в OCP MXFP4 с динамической квантизацией активаций. В конфигурации оценки применялось максимальное окно 32768 токенов; это значение отражает проверенный сценарий запуска. На GSM8K модель получила 0,897 против 0,909 у исходной модели, что соответствует восстановлению 98,64% исходной точности. Квантизация снижает требования к памяти и ориентирована на эффективный инференс, но может немного ухудшать точность по сравнению с оригиналом. Для работы требуются совместимые AMD-ускорители, ROCm 7.0, PyTorch 2.8.0 и Transformers 4.57.0; поддержка других аппаратных платформ и языков в README не заявлена. Базовая лицензия — Apache-2.0; модификации AMD защищены авторским правом Advanced Micro Devices, Inc.

RedHatAI/Qwen3.5-4B-quantized.w4a16 — квантизированная версия мультимодальной модели Qwen3.5-4B, разработанная RedHatAI на основе базовой модели Qwen/Qwen3.5-4B. Она принимает текст и изображения, а генерирует текст и предназначена для задач диалогового взаимодействия, следования инструкциям, рассуждений и анализа визуального содержимого. Модель использует архитектуру Qwen3.5-4B и оптимизирована для инференса через vLLM. Веса линейных операторов в трансформерных блоках сжаты до INT4, тогда как активации сохраняют исходную точность. Vision encoder, токеновые эмбеддинги и слои linear attention остаются в формате BF16. Размер модели на диске составляет около 5,2 ГБ против 8,8 ГБ у версии BF16, что снижает требования к памяти. В конфигурации vLLM заявлена поддержка контекста до 262 144 токенов; также доступен текстовый режим с отключением визуальной части. Языки модели в README не указаны. К сильным сторонам относятся существенное уменьшение размера и требований к памяти при сохранении близких к исходной модели результатов на ряде тестов, включая GSM8k-Platinum, MMLU-Pro, IFEval и Math 500. Ограничениями являются возможное снижение качества на отдельных задачах рассуждений, заметное на AIME 2025 и GPQA Diamond, а также зависимость от совместимого окружения vLLM и связанных инструментов. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-nvfp4full-NInfer — квантованная версия модели Qwen3.8-27B, подготовленная пользователем cometkim для выполнения в формате NInfer. Артефакт содержит текстовый, визуальный и MTP-компоненты, а также встроенный спекулятивный модуль DFlash2 из модели z-lab/Qwen3.8-27B-DFlash2. Модель предназначена для диалоговых и мультимодальных сценариев, генерации текста, рассуждений и обработки длинного контекста. Основная модель имеет 27 млрд параметров. Значительная часть весов представлена в формате NVFP4, отдельные компоненты используют BF16 и W8G32_F16S. Встроенный DFlash2-драфтер имеет 2 млрд параметров, пять слоёв и скользящее окно 2048 токенов. Размер единого файла артефакта составляет около 18,07 GiB. В README не указаны точный список поддерживаемых языков и максимальная длина контекста. К преимуществам относятся уменьшенный размер весов, единый файл с основной моделью и DFlash2-драфтером, а также поддержка спекулятивного декодирования. В приведённых проверках модель получила точность 87,88% на GPQA-Diamond, 93,33% на AIME 2026 и 67,41% на LongBench v2; эти результаты относятся к указанным условиям оценки. К ограничениям относятся зависимость от движка NInfer v3 и соответствующей аппаратной и программной конфигурации, а также невозможность использовать артефакт напрямую в Transformers, Safetensors или GGUF. Лицензия — Apache 2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная модель на базе Qwen3.8-27B, разработанная HauhauCS и распространяемая в формате GGUF. Она предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео, а также задач с длинным контекстом. Aggressive-профиль ориентирован на прямые ответы без выраженного поведения отказа и с минимальным вступлением в сложных запросах. Модель представляет собой плотную языковую модель на 27 млрд параметров с vision encoder: 64 слоями, скрытым размером 5120, размером FFN 17408, словарём на 248 320 токенов, 48 слоями Gated DeltaNet и 16 слоями gated attention. Поддерживаются английский, китайский и другие языки. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. В текстовых GGUF сохранён встроенный MTP/NextN, а отдельный профиль HauhauCS FastMTP 32K предназначен для ускорения генерации; для обработки изображений и видео требуется отдельный BF16 vision projector. Сильными сторонами являются мультимодальность, большой контекст, широкий набор квантованных вариантов и потенциальное ускорение за счёт MTP. Ограничения включают необходимость значительных аппаратных ресурсов для моделей размером до 31,46 ГБ, зависимость мультимодального ввода от отдельного проектора и возможное снижение надёжности в критически важных длинноконтекстных агентских сценариях из-за Aggressive-профиля. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-OptiQ-4bit — это квантизированная версия reasoning-модели семейства Qwen3.8, разработанная сообществом mlx-community на базе orcarouter/Qwen3.8-27B-Uncensored. Модель предназначена для генерации текста, рассуждений, работы с длинным контекстом, function calling, tool use и агентских сценариев. В карточке указана поддержка английского языка. Модель содержит 27 млрд параметров и использует смешанную квантизацию OptiQ с точностью 4 и 8 бит на уровне отдельных компонентов: 237 компонентов представлены в 4-битном формате, 261 — в 8-битном. Размер модели на диске составляет около 19 ГБ, group size — 64. В ней сохранена MTP-голова для speculative decoding, которая может ускорять генерацию при использовании совместимого сервера. Модель оптимизирована для локального запуска на Apple Silicon через MLX без PyTorch и облачных сервисов. Сильными сторонами являются сочетание сниженного потребления памяти, reasoning-возможностей, поддержки инструментов и потенциально более быстрой генерации благодаря MTP. Ограничения включают необходимость экосистемы MLX и Apple Silicon, а также специального пакета mlx-optiq для загрузки архитектуры и MTP-компонента. README не указывает точный размер контекстного окна, подробные результаты тестирования или дополнительные языки. Модель распространяется по лицензии Apache-2.0.

Карточка модели Jackrong/Qwopus-GLM-18B-Healed на Hugging Face совпадает с карточкой KyleHessling1/Qwopus-GLM-18B-Healed, поэтому описание составлено по ней. Qwopus-GLM-18B-Healed — плотная языковая модель примерно на 18 млрд параметров, собранная Kyle Hessling как 64-слойное слияние двух дообученных моделей Qwen3.5-9B от Jackrong. Первые 32 слоя взяты из Jackrong/Qwopus3.5-9B-v3.5, остальные — из Jackrong/Qwen3.5-9B-GLM5.1-Distill-v1; границу между частями сгладили 1000 шагами QLoRA-дообучения. В репозитории размещены исходные веса BF16 в формате safetensors для дальнейшей квантизации или дообучения. Модель предназначена для генерации текста в диалоге, рассуждений, вызова инструментов и агентных сценариев. Автор сообщает о результатах на собственной серии из 44 тестов, включая проверки вызова инструментов и агентных задач; это заявление автора, а не независимая оценка. Метаданные указывают поддержку английского, китайского, корейского, японского, французского, немецкого и испанского языков. Лицензия — Apache-2.0. Для запуска и квантизации требуются подходящие вычислительные ресурсы; готовая квантизированная версия размещена отдельно.

Aya-Expanse-32B — открытая по весам мультиязычная языковая модель, разработанная Cohere For AI. Она предназначена для диалогов и генерации текста на 23 языках, включая русский, а также поддерживает интерфейс вызова инструментов. Модель построена на авторегрессионной архитектуре Transformer семейства Cohere и содержит 32,3 млрд параметров. В метаданных Hugging Face указан контекст 8192 токена; в README заявлено 128K, поэтому длина контекста в источниках расходится. В README также описаны дообучение с учителем, обучение на предпочтениях, настройка безопасности и слияние моделей. Модель подходит для многоязычных диалогов, ответов на вопросы, написания и преобразования текста. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование; также требуется соблюдать политику допустимого использования Cohere For AI.