I.6Перевод и языковая адаптация

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-AWQ-MTP — это 4-битная AWQ-квантизованная версия модели HauhauCS/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF, опубликованная twolven. Модель предназначена для генерации текста, рассуждений, работы с изображениями и вызова инструментов; поддерживает speculative decoding через встроенную NextN/MTP draft head при использовании vLLM. В карточке указан английский язык и мультимодальный режим image-text-to-text. Модель содержит около 27 млрд параметров и использует гибридную архитектуру Qwen3.5: 64 декодерных слоя, включая 48 слоёв с линейным вниманием Qwen3_5GatedDeltaNet и 16 слоёв с полным вниманием, а также 27-слойную vision tower. Основные линейные слои квантизованы в формате W4A16 с размером группы 128 и асимметричным квантованием; vision tower, lm_head, MTP head и отдельные компоненты сохранены в bf16. Размер модели на диске составляет около 19 ГБ. Проверки показали связное поведение, арифметическое рассуждение, распознавание форм и цветов на изображениях, работу tool calling и извлечение данных из контекстов до 229 200 токенов. К сильным сторонам относятся мультимодальность, сохранённая поддержка MTP для ускорения генерации, совместимость с vLLM, инструментами и длинным контекстом, а также отсутствие отказов в заявленных тестах uncensored-профиля. Главное ограничение — модель восстановлена из GGUF-квантизации Q8_K_P, а затем повторно квантизована до 4 бит, поэтому накопленная ошибка выше, чем у сборки, созданной непосредственно из исходных BF16-весов. Производительность MTP зависит от характера запроса и может различаться примерно на 30%; единое значение скорости генерации не приводится. Лицензия — Apache-2.0.

Qwen3-VL-2B-Instruct-GGUF — это мультимодальная модель семейства Qwen, разработанная командой Qwen. Репозиторий содержит веса модели Qwen3-VL-2B-Instruct в формате GGUF: языковой компонент доступен в вариантах FP16, Q8_0 и Q4_K_M, а vision encoder — в FP16 и Q8_0. Модель предназначена для запуска через llama.cpp, Ollama и другие инструменты, совместимые с GGUF, на CPU, NVIDIA GPU, Apple Silicon и Intel GPU. Модель работает с текстом и изображениями, а семейство Qwen3-VL также ориентировано на понимание видео. Она предназначена для визуального вопросно-ответного взаимодействия, распознавания и анализа изображений, OCR, пространственного рассуждения, мультимодального reasoning, генерации кода и сценариев visual agent, включая взаимодействие с графическими интерфейсами и инструментами. Заявлены контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона, поддержка OCR на 32 языках, улучшенное понимание пространственных отношений, видео и документов. К ключевым архитектурным особенностям относятся Interleaved-MRoPE для временных и пространственных представлений, DeepStack для объединения признаков разных уровней vision encoder и выравнивание текста с временными метками для анализа видео. Сильными сторонами являются сочетание компактного размера, мультимодальности, вариантов квантования и возможности локального запуска, однако README не содержит подробных численных результатов бенчмарков, полного перечня языков, точных требований к памяти и детального описания ограничений качества. Распространение модели выполняется по лицензии Apache-2.0.

unsloth/Qwen3-VL-32B-Instruct — репозиторий весов мультимодальной модели Qwen3-VL, опубликованный Unsloth на основе Qwen/Qwen3-VL-32B-Instruct. Это плотная модель на 32 млрд параметров для диалога по тексту и изображениям; поддерживает визуальное понимание, OCR, рассуждения о пространстве и видео, а также интерфейс взаимодействия с инструментами. Модель рассчитана на анализ документов и сцен, распознавание элементов графического интерфейса, ответы на вопросы по визуальным материалам и генерацию кода или разметки по изображениям и видео. README указывает контекст 256 тысяч токенов с возможностью расширения до 1 млн и OCR на 32 языках. Репозиторий содержит веса safetensors и исправления шаблона чата Unsloth. Лицензия — Apache-2.0. README не приводит отдельные результаты тестирования этой конкретной сборки, поэтому заявления о превосходстве квантованных вариантов не подтверждают качество данного репозитория. Для запуска с llama.cpp README рекомендует параметр --jinja.

Rombos-LLM-V2.6-Nemotron-70b — текстовая генеративная модель на архитектуре Llama, опубликованная разработчиком rombodawg. По README, это результат последнего этапа непрерывного дообучения модели Nemotron-70B от NVIDIA; метаданные также указывают на слияние моделей Llama 3.1 70B Base, Llama 3.1 70B Instruct и Nemotron-70B-Instruct. Модель содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Весовые файлы представлены в формате safetensors. Лицензия — Llama 3.1; условия её использования определяются этой лицензией.

AI21 Jamba 1.5 Mini — языковая модель общего назначения от AI21, построенная на гибридной архитектуре Jamba, сочетающей Transformer и Mamba (SSM), с механизмом Mixture of Experts. В README указаны 12 млрд активных и 52 млрд общих параметров и контекст до 256 тыс. токенов. Модель предназначена для диалогов и следования инструкциям, включая генерацию текста, работу с длинными документами, структурированный вывод в JSON, вызов инструментов и генерацию ответов с опорой на предоставленный контекст. Модель поддерживает английский, испанский, французский, португальский, итальянский, нидерландский, немецкий, арабский и иврит; основной язык не выделен. В карточке заявлены высокая скорость вывода и эффективная работа с длинным контекстом. Для запуска нужны совместимые CUDA-ускорители и оптимизированные реализации Mamba; в FP16/BF16 Mini не помещается на одну GPU с 80 ГБ памяти, а режим ExpertsInt8 позволяет развернуть её на такой GPU. Модель распространяется по Jamba Open Model License, допускающей исследования и коммерческое использование на её условиях. README предупреждает, что эта версия подлежит устареванию с 6 мая 2024 года.

mrcuddle/arcee-fusion-lumaid-12B — объединённая языковая модель на архитектуре Mistral, созданная с помощью mergekit и метода Arcee Fusion. В качестве базовой модели использована mistralai/Mistral-Nemo-Instruct-2407; в объединение также вошла NeverSleep/Lumimaid-v0.2-12B. Модель содержит 12,1 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалога и генерации текста по инструкциям. Её можно применять для ответов на вопросы, написания и редактирования текстов, а также сценариев с интерфейсом вызова инструментов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. В метаданных и README не приведены результаты оценки качества или условия лицензии, поэтому пригодность для конкретных задач и правомерность использования следует проверять по исходным карточкам обеих базовых моделей и условиям публикации этой модели.

Карточка модели muhamad-geosurge/invert-polarity-8646eeb3-047b-4a8b-82df-b3920969d4ed на Hugging Face совпадает с карточкой google/gemma-3-12b-it, поэтому описание составлено по ней. Gemma 3 12B IT — мультимодальная модель с открытыми весами от Google, дообученная для следования инструкциям на основе google/gemma-3-12b-pt. Она принимает текст и изображения и генерирует текст; относится к семейству Gemma 3 и доступна в формате safetensors для Transformers. Модель предназначена для диалоговых приложений, ответов на вопросы и задач понимания изображений, а также для создания и обобщения текста. Контекстное окно — до 128 тысяч токенов, поддерживается более 140 языков. Размер модели — 12 млрд параметров. Модель подходит для извлечения сведений из изображений, составления черновиков, суммаризации и исследовательских задач. Google отмечает, что ответы могут содержать фактические ошибки, отражать предвзятость обучающих данных и хуже справляться со сложными открытыми запросами, языковыми нюансами и задачами, требующими здравого смысла. Лицензия — Gemma; при использовании следует соблюдать условия лицензии и политику запрещённого использования Gemma.

Kanana 1.5 2.1B Instruct — языковая модель компании Kakao, выпущенная в мае 2025 года. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, примерно 1,9 млрд параметров и контекстом до 32 768 токенов. Веса доступны в формате Safetensors, лицензия — Apache 2.0. Модель предназначена для диалогов и генерации текста, включая задачи программирования, математики и вызова функций. Она подходит для ответов на вопросы, помощи с кодом, решения математических задач и продолжительных бесед; README отмечает улучшения в этих возможностях по сравнению с предыдущей версией семейства. Модель поддерживает английский и корейский языки; интерфейс вызова функций указан среди её возможностей. Для контекста длиннее 32K токенов README описывает расширение до 128K с помощью YaRN. Качество на конкретных задачах зависит от запроса и сценария; количественные результаты оценки в предоставленной карточке опущены. Kakao указывает, что пользовательские данные Kakao не использовались для предобучения или последующего обучения.

AMD Llama-3.1-405B-Instruct-FP8-KV — это FP8-квантизированная версия инструкционной модели Meta-Llama-3.1-405B-Instruct, подготовленная компанией Advanced Micro Devices с использованием инструмента Quark и калибровочных образцов из набора данных Pile. Модель предназначена для генерации текста и выполнения инструкций в сценариях, где требуется развертывание крупной языковой модели с оптимизированным использованием памяти и вычислительных ресурсов. README не содержит дополнительных сведений о поддерживаемых языках, длине контекста и исходной архитектуре базовой модели. Квантизации подвергнуты все линейные слои, кроме lm_head; веса, активации и KV-кэш представлены в формате FP8 с симметричным масштабированием per-tensor. Экспорт выполняется в формате Quark safetensors, а развертывание возможно через совместимый с vLLM backend. По данным оценки на wikitext2, perplexity увеличилась с 1,8561 у исходной модели до 1,8951 у квантизированной версии; при этом результаты получены в режиме псевдоквантизации и могут отличаться от точности реального инференса. Для работы требуется Quark, а из-за размера модели может понадобиться мног GPU-развертывание. Лицензия указана как llama3.1; модификации распространяются с авторскими правами Advanced Micro Devices, Inc. за 2024 год.

MiMo-V2-Flash-Base — базовая языковая модель Xiaomi для генерации текста, рассуждений и агентных сценариев. Карточка описывает семейство Mixture-of-Experts с гибридным вниманием, сочетающим локальные окна и глобальное внимание, а также механизмом Multi-Token Prediction для ускорения генерации. В README семейства указаны 309 млрд параметров всего и 15 млрд активных; метаданные этого репозитория указывают 12B параметров и формат safetensors FP8, поэтому размер в каталоге может отражать иной способ подсчёта или вариант весов. Модель рассчитана на длинные контексты до 256 тыс. токенов и задачи генерации текста, сложного рассуждения и работы в агентных процессах. Метаданные также отмечают разговорный режим и интерфейс вызова инструментов. README приводит результаты базовой и постобученной версий семейства, но не позволяет однозначно приписать все заявленные возможности именно этому базовому чекпойнту. Модель создана Xiaomi и распространяется по лицензии MIT. Заявленные характеристики ориентированы на эффективный инференс и работу с длинными контекстами; фактическая скорость и качество зависят от оборудования и используемой конфигурации.

Qwen2.5-7B-Instruct-20241204-114939 — дообученная компанией или автором qfq диалоговая языковая модель на архитектуре Qwen2 плотного типа с 7,1 млрд параметров. Она предназначена для генерации текста и ответов в формате диалога; также поддерживает интерфейс вызова инструментов. В карточке указана оценка Loss 0,3328 на наборе для оценки, но сам набор данных и подробности обучения не описаны. Модель принимает текст и генерирует текст. Контекстное окно составляет 32 768 токенов. Модель опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. README не приводит конкретных специализаций или ограничений, поэтому пригодность для узких задач и качество ответов следует оценивать отдельно.

DazzlingShadow публикует вариант Qwen3.5-122B-A10B с изменённым профилем отказов (abliteration). В приведённом сравнении частота отказов снизилась с 88 до 16 из 100 запросов при KL-дивергенции 0,0233 относительно исходной модели. Это мультимодальная модель для диалога, генерации текста и понимания изображений; карточка описывает её как причинную языковую модель с визуальным энкодером и разреженной архитектурой Mixture-of-Experts с Gated Delta Networks. Всего 122 млрд параметров, активируется 10 млрд; контекстное окно — 262 144 токена с возможностью расширения до 1 010 000. Исходная модель заявляет поддержку 201 языка и диалекта, однако карточка не уточняет, какие языки сохраняются в этом производном варианте. Модель доступна в формате Safetensors и предназначена для Transformers и совместимых серверов инференса. Лицензия — Apache-2.0. Снижение отказов не гарантирует их полного отсутствия; производительность и совместимость зависят от используемого фреймворка и ресурсов.

Qwen3.5-35B-A3B-uncensored-heretic — мультимодальная диалоговая модель llmfan46 на базе Qwen3.5-35B-A3B. Автор сообщает, что применил abliteration для снижения отказов: в приведённом тесте модель отказала в 11 случаях из 100 против 92 у исходной модели. Это не означает, что модель гарантированно отвечает на любые запросы или сохраняет исходное качество во всех задачах. Модель принимает текст и изображения и генерирует текст; поддерживает диалог, визуальный анализ и агентные сценарии с вызовом инструментов. Архитектура сочетает разреженную Mixture of Experts и Gated Delta Networks: 35 млрд параметров всего, около 3 млрд активных; заявленный контекст — 262 144 токена с возможностью расширения до 1 010 000. README указывает широкую языковую поддержку семейства Qwen3.5, но конкретные языки этой сборки не перечисляет. Модель распространяется в формате safetensors для Transformers; README также ссылается на отдельную GGUF-сборку. Лицензия — Apache-2.0. Указанный автором тест KL-дивергенции и сравнение отказов не заменяют независимую оценку качества; снижение отказов может сопровождаться ослаблением защитных ограничений.

Qwen3-R1-SLERP-Q3T-8B — плотная языковая модель на архитектуре Qwen3, созданная автором lemon07r слиянием методом SLERP двух моделей: deepseek-ai/DeepSeek-R1-0528-Qwen3-8B и Qwen/Qwen3-8B. Веса содержат около 7,6 млрд параметров; модель использует токенизатор Qwen и принимает текст для генерации текста в диалоговом режиме. Родительские модели объединены в пропорции 50/50. Модель предназначена для диалогов, написания текстов и решения задач на рассуждение; в README автор приводит сравнительные тесты на задачах LocalAIME и отмечает хорошие результаты слияния. Метаданные также указывают интерфейс для вызова инструментов. Контекст составляет 40 960 токенов. Репозиторий содержит веса Safetensors; README отдельно упоминает статические GGUF-квантизации Q4_K_S и Q8_0. Лицензия в предоставленных данных не указана.

Qwen3-VL-2B-Thinking-GGUF — мультимодальная vision-language модель серии Qwen3-VL, разработанная командой Qwen. Данный вариант подготовлен Unsloth в формате GGUF и предназначен для локального запуска и эффективного инференса в совместимых средах, включая llama.cpp. Модель рассчитана на анализ изображений, текста и видео, генерацию ответов с усиленным рассуждением, решение STEM- и математических задач, распознавание текста и структур документов, пространственный анализ, понимание временной динамики видео, а также взаимодействие с графическими интерфейсами и инструментами. Заявлены возможности визуального программирования по изображениям и видео, включая генерацию Draw.io, HTML, CSS и JavaScript. Размер модели составляет 2B параметров. Она использует мультимодальную архитектуру Qwen3-VL с механизмами Interleaved-MRoPE, DeepStack и выравниванием текста с временными метками. Заявлена длина контекста 256K токенов с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. Модель ориентирована на сочетание визуального восприятия, текстового понимания и рассуждений, но README не содержит подробных числовых результатов тестирования или информации о конкретных ограничениях качества. Лицензия — Apache 2.0. Для запуска в llama.cpp рекомендуется использовать параметр --jinja из-за исправлений шаблона чата Unsloth.

TheBloke/SOLAR-10.7B-Instruct-v1.0-AWQ — это квантизированная версия инструкционной языковой модели Solar 10.7B Instruct v1.0, разработанной upstage. Репозиторий содержит файлы модели в формате AWQ для эффективного запуска генерации текста на совместимом оборудовании. Модель предназначена для диалоговых сценариев и выполнения задач по текстовым инструкциям; рекомендуемый шаблон промпта использует роли User и Assistant. Модель имеет размер 10,7 млрд параметров и представлена в 4-битной AWQ-квантизации с group size 128, максимальной длиной последовательности 4096 токенов и размером файлов около 5,96 ГБ. Квантизацию выполнил TheBloke; модель распространяется в виде шардированных файлов safetensors. AWQ обеспечивает более низкое потребление памяти и высокую скорость инференса при сопоставимом с распространёнными настройками GPTQ качестве. Модель подходит для локального и серверного GPU-инференса через AutoAWQ, vLLM, Text Generation Inference или Transformers. Основное ограничение — поддержка AWQ в README указана для Linux и Windows с видеокартами NVIDIA; для macOS рекомендованы модели в формате GGUF. Языки и мультимодальные возможности отдельно не указаны. Лицензия — Apache 2.0.

Citaman/command-r-16-layer — текстовая генеративная модель, созданная Citaman с помощью mergekit. В README описано объединение SLERP весов Citaman/command-r-17-layer, а конфигурация использует срезы слоёв 0–16 и 1–17; метаданные каталога классифицируют модель как дообучение указанной базовой модели. Модель основана на плотной архитектуре CohereForCausalLM и содержит 15,3 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Она принимает текст и выдаёт текст. Контекстное окно составляет 8192 токена. Репозиторий распространяет веса в формате safetensors, библиотека — Transformers. Лицензия в предоставленных данных не указана.

NVIDIA DeepSeek-V3-0324-NVFP4 — квантизованная FP4-версия авторегрессионной языковой модели DeepSeek V3-0324, подготовленная NVIDIA с помощью TensorRT Model Optimizer. Это сторонняя сборка по требованиям NVIDIA, а исходную модель разработала DeepSeek AI. Модель принимает текст и генерирует текст; поддерживает диалог и интерфейс вызова инструментов. В метаданных указан размер 37,6 млрд параметров и контекст до 163 840 токенов. Модель предназначена для развёртывания в системах AI-агентов, чат-ботах, RAG и других приложениях на базе генеративного ИИ. Квантизация весов и активаций линейных операторов до FP4 сокращает требования к диску и памяти GPU примерно в 1,6 раза. Для указанного в README сценария развёртывания нужны TensorRT-LLM и восемь GPU NVIDIA B200; заявлена совместимость с Linux. README сообщает о готовности к коммерческому и некоммерческому использованию, а метаданные указывают лицензию MIT.

EXAONE-Deep-7.8B — плотная языковая модель для рассуждений, разработанная LG AI Research. Она предназначена для генерации ответов и решения задач на рассуждение, включая математику и программирование; поддерживает диалоговый режим. Модель дообучена на EXAONE-3.5-7.8B-Instruct и содержит 7,4 млрд параметров. Архитектура — ExaoneForCausalLM с 32 слоями и групповым запросом внимания (32 Q-головы и 8 KV-голов); длина контекста — 32 768 токенов. Модель рассчитана прежде всего на английский и корейский языки. Для запуска рекомендуются Transformers версии 4.43.1 или новее; также перечислены TensorRT-LLM, vLLM, SGLang, llama.cpp, Ollama и LM Studio. В репозитории доступны веса Safetensors. Лицензия обозначена как other, поэтому условия использования следует проверять в самой карточке и сопутствующей документации. Модель может выдавать неточные, устаревшие, предвзятые или неподходящие ответы; результаты требуют проверки.

Карточка модели OpenLLM-Korea/EXAONE-Deep-7.8B на Hugging Face совпадает с карточкой LGAI-EXAONE/EXAONE-Deep-7.8B, поэтому описание составлено по ней. EXAONE-Deep-7.8B — плотная языковая модель для рассуждений, разработанная LG AI Research. Она предназначена для генерации ответов и решения задач на рассуждение, включая математику и программирование; поддерживает диалоговый режим. Модель дообучена на EXAONE-3.5-7.8B-Instruct и содержит 7,4 млрд параметров. Архитектура — ExaoneForCausalLM с 32 слоями и групповым запросом внимания (32 Q-головы и 8 KV-голов); длина контекста — 32 768 токенов. Модель рассчитана прежде всего на английский и корейский языки. Для запуска рекомендуются Transformers версии 4.43.1 или новее; также перечислены TensorRT-LLM, vLLM, SGLang, llama.cpp, Ollama и LM Studio. В репозитории доступны веса Safetensors. Лицензия обозначена как other, поэтому условия использования следует проверять в самой карточке и сопутствующей документации. Модель может выдавать неточные, устаревшие, предвзятые или неподходящие ответы; результаты требуют проверки.

Gemini 3.1 Flash Lite — мультимодальная модель Google общего назначения, предназначенная для рабочих нагрузок с низкой задержкой и большим объёмом запросов. Она принимает текст, изображения, видео, аудио и PDF-документы и рассчитана на лёгкие агентные сценарии. Доступный фрагмент карточки не содержит сведений об архитектуре, размере модели, длине контекста и лицензии.

harkov000/hermes-dolphin-8B-v0.2 — объединённая языковая модель на архитектуре Llama, созданная с помощью mergekit методом SLERP из cognitivecomputations/dolphin-2.9.4-llama3.1-8b и NousResearch/Hermes-3-Llama-3.1-8B. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям; метаданные также отмечают интерфейс вызова инструментов. Она принимает текст и генерирует текст. В карточке указана лицензия? Нет сведений о лицензии, поэтому условия использования определить нельзя.

Карточка модели Openintelligent123/Llama-3.2-1B на Hugging Face совпадает с карточкой unsloth/Llama-3.2-1B, поэтому описание составлено по ней. unsloth/Llama-3.2-1B — текстовая модель генерации на базе Meta Llama 3.2, представленная Unsloth. Это плотная авторегрессионная трансформерная архитектура Llama с 1,2 млрд параметров; репозиторий содержит веса в формате safetensors и предназначен для использования через Transformers. В README Unsloth также предлагает ноутбуки для дообучения модели и экспорта полученных моделей. Модель принимает текст и генерирует текст. Семейство Llama 3.2 предназначено для генерации и диалога; в карточке указаны сценарии суммаризации и агентного поиска, а также поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Контекстное окно составляет 131072 токена. Модель опубликована 25 сентября 2024 года и распространяется по лицензии Llama 3.2 Community License, условия которой следует соблюдать при использовании и распространении.

MiniCPM-V 4.5 — мультимодальная модель OpenBMB для диалога и понимания изображений, нескольких изображений и видео. По README, её языковая часть основана на Qwen3-8B, а визуальная — на SigLIP2-400M; архитектура включает единый 3D-ресэмплер для сжатия видеокадров. В метаданных указано 7,6 млрд параметров, библиотека Transformers и контекст 40 960 токенов. Модель предназначена для описания и анализа изображений и видео, распознавания текста, разбора документов и визуальных вопросов и ответов. README заявляет поддержку более 30 языков, обработку изображений высокого разрешения до 1,8 млн пикселей и видео с частотой до 10 кадров в секунду. Доступны переключаемые режимы быстрого и углублённого рассуждения; разработчики также отмечают поддержку локального запуска и интерфейса вызова инструментов. Возможности и показатели качества в README основаны на оценках разработчиков и бенчмарках; фактическое качество зависит от сценария и оборудования. Модель выпущена под лицензией Apache-2.0.

Mistral-7B-Instruct-v0.3 — плотная языковая модель Mistral AI на 7,1 млрд параметров, дообученная следовать инструкциям на базе Mistral-7B-v0.3. Она предназначена для диалогов, генерации текста по запросам и вызова функций. Модель поддерживает контекст до 32 768 токенов, использует токенизатор v3 и расширенный словарь из 32 768 токенов; для работы доступны веса в формате safetensors. Модель подходит для чат-ботов, ответов на вопросы и выполнения инструкций в приложениях, использующих генерацию текста. Карточка не указывает конкретные языки обучения или поддержки. В README отмечено, что у модели нет встроенных механизмов модерации, а сам чекпойнт предоставлен «как есть» и может быть неактуальным. Лицензия — Apache-2.0.

btbtyler09/Qwen3.6-35B-A3B-GPTQ-8bit — это 8-битная GPTQ-квантизованная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для работы с текстом и изображениями, включая понимание изображений, генерацию текста, рассуждения, вызов инструментов и поддержку speculative decoding через модуль MTP. README не указывает конкретный список поддерживаемых языков. Модель использует архитектуру Mixture-of-Experts с примерно 35 млрд параметров, из которых около 3 млрд активируются для каждого токена. В каждом из 40 слоёв используется 256 экспертов и один общий эксперт; на токен выбираются 8 экспертов. Архитектура сочетает 30 слоёв линейного внимания и 10 слоёв полного внимания. Контекстное окно составляет до 262 144 токенов. В состав входят полноразмерный vision encoder на базе ViT с 27 блоками и модуль MTP; vision encoder и MTP сохранены в BF16, а экспертные модули квантизованы в INT8. Ключевое преимущество версии — существенное уменьшение размера примерно с 67 до 40 ГБ при практически незаметном ухудшении perplexity относительно исходной BF16-модели. При этом для запуска требуется значительный объём видеопамяти и, согласно README, рекомендуется использовать vLLM с распределением модели минимум на несколько GPU. GPTQModel и transformers на момент публикации не поддерживают непосредственную загрузку этой мультимодальной сборки, поэтому для инференса следует использовать vLLM; также возможна необходимость исправления ошибки совместимости в некоторых версиях vLLM. Модель распространяется по лицензии Apache-2.0.

TheDrainFlorist/Qwen3.6-35B-A3B-VQ-4.6bpw — векторно-квантизированная версия модели Qwen3.6-35B-A3B от Qwen, адаптированная для Apple Silicon и экосистемы MLX. Модель предназначена для генерации текста и работы с изображениями; текстовый режим поддерживается через mlx-lm, а мультимодальный — через mlx-vlm. В метаданных указан английский язык. Архитектура включает MoE с 35 млрд параметров и 256 экспертами; точный размер контекста в README не указан. Размер сборки составляет около 18,7 GiB вместе с vision tower, поэтому она рассчитана на запуск на Mac с 32 ГБ памяти. По приведённым измерениям, на корпусах WikiText и кода перплексия близка к исходной версии bf16: 0,991x и 1,004x соответственно, при этом сборка значительно компактнее bf16 и показывает лучшие результаты, чем распространённая 4-битная версия. К ограничениям относятся зависимость от поддержки ключа model_file в загрузчике и необходимость mlx-vlm версии не ниже 0.6.16 для изображений; качество и показатели могут зависеть от корпуса и конкретного сценария. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется использовать актуальные версии mlx-lm и mlx-vlm; README также указывает совместимость с exo. Это квантизированная сборка, поэтому показатели совпадения токенов с bf16 ниже, чем у 8-битной версии, несмотря на близкую перплексию.

Qwen3.8-27B-Della-Carnice-Ostrich-Salience-Glimmer-v5 — 基于 Qwen/Qwen3.8-27B 构建的 270 亿参数稠密多模态模型，由 YFC-112358 通过 della_linear 方法融合多个模型得到。模型面向对话，可接收文本和图像并生成文本；元数据还标注了工具调用接口和视觉能力。模型权重以 safetensors 格式发布，使用 Transformers 加载。 该版本采用单阶段融合，合并了 Ostrich、Carnice、Salience 等模型及一个 Glimmer 版本；README 说明 tokenizer 和配置沿用 Qwen/Qwen3.8-27B。融合过程使用 fp32 计算并以 bf16 保存，README также описывает разреживание по блокам строк и особенности весовых коэффициентов, которые могут влиять на итоговый вклад источников. Лицензия в предоставленных данных не указана.

Chungulus/Qwen3.8-27B-Q4_K_M-GGUF — это неизменённая vanilla-квантизация базовой модели Qwen/Qwen3.8-27B в формате GGUF. Репозиторий подготовлен Chungulus и содержит основной файл модели с квантизацией Q4_K_M, а также отдельный vision projector в формате F16. Это не дообученная, не объединённая и не изменённая с точки зрения шаблона чата модель. Модель предназначена для генерации текста, работы с изображениями и видео, а также вызова инструментов через нативный формат Qwen. Сохранены механизмы управления рассуждениями, включая enable_thinking, reasoning_effort и preserve_thinking. Архитектура включает гибридную структуру Gated DeltaNet и полноразмерного внимания, зрительную башню и проектор; заявленный размер базовой модели — 27 млрд параметров. Поддерживаемые языки и максимальная длина контекста в README не указаны. Преимущества модели — подтверждённая работоспособность генерации текста, vision- и video-сценариев, tool calling и совместимость с llama.cpp при наличии соответствующей поддержки архитектуры. Квантизация уменьшает требования к памяти, однако может снижать качество, особенно по сравнению с полной точностью. Для запуска рекомендуется иметь примерно 21 ГБ доступной памяти, причём KV-кэш дополнительно увеличивает расход памяти в зависимости от контекста. Максимальный контекст README не подтверждает тестированием. Модель и её квантизация распространяются по лицензии Apache-2.0.

navispace/Qwen3.8-27B-W8A16-GPTQ — квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для задач генерации текста и работы с изображениями и текстом; в карточке она классифицирована как image-text-to-text. Эта сборка использует 8-битное квантизирование весов W8A16 в формате GPTQ с группами размера 32, тогда как активации выполняются в FP16. Размер весов уменьшен примерно с 51,7 до 31,2 GiB, что позволяет разместить модель на двух видеокартах по 24 ГБ с дополнительной памятью под KV-кэш. Квантизирование выполнено методом round-to-nearest без калибровочного набора данных, с симметричным масштабированием по группам и поиском оптимального коэффициента уменьшения масштаба. Квантизированы основные проекции MLP, attention и linear attention; vision tower, embeddings, lm_head, нормализации и ряд компонентов оставлены в BF16. Заявленная относительная ошибка восстановления весов составляет в среднем 0,567%. Базовый контекст модели составляет 262 144 токена, а с расширением YaRN в указанной конфигурации может достигать 524 288 токенов. Языки в README не указаны. Сильными сторонами являются существенное снижение требований к памяти, поддержка длинного контекста и совместимость с vLLM, включая сценарии на AMD Radeon RX 7900 XTX под ROCm. Ограничения включают необходимость FP16-активаций для INT8-ядер Exllama на ROCm, потенциальную нестабильность FP16 на длинных генерациях и отсутствие сравнительных бенчмарков с исходными BF16-весами. Лицензия — Apache-2.0.