I.6Перевод и языковая адаптация

Qwen3-4B-Instruct-2507-AWQ-4bit — это 4-битная AWQ-квантизованная версия причинной языковой модели Qwen3-4B-Instruct-2507. Базовую модель разработала команда Qwen, а данную квантизованную сборку опубликовал пользователь cyankiwi. Квантизация выполнена с использованием llm-compressor, схемы W4A16_ASYM для линейных слоёв и набора данных Llama-Nemotron-Post-Training-Dataset; слой lm_head не квантизовался. Модель предназначена для генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, научных задач, программирования, вызова инструментов и агентских сценариев. Она работает только в non-thinking mode и не формирует блоки <think></think>. Заявлены улучшенные многоязычные возможности и поддержка контекста длиной до 262 144 токенов, однако конкретный перечень языков не указан. Архитектура включает 4,0 млрд параметров, 36 слоёв и Grouped Query Attention с 32 головами для Q и 8 для KV; число параметров без эмбеддингов — 3,6 млрд. Квантизация снижает требования к памяти и может упростить локальное развертывание, но способна влиять на качество по сравнению с полной точностью. В README не приведены точные аппаратные требования и детальное описание ограничений квантизованной версии. Лицензия — Apache-2.0.

Qwen3.8-27B-heretic-ara-fp8 — мультимодальная модель на базе Qwen3.8-27B, разработанная Qwen Team и преобразованная в производный checkpoint проектом Heretic с использованием метода Arbitrary-Rank Ablation (ARA). FP8-квантизацию, проверку и публикацию выполнил magiccodingman. Квантизация не включает дополнительное дообучение, слияние моделей или новую abliteration; поведение унаследовано от upstream-модели heretic-org/Qwen3.8-27B. Модель предназначена для работы с текстом и изображениями, а конфигурация репозитория также содержит процессор для изображений и видео. Она может применяться в задачах программирования, математики, науки, генерации структурированных данных, SQL, многоязычного текста, работы с инструментами и инженерии вывода. Точный набор поддерживаемых языков, архитектурные детали, размер контекста и результаты исходных бенчмарков в данном README не приведены. Модель содержит около 27 миллиардов параметров; веса представлены в формате FP8 E4M3 с блочной гранулярностью масштабирования 128×128, а объём тензорных данных составляет около 30,87 ГБ. К сильным сторонам относятся существенное снижение размера весов по сравнению с BF16 и близость поведения к исходной BF16-модели: при проверке средняя дивергенция KL составила 0,00315279, а совпадение наиболее вероятного токена — 96,5517%. Однако поддержка нативных FP8-ядер и FP8 KV-cache зависит от ускорителя, backend и версии программного обеспечения; при отсутствии совместимой реализации веса могут быть деквантизированы. Модель наследует ограничения исходного checkpoint и намеренно сниженное поведение отказа, поэтому требует самостоятельной проверки, защитных мер и контроля безопасности. Лицензия — Apache License 2.0; применяются также уведомления и атрибуции upstream-компонентов.

RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead — мультимодальная плотная модель семейства Qwen3.8-27B, разработанная Qwen и подвергнутая квантованию RadixArk с помощью NVIDIA Model Optimizer. Это производный чекпойнт без дополнительного обучения или дообучения RadixArk: почти все тензоры используют смешанную NVFP4 W4A4-квантизацию, веса внимания — FP8, а lm_head, MTP и визуальные тензоры сохранены в исходной точности BF16. Размер модели — 27 млрд параметров. Модель предназначена для диалоговых систем, AI-агентов, чат-ботов, RAG-систем и других приложений с поддержкой текста, изображений и видео. Она принимает текст и визуальные данные, генерирует текст и поддерживает нативный контекст до 262 144 токенов. Для запуска заявлена интеграция с SGLang на Linux и совместимость с GPU NVIDIA Blackwell; чекпойнт проверен на GB300. В README приведены результаты на GSM8K — 96,13% — и Terminal-Bench 2.1 — 69,4% в одном из протоколов. Ключевое преимущество модели — предварительное квантование, рассчитанное на эффективное развертывание, при сохранении lm_head в BF16; заявленные результаты близки к результатам варианта с квантованным lm_head. Ограничения включают зависимость от совместимой инфраструктуры NVIDIA Blackwell и SGLang, а также типичные для базовой модели риски неточных, неполных, нерелевантных или предвзятых ответов. Лицензия — Apache License 2.0; возможности, обучение, ограничения и условия использования унаследованы от исходной модели Qwen3.8-27B.

Это конвертированная версия открытой весовой модели gpt-oss-20b, разработанной OpenAI и опубликованной axolotl-ai-co. Модель предназначена для генерации текста, диалога, рассуждений и агентных сценариев, включая вызов функций и работу с инструментами. Архитектура — разреженная смесь экспертов (MoE); карточка модели указывает 21 млрд параметров, из которых активно 3,6 млрд, тогда как метаданные репозитория содержат значение 1,6 млрд. Контекст составляет 131 072 токена. Модель обучена работать в формате Harmony и может запускаться через Transformers и vLLM. Среди возможностей — настройка уровня рассуждений, дообучение под специализированные задачи и использование для локальных сценариев с меньшей задержкой. В README заявлена нативная точность MXFP4 для слоёв MoE и возможность работы в пределах 16 ГБ памяти. Модель принимает текст и выдаёт текст. Лицензия Apache-2.0 допускает коммерческое использование. Следует применять формат Harmony: вне него модель может работать некорректно; цепочку рассуждений не следует показывать конечным пользователям.

Mistral-7B-Instruct-v0.3-GGUF — это GGUF-квантизированная версия Mistral-7B-Instruct-v0.3, разработанной Mistral AI. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста, следования инструкциям и использования в качестве универсального ассистента, включая сценарии с вызовом функций. Модель содержит около 7 млрд параметров, использует архитектуру Mistral и поддерживает контекст длиной 32 768 токенов. В версии 0.3 расширен словарь с 32 000 до 32 768 токенов, добавлен новый токенизатор и реализована поддержка function calling через специальные токены TOOL_CALLS, AVAILABLE_TOOLS и TOOL_RESULTS. Для работы в LM Studio рекомендуется шаблон Mistral Instruct с форматом <s> [INST] запрос [/INST] </s>. Сильные стороны модели — качественное следование инструкциям, универсальность и поддержка вызова функций. README не содержит сведений о поддерживаемых языках, конкретных размерах файлов или характеристиках отдельных уровней квантизации. Модель распространяется по лицензии Apache 2.0.

Blackfrost-AI/Qwen3.8-27B-ABLITERATED-GGUF — локальная GGUF-версия модифицированной модели Qwen3.8-27B, разработанная Blackfrost. Это плотная гибридная vision-language модель для запуска через llama.cpp, предназначенная для диалогов, рассуждений, обработки текста, изображений и видео, а также сценариев с tool-calling. Модель генерирует текст и ориентирована на локальное развертывание; релиз обозначен как экспериментальный и требует проверки поведения в конкретных рабочих нагрузках. Архитектура включает 64 текстовых слоя с сочетанием Gated DeltaNet и full attention, а также vision tower из 27 слоёв. Поддерживаются текстовые, графические и видео-входы, контекст до 262 144 токенов, девять стандартных квантованных вариантов от Q2_K до Q8_0 и встроенная MTP speculative head. Для ускорения доступен отдельный BF16 DFlash2 sidecar, совместимый с экспериментальной версией llama.cpp. В качестве сбалансированного варианта рекомендуется Q4_K_M размером 16,8 ГБ; фактические требования зависят от доступной RAM/VRAM и параллелизма. Это abliterated-сборка: поведение отказов было изменено на уровне весов, без fine-tuning, merge, LoRA или pruning. В заявленном внутреннем тесте R1-HARMFUL-BENCH-450 зафиксировано 11 остаточных отказов из 450 случаев, однако результат получен на производном варианте W4A4 NVFP4 и не является полноценным тестом всех GGUF-квантов в финальной конфигурации. Ограничениями являются экспериментальный статус, возможные компромиссы качества при низких уровнях квантования и зависимость длинного контекста от ресурсов системы. Базовая модель и указанный DFlash2-компонент распространяются по лицензии Apache-2.0.

unsloth/Qwen3-VL-8B-Instruct-unsloth-bnb-4bit — это 4-битно квантованная версия мультимодальной vision-language модели Qwen3-VL-8B-Instruct, подготовленная Unsloth на базе Qwen/Qwen3-VL-8B-Instruct. Модель предназначена для обработки и генерации текста по текстовым, визуальным и видеоданным, а также для мультимодального рассуждения, анализа документов, OCR, понимания пространственных отношений и взаимодействия с графическими интерфейсами через визуального агента. Она также ориентирована на генерацию кода и разметки Draw.io, HTML, CSS и JavaScript по изображениям и видео. Модель использует плотную архитектуру размером 8B параметров и поддерживает контекст длиной 256K токенов с возможностью расширения до 1M. Среди заявленных компонентов — Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа событий в видео. Заявлена поддержка OCR на 32 языках, включая работу с размытыми, наклонёнными и низкоконтрастными изображениями, а также понимание длинных документов и продолжительных видеозаписей. К сильным сторонам относятся сочетание текстового и визуального понимания, развитое пространственное и временное рассуждение, обработка изображений и видео, а также сниженные требования к памяти благодаря формату unsloth-bnb-4bit. Ограничения включают возможную потерю точности из-за 4-битной квантизации и необходимость совместимого программного окружения для запуска мультимодальных сценариев; точный перечень поддерживаемых языков и требования к аппаратному обеспечению в представленном README не указаны. Модель распространяется по лицензии Apache-2.0.

lyf/Huihui-gemma-4-31B-it-abliterated-v2-NVFP4 — мультимодальная 31-миллиардная модель, представляющая собой NVFP4-квантизированную версию Huihui-gemma-4-31B-it-abliterated-v2 от huihui-ai, созданную на базе Google Gemma 4 31B IT. Релиз предназначен для диалогов, генерации и анализа текста, следования инструкциям, программирования, структурированного вывода, а также обработки изображений и видео. В README также указана abliteration-интервенция, направленная на удаление отказов модели. Модель поддерживает сценарии «текст—текст», «изображение—текст» и «видео—текст»; аудио не поддерживается, поскольку в 31B-чекпойнте отсутствует аудиоэнкодер. Визуальная башня сохранена в формате BF16, а большинство линейных слоёв текстового стека, включая слои self-attention, квантизированы в NVFP4. Эмбеддинги, lm_head и визуальная часть также остаются в BF16. Размер файлов составляет около 19,5 ГБ, что позволяет запускать модель на одной видеокарте RTX 5090 с 32 ГБ памяти; заявленная скорость декодирования — около 69 токенов в секунду. К сильным сторонам относятся уменьшенный размер, сохранение мультимодальных возможностей исходной модели, улучшенное по сравнению с предыдущей версией значение perplexity и более строгое следование инструкциям по результатам локального тестирования. Ограничения связаны с отсутствием аудиоподдержки, требовательностью к совместимому программному стеку и аппаратному обеспечению, а также возможным влиянием агрессивной NVFP4-квантизации на качество. Для работы рекомендуется vLLM с поддержкой Gemma 4 и NVFP4. Лицензия указана как gemma.

QuantFactory/Qwen2.5-7B-GGUF — квантизированная в формате GGUF версия базовой языковой модели Qwen2.5-7B, созданной командой Qwen и подготовленной QuantFactory с использованием llama.cpp. Модель предназначена для генерации и обработки текста, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Это базовая модель после этапа предварительного обучения, поэтому разработчики не рекомендуют использовать её для диалогов без дополнительного дообучения, например SFT, RLHF или продолжительного предварительного обучения. Модель является авторегрессионной causal language model на архитектуре Transformer с RoPE, SwiGLU, RMSNorm и смещениями в QKV-проекциях внимания. Она содержит 7,61 млрд параметров, из которых 6,53 млрд не относятся к embedding-слою, имеет 28 слоёв и Grouped-Query Attention с 28 головами для Q и 4 для KV. Максимальная длина контекста составляет 131 072 токена, поддерживается генерация длинных текстов до 8K токенов. Qwen2.5 заявляет поддержку более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. К сильным сторонам относятся улучшенные знания, возможности в программировании и математике, следование инструкциям, обработка длинного контекста, понимание таблиц и генерация структурированных данных. К ограничениям относятся базовый, а не instruction-tuned характер модели, отсутствие указанных в README подробностей о конкретном методе и разрядности квантизации, а также необходимость учитывать требования к памяти и производительности среды запуска. Модель распространяется по лицензии Apache-2.0.

DreamFast/Qwen2.5-7B-Instruct-heretic-1.3.0 — производная версия Qwen2.5-7B-Instruct, созданная сообществом с помощью Heretic v1.3.0. Это плотная причинная языковая модель на архитектуре Qwen2 с 7,1 млрд параметров в формате bfloat16 и safetensors; квантизация не применялась. В README описано удаление поведения отказа от ответа ортогональной проекцией направления отказа в слоях внимания 9–27. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции, код, математику и структурированные данные. Модель принимает текст и выдаёт текст. Метаданные указывают контекст до 32 768 токенов; README поясняет, что для более длинных входов можно включить YaRN, а исходная серия Qwen2.5 поддерживает множество языков, включая русский. В README приведены результаты сравнений на стандартных бенчмарках и тест HarmBench, где авторы сообщают о высокой готовности отвечать на запросы без отказов. Это означает, что встроенные механизмы безопасного отказа намеренно ослаблены. Репозиторий распространяется по лицензии Apache-2.0.

Это общественная конверсия модели Qwen/Qwen3-30B-A3B-Thinking-2507 в формат GGUF, подготовленная Geoff Munn для локального запуска через llama.cpp и совместимые приложения. Модель относится к семейству Qwen3 и предназначена для диалогов, генерации текста и задач, требующих рассуждений: решения математических задач, программирования, логического анализа и работы с инструментами. Режим рассуждений можно переключать командами /think и /no_think. В карточке указано 30 млрд параметров и поддержка множества языков; метаданные перечисляют английский, китайский, испанский, французский, немецкий, русский, арабский, японский, корейский и хинди. Репозиторий содержит GGUF-варианты разной степени квантования; README рекомендует более точные варианты для сложных задач и отмечает высокие требования к памяти. Конверсия не связана с разработчиками Qwen. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-FP8 — экспериментальная модель семейства Qwen, разработанная командой Qwen. Это причинная языковая модель с vision encoder, предназначенная для обработки текста и изображений, генерации ответов и решения мультимодальных задач. FP8-вариант содержит квантизированные веса и конфигурацию в формате Hugging Face Transformers и совместим с Transformers, vLLM, SGLang и TokenSpeed. Модель имеет 125 млрд параметров, из которых 6 млрд активируются при обработке, а также 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Архитектура включает 48 слоёв, гибрид Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts с 512 экспертами и активацией 10 маршрутизируемых экспертов плюс одного общего. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 000 000 токенов. Для повышения эффективности на длинном контексте используется разреженное внимание на уровне микроблоков. Ключевые сильные стороны модели — высокая вычислительная эффективность, сниженная задержка при работе с длинным контекстом, поддержка мультимодальных сценариев и экономичное FP8-квантизирование с заявленной близостью характеристик к исходной модели. Ограничения включают экспериментальный статус архитектуры, отсутствие в представленном README сведений о поддерживаемых языках, подробных результатах бенчмарков и требованиях к оборудованию. Модель распространяется по лицензии qwen-community-1.0; условия следует уточнять в файле LICENSE.

Qwen3.8-Flash-Next-FP8 — экспериментальная модель семейства Qwen, разработанная командой Qwen. Это каузальная языковая модель с vision encoder, представленная в формате Hugging Face Transformers и предназначенная для генерации и обработки текста, мультимодальных сценариев с изображениями, длинноконтекстного анализа и агентных приложений. Версия FP8 содержит квантизированные веса постобученной модели и совместима с Transformers, vLLM, SGLang и TokenSpeed. Модель имеет 125 млрд параметров, из которых около 6 млрд активируются при обработке запроса, а также 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Архитектура включает 48 слоёв, Mixture of Experts с 512 экспертами, гибридное внимание на основе Gated DeltaNet и Qwen Sparse Attention, Gated Residual и n-gram embedding. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 000 000 токенов. README не указывает точный перечень поддерживаемых языков. К сильным сторонам относятся высокая эффективность при работе с длинным контекстом, сниженная вычислительная и память-затраты благодаря разреженному вниманию, MoE и FP8-квантизации, а также сохранение показателей производительности, близких к исходной модели. Ограничения связаны с экспериментальным статусом архитектуры, отсутствием в README подробных результатов бенчмарков и неуказанными требованиями к аппаратному обеспечению и профилю мультимодальных возможностей. Модель распространяется по лицензии qwen-community-1.0; дополнительные условия следует проверять в файле LICENSE.

Qwen3-VL-32B-Thinking-GGUF — мультимодальная модель семейства Qwen, разработанная командой Qwen. Репозиторий содержит GGUF-веса базовой модели Qwen3-VL-32B-Thinking и предназначен для локального запуска через llama.cpp, Ollama и другие инструменты, совместимые с GGUF, на CPU, NVIDIA GPU, Apple Silicon и Intel GPU. Модель объединяет языковую модель и vision encoder, поддерживает обработку текста, изображений и видео. Она ориентирована на визуально-языковое понимание и рассуждение, включая анализ документов и сцен, OCR, пространственное восприятие, STEM- и математические задачи, генерацию кода и разметки по изображениям или видео, а также взаимодействие с графическими интерфейсами и инструментами. Заявлены контекст до 256K токенов с возможностью расширения до 1M, поддержка OCR на 32 языках и улучшенное понимание длительных видео с временной привязкой событий. Архитектурные особенности включают Interleaved-MRoPE для моделирования времени и пространственных измерений, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками. Доступны варианты языковой модели FP16, Q8_0 и Q4_K_M, а vision encoder — FP16 и Q8_0, что позволяет выбирать баланс качества, скорости и требований к памяти. Ограничения включают высокие вычислительные и ресурсные требования 32B-модели, а также возможное снижение качества при использовании более агрессивного квантования; конкретные результаты бенчмарков в README не приведены. Распространение указано по лицензии Apache-2.0.

mlx-community/GLM-5 — версия GLM-5, преобразованная сообществом mlx-community для запуска с MLX на устройствах Apple. Это диалоговая языковая модель семейства GLM с архитектурой GlmMoeDsaForCausalLM и 30,4 млрд параметров; она предназначена для генерации текста и общения. В карточке базовая GLM-5 описана как модель для рассуждений, программирования и длительных агентных задач. Модель поддерживает английский и китайский языки и имеет контекстное окно 202 752 токена. Репозиторий содержит веса в формате Safetensors и рассчитан на использование с библиотекой MLX; README указывает преобразование из zai-org/GLM-5 с помощью mlx-lm версии 0.30.7. Лицензия — MIT. Метаданные указывают связь с базовой моделью как finetune, хотя README описывает именно преобразование в формат MLX; поэтому происхождение классифицировано как конверсия формата.

JiRack Ultra 1B — компактная языковая модель от CMSManhattan для генерации текста и диалогов. Она построена на архитектуре Qwen2, содержит около 1,5 млрд параметров и оптимизирована для инференса на CPU. В карточке заявлены переработанная архитектура с поддержкой тернарных BitNet-признаков, обновлённый токенизатор с тегами маршрутизации, вызова инструментов и робототехники, а также контекст до 131 072 токенов. Доступны веса Safetensors и варианты GGUF с разными уровнями квантования. Модель предназначена для локального запуска на малоресурсном оборудовании, диалоговых сценариев, использования как экспертной модели в RAG-системах и интеграции с агентами и инструментами. Карточка также описывает применение в задачах программирования и робототехники, однако метаданные подтверждают только задачу генерации текста, а заявленные возможности токенизатора не доказывают качество этих специализированных сценариев. В метаданных перечислены 14 языков: английский, китайский, японский, корейский, французский, испанский, португальский, немецкий, итальянский, русский, арабский, вьетнамский и тайский. Веса опубликованы по лицензии MIT, разрешающей коммерческое использование и распространение. При этом Docker-образ, готовые Ollama-сборки и клиенты интерфейса, согласно карточке, распространяются на отдельных коммерческих условиях.

salamanderDixon/LFM2.5-2.6B-heretic — декензурированная версия текстовой модели LiquidAI/LFM2.5-2.6B, созданная с помощью Heretic v1.4.0. Это плотная причинно-языковая модель семейства LFM2 с 2,6 млрд параметров, рассчитанная на диалоговое использование и локальное развёртывание. Модель принимает текст и генерирует текст; заявленный контекст — 131 072 токена, поддерживается 16 языков, включая русский. Версия Heretic изменяет поведение отказов: в приведённом сравнении отказы снизились с 96 до 4 из 100, а KL-дивергенция относительно исходной модели составляет 0,0263. Исходная карточка рекомендует семейство для агентных сценариев, вызова инструментов, извлечения данных, RAG и работы с длинным контекстом, но не рекомендует его для агентного программирования и задач, требующих обширных знаний. Репозиторий использует формат safetensors и библиотеку Transformers. Указана лицензия other; конкретные условия лицензии в предоставленных данных не раскрыты.

SanctumAI/Mistral-7B-Instruct-v0.3-GGUF — это квантизированная версия инструкционной языковой модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI и подготовленной в формате GGUF командой SanctumAI. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая использование через локальные приложения, поддерживающие GGUF. Она также поддерживает function calling. Модель основана на Mistral-7B-v0.3 и использует расширенный словарь размером 32 768 токенов и tokenizer v3. В репозитории доступны варианты квантизации от Q2_K до Q8_0, а также версия f16; размер файлов составляет примерно от 2,72 до 14,50 ГБ. Для полного контекста до 32 000 токенов заявленные требования к памяти варьируются от 6,78 до 17,74 ГБ в зависимости от варианта. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует считать текстовой. Ключевое преимущество — возможность запускать модель локально с выбором компромисса между размером, требованиями к памяти и сохранением качества. Ограничения связаны с потерями качества при низкой степени квантизации и с тем, что это сравнительно компактная 7-миллиардная модель, поэтому её возможности уступают более крупным моделям в сложных задачах. Модель распространяется по лицензии Apache-2.0.

megabytes/Nanbeige4.1-3B-heretic — англо-китайская диалоговая языковая модель на базе Nanbeige/Nanbeige4.1-3B. Разработчик описывает исходную модель как компактную модель для рассуждений, программирования и агентных задач; эта версия создана с помощью Heretic v1.2.0 и abliteration для снижения частоты отказов. Она содержит 3,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 262 144 токенов. Модель предназначена для генерации диалоговых ответов, решения многошаговых задач, написания кода и сценариев с поиском и вызовом инструментов. README приводит для этой версии частоту отказов 8 из 100 и KL-дивергенцию 0,0003 относительно исходной модели; в карточке также отмечено, что существует улучшенная версия от Heretic Organization. Модель может выдавать предвзятый или иной нежелательный контент. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-99B-A5B-Niwaki-3bit-mlx — текстовая Mixture-of-Experts-модель, созданная проектом Niwaki на базе Qwen3.8-Flash-Next от команды Qwen. Модель получена pruning, реконструкцией и distillation экспертов, после чего сохранена в 3-битном формате для MLX. Она предназначена для генерации текста, диалогов, программирования, рассуждений и творческого письма, прежде всего на устройствах Apple Silicon с unified memory. Vision tower в этой версии отсутствует, поэтому модель работает только с текстом. Модель содержит около 99 млрд параметров, из которых примерно 5,2 млрд активны для каждого токена; исходный размер составлял около 177 млрд параметров. Архитектура включает 48 слоёв, 512 маршрутизируемых экспертов и top-k=10, при этом эксперты используются в 24 слоях. Размер промежуточного слоя экспертов — 448, экспертные веса имеют 3-битную точность с group size 64, n-gram embedding table — 2-битную, а backbone сохранён в 4-битном формате. Размер модели на диске — 36,7 ГБ; она рассчитана на комфортную работу в 48 ГБ unified memory. Для MLX требуются mlx-vlm версии не ниже 0.7.0rc0, mlx не ниже 0.32 и специальный загрузчик из репозитория модели. Главное преимущество — существенное снижение требований к памяти при сохранении заявленных характеристик базовой модели: на опубликованном наборе задач среднее качество составило 96,6% от 4-битного reference-варианта. Модель сохраняет беглость и релевантность ответов, однако сжатие ухудшает perplexity и надёжность числовых и узкоспециализированных технических сведений. На многошаговых арифметических задачах она может рассуждать дольше и более повторно. Оценивание проводилось преимущественно на англоязычных веб-данных, поэтому поведение в редких предметных областях и языках, отличных от английского, исследовано ограниченно. Лицензия указана как other; применимые условия приведены в лицензии базовой модели Qwen3.8-Flash-Next. Доступны также сборки GGUF для llama.cpp, требующие форка neopolita-llama.cpp.

Qwopus3.6-35B-A3B-v1 — экспериментальная мультимодальная модель с разреженной архитектурой MoE, созданная Jackrong путём дообучения Qwen3.6-35B-A3B с помощью LoRA и трёх этапов supervised fine-tuning. В базовой модели 35 млрд параметров, из которых активно около 3 млрд на токен; она сочетает линейное внимание Gated DeltaNet с обычными слоями gated attention и рассчитана на контекст до 262 тысяч токенов. Модель предназначена для диалогов, рассуждений, работы с изображениями и инструментами, а также задач программирования, математики, науки и следования инструкциям. Автор заявляет улучшения в структурированности рассуждений и последовательности ответов; карточка приводит результаты независимого теста, но отмечает, что полная оценка производительности и безопасности не проводилась. Поддерживаются английский, китайский, испанский, русский и японский языки. Лицензия — Apache-2.0.

Cohere и Cohere Labs разработали Command R+ — авторегрессионную языковую модель на архитектуре Transformer с 104 млрд параметров. Модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и предназначена для диалогов, рассуждений, суммаризации и ответов на вопросы. После предварительного обучения она прошла дообучение с учителем и обучение на предпочтениях людей. Command R+ специально обучена для генерации ответов с опорой на предоставленные документы: она может указывать релевантные источники и включать цитаты в ответ. Модель также умеет выбирать внешние инструменты и работать с ними в несколько шагов, что подходит для сложных сценариев с API, базами данных и поиском. Для корректной работы этих функций важно использовать предусмотренный шаблон промпта; отклонение от него может снизить качество. Модель оптимизирована для английского, французского, испанского, итальянского, немецкого, бразильского португальского, японского, корейского, арабского и упрощённого китайского языков. Русский и ещё 12 языков присутствовали в данных предварительного обучения, но не входят в перечень языков, для которых заявлена оптимизация. Веса доступны по лицензии CC-BY-NC-4.0; также требуется соблюдать политику допустимого использования Cohere Labs, а коммерческое использование ограничено условиями лицензии.

Llama-3.1-Nemotron-70B-Instruct-HF — текстовая модель NVIDIA на архитектуре Llama 3.1 с 69,5 млрд параметров. Это версия в формате Hugging Face Transformers, преобразованная из Llama-3.1-Nemotron-70B-Instruct; исходная модель Meta Llama-3.1-70B-Instruct была дообучена NVIDIA методом RLHF, включая REINFORCE, на предпочтениях из HelpSteer2 и данных модели Nemotron-70B-Reward. Модель предназначена для диалогов и выполнения общих инструкций: она генерирует ответы на пользовательские запросы и ориентирована на их полезность, связность и соответствие предпочтениям. Принимает текст, выдаёт текст, поддерживает контекст до 128 тысяч токенов и интерфейс вызова инструментов. В карточке приведены высокие результаты на Arena Hard, AlpacaEval 2 LC и MT-Bench; показатели могут отличаться от оценки исходной версии в NeMo-Aligner. Модель общего назначения, не настроенная специально для математики или узкопрофильных областей. Для запуска через Transformers в README указаны две или более видеокарты с 80 ГБ памяти каждая и не менее 150 ГБ свободного места на диске. Лицензия — Llama 3.1; применяются условия лицензии Meta Llama 3.1.

Meta разработала Llama 3.2 3B — авторегрессионную языковую модель с оптимизированной архитектурой Transformer и механизмом Grouped-Query Attention. Вариант на 3,21 млрд параметров предназначен для генерации текста и обучен на общедоступных данных; модель принимает и выдаёт текст, включая код. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленная длина контекста семейства — до 128 тысяч токенов. Модель подходит для диалоговых приложений, поиска знаний, суммаризации, мобильных помощников для письма и переформулирования запросов. Карточка описывает семейство с предварительно обученными и настроенными на инструкции вариантами; конкретный репозиторий — базовая модель для генерации текста. Меньший размер рассчитан в том числе на устройства с ограниченными ресурсами, но качество и безопасность могут уступать более крупным моделям и требуют проверки под конкретный сценарий. Знания модели ограничены данными до декабря 2023 года. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

btbtyler09/Qwen3.8-27B-GPTQ-8bit — квантизированная 8-битная версия мультимодальной модели Qwen/Qwen3.8-27B. Модель разработана на базе семейства Qwen и распространяется пользователем btbtyler09. Она предназначена для обработки текста и изображений, генерации ответов, анализа изображений, программирования и других задач общего назначения, а также поддерживает speculative decoding через модуль MTP. Модель имеет плотную архитектуру примерно на 27 млрд параметров без MoE, 64 слоя, включая 48 слоёв линейного внимания и 16 слоёв полного внимания, скрытый размер 5120 и контекст до 262 144 токенов. Полный vision encoder на базе ViT и MTP-модуль сохранены в формате BF16, а основные квантизируемые линейные слои текстового декодера переведены в INT8 с использованием GPTQ. Размер модели составляет около 31 ГБ против примерно 56 ГБ у исходной BF16-версии. Поддерживаются текстовая и визуальная модальности; конкретный набор языков в README не указан. Ключевое преимущество — существенно меньшее потребление дискового пространства и видеопамяти при заявленной практически неизменной perplexity относительно BF16-оригинала. Модель рассчитана на развёртывание через vLLM и загрузку с помощью GPTQModel или transformers. Ограничения включают высокие требования к ресурсам, необходимость совместимого программного окружения и возможную проблему конфигурации в некоторых версиях vLLM, для которой в README приведён обходной патч. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-int4-AutoRound — локально обслуживаемая INT4-квантизированная версия плотной модели Qwen3.8 с 27 млрд параметров, опубликованная под идентификатором johannrplaster. Модель предназначена для быстрого инференса через Transformers и vLLM XPU, прежде всего на видеокартах Intel Arc Pro B70. Она сохраняет MTP (multi-token prediction) head, поэтому поддерживает speculative decoding без отдельной draft-модели, а проекции linear attention in_proj_a и in_proj_b оставлены в FP16 для снижения потерь качества. Квантизация выполнена с помощью AutoRound 0.14.2 в формате W4A16 с симметричными группами размера 128 и упаковкой auto_gptq. Квантизированы декодерные слои и MTP head; нормы, MTP-слой fc, vision tower и указанные проекции сохраняются в FP16 или BF16. Размер модели на диске составляет около 18 ГБ. В комплект входит шаблон чата Qwen3.8 с поддержкой reasoning и tool-call блоков. Заявлена работа с контекстом до 128K при использовании FP8 KV-кэша, тогда как пример конфигурации задаёт 8192 токена. Сильные стороны модели — уменьшенный размер, высокая скорость декодирования на Intel Arc Pro B70, поддержка speculative decoding и сохранение качества на заявленных проверках арифметики, кода, JSON-схем, длинного контекста и стабильности повторных ответов. Ограничения включают возможные потери качества и отличия от BF16-версии из-за INT4-квантизации, а также зависимость производительности и эффективности speculative decoding от нагрузки. Модель является uncensored и может отвечать на запросы, которые обычно отклоняют модели с настройкой безопасности; ответственность за применение и проверку контента несёт пользователь. Лицензия — Apache-2.0.

Qwen3-VL-32B-Instruct — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen и представленная в формате GGUF компанией Unsloth. Это инструкционно настроенная dense-модель для обработки текста и визуальных данных, включая изображения и видео, с поддержкой сценариев image-text-to-text. Модель предназначена для визуального вопросно-ответного взаимодействия, анализа изображений и видео, OCR, понимания документов, STEM- и математического рассуждения, пространственного анализа, генерации кода и взаимодействия с графическими интерфейсами через визуального агента. Заявлены нативный контекст 256K токенов с возможностью расширения до 1M, улучшенное понимание длительных видео и событий с временными метками, а также OCR на 32 языках. Среди архитектурных компонентов указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. К сильным сторонам относятся объединённое понимание текста и визуальной информации, детальное восприятие сцен, объектов и документов, расширенный контекст и широкий набор мультимодальных задач. Ограничения включают высокие требования к вычислительным ресурсам, характерные для модели с 32B параметрами, а также потенциальные потери точности из-за квантования в GGUF; конкретный вариант квантования в README не указан. Для llama.cpp рекомендуется использовать параметр --jinja из-за исправлений chat template. Лицензия модели — Apache-2.0.

XVERSE-13B-256K — многоязычная плотная авторегрессионная языковая модель, разработанная Shenzhen Yuanxiang Technology. Это длинноконтекстная версия XVERSE-13B-2: модель прошла продолжение предобучения с настройкой ABF и дообучение с учителем на основе NTK. В метаданных указано 13,2 млрд параметров; README заявляет окно контекста до 256 тысяч токенов, тогда как метаданные указывают native context в 32 768 токенов. Модель предназначена для работы с длинными документами и последовательностями: ответов на вопросы по одному или нескольким текстам, суммаризации литературы и отчетов, анализа текстов и дополнения кода. Для расширения контекста применяются RoPE с измененной базовой частотой и динамическая интерполяция NTK; обучение включало длинные последовательности от 32K до 256K. README описывает многоязычные возможности и приводит оценку на LongBench с задачами на английском, китайском и кодом. Модель принимает текст и генерирует текст. Она может выдавать неточные, предвзятые или оскорбительные ответы, поэтому результаты требуют проверки, а перед развертыванием рекомендуется провести тесты безопасности для конкретного применения. Лицензия Apache-2.0.

Карточка модели hdcase/AliceAI-Foundation-80B-A3B-Base на Hugging Face совпадает с карточкой yandex/AliceAI-Foundation-80B-A3B-Base, поэтому описание составлено по ней. AliceAI-Foundation-80B-A3B-Base — базовая авторегрессионная языковая модель, разработанная Yandex и обученная с нуля. Это предобученная модель с гибридной архитектурой и смесью экспертов: всего 80 млрд параметров, из которых на каждом токене активируются около 3 млрд. Архитектура включает 48 слоёв, 512 экспертов и механизмы KDA и Gated Attention; контекст — до 262 144 токенов. Модель предназначена для генерации текста и дальнейшей адаптации под задачи рассуждений, математики, программирования, работы с фактами и взаимодействия с инструментами. По данным карточки, особенно сильна в фактологических задачах на русском языке; доступны русскоязычные бенчмарки WikiWebFacts и HardMultiQA. Это базовая модель, поэтому для диалогового применения и следования инструкциям может потребоваться дообучение и подходящий шаблон сообщений. Веса опубликованы в формате Safetensors и доступны по лицензии Apache 2.0. В README описан запуск через Transformers и vLLM; для выполнения KDA-слоёв на GPU требуется совместимая версия flash-linear-attention. Заявленные в README 80 млрд общих параметров расходятся с метаданными Hugging Face, где указано 3,1 млрд параметров.

Dans-PersonalityEngine-V1.3.0-12b — дообученная PocketDoc языковая модель на архитектуре Mistral с 12,1 млрд параметров, созданная на базе mistralai/Mistral-Nemo-Base-2407. Модель обучалась на более чем 50 специализированных датасетах и предназначена для диалогов, ролевых сценариев, совместного написания текстов, генерации кода, использования инструментов и сложных рассуждений. Версия 1.3.0 поддерживает десять языков: арабский, китайский, английский, французский, немецкий, хинди, японский, корейский, португальский и испанский. Основной язык — английский; на нём ожидается наилучшее качество. Карточка указывает контекст 32 768 токенов и возможность увеличить его до 131 072 токенов с ухудшенным извлечением информации. Для диалогов модель использует формат DanChat-2. Она распространяется под лицензией Apache-2.0.