I.6Перевод и языковая адаптация

mradermacher/Qwen3.8-27B-Brainwaves-WFH-i1-GGUF — квантованная версия модели Qwen3.8-27B-Brainwaves-WFH, разработанной nightmedia и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для локального запуска в задачах генерации текста, диалогов, программирования, математики, научно-технических запросов, рассуждений, творческого и художественного письма, а также ролевых сценариев. В README также указана поддержка изображений через дополнительные mmproj-файлы, доступные в статическом репозитории. Модель относится к семейству Qwen и имеет заявленный размер 27B параметров. Доступны варианты квантования i1 с использованием imatrix, включая Q2_K, Q3_K, IQ3, IQ4, Q4, Q5 и Q6; размер файлов составляет примерно от 11 до 22,5 ГБ. Для некоторых вариантов указаны компромиссы между скоростью, размером и качеством: i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Заявлены языки English, Chinese, Japanese и Spanish. В тегах упоминается контекст до 1M токенов, однако README не подтверждает фактические ограничения именно этой сборки. Сильной стороной модели является широкий набор предполагаемых сценариев применения и наличие нескольких уровней квантования для выбора под доступные ресурсы. Ограничения связаны с потерями качества, зависящими от типа квантования, отсутствием подробных результатов оценки и неполным описанием архитектуры, точной мультимодальной конфигурации и практического размера контекста. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-квантизированная версия мультимодальной модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео. Профиль Aggressive ориентирован на прямые ответы с минимальным вступлением и без стандартного поведения отказа; при этом заявлено сохранение исходных текстовых, reasoning-, agentic-, image- и video-возможностей базовой модели. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder и поддержкой языков English, Chinese и других языков за счёт мультиязычной базы. Архитектура включает 64 слоя языковой модели, hidden size 5120, FFN size 17408, словарь размером 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживается нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. В поставку входят различные GGUF-квантизации, отдельный BF16 vision projector для изображений и видео, а также профиль HauhauCS FastMTP 32K для ускорения speculative decoding; заявлено ускорение до 3,02 раза для документов и до 1,93 раза для reasoning-сценариев по сравнению с режимом без MTP. Сильные стороны модели — широкий набор модальностей, длинный контекст, сохранённые возможности Qwen3.8, выбор квантизаций от Q2 до Q8 и оптимизированные K_P-кванты, совместимые с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Агрессивный профиль может быть менее подходящим для надёжно контролируемых агентских и критически важных задач, где предпочтительнее более сбалансированная настройка. Для мультимодального ввода требуется отдельный vision projector, а запуск требует значительных ресурсов: размер текстовых файлов составляет примерно от 10,32 до 31,46 ГБ в зависимости от квантизации. Модель распространяется по лицензии Apache-2.0.

6block/Qwen3-8B-GGUF — набор GGUF-квантизаций базовой модели Qwen3-8B, разработанной командой Qwen и подготовленной пользователем 6block с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых приложений, работы с английским и китайским языками, а также задач программирования. Квантизации можно запускать локально через llama.cpp, LM Studio, Ollama и совместимые проекты. В набор входят варианты Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS, IQ3_M и Q2_K размером примерно от 3,28 до 8,71 ГБ. При создании использовалась importance matrix (imatrix) и двуязычный, ориентированный на код набор калибровочных данных, что должно помогать сохранять качество китайского языка и программирования при низкой разрядности. В README не указаны архитектурные детали исходной Qwen3-8B, размер контекста и точный перечень поддерживаемых возможностей, поэтому эти характеристики нельзя достоверно описать. Основные преимущества — возможность локального запуска, несколько вариантов компромисса между качеством, скоростью и требованиями к памяти, а также публикация файла imatrix для воспроизводимости квантизации. Более низкие квантизации экономят память, но могут заметнее уступать по качеству; I-квантизации ориентированы на лучшую эффективность при малом размере, однако на CPU могут работать медленнее K-квантизаций. Набор распространяется по лицензии Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-oQ3-MTP — это квантованная MLX-версия Qwen3.8-Flash-Next, подготовленная разработчиком Vontra на основе официального BF16-чекпойнта Qwen. Модель предназначена для запуска на Apple Silicon через совместимые среды MLX и oMLX, включая задачи генерации текста и обработки изображений благодаря архитектуре vision-language. Модель использует архитектуру qwen4_exp со sparse mixture-of-experts, Gated DeltaNet, Qwen Sparse Attention, расширенными gated residual streams и n-граммными embeddings. Всего заявлено 125 млрд параметров языковой модели, из которых активно используется около 6 млрд, 48 слоёв, 512 маршрутизируемых экспертов, 10 активных экспертов на токен и один общий эксперт. Контекст составляет 262 144 токена, а upstream-версия допускает расширение до 1 млн токенов. В состав включён native MTP-блок на 4 млрд параметров для speculative decoding. Квантование oQ3 использует 3-битную аффинную основу с размером группы 32 и 746 модулями повышенной точности: части весов представлены в 4-, 5-, 6- и 8-битном формате. Модель занимает около 92,5 ГБ и поставляется в формате MLX safetensors. В тесте на Apple M3 Studio включение native MTP повысило скорость генерации с 26,54 до 29,08 токена в секунду, однако фактическая производительность зависит от длины контекста, версии runtime, памяти и тепловых условий. Для работы требуется runtime с явной поддержкой qwen4_exp и native MTP; неподдерживаемые среды могут не загрузить модель. Модель распространяется по лицензии Qwen Community License 1.0. README не содержит полных сведений о результатах upstream-оценок, безопасности и ограничениях исходной модели; за ними следует обращаться к оригинальной карточке Qwen3.8-Flash-Next.

Academic TRURL 2 — языковая модель Voicelab.AI на архитектуре Llama 2, дообученная для диалогов и генерации текста на польском и английском языках. Версия содержит 12,9 млрд параметров; метаданные указывают контекст 2048 токенов, тогда как README заявляет длину контекста 4096 токенов. Модель предназначена для общения в формате ассистента и других задач генерации естественного языка. Она принимает текст и генерирует текст; для диалога требуется форматирование запросов по шаблону Llama 2. В обучении использовались польские и английские разговорные данные, включая наборы вопросов и ответов и диалоговые примеры; академическая версия обучена без MMLU. Модель может давать неточные, предвзятые или нежелательные ответы, а опубликованные проверки охватывали польский и английский языки не во всех сценариях. Перед внедрением рекомендуется проверять её на целевых задачах и настраивать меры безопасности. README указывает на коммерческое и исследовательское применение; конкретная лицензия в предоставленных данных не указана.

jonatasgrosman/wav2vec2-xls-r-1b-russian — модель распознавания русской речи, дообученная Jonatas Grosman на основе facebook/wav2vec2-xls-r-1b с помощью инструмента HuggingSound. Модель использует архитектуру Wav2Vec2ForCTC и принимает аудио, записанное с частотой дискретизации 16 кГц, чтобы преобразовать речь в текст. Модель предназначена для автоматической транскрибации русской речи. При дообучении использовались обучающая и валидационная части Common Voice 8.0, Golos и Multilingual TEDx. В метаданных указаны 1,3 млрд параметров и поддержка русского языка. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0.

nahiar/xlm-roberta-indonesian-languages — модель классификации текста для определения индонезийского языка и региональных языков Индонезии. Она дообучена на базе FacebookAI/xlm-roberta-base и предназначена для распознавания 11 языков Индонезии, включая индонезийский, а также английского языка. Модель построена на архитектуре XLM-RoBERTa и содержит 305,2 млн параметров. Она принимает текст и возвращает метку языка; максимальная длина контекста — 514 токенов. В README заявлены accuracy 0,9783 и macro F1 0,9783. Подходит для автоматической маршрутизации текстов по языку, разметки многоязычных корпусов и предварительной фильтрации данных. Лицензия Apache-2.0.

airoboros-l2-70b-gpt4-1.4.1 — языковая модель семейства Llama 2, дообученная jondurbin на наборе airoboros-gpt4-1.4.1. Это плотная авторегрессионная модель с 68,7 млрд параметров для генерации текста. Её можно применять для диалогов, ответов на инструкции и создания текстов; контекст составляет 4096 токенов. Модель представлена в формате PyTorch. В карточке указана лицензия other, поэтому условия использования следует проверять в репозитории модели и у базовой модели. README не описывает специальные ограничения или гарантии качества; характеристики унаследованы от Llama 2 и зависят от сценария применения.

BgGPT-Gemma-2-27B-IT-v1.0 — большая языковая модель INSAIT, института Софийского университета им. Св. Климента Охридского. Это плотный декодерный трансформер Gemma 2 с 27,6 млрд параметров и контекстом 8192 токена, предназначенный для генерации текста и диалога по инструкциям. Модель основана на Google Gemma 2 27B и Gemma 2 27B IT. Её непрерывно дообучали примерно на 100 млрд токенов, включая 85 млрд болгарских, по стратегии Branch-and-Merge, затем провели инструктивное дообучение на болгарских диалогах. Она рассчитана прежде всего на болгарский язык, сохраняя возможности английского, и подходит для ответов на вопросы, рассуждений, решения задач и генерации текста. При использовании следует применять шаблон чата Gemma 2; Flash Attention может ухудшить качество. Модель распространяется по условиям Gemma Terms of Use.

Rarri/DeepSeek-V4-Flash-0731-NVFP4 — это квантизированная версия модели DeepSeek-V4-Flash-0731, разработанная на основе релиза deepseek-ai и подготовленная с помощью NVIDIA Model-Optimizer. Модель предназначена для генерации текста и высокопроизводительного инференса с использованием vLLM или TensorRT-LLM на GPU NVIDIA Blackwell с поддержкой NVFP4. Она ориентирована на сценарии, где важны высокая скорость декодирования и использование длинного контекста, включая speculative decoding с механизмом DSpark. Модель содержит 304 млрд параметров, 43 слоя MoE, 256 маршрутизируемых экспертов в каждом MoE-слое и три слоя multi-token prediction (MTP). Все маршрутизируемые экспертные веса, включая MTP-экспертов, переведены в NVFP4 W4A4; attention, роутеры, shared experts, embeddings и lm_head сохранены в исходном формате FP8. Поддерживается контекст до 131K токенов. Экспертные веса преобразованы без потери значений исходных MXFP4-весов, а speculative decoding в тестовой конфигурации примерно удваивал скорость однопоточного декодирования, достигая типичных 200–240 токенов в секунду. Ключевые ограничения — зависимость от GPU Blackwell (sm_120+), специализированных сборок инференсных фреймворков и гибридной FP8/NVFP4-MoE-разметки. Рекомендуемые параметры speculative decoding включают жадное семплирование, пять draft-токенов и bf16 draft head; вероятностное семплирование может приводить к некорректному выводу в NVFP4-пути. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

OnlyTextLLMs выпустила текстовую версию Gemma 4 E2B IT на основе google/gemma-4-E2B-it. Это плотная авторегрессионная языковая модель с архитектурой Gemma4ForCausalLM; из исходной мультимодальной модели удалены компоненты обработки изображений и аудио и соответствующие специальные токены, а текстовый блок и языковая голова сохранены. Карточка указывает 4,65 млрд параметров, 35 слоёв и размер скрытого состояния 1536, тогда как метаданные каталога приводят 1,6 млрд параметров; точный размер поэтому расходится между источниками. Метаданные указывают контекст до 131072 токенов и поддержку диалогового режима. Модель предназначена для генерации текста и диалоговых сценариев, где вход и выход представлены текстом. Она не принимает изображения или аудио, в отличие от исходной Gemma 4 E2B IT. README сообщает, что новые обучающие данные и дообучение не добавлялись: изменён состав компонентов модели. Репозиторий распространяется по лицензии Apache 2.0.

Geneva 12B GammaCorpus v2-100k — плотная авторегрессионная языковая модель на архитектуре Mistral, разработанная rubenroy и дообученная на Mistral Nemo Instruct 2407 с использованием набора GammaCorpus v2-100k. Она предназначена для диалоговой генерации текста и следования инструкциям; метаданные также указывают интерфейс вызова инструментов. Модель содержит 12,1 млрд параметров и поддерживает контекст до 1 024 000 токенов. Карточка описывает GammaCorpus как набор структурированных и отфильтрованных многоходовых диалогов. Модель ориентирована на несколько языков, включая английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский. Весовые файлы доступны в формате Safetensors, библиотека для работы — Transformers. Лицензия — Apache-2.0. Автор заявляет целью превосходство над моделями сопоставимого размера, однако сравнительные результаты в карточке не приведены. Среди указанных ограничений — возможность генерации предвзятых ответов; качество вызова инструментов отдельно не охарактеризовано.

JiRack DeltaNet 180B — текстовая диалоговая модель CMSManhattan на основе Qwen3.8-Flash-Next. Она предназначена для генерации текста, работы с инструментами и агентных сценариев, включая маршрутизацию, программирование и использование в RAG-системах. Модель содержит около 180 млрд параметров общей ёмкости, из которых примерно 6 млрд активны на каждом токене; в карточке описана архитектура Mixture-of-Experts с Gated DeltaNet, разреженным вниманием Qwen и маршрутизацией между экспертами. Указаны форматы GGUF и Safetensors, а также варианты GGUF Q3_K_M и Q4_K_M. Сборка JiRack пока текстовая, хотя базовая Qwen3.8-Flash-Next поддерживает изображения и видео. README сообщает, что текущие веса численно совпадают с базовой моделью: QAT ещё не завершён, поэтому заявленные преимущества троичных весов пока не реализованы. Карточка описывает многоязычное применение, включая русский, английский, китайский, японский и другие языки. Лицензия указана как other; конкретные условия следует проверять в репозитории модели.

LiquidAI/LFM2.5-8B-A1B-MLX-4bit — 4-битная версия модели LFM2.5-8B-A1B, разработанной Liquid AI и преобразованной в формат MLX с использованием mlx-lm 0.31.3. Модель предназначена для генерации текста, работы в качестве персонального ассистента на локальном устройстве и сценариев, требующих поддержки function calling. Она поддерживает ChatML-подобный шаблон диалога и явное рассуждение перед финальным ответом. Модель имеет архитектуру Mixture of Experts (MoE); согласно названию базовой модели, она относится к конфигурации 8B-A1B, однако подробные архитектурные характеристики и размер контекста в карточке не указаны. Квантование выполнено до 4 бит на вес с размером группы 64 и affine-режимом, при этом routing gates MoE сохранены в 8 бит. Заявлена поддержка английского, арабского, китайского, французского, немецкого, японского, корейского, испанского и португальского языков. Сильными сторонами являются уменьшенный объём модели благодаря квантованию, пригодность для запуска через MLX и поддержка function calling. Ограничения включают возможное снижение качества из-за 4-битного квантования, а также отсутствие в предоставленной карточке подробных данных о производительности, контексте и аппаратных требованиях. Модель распространяется по лицензии LFM Open License v1.0; условия следует уточнять в файле LICENSE или карточке базовой модели.

alpindale/Llama-3.2-3B — текстовая модель семейства Llama 3.2, разработанного Meta. Это авторегрессионная плотная трансформерная модель с 3,2 млрд параметров и архитектурой LlamaForCausalLM; репозиторий содержит веса Safetensors для Transformers. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и рассчитана на многоязычную генерацию. Модель подходит для диалогового помощника, суммаризации, поиска знаний и приложений с агентными сценариями, а также для мобильных помощников по написанию текста и переформулирования запросов. В README описаны применение и возможности семейства Llama 3.2; отдельное дообучение alpindale/Llama-3.2-3B не подтверждено, поэтому характеристики поведения конкретного чекпойнта могут отличаться от описания семейства. Заявленные языки поддержки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Лицензия llama3.2 — пользовательская лицензия сообщества Meta с собственными условиями коммерческого использования и политикой допустимого использования. Модель обучена на статическом офлайн-наборе данных; как компактная модель, она может уступать более крупным системам по качеству и требует проверки безопасности и пригодности для конкретного применения.

Llama-Thinker-3B-Preview — мультиязычная генеративная модель prithivMLmods на архитектуре Llama 3.2, дообученная на базе meta-llama/Llama-3.2-3B-Instruct. Модель содержит 3,2 млрд параметров и предназначена для диалога, генерации текста и решения задач, требующих рассуждений. По карточке, обучение включало supervised fine-tuning и обучение с подкреплением на синтетических данных с длинными цепочками рассуждений. Модель принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Метаданные перечисляют английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель доступна в формате safetensors и запускается через Transformers; для локального запуска карточка также описывает использование квантованных вариантов через Ollama. Лицензия — CreativeML OpenRAIL-M.

LwQ-Reasoner-10B — дообученная модель prithivMLmods для генерации текста и диалогов. Она основана на плотной авторегрессионной архитектуре Llama и обучена на синтетических наборах данных для рассуждений. Размер модели — 9,9 млрд параметров, контекстное окно — 32 768 токенов; веса доступны в формате safetensors, запуск предполагает библиотеку Transformers. Модель предназначена для многоязычных диалогов, следования инструкциям и решения задач, требующих математических рассуждений или использования заданного контекста. Её можно применять в чат-ботах, обучающих помощниках, для ответов на вопросы, составления сводок и генерации текстов. Карточка указывает лицензию Llama 3.1. Качество может различаться между языками; модель может ошибаться в узкоспециализированных темах и сложных многошаговых рассуждениях, а неоднозначные инструкции способны ухудшить результат. При работе с длинными материалами нужно учитывать ограничение контекста, а для запуска модели такого размера требуются значительные вычислительные ресурсы.

OpenLID-v3 — модель классификации текста для автоматического определения языка, разработанная HPLT. Это улучшенная версия OpenLID-v2; модель построена на fastText и охватывает 194 языковые разновидности. Для обучения использовались данные OpenLID-v2, glotlid-corpus и Wikipedia с нормализацией и балансировкой классов. Модель подходит для определения языка текстовых фрагментов и отбора многоязычных данных для последующей обработки в NLP-системах. Качество распознавания неодинаково для разных языков. Близкие разновидности, например арабские диалекты, бывает трудно различить, поэтому результат может определяться только на уровне макроязыка. Ошибки классификации способны ухудшить работу последующих систем, а сведение разновидностей к общим категориям может приводить к недостаточному распознаванию малых языков, диалектов и отдельных письменностей. Лицензия — GPL-3.0.

Orion-14B-Chat — диалоговая языковая модель компании OrionStarAI, дообученная для интерактивного общения на основе Orion-14B, обученной с нуля на многоязычном корпусе объёмом 2,5 трлн токенов. Модель имеет плотную архитектуру OrionForCausalLM и 14,1 млрд параметров; её основной сценарий — генерация ответов в диалоге, также заявлена поддержка задач с кодом. Модель рассчитана на общение на китайском, английском, японском и корейском языках. Длина контекста этой версии — 4096 токенов. В репозитории представлены форматы PyTorch и GGUF. Для развёртывания можно использовать Transformers, vLLM или llama.cpp. Карточка описывает её как модель, дообученную на высококачественном корпусе для интерактивного взаимодействия. Лицензия в предоставленных данных не указана, поэтому условия использования по ним установить нельзя.

MaziyarPanahi/Qwen2.5-14B-Instruct-GGUF — это квантованные файлы модели Qwen2.5-14B-Instruct в формате GGUF. Исходную модель разработала команда Qwen, а набор GGUF-файлов подготовил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и локальных сценариях инференса. Формат GGUF поддерживается llama.cpp и совместимыми инструментами, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, candle и рядом других решений. Это позволяет запускать модель локально, в том числе с ускорением на GPU и через OpenAI-совместимые серверные интерфейсы, в зависимости от выбранного инструмента. Размер исходной модели составляет 14B параметров. В репозитории доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью и качеством генерации. Модель относится к текстовым; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Конкретные требования к оборудованию зависят от выбранного варианта квантования. Лицензия в предоставленных данных не указана.

Qwen3.5-88B — текстовая версия модели Qwen3.5, подготовленная 0xSero из Qwen/Qwen3.5-122B-A10B методом REAP (Routing-Enhanced Activation Pruning). Из MoE-модели удалено около 30% экспертов; итоговая модель содержит 88 млрд параметров и распространяется в формате BF16. В основе указана архитектура Qwen3.5 MoE с GDN и полным attention. Модель предназначена для генерации текста и диалогов. Это контрольная точка только для языковой модели, полученная из мультимодальной базы: изображения она не обрабатывает. REAP отбирает экспертов по активациям маршрутизатора на калибровочном наборе данных; в README также указана защита критически важных для безопасности возможностей. Для запуска приведён пример с vLLM и максимальной длиной контекста 8192 токена. Лицензия в метаданных обозначена как other, конкретные условия следует проверять на странице репозитория.

Sohailhosseini/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-AWQ-W4A16 — квантизированная версия модели Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled, подготовленная пользователем Sohailhosseini. Модель предназначена для генерации текста по текстовым и визуальным входным данным, включая диалоговые и инструкционные сценарии; в карточке она обозначена как image-text-to-text и заявлена как подходящая для мультиязычных моделей. Модель содержит 9,7 млрд параметров и использует квантизацию AWQ-W4A16 с 4-битными весами в формате compressed-tensors. Размер на диске составляет 8,6 ГБ, что в 2,24 раза меньше исходных 19,3 ГБ. Визуальные компоненты, включая vision tower, vision model и multi-modal projector, а также слой lm_head оставлены без квантизации, поэтому сохраняется мультимодальная функциональность. Рекомендуемая длина контекста при запуске через vLLM — до 32 768 токенов. Ключевое преимущество — уменьшенные требования к хранению и потенциально более эффективный запуск по сравнению с исходной моделью; квантизация калибровалась на 256 примерах из HuggingFaceH4/ultrachat_200k. Ограничения включают возможное снижение качества из-за 4-битного представления и совместимость с реализациями vLLM: некоторые старые ядра могут предпочитать симметричную схему W4A16, тогда как данная версия асимметричная. В README указана лицензия Apache-2.0, унаследованная от исходной модели.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — языковая мультимодальная модель на базе Qwen3.5-9B, опубликованная trinityomnis. В README указано, что это результат многоэтапного дообучения и слияния нескольких моделей, выполненного автором совместно с Nightmedia; среди использованных базовых моделей названа DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Модель ориентирована на английский и китайский языки, а лицензия указана как Apache-2.0. Модель предназначена для общих задач, следования инструкциям, рассуждений, программирования, творческого письма, художественной литературы и ролевых сценариев. Она поддерживает режимы thinking/reasoning и instruct, заявлена как полностью uncensored и рассчитана на контекст до 256k токенов. Включена обработка изображений, но для работы с vision требуется отдельно загрузить совместимый файл mmproj и разместить его рядом с GGUF-файлом. Доступны обычные GGUF-квантизации и варианты MTP с multi-token prediction. Все варианты используют NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности; MTP-варианты дополнительно используют Q8_0 для MTP-тензоров и могут обеспечивать более высокую скорость при достаточном уровне token acceptance. В README приведены результаты на ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, где модель превосходит указанную базовую Qwen3.5-9B и в отдельных показателях сопоставима с более крупными моделями. При этом заявленные бенчмарки не гарантируют превосходство в любых задачах, а производительность MTP зависит от температуры, параметров генерации, приложения и оборудования; при низком token acceptance обычная квантизация может быть быстрее.

bartowski/Qwen3.8-27B-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, разработанной Qwen и сконвертированной bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для локального запуска через совместимые инструменты, включая llama.cpp. Модель поддерживает текстовый и, при наличии отдельного файла mmproj, графический ввод, поэтому может использоваться для текстовых и мультимодальных сценариев. Также заявлена поддержка speculative decoding через MTP. В репозитории представлены варианты квантизации от Q2 до Q8 с размерами файлов примерно от 10 до 29 ГБ; рекомендуемым универсальным вариантом назван Q4_K_M размером 17,44 ГБ, а варианты Q6_K_L, Q6_K и Q6_K_S обеспечивают более высокое качество при большем потреблении памяти. Сильная сторона набора — широкий выбор компромиссов между размером, скоростью и сохранением качества; для вариантов приведены показатели perplexity, Mean KLD и совпадения распределения top-p. Более сильная квантизация требует больше оперативной или видеопамяти, а компактные варианты могут заметнее терять качество. Языки, размер контекстного окна, точные возможности мультимодального ввода и лицензия в представленном README не указаны.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, выпущенная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео. Вариант Aggressive ориентирован на прямые ответы, минимальное вступление и отсутствие отказного поведения, поэтому подходит для задач, где требуется максимально свободная генерация. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder. Архитектура включает 64 слоя языковой модели, скрытый размер 5120, размер FFN 17408, словарь из 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный механизм MTP/NextN, дополненный профилем ускорения HauhauCS FastMTP 32K. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддерживаются английский, китайский и другие языки. Для изображений и видео требуется отдельный BF16 vision projector. Сильными сторонами являются большой контекст, поддержка текста, рассуждений, агентских задач и мультимодального ввода, а также варианты квантизации от Q2 до Q8 для разного соотношения качества и требований к памяти. Aggressive-профиль может быть менее безопасным и менее подходящим для надёжных длинноконтекстных агентских сценариев, где рекомендуется более сбалансированная версия. Квантизация также может влиять на качество, а FastMTP и vision projector распространяются отдельными файлами. Модель и указанные компоненты распространяются по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это квантованная версия Qwen3.8-27B, выпущенная HauhauCS в формате GGUF. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также анализа изображений и видео при использовании отдельного vision-проектора. Вариант Aggressive настроен на прямые ответы, минимальное вступление и отсутствие стандартного поведения отказа. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder, 64 слоями, размером скрытого состояния 5120, размером FFN 17408 и словарём на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются языки English, Chinese и другие языки, заявленные как multilingual. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Встроенный NextN/MTP сохранён, а FastMTP добавляет отдельный профиль ускорения для контекста 32K и заявленное ускорение генерации. Сильные стороны модели — широкий контекст, текстовые и мультимодальные возможности, несколько вариантов квантования с разным соотношением качества и размера, а также ускорение speculative decoding через MTP. Ограничения включают отсутствие защитного поведения и отказов в Aggressive-режиме, что может быть нежелательно для надёжных агентских и критически важных сценариев; для них автор рекомендует Balanced-вариант, если он доступен. Для обработки изображений и видео требуется отдельный BF16 vision projector. Модель распространяется по лицензии Apache-2.0.

Qwen_Qwen3.5-35B-A3B-GGUF — это набор квантованных версий модели Qwen3.5-35B-A3B, подготовленный пользователем bartowski на основе оригинальной модели Qwen. Модель предназначена для задач генерации текста и обработки изображений с текстом, а GGUF-формат позволяет запускать её локально через llama.cpp и совместимые приложения, включая LM Studio, Jan AI, KoboldCpp и Text Generation Web UI. В набор входят варианты от BF16 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, а также IQ-квантизации. Размер файлов составляет примерно от 17 до 71 ГБ. Обозначение 35B указывает на 35 миллиардов параметров, а A3B относится к архитектуре исходной модели; подробности об архитектуре, поддерживаемых языках и размере контекста в README не приведены. Квантизации выполнены с использованием imatrix и llama.cpp, для некоторых конфигураций доступна поддержка MTP-слоёв. Сильная сторона набора — широкий выбор компромиссов между качеством, требованиями к памяти и скоростью локального запуска; варианты Q5 и Q6 обозначены как высококачественные, а Q4_K_M — как типичный выбор для большинства сценариев. Низкобитные варианты экономят память, но могут снижать качество. Для использования требуется совместимое программное обеспечение и аппаратные ресурсы, соответствующие размеру выбранного файла. Лицензия — Apache 2.0.

Yi-34B — большая языковая модель, разработанная 01.AI и обученная с нуля на многоязычном корпусе объёмом 3 трлн токенов. Это базовая, не чатовая версия модели: она предназначена для генерации текста и может использоваться как основа для последующего дообучения и прикладных систем. Модель имеет плотную архитектуру Transformer, совместимую по структуре с Llama, но, согласно карточке, не использует веса Llama и не является её производной. Размер — 33,9 млрд параметров, родная длина контекста — 4096 токенов. Основные языки — китайский и английский; карточка описывает способности к пониманию языка, рассуждениям здравого смысла и чтению с пониманием. Для запуска доступны веса PyTorch и Safetensors. Модель требует значительных вычислительных ресурсов; в README для локального запуска Yi-34B-Chat приводится пример с ускорителем A800 на 80 ГБ. Лицензия — Apache 2.0.

Zabanshenas RoBERTa Base Mix — трансформерная модель для определения языка письменного текста, опубликованная m3hrdadfi. Она классифицирует текст, выбирая наиболее вероятный язык; в карточке приведены оценки для документов, предложений и фрагментов длиной 3–5 токенов. Модель основана на RoBERTa, содержит 137,8 млн параметров и рассчитана на контекст до 512 токенов. Для классификации использован набор WiLI-2018; карточка сообщает о поддержке множества языков. Модель подходит для автоматической маршрутизации и предварительной разметки текстов по языку, в том числе на уровне абзаца или короткого фрагмента. Метаданные указывают форматы PyTorch и TensorFlow и лицензию Apache-2.0. Приведённые в карточке метрики различаются в зависимости от длины входа, поэтому качество на коротких фрагментах может быть ниже, чем на абзацах.

Zero-Mistral-Small — дообученная методом SFT модель ZeroAgency на основе mistralai/Mistral-Small-24B-Instruct-2501. Она предназначена для диалогов и следования инструкциям, с дополнительной адаптацией прежде всего к русскому и английскому языкам на датасете Vikhrmodels/GrandMaster-PRO-MAX. Это плотная авторегрессионная модель семейства Mistral с 23,4 млрд параметров и контекстом 32 768 токенов; доступны веса Safetensors, а в карточке также перечислены варианты LoRA и GGUF с разной точностью. Модель подходит для развёртывания чат-ассистента, ответов на вопросы, генерации текста и русскоязычных задач на рассуждение. В README приведены результаты нескольких русскоязычных бенчмарков, но они не гарантируют качество на конкретных запросах. Для запуска автор рекомендует vLLM или Transformers; README указывает ориентировочную потребность базовой модели в 55 ГБ видеопамяти для BF16/FP16, а для запуска этой модели на GPU в примере — более 60 ГБ. Лицензия — MIT.