I.6Перевод и языковая адаптация

QuantFactory/CausalLM-35b-beta-long-GGUF — квантованная версия языковой модели CausalLM/35b-beta-long, созданная QuantFactory с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев; её карточка также указывает на обучение с учётом инструкций, математических задач, программирования и специализированных текстовых наборов данных. Модель имеет размер 35 миллиардов параметров и поддерживает контекст длиной 128K и более токенов. Заявлены языки English, Chinese, Japanese и German. Для взаимодействия используется шаблон ChatML, а токенизатор отличается от токенизатора Cohere. Формат GGUF и квантование ориентированы на запуск средствами экосистемы llama.cpp и могут снизить требования к вычислительным ресурсам по сравнению с полноразмерной моделью, однако конкретный уровень квантования в карточке не указан. Сильными сторонами модели являются очень длинный контекст, многоязычность и обучение на разнообразных инструкционных, математических, энциклопедических и диалоговых данных. Ограничения включают отсутствие подробных результатов оценивания, неуказанные характеристики квантования и аппаратные требования. Модель распространяется по лицензии GPL-3.0.

ERNIE-4.5-300B-A47B-PT — текстовая языковая модель семейства ERNIE 4.5 от Baidu, опубликованная в формате весов PyTorch для Transformers. Это постобученная модель с архитектурой MoE: 300 млрд параметров всего, из них 47 млрд активируются для каждого токена; в конфигурации указаны 54 слоя и контекст до 131 072 токенов. Модель предназначена для диалогов, понимания языка и генерации текста. Её обучали совместно на текстовых и визуальных данных, однако эта версия обозначена как текстовая и принимает текст. Модель поддерживает английский и китайский языки, а для запуска рассчитана на крупную мног GPU инфраструктуру; в README приведён пример с 16 GPU по 80 ГБ при использовании vLLM. Репозиторий содержит веса Safetensors и предназначен для Transformers. Лицензия — Apache 2.0. Карточка не приводит результатов сравнительной оценки качества.

Карточка модели jie123123123/faster-whisper-large-v3-turbo-ct2 на Hugging Face совпадает с карточкой deepdml/faster-whisper-large-v3-turbo-ct2, поэтому описание составлено по ней. Это конверсия модели deepdml/whisper-large-v3-turbo в формат CTranslate2, подготовленная для запуска через CTranslate2 и проекты на его основе, включая faster-whisper. Модель предназначена для автоматического распознавания речи: она принимает аудио и выдаёт текстовую расшифровку. Веса сохранены в FP16; при загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Карточка указывает поддержку распознавания на множестве языков, в том числе русском и английском. Репозиторий распространяется по лицензии MIT.

Gemma 3n E2B IT — мультимодальная инструктивная модель Google для работы на устройствах с ограниченными ресурсами. Она принимает текст, изображения, видео и аудио, а выдаёт текст; запуск поддерживается библиотекой Hugging Face Transformers. Модель основана на архитектуре MatFormer с выборочной активацией параметров и использует вложенную подмодель из Gemma 3n E4B IT. При общем количестве около 6 млрд параметров её эффективный размер и требования к памяти сопоставимы с традиционной моделью на 2 млрд параметров. Модель подходит для диалоговых помощников, создания и обобщения текстов, ответов на вопросы по визуальным материалам, расшифровки речи и перевода речи в текст. Обучение охватывало более 140 разговорных языков, но карточка не выделяет основной язык. Возможности включают мультимодальный ввод с изображениями и видео, а также аудио; метаданные каталога подтверждают задачу image-text-to-text и возможности чата и зрения. Ответы могут содержать фактические ошибки и отражать предвзятость обучающих данных; модели также бывает трудно обрабатывать неоднозначность и сложные открытые задачи. Лицензия Gemma; применяйте модель с учётом условий лицензии Google Gemma.

AtomicChat/gemma-4-12B-it-GGUF — это квантизированная в формат GGUF версия мультимодальной модели google/gemma-4-12b-it, подготовленная командой Atomic Chat из оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые инструменты. Она поддерживает работу с текстом, изображениями и аудио, а также сценарии, требующие развитого рассуждения; для изображений в репозитории предусмотрен vision-проектор mmproj. Модель содержит около 11,95 млрд параметров и 48 слоёв. Это плотный decoder с гибридным вниманием: скользящее окно на 1024 токена сочетается с глобальным вниманием. Заявленная длина контекста составляет 256 тысяч токенов, размер словаря — 262 тысячи; архитектура использует 16 attention heads и 8 KV heads. Доступны варианты квантизации от Q2_K до Q8_0, включая IQ3_M и IQ4_XS с importance matrix. Q4_K_M указан как оптимальный баланс размера, скорости и качества, а Q6_K и Q8_0 обеспечивают более высокую точность ценой требований к памяти. К преимуществам относятся мультимодальность, большой контекст, возможность локального запуска и квантизация с importance matrix, снижающая потери качества в низкобитных вариантах. Ограничения связаны с зависимостью качества и скорости от выбранного варианта квантизации и доступной RAM или VRAM; для корректного применения шаблона чата требуется режим --jinja, а для изображений — vision-проектор и совместимый интерфейс. Результаты в README относятся к базовой модели Google и не являются собственными измерениями Atomic Chat. Лицензия — Apache 2.0.

gemma-4-31B-it-Mystery-Fine-Tune-HERETIC-UNCENSORED-Thinking-GGUF — модель на базе Gemma 4 31B, дообученная автором DavidAU с использованием Unsloth и закрытых датасетов. Модель позиционируется как инструкционная и рассуждающая, с минимальными ограничениями на тематику, и выпускается в форматах GGUF с вариантами квантования Q4KS и Q6. Для запуска требуется LLAMACPP версии b8641 или новее. Модель предназначена для диалогов, генерации и продолжения художественных текстов, ролевых сценариев, программирования, анализа и других универсальных задач. Поддерживаются текстовые запросы, а благодаря добавленным mmproj-файлам также обработка изображений. Заявлены режимы instruct и thinking; в режиме thinking внутренние рассуждения оформляются специальными каналами, которые приложение должно корректно отображать. Максимальный контекст, указанный для этой модели, составляет 128K токенов. README также ссылается на возможности Gemma 4: работу с изображениями, документами, видео, функциями и многоязычными запросами; для семейства заявлена поддержка более 35 языков «из коробки». Сильными сторонами являются большой размер модели, длинный контекст, мультимодальность, генерация кода и художественного текста, а также заявленное превосходство над базовой моделью в шести из семи внутренних тестов. Ограничения включают использование закрытых датасетов, наличие нерешённых проблем конвейера и контроля качества, ограниченный набор квантований на момент публикации и возможный перевыпуск файлов после дополнительного обучения. Рекомендуемые параметры генерации: temperature 1.0, top_k 64 и top_p 0.95. Лицензия — Apache 2.0.

granite-3.0-2b-instruct-GGUF — это GGUF-квантизированная версия языковой модели Granite 3.0 2B Instruct, разработанной IBM и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и выполнения инструкций, включая ответы на вопросы, понимание прочитанного, рассуждения, математические задачи, синтез кода и многоязычные сценарии. Модель содержит около 2 миллиардов параметров и распространяется в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от F16 до квантизаций Q4–Q8 с размером файлов примерно от 1,52 до 5,27 ГБ. README не указывает точное максимальное окно контекста, архитектурные детали или полный список поддерживаемых языков; при этом приведены результаты тестирования на наборе PAWS-X для семи языков. К сильным сторонам относятся компактный размер, возможность локального запуска и несколько вариантов квантизации с разным соотношением качества и требований к памяти. Квантизированные версии могут уступать исходным весам в точности, особенно при более агрессивном сжатии. Модель ориентирована на текстовые задачи и не заявлена как мультимодальная. Лицензия — Apache 2.0.

GreenOgno-v2-7b-passthrough — текстовая генеративная модель, созданная объединением GreenNode/GreenNode-mini-7B-multilingual-v1olet и eren23/OGNO-7b-dpo-truthful с помощью LazyMergekit. В конфигурации merge-метод passthrough: слои 0–7 взяты из первой модели, слои 8–31 — из второй; токенизатор объединённый, формат весов — float16 Safetensors. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Предназначена для генерации текста; базовая OGNO-7B имеет акцент на правдивость ответов, а компонент GreenNode обозначен как мультиязычный. Лицензия в предоставленных данных не указана.

inception42/jais-adapted-7b-chat — диалоговая языковая модель семейства Jais, разработанного Inception Institute of Artificial Intelligence. Это адаптированная от Llama 2 и дообученная для следования инструкциям модель с 7 млрд параметров, предназначенная для генерации ответов на арабском и английском языках. Она подходит для чат-ассистентов, понимания и создания текста, анализа тональности и суммаризации двуязычных документов. Репозиторий содержит веса в формате safetensors; для загрузки требуется пользовательский класс модели и параметр trust_remote_code=True. Модель распространяется по лицензии Apache 2.0. Ответы могут быть ошибочными, предвзятыми или оскорбительными; качество на других языках и диалектах не гарантируется, а для важных решений нужен контроль человека.

Это диалоговая версия JAIS Family — двуязычной языковой модели, разработанной Inception и Cerebras Systems и дообученной на инструкциях на арабском и английском языках. Репозиторий содержит дообучение базовой модели inceptionai/jais-family-256m; архитектура — плотная авторегрессионная JAISLMHeadModel, веса сохранены в формате Safetensors. Модель принимает текст и генерирует текст, контекст — до 2048 токенов. Модель предназначена для двуязычного диалога, ответов на вопросы и других задач генерации и анализа текста, особенно на современном стандартном арабском и английском. Размер этой версии — 256 млн параметров согласно идентификатору базовой модели; README описывает семейство в целом, а не характеристики именно этого размера. Лицензия Apache 2.0 разрешает использование и распространение. Возможны фактические ошибки, предвзятость и неподходящие ответы; модель не следует использовать для решений с высокими последствиями без контроля человека, а её знания других языков и диалектов не гарантированы.

inception42/jais-family-6p7b-chat — диалоговая версия двуязычной большой языковой модели Jais, созданной Inception Institute of Artificial Intelligence. Это дообученная для следования инструкциям модель с авторегрессионной decoder архитектурой; репозиторий содержит веса Safetensors, а для загрузки требуется пользовательский класс модели с параметром trust_remote_code=True. Размер модели по идентификатору — 6,7 млрд параметров. Модель предназначена для диалога и генерации текста на арабском и английском языках. Её можно использовать для создания чат-ассистентов, ответов на вопросы, суммаризации двуязычных документов и анализа тональности; также она подходит для дальнейшей адаптации под конкретные задачи. Модель оптимизирована для арабского языка и обладает сильными возможностями на английском. Она может выдавать неверные, вводящие в заблуждение или предвзятые ответы; качество на других языках и диалектах не гарантируется. Не следует полагаться на неё при принятии важных медицинских, юридических, финансовых или связанных с безопасностью решений без контроля человека. Лицензия — Apache 2.0.

TheBloke/Llama-2-70B-GGUF — это квантованные файлы большой языковой модели Llama 2 70B, разработанной Meta. Модель предназначена для генерации текста и может использоваться в локальных сценариях: чат-ботах, ассистентах, написании и преобразовании текста, а также других задачах, поддерживаемых text-generation. Указан английский язык; сведения о мультимодальности отсутствуют, поэтому модель следует считать текстовой. Модель основана на Llama 2 70B и распространяется в формате GGUF, разработанном командой llama.cpp. Формат поддерживает метаданные, специальные токены и улучшенную токенизацию. Репозиторий подготовлен TheBloke и содержит варианты квантования от 2 до 8 бит для инференса с использованием CPU и GPU; доступны методы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K с различным компромиссом между размером, скоростью и сохранением качества. Модель совместима с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python. К сильным сторонам относятся возможность локального запуска, поддержка CPU и GPU, широкий выбор уровней квантования и совместимость с популярными инструментами. Ограничениями являются очень большой размер исходной модели, потенциальное снижение качества при агрессивном квантовании и отсутствие в предоставленных данных сведений о размере контекста, производительности, точных требованиях к памяти и специализированном дообучении. Лицензия указана как llama2; условия её применения следует проверять в документации Meta.

Mylesgoose/Llama-3.1-70B-Instruct-abliterated — текстовая инструкционная модель на базе Meta Llama 3.1 70B, у которой, согласно карточке, ортогонализован слой 14. Она использует авторегрессионную архитектуру Transformer семейства Llama и предназначена для диалоговой генерации текста; размер составляет 69,5 млрд параметров, контекст — до 131 072 токенов. Модель подходит для многоязычного общения с ассистентом и генерации текста. В карточке базовой модели заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Метаданные отмечают интерфейс вызова инструментов, однако это не означает, что инструменты встроены: их интеграцию выполняет приложение. В карточке производной модели не приведены отдельные оценки качества или подробности изменения слоя, поэтому характеристики исходной Llama 3.1 не следует считать независимой оценкой этой версии. Модель распространяется по лицензии Llama 3.1 Community License (идентификатор лицензии в метаданных: llama3.1); применение регулируется её условиями и политикой допустимого использования.

Это текстовая версия Llama 3.2 11B Vision Instruct, опубликованная theo77186: автор карточки сообщает, что из исходной модели оставлена только языковая часть размером около 8 млрд параметров. Модель построена на архитектуре Llama и предназначена для генерации текста в формате инструкций и диалогов, включая ответы на вопросы и работу в роли чат-ассистента. Модель принимает текст и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленная длина контекста — 131 072 токена. В репозитории указаны веса safetensors и лицензия Llama 3.2 Community License с особыми условиями использования. Хотя исходная Llama 3.2 Vision рассчитана на задачи с изображениями, автор этого репозитория оставил только языковую часть, поэтому описанные сценарии обработки изображений к данной версии не относятся. Карточка не приводит отдельной оценки качества именно этой текстовой версии. Следует учитывать условия Community License и Acceptable Use Policy; модель обучена на статическом наборе данных.

Lumi-v2-llm-jp-4-8b — японско-английская чат-модель, разработанная SousiOmine на основе llm-jp/llm-jp-4-8b-base. Модель с архитектурой Llama и 7,8 млрд параметров прошла SFT на примерно 1,7 млрд токенов данных с шаблоном ChatML; веса доступны в формате safetensors для Transformers. Контекст модели составляет 65 536 токенов. Модель предназначена для диалоговой генерации текста, следования инструкциям и задач рассуждения на японском и английском языках. В обучающие данные вошли открытые наборы для рассуждений, мультиязычных инструкций, научных вопросов и агентного поведения, а также собственные данные разработчика для вопросов и ответов по коду на японском. Лицензия модели — Apache-2.0. Качество ответов зависит от запроса и тематики; карточка не приводит сравнительных оценок или подробных гарантий качества. Лицензии и условия использования отдельных обучающих наборов различаются и требуют проверки по их карточкам.

Macaron-V1-Preview-744B-Merged — текстовая генеративная модель от MindLab Research, созданная на базе GLM-5.1 и дополнительно обученная с помощью MinT. Это объединённый полный чекпойнт предварительной версии Macaron-V1-Preview; модель предназначена для диалогов и агентных сценариев с использованием инструментов. Архитектура относится к семейству GLM MoE DSA; в репозитории указано 30,4 млрд параметров и контекст длиной до 202 752 токенов. Модель принимает текст и генерирует текст, поддерживает английский и китайский языки. Чекпойнт распространяется в формате safetensors и загружается через Transformers. Он не эквивалентен полной маршрутизируемой системе Mixture-of-LoRA из релиза на 749 млрд параметров, поэтому поведение может отличаться от неё. Лицензия — MIT.

Mengzi3-13B-Base — базовая языковая модель Langboat на архитектуре Llama с 13,3 млрд параметров. Она продолжительно обучалась на многоязычном корпусе объёмом в триллионы токенов, включающем веб-страницы, энциклопедии, социальные сети, СМИ, новости и открытые наборы данных. Модель предназначена для генерации текста и дальнейшей адаптации под пользовательские задачи; карточка отмечает сильные способности в китайском языке и поддержку других языков. Модель может служить основой для приложений генерации текста, а также задач по математике и программированию. В карточке приведены сравнительные результаты бенчмарков, но они не гарантируют качество на конкретных пользовательских данных. Контекст составляет 8192 токена. Репозиторий содержит веса SafeTensors, а лицензия — Apache-2.0. Разработчики предоставляют модель «как есть» и возлагают ответственность за её применение на пользователей.

next-32b-i1-GGUF — это набор квантизированных файлов в формате GGUF для языковой модели next-32b, разработанной thelamapi и дополнительно квантизированной mradermacher. Модель дообучалась на наборах данных FineTome-100k, CognitiveKernel-Pro-SFT, KAG-Thinker-training-dataset, ChatGPT-4o-Writing-Prompts, dolphin-r1 и Brief-Pro, поэтому предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, аналитических и письменных задач. Модель имеет около 32 млрд параметров и относится к transformer-моделям с instruction-tuning. В README заявлена поддержка турецкого, английского, немецкого, испанского, французского, русского, китайского, японского и корейского языков. Указана только текстовая генерация; сведения о мультимодальности и размере контекстного окна отсутствуют. Доступны варианты квантизации от IQ1_S до Q6_K, различающиеся размером, скоростью и качеством; рекомендуются i1-Q4_K_M и i1-Q4_K_S как сбалансированные варианты, а низкоразрядные варианты могут заметно снижать качество. Модель подходит для локального запуска и многоязычных чат-сценариев, однако для работы с большинством вариантов требуется значительный объём памяти. Качество конкретной версии зависит от выбранной квантизации; некоторые варианты в README прямо отмечены как низкокачественные. Лицензия — MIT.

Occiglot-7B-DE-EN-Instruct — генеративная языковая модель с открытыми весами, разработанная Occiglot Research Collective. Это плотный авторегрессионный трансформер Mistral с 7,1 млрд параметров, настроенный на выполнение инструкций на английском и немецком языках. Модель также обучалась на инструкциях, связанных с кодом. Модель подходит для диалогов, ответов на инструкции и генерации текста на английском и немецком языках. Она обучена в формате ChatML, а её контекстное окно составляет 32 768 токенов. Это первая версия исследовательского проекта Occiglot; авторы отмечают, что результаты оценки предварительные, а часть неанглоязычных тестов основана на машинном переводе. Модель не проходила выравнивание по безопасности и может выдавать проблемные ответы. Для использования предоставлены веса в формате safetensors; лицензия — Apache 2.0.

OpenBuddy-deepseek-67b-v15.2 — мультиязычная разговорная языковая модель семейства Llama, опубликованная проектом OpenBuddy. Она предназначена для диалога и генерации текста в ответ на запросы пользователя; модель содержит 66,6 млрд параметров и использует архитектуру LlamaForCausalLM. Для работы указаны Transformers и формат Safetensors, длина контекста — 4096 токенов. В метаданных перечислены китайский, английский, французский, немецкий, японский, корейский, итальянский, русский и финский языки. Карточка указывает лицензию «deepseek», но не приводит её точные условия. Модель может выдавать ошибочные, вредные или оскорбительные ответы; разработчики предостерегают от использования в медицинских, финансовых, юридических и других критически важных сценариях.

OpenBuddy — многоязычная диалоговая модель, разработанная командой OpenBuddy на базе Llama 3.3 70B Instruct. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров и контекстом до 131 072 токенов, предназначенная для генерации ответов в чат-сценариях. В карточке заявлено применение на английском и китайском языках; метаданные также перечисляют французский, немецкий, японский, корейский, итальянский и финский. Модель подходит для диалоговых помощников, ответов на вопросы и генерации текста с длинным контекстом. Используются веса Safetensors; для работы с форматом запросов рекомендуется быстрый токенизатор Transformers, также упомянута совместимость с vLLM для развёртывания API. Модель является дообучением Llama 3.3 70B Instruct и распространяется по лицензии Llama 3.3. Ответы могут быть ошибочными, вредными или оскорбительными. Разработчики не рекомендуют применять модель в критических сценариях, включая медицинские, юридические и финансовые решения или управление системами, способными причинить вред.

openbuddy-mistral-7b-v13.1-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на базе Mistral-7B-Instruct-v0.1 и OpenBuddy/openbuddy-mistral-7b-v13.1. Разработчик репозитория — MaziyarPanahi; веса объединены методом SLERP с настройками для слоёв self-attention и MLP. Модель с плотной архитектурой MistralForCausalLM содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста и ответов на инструкции и диалоговые запросы. В метаданных перечислены китайский, английский, французский, немецкий, японский, корейский, итальянский и русский языки. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0. Качество ответов и ограничения конкретного слияния в карточке не описаны; как и другие языковые модели, оно может ошибаться или выдавать неполные ответы.

Dans-PersonalityEngine-V1.3.0-12b-GGUF — квантизированная версия языковой модели Dans-PersonalityEngine V1.3.0-12b, разработанной PocketDoc и подготовленной bartowski. Модель предназначена для генерации текста, ролевого общения, написания и продолжения историй, совместного написания, решения математических и логических задач, работы с кодом, инструментами и функциями, а также обработки специализированных сценариев в областях химии, биологии, климата, права, медицины и финансов. Модель имеет размер 12 млрд параметров и распространяется в формате GGUF для запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от BF16 до различных уровней квантизации Q4–Q8; размеры файлов составляют примерно от 7,8 до 24,5 ГБ. Заявлена поддержка английского, арабского, немецкого, французского, испанского, хинди, португальского, японского и корейского языков. Формат запросов использует специальные токены [gMASK], <sop>, <|system|>, <|user|> и <|assistant|>. Сильными сторонами являются широкий набор обучающих данных, ориентированность на ролевые и творческие задачи, многоязычность и наличие вариантов с разным балансом качества и требований к памяти. Ограничения включают необходимость значительных вычислительных ресурсов, зависимость качества от выбранной квантизации и отсутствие в README сведений о размере контекстного окна, конкретной архитектуре базовой модели и результатах независимого тестирования. Указана лицензия Apache-2.0.

Richard Young подготовил декензурированную версию Qwen2.5-3B-Instruct с помощью Heretic v1.4.0. Это плотная причинная языковая модель на 3,1 млрд параметров для диалоговой генерации текста. Она подходит для чат-ботов, ответов на инструкции, написания и анализа текста, а также задач по программированию и математике. Модель принимает текст и выдаёт текст; контекст составляет 32 768 токенов, поддерживается генерация до 8 192 токенов. В основе лежит Qwen2.5-3B-Instruct с архитектурой Qwen2ForCausalLM; заявлены RoPE, SwiGLU, RMSNorm и grouped-query attention. README указывает многоязычную поддержку более чем 29 языков, включая русский и английский. В приведённом сравнении модель отказала в 3 случаях из 100 против 96 у исходной версии, поэтому её следует считать менее склонной к отказам при запросах на чувствительные темы. Это не означает гарантии полноты или точности ответов. В метаданных лицензия обозначена как other, а README не содержит её условий, поэтому перед использованием следует проверить лицензию на странице модели и базовой модели. Модель предназначена для работы через библиотеку Transformers.

Qwen3.5-9B-GGUF — это квантизированная версия языковой модели Qwen3.5-9B, распространяемая в формате GGUF. Исходную модель разработала команда Qwen; преобразование и квантизацию выполнила unsloth. Репозиторий tinnlab/Qwen3.5-9B-GGUF является зеркалом без изменений: Tin Nguyen Lab не обучала, не дообучала и не квантизировала модель. В поставке доступен один файл Qwen3.5-9B-Q4_K_M.gguf размером около 5,68 ГБ с квантизацией Q4_K_M. Модель предназначена для локальной генерации текста, текстового диалога и использования инструментов без API-ключа. В данном репозитории поддерживаются только текстовые сценарии; мультимодальный проектор отсутствует, поэтому обработка изображений и видео невозможна. Дополнительные сведения об архитектуре, языках и размере контекста в предоставленной карточке не указаны. Модель распространяется по лицензии Apache-2.0. Репозиторий общедоступен и не требует токена, учётной записи или соглашения о доступе. Зеркало содержит только вариант Q4_K_M, поэтому для других уровней квантизации и мультимодальных компонентов необходимо обращаться к исходному репозиторию unsloth.

Qwen3.5-9B VLM Q4_K_M GGUF — мультимодальная модель на базе Qwen/Qwen3.5-9B, представленная в формате GGUF и подготовленная пользователем jc-builds. Пакет включает квантованные веса основной модели и отдельный мультимодальный проектор mmproj, необходимый для обработки изображений через llama.cpp. Модель предназначена для анализа изображений и текста, визуального рассуждения, генерации описаний, ответов на вопросы по изображениям, а также для обычных текстовых задач. Заявлена поддержка 201 языка, включая английский, китайский, японский, корейский, русский, европейские, арабские и ряд языков Юго-Восточной Азии. Указана архитектура раннего объединения визуальных и текстовых данных, контекстное окно 262 144 токена с возможностью расширения более чем до 1 млн токенов, 9,6 млрд плотных параметров и словарь размером более 200 тысяч токенов. Основные веса используют 4-битную смешанную квантование Q4_K_M и занимают около 6 ГБ, а визуальный проектор хранится в FP16 и занимает около 918 МБ. Для полной мультимодальной инференции требуется примерно 7–8 ГБ RAM или VRAM. Сильные стороны модели — сочетание визуальных и текстовых возможностей, большой контекст, относительно компактный размер и возможность локального запуска, в том числе на устройствах iOS. Ограничения включают зависимость от поддержки mmproj в программном обеспечении: vision-режим доступен в llama.cpp и KoboldCpp, частично поддерживается в LM Studio и не поддерживается в Ollama согласно README. Квантованная версия может незначительно уступать FP16 по качеству. Лицензия — Apache-2.0.

Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored-NVFP4-W4A16-T336 — производная модель, опубликованная esatapedico на основе DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored, которая, в свою очередь, основана на Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и развёртывания через vLLM; настройка TWIN-TURBO ориентирована на сокращение количества токенов рассуждений при сохранении качества ответов. Это 27-миллиардная языковая модель с архитектурой Qwen3_5ForCausalLM, 64 слоями, гибридной архитектурой GatedDeltaNet, поддержкой мультиязычных сценариев и заявленным контекстом до 262144 токенов. В репозитории также сохранены vision tower и MTP head, пригодный для speculative decoding. Контрольная точка использует формат compressed-tensors NVFP4: веса W4A16 с группировкой 16 и масштабами FP8; часть наиболее чувствительных компонентов оставлена в BF16. Калибровочные данные не применялись, размер файла model.safetensors составляет около 21 ГБ. Главные преимущества — значительное сжатие весов, совместимость с vLLM, сохранение полноточных компонентов, влияющих на качество, а также измеренная близкая к родительской модели perplexity на англоязычном наборе. Ограничения включают зависимость от vLLM-совместимых движков, необходимость подходящей аппаратной конфигурации и отсутствие GGUF в репозитории; заявленная проверка проводилась при tensor parallel 2 и контексте 2048 токенов, поэтому практические характеристики на максимальном контексте могут отличаться. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — квантизированная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, работы с изображениями и видео. Она ориентирована на прямые ответы с минимальным вступлением и профилем без отказов, поэтому подходит для задач, где требуется снизить склонность модели к отказу от ответа. Заявлены поддержка английского, китайского и других языков, а также мультимодальный режим с отдельным vision-проектором BF16 для обработки изображений и видео. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, размером скрытого представления 5120, размером FFN 17408 и словарём на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Встроенный MTP/NextN сохранён, а дополнительный профиль HauhauCS FastMTP 32K предназначен для ускорения спекулятивного декодирования; заявлено ускорение до 3,02 раза для документов и до 1,93 раза для рассуждений по сравнению с режимом без MTP. Доступны варианты квантизации от Q8_K_P до IQ2_M, что позволяет выбирать баланс между качеством, размером и требованиями к памяти; размер текстовых файлов составляет примерно от 10,32 до 31,46 ГБ. К сильным сторонам относятся большой контекст, мультимодальность, поддержка длинных документов и ускорение генерации. Ограничение Aggressive-профиля — намеренное отсутствие отказного поведения, из-за чего он может быть менее подходящим для надёжно контролируемых и критически важных агентских сценариев; для них автор рекомендует Balanced-вариант, если он доступен. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF-q4kp — квантизированная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Это плотная causal language model на 27 млрд параметров с vision encoder, предназначенная для генерации текста, рассуждений, агентских сценариев, работы с изображениями и видео. Aggressive-профиль ориентирован на прямые ответы без выраженного отказного поведения и с минимальными вступлениями на сложные запросы. Модель содержит 64 слоя, размер скрытого представления 5120, размер FFN 17408, словарь из 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняет встроенный MTP/NextN и дополнительно поддерживает HauhauCS FastMTP для ускорения спекулятивного декодирования; для визуального ввода используется отдельный BF16-проектор. Заявлены языки английский, китайский и другие многоязычные сценарии. Нативный контекст составляет 262 144 токена и может расширяться до 1 000 000. Сильные стороны модели — широкий набор текстовых, reasoning-, agentic-, image- и video-возможностей, большой контекст, несколько вариантов квантизации K_P и ускорение FastMTP. Aggressive-профиль может быть менее подходящим для надёжных длинноконтекстных агентских задач, где предпочтительнее более сбалансированная версия. Модель распространяется по лицензии Apache-2.0; для работы с изображениями и видео требуется отдельный vision projector.

Vontra/Qwen3.8-Flash-Next-MLX-oQ6-MTP — это общественная MLX-конверсия модели Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для Apple Silicon и поддерживает сценарии vision-language: работу с текстом и изображениями, диалоговые приложения, анализ визуального содержимого и генерацию текста. Это не официальный релиз Qwen, а производная сборка Vontra, созданная из официальных BF16-весов. Модель использует архитектуру qwen4_exp: sparse mixture-of-experts с 125 млрд параметров (около 6 млрд активных), 48 слоями, 512 маршрутизируемыми экспертами и одним общим экспертом. Она сочетает Gated DeltaNet, Qwen Sparse Attention, расширенные gated residual streams и хешированные bigram/trigram embeddings объёмом 51 млрд параметров. Конфигурируемый контекст составляет 262 144 токена, предусмотрены 24 attention heads и 2 KV heads. Квантование выполнено в формате oQ6 с 6-битной базой и защищёнными модулями в 6/8 бит; размер группы — 32. В сборке сохранён нативный MTP-блок Qwen4Exp для speculative decoding. К сильным сторонам относятся существенно уменьшенный объём вычислений за счёт MoE, поддержка длинного контекста, мультимодальность и ускорение генерации с помощью native MTP. Размер весов составляет около 158,07 ГБ, поэтому модель требует значительных ресурсов. Для работы необходим runtime oMLX или MLX-VLM с явной поддержкой qwen4_exp и native MTP; стандартные runtime без этой поддержки могут не загрузить модель. Приведённые измерения на Apple M3 Studio показывают примерно 28–37 токенов в секунду, но производительность зависит от длины запроса, настроек генерации, версии runtime и доступной памяти. Модель распространяется по Qwen Community License 1.0; текст лицензии включён в репозиторий.