I.6Перевод и языковая адаптация

RWKV-6 World — многоязычная авторегрессионная языковая модель семейства RWKV, разработанная BlinkDL. Она предназначена для генерации продолжений текста и диалоговых ответов; карточка приводит примеры форматов подсказок для чата и вопросов с ответами. Модель обучалась более чем на 100 языках: около 70% обучающих данных составлял английский, 15% — другие языки и 15% — код. В обучении использовались корпуса Pile, SlimPajama, StarCoder и OSCAR, а также Википедия и собранные диалоговые данные; для версий World указано от 0,59 до 1,42 триллиона токенов.

RWKV7-G1i-1.5B-20260805 — базовая предварительно обученная языковая модель архитектуры RWKV-7, разработанная Бо Пэном, Ю Чжаном, Сонглином Яном, Жуйчуном Чжаном и Чжиюанем Ли при поддержке RWKV Project под эгидой LF AI & Data Foundation. Модель содержит 1,5 млрд параметров и использует рекуррентную архитектуру без attention: состояние фиксированного размера и вычисления на каждый генерируемый токен постоянны, при этом обучение допускает параллелизацию. Для работы применяется формат flash-linear attention и токенизатор RWKV World с размером словаря 65 536 токенов. Модель предварительно обучена на веб-текстах, коде, синтетических данных, инструкциях, чатах и материалах для рассуждений. Она предназначена для генерации текста, оценки, последующего обучения и тонкой настройки; шаблон чата задаёт формат промпта, но сам по себе не означает, что модель является безопасным или согласованным ассистентом. Метаданные каталога указывают контекст 2048 токенов и поддержку английского, китайского, японского, корейского, французского, арабского, испанского и португальского языков. Лицензия — Apache-2.0.

WarpQuant Qwen3.5-4B R16E4 Text — текстовая версия чекпойнта Qwen3.5-4B, опубликованная HarimxChoi. Это плотная авторегрессионная языковая модель с 3,4 млрд параметров для генерации текста и диалога; она принимает текст и выдаёт текст. Контекст модели составляет до 262 144 токенов, в карточке указаны английский и корейский языки. Веса проекций сжаты методом block-GPTQ до INT3 с преобразованием signed Hadamard и восстановлением выбранных столбцов BF16 по Output-Fisher; эмбеддинги токенов используют групповой INT4. Репозиторий хранит значения в формате safetensors, совместимом с BF16. В README приведены результаты для базовой модели и других форматов, но отдельные метрики именно для этой версии не приведены. Модель предназначена для текстовой генерации и диалога, в том числе с длинным контекстом. Это текстовый экспорт: возможности понимания изображений исходной мультимодальной модели сюда не входят. Для запуска README указывает на необходимость актуальной основной ветки Transformers. Лицензия — Apache-2.0.

GLM4-32B-Neon-v2-GGUF — это квантизированная версия языковой модели GLM4-32B-Neon-v2, разработанной allura-org и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. В карточке указана поддержка английского языка и лицензия MIT. Модель содержит 32 млрд параметров; доступны варианты от BF16 до различных форматов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix на базе llama.cpp release b5228. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для работы рекомендуется использовать указанный формат промпта с системным сообщением, пользовательским запросом и ответом ассистента. Это текстовая модель: сведения о поддержке изображений, аудио, других модальностей, размере контекста и архитектурных особенностях в README не приведены. Для запуска необходима совместимая инфраструктура llama.cpp и объём памяти, соответствующий выбранному файлу; размеры файлов варьируются примерно от 13,66 до 65,14 ГБ.

Arabic-GLM-OCR-v2 — дообученная модель распознавания арабского текста на изображениях, созданная sherif1313 на базе zai-org/GLM-OCR. Она предназначена для извлечения текста из книг, рукописей, изображений и документов. Модель принимает изображение и формирует текст; карточка заявляет поддержку арабского языка и размер около 2,2 ГБ. Архитектура GLM-OCR относится к мультимодальным моделям для генерации текста по изображению. Автор заявляет о контекстном распознавании арабского текста, снижении влияния шума и исправлении орфографии. Для дословной транскрипции рекомендуется явно попросить сохранить исходное написание: модель может автоматически исправлять или перефразировать текст, а высокая температура способна ухудшить точность. README указывает, что для инференса требуется тонкая настройка управления генерацией. Лицензия — Apache-2.0.

EVA-abliterated-TIES-Qwen2.5-1.5B — объединённая авторегрессионная языковая модель семейства Qwen2, созданная с помощью mergekit методом TIES. В объединение вошли huihui-ai/Qwen2.5-1.5B-Instruct-abliterated и EVA-UNIT-01/EVA-Qwen2.5-1.5B-v0.0; базовая модель — Qwen/Qwen2.5-1.5B. Модель содержит 1,5 млрд параметров, использует архитектуру Qwen2ForCausalLM и формат safetensors. Модель предназначена для генерации текста и диалоговых сценариев. Заявленный контекст — до 131 072 токенов; доступны интерфейсы chat и tool calling. Метаданные указывают поддержку языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Лицензия — Apache-2.0.

beomi/EXAONE-3.5-2.4B-Instruct-Llamafied — это адаптированная («llamafied») версия инструкционной языковой модели EXAONE 3.5 2.4B Instruct, разработанной LG AI Research и преобразованной пользователем beomi. Модель предназначена для генерации текста и диалогового взаимодействия на основе инструкций и запросов пользователя. Модель содержит 2,4 млрд параметров, поддерживает контекст длиной до 32 768 токенов и работает с английским и корейским языками. Она распространяется для использования через библиотеку Transformers; в метаданных также указана совместимость с форматом Llama и файлами safetensors. Версия ориентирована на сценарии, где требуется компактная инструкционная LLM с поддержкой длинного контекста. Модель подходит для диалоговых помощников, написания и продолжения текстов, ответов на вопросы, суммаризации и других задач генерации на английском и корейском языках. Ограничения связаны с тем, что это адаптированная версия исходной модели, поэтому совместимость, качество и поведение могут отличаться от оригинальной EXAONE-3.5-2.4B-Instruct. Модель распространяется по лицензии EXAONE, обозначенной в Hugging Face как other; перед использованием необходимо проверить её условия.

Experiment26Yam_CalmeInex12 — объединённая языковая модель на архитектуре Mistral, созданная MaziyarPanahi путём слияния automerger/Experiment26Yam-7B и automerger/CalmeInex12-7B. Модель содержит 7,1 млрд параметров, принимает текстовые запросы и генерирует текст; длина контекста составляет до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев общего назначения. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Карточка модели aTrain-core/faster-distil-whisper-large-v2 на Hugging Face совпадает с карточкой Systran/faster-distil-whisper-large-v2, поэтому описание составлено по ней. Это конверсия модели distil-whisper/distil-large-v2 в формат CTranslate2, подготовленная для использования с CTranslate2 и проектами на его основе, например faster-whisper. Модель предназначена для распознавания речи по аудиозаписям и транскрибирования речи в текст. Веса сохранены в FP16; при загрузке тип вычислений можно выбирать через параметр compute_type в CTranslate2. В карточке указана поддержка английского языка. Репозиторий использует библиотеку CTranslate2, а лицензия — MIT.

Это конверсия модели distil-whisper/distil-large-v3 в формат CTranslate2, опубликованная Systran. Она предназначена для автоматического распознавания речи и может использоваться в CTranslate2 и проектах на его основе, включая faster-whisper. Веса сохранены в FP16; тип вычислений можно выбрать при загрузке через параметр compute_type. Лицензия репозитория — MIT.

unsloth/gemma-3-270m-it-unsloth-bnb-4bit — квантованная 4-битная версия instruction-tuned модели google/gemma-3-270m-it, подготовленная проектом Unsloth. Исходная модель разработана Google DeepMind как часть семейства Gemma — открытых моделей, созданных на основе исследований и технологий Gemini. Модель предназначена для генерации текста по инструкциям, ответов на вопросы, суммаризации документов, рассуждений и работы с программным кодом. Для версии с размером 270M заявлен контекст до 32K токенов на запрос. Обучение проводилось на данных более чем из 140 языков, включавших веб-тексты, код, математические материалы и изображения; дата отсечения знаний — август 2024 года. В данном репозитории модель представлена как text-generation-модель для Transformers, а 4-битное представление снижает требования к памяти и упрощает локальный запуск. К сильным сторонам относятся небольшой размер, экономичность и пригодность для развёртывания на устройствах с ограниченными ресурсами. Ограничениями являются существенно меньшая ёмкость по сравнению с крупными вариантами Gemma, возможные потери качества из-за квантования и отсутствие в README отдельных результатов оценки именно этой квантованной версии. Модель распространяется по лицензии Gemma; перед использованием необходимо учитывать соответствующие условия Google.

Gemma 4 12B RKNn3 для RK1828 — адаптированная для запуска на устройстве версия Gemma 4 12B IT от Google DeepMind, подготовленная проектом t-firefly для LlamaPi. Это плотная мультимодальная модель семейства Gemma4 Unified, распространяемая в форматах GGUF и safetensors и ориентированная на локальное использование на периферийных устройствах. Модель принимает текст, изображения, аудио и видео, а выдаёт текст; поддерживает диалог, рассуждения, программирование и агентные сценарии. В исходной карточке заявлены контекст 256 тысяч токенов и поддержка более 140 языков. Модель подходит для локального чат-ассистента, анализа мультимодальных входных данных и задач на устройстве RK1828 через LlamaPi. Репозиторий указывает лицензию Apache-2.0. Сведения о качестве и ограничениях именно сборки для RK1828 в карточке не приведены.

Indic-Transcribe-flex — мультиязычная модель распознавания речи, разработанная Spark UX и основанная на NVIDIA Canary-1B-v2. Она использует энкодер FastConformer и Transformer-декодер и дообучена для транскрибации 27 индийских языков, включая варианты английского с индийским акцентом и диалекты хинди. Для входа принимает аудио; базовые требования — моно, 16 кГц, поддерживаются WAV, FLAC и MP3. Модель предназначена для преобразования речи в текст, в том числе в шумной обстановке и при смешении языков в одной речи. Доступны вывод в родной письменности, смешанный режим с латиницей для английских слов и чисел и полностью романизированный текст. Также модель умеет определять язык и транскрибировать аудио без заранее заданного языка. Вариант flex поддерживает нормализацию чисел и кода-свитчинг; потоковая транскрибация, согласно карточке, относится к варианту lite. Заявленные сценарии включают голосовые продукты для образования, сельского хозяйства и здравоохранения, а также транскрибацию звонков и индексирование речи. В карточке приведены результаты бенчмарка Voice of India, но они не гарантируют такую же точность на других данных. Лицензия в метаданных обозначена как other; README заявляет готовность модели к коммерческому использованию, поэтому перед развертыванием следует проверить условия лицензии репозитория.

Jais-13b — предварительно обученная двуязычная языковая модель на 13 млрд параметров, разработанная Inception, Университетом искусственного интеллекта имени Мохаммеда бин Заида (MBZUAI) и Cerebras Systems. Она предназначена для генерации текста на арабском и английском языках и может служить основой для дообучения под прикладные задачи, включая чат-ассистентов и поддержку клиентов. Модель использует декодерную архитектуру Transformer типа GPT-3 с активацией SwiGLU и позиционными представлениями ALiBi. Обучение проводилось на 395 млрд токенов, включая арабский, английский и код. Для загрузки требуется пользовательский класс модели и параметр trust_remote_code=True; в README приведён пример для Transformers 4.28.0. Модель ориентирована на арабский и английский языки; равное качество для других языков и диалектов не предполагается. Как и другие большие языковые модели, она может выдавать неверную, вводящую в заблуждение или оскорбительную информацию, поэтому её ответы не следует использовать как единственное основание для важных решений. Лицензия Apache 2.0 допускает использование модели в соответствии с её условиями.

JetlinkSTT-v1.0-7B — многоязычная модель распознавания речи, размещённая Jetlink как управляемая организацией копия модели семейства Qwen3-ASR. Метаданные указывают на дообучение Qwen/Qwen3-ASR-1.7B; модель принимает аудио и предназначена для преобразования речи в текст и определения языка. Модель поддерживает потоковую и офлайн-обработку, длинные записи, пакетный запуск и сценарии транскрибации. В README заявлена устойчивость к шуму, сложным речевым паттернам и пению, в том числе под музыку. Указана поддержка 52 языков и диалектов исходным семейством, включая русский, английский, китайский и другие перечисленные языки. Модель подходит для транскрибации звонков и встреч, создания субтитров, голосовых помощников и аналитики речи. Практическая производительность и требования к памяти зависят от оборудования, длительности аудио, пакетного размера, конкуренции запросов и выбранного серверного ПО. Для юридических, медицинских и критически важных сценариев README рекомендует проверку человеком. Лицензия — Apache-2.0.

SteelStorage/L3.1-Meta-In-15B — объединённая плотная языковая модель семейства Llama, созданная с помощью mergekit методом passthrough на основе NousResearch/Meta-Llama-3.1-8B-Instruct. Репозиторий содержит веса в формате safetensors; размер модели — 14,5 млрд параметров, контекстное окно — до 131 072 токенов. Модель предназначена для генерации текста и диалогов, включая ответы на инструкции и запросы в чат-сценариях. В метаданных заявлена поддержка text-generation и возможности chat; базовая модель описана как многоязычная инструктивная модель Llama 3.1. Карточка не приводит результатов оценки качества, поэтому фактические сильные стороны сверх характеристик базовой модели подтвердить нельзя. Лицензия в предоставленных данных не указана.

NeuML/language-id-quantized — облегчённая модель определения языка текста, опубликованная NeuML как экспорт модели идентификации языков FastText для библиотеки staticvectors. Она использует символьные n-граммы и архитектуру статических плотных векторов; 2×256 product quantization сокращает размер до примерно 4 МБ с небольшим снижением точности относительно исходной версии. Модель предназначена для быстрого определения языка входного текста в Python с использованием NumPy. Модель подходит для автоматической маршрутизации текста по языковым обработчикам, разметки многоязычных корпусов и предварительной классификации пользовательских запросов. Карточка указывает поддержку многих языков, но не перечисляет их отдельно. Репозиторий содержит веса в формате safetensors; лицензия — CC BY-SA 3.0. Ограничение, отмеченное автором: квантование немного снижает точность по сравнению с базовой моделью.

ZuzeTt/LFM2.5-1.2B-Instruct-imatrix-GGUF — квантованный вариант текстовой instruct-модели LFM2.5-1.2B-Instruct, разработанной Liquid AI; репозиторий ZuzeTt основан на базовой модели LiquidAI/LFM2.5-1.2B-Base. Модель предназначена для локального и периферийного развертывания, включая agentic-задачи, извлечение данных, RAG и общее следование инструкциям. Формат GGUF ориентирован на llama.cpp и совместимые инструменты, CPU-инференс и снижение потребления памяти. Модель содержит 1,17 млрд параметров, 16 слоёв: 10 double-gated LIV convolution blocks и 6 GQA blocks. Она поддерживает только текстовые данные, контекст до 32 768 токенов и языки: английский, арабский, китайский, французский, немецкий, японский, корейский и испанский. Заявлены скорость декодирования до 239 токенов в секунду на AMD CPU и 82 токенов в секунду на мобильном NPU, а также работа менее чем с 1 ГБ памяти; эти показатели зависят от оборудования и конфигурации. Сильные стороны модели — малый размер, высокая скорость локального инференса, многоязычность, поддержка ChatML-подобного шаблона и function calling. Модель не рекомендуется для задач, требующих обширных фоновых знаний, и программирования; дата отсечения знаний — середина 2024 года. Указана лицензия lfm1.0; дополнительные условия следует уточнять в файле LICENSE.

Abiray/LFM2.5-2.6B-Heretic-Abliterated-GGUF — набор GGUF-квантизаций модели LFM2.5-2.6B, разработанной Liquid AI, с изменениями Heretic (abliterated). Модель предназначена для локального запуска, агентских сценариев, многошагового выполнения инструкций и вызова инструментов. Версия Heretic снижает склонность исходной модели к отказам на ограниченные, спорные и явные запросы, сохраняя заявленные возможности базовой модели. Модель имеет плотную архитектуру LFM2.5 с 30 слоями: 22 блока коротких свёрток с двойным управлением и 8 слоёв GQA. Она содержит около 2,69 млрд параметров, поддерживает контекст до 131 072 токенов, словарь размером 128 000 токенов и нативный вызов инструментов. Заявлена поддержка английского, арабского, китайского, французского, немецкого, итальянского, японского, корейского, португальского, испанского, вьетнамского, тайского, индонезийского, хинди, русского и польского языков. Доступны квантизации от Q3_K_M до Q8_0 размером примерно от 1,37 до 2,87 ГБ. Q4_K_M позиционируется как оптимальный вариант для мобильных и периферийных устройств, а Q8_0 — как вариант с минимальными потерями качества для сложных задач и интенсивного использования инструментов. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству. Abliteration уменьшает защитные отказы, однако README не приводит независимой оценки безопасности, качества или стабильности поведения модели. Модель распространяется по лицензии Apache-2.0. Предусмотрен полностью офлайн-запуск на CPU или GPU через llama.cpp; для корректного диалогового режима рекомендуется использовать соответствующий шаблон чата.

Magistral-Small-2506-bf16 — версия модели Magistral-Small-2506, подготовленная сообществом mlx-community для формата MLX. Это плотная авторегрессионная модель семейства Mistral с 23,4 млрд параметров, предназначенная для генерации текста и диалогового общения. Модель принимает текст и выдаёт текст; её контекстное окно составляет 32 768 токенов. В карточке указана поддержка множества языков, включая русский, английский, французский, немецкий, испанский, китайский и японский. Модель можно использовать для диалоговых интерфейсов, генерации и продолжения текста. Репозиторий содержит веса safetensors в формате MLX; README указывает на запуск через mlx-lm версии 0.25.2. Лицензия — Apache-2.0. Это преобразование базовой модели в другой формат, поэтому качество и поведение в основном определяются исходной Magistral-Small-2506, а практическое использование MLX ориентировано на совместимую среду.

Mistral-Nemo-Instruct-2407-GGUF — это набор файлов модели в формате GGUF для инструкционной языковой модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и выполнения инструкций, включая локальные сценарии использования через совместимые приложения и библиотеки. В репозитории представлены варианты с 2-, 3-, 4-, 5-, 6- и 8-битной квантизацией. Формат GGUF разработан командой llama.cpp и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, Faraday.dev, candle и другими инструментами. Ключевое преимущество — возможность запуска квантизированных версий локально с использованием CPU и GPU, однако конкретные требования к ресурсам и производительность зависят от выбранного варианта квантизации и программного окружения. README не содержит сведений об архитектуре, размере, поддерживаемых языках, длине контекста, модальностях, сильных сторонах базовой модели или лицензии. Поэтому эти характеристики нельзя надежно определить по представленным данным.

Muse-Glimmer-30B-CRACK-GGUF — мультимодальная модель семейства Muse Glimmer, подготовленная Dealign.ai на основе meta-models/Muse-Glimmer-30B. Это GGUF-квантизации для запуска через llama.cpp. Модель ориентирована на английский и китайский языки, поддерживает работу с текстом и изображениями, рассуждения с регулируемой интенсивностью и вызов инструментов в формате ATEM. Доступны варианты Q8_0 размером 29,6 ГБ, Q4_K_M размером 16,9 ГБ и Q2_K размером 10,7 ГБ; разработчик рекомендует Q4_K_M как сбалансированный вариант. Для обработки изображений требуется дополнительный vision projector mmproj-Muse-Glimmer-30B-f16.gguf размером 3,8 ГБ. В примерах запуска используется контекст 8192 токена. Интенсивность рассуждений можно выбирать между low, medium, high и xhigh, а вызовы инструментов передаются через совместимый с OpenAI интерфейс llama.cpp. Сильными сторонами являются сохранение знаний и показателей MMLU, близких к базовой модели, поддержка мультимодальных сценариев, управляемого рассуждения и инструментов, а также несколько вариантов квантизации для разного объёма памяти. Ограничение модели — существенно сниженные защитные ограничения: поведение отказа удалено, поэтому модель может отвечать на вредоносные и незаконные запросы. Это исследовательский артефакт, требующий ответственного и законного использования. Распространяется по лицензии Apache 2.0 с оговоркой о применении политики использования upstream Muse Glimmer.

Noromaid-7b-v0.2-Mistral-7B-Instruct-v0.1 — языковая чат-модель MaziyarPanahi для генерации текста и ответов на диалоговые запросы. Она получена слиянием методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.1 и NeverSleep/Noromaid-7b-v0.2; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров. Модель принимает текст и выдаёт текст. Заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса Safetensors в формате bfloat16 и распространяется по лицензии Apache-2.0. Карточка не описывает отдельные языковые или предметные специализации, поэтому модель можно рассматривать как универсальную чат-модель.

OpenBuddy — мультиязычная разговорная модель, созданная на базе Meta Llama 3.1 8B Instruct. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов, предназначенная для диалога и генерации текста. Её можно запускать локально через Ollama, а для развёртывания API README рекомендует Transformers или vLLM и соответствующий формат токенизатора. Модель предназначена прежде всего для общения на английском и китайском языках; метаданные также перечисляют французский, немецкий, японский, корейский, итальянский и финский. OpenBuddy указывает лицензию как other, а README отсылает к условиям использования и предупреждает, что ответы могут быть ошибочными или вредными. Модель не рекомендуется для медицинских, финансовых, юридических и других критически важных решений.

Карточка модели lyNjx/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Модель t-firefly/qwen3-1.7b-rknn3-rk1828 — адаптация Qwen3-1.7B, разработанной командой Qwen, для запуска на устройстве RK1828 через LlamaPi. Это плотная причинная языковая модель с 1,7 млрд параметров; репозиторий содержит веса в формате GGUF. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования и рассуждений. Поддерживает режимы с рассуждением и без него, а также более 100 языков и диалектов. Контекстное окно составляет 40 960 токенов. Модель подходит для локальных сценариев на периферийных устройствах, где нужны компактный диалоговый помощник, ответы на инструкции или помощь с кодом. Метаданные отмечают интерфейс вызова инструментов, однако подробности его использования в карточке не приведены. Лицензия — Apache-2.0.

mlx-community/Qwen3-235B-A22B-4bit — это 4-битная версия модели Qwen3-235B-A22B, преобразованная в формат MLX сообществом mlx-community с использованием mlx-lm 0.24.0. Исходную модель разработала команда Qwen; README указывает базовую модель Qwen/Qwen3-235B-A22B. Модель предназначена для генерации текста и может использоваться через библиотеку mlx-lm, в том числе в диалоговом режиме с применением chat template. Указаны общий размер 235B параметров и обозначение A22B, однако подробности архитектуры, поддерживаемые языки, модальности и размер контекста в README не приведены. Ключевое преимущество этой версии — 4-битное представление и адаптация к MLX, что ориентировано на запуск в совместимой MLX-среде; ограничения производительности, качества и требований к оборудованию не описаны. Модель распространяется по лицензии Apache-2.0.

Youssofal/Qwen3.5-9B-MTPLX-Optimized-Speed-FP16 — языковая модель для генерации текста, опубликованная пользователем Youssofal и основанная на семействе Qwen3.5-9B. Она предназначена для локального запуска на компьютерах Apple с чипами Apple Silicon через MTPLX, включая сценарии интерактивного общения, генерации текста и работы локального сервера с OpenAI-совместимым API. Модель оптимизирована для Multi-Token-Prediction speculative decoding. Основная часть модели использует 6-битное MLX affine-представление, а боковой модуль MTP применяется для спекулятивного декодирования. Упакованные квантованные тензоры сохраняются без повторной квантизации, а плавающие тензоры BF16 преобразованы в FP16 для совместимости с предпочтительным режимом работы на Mac с чипами M1 и M2. Рекомендуемый профиль — sustained, глубина по умолчанию — D2, бэкенд — qwen3-next-mtp. Заявленные показатели исходного артефакта достигают 101,32 токена в секунду в режиме D2, однако для FP16-варианта эти значения приведены как ориентир, а не как гарантированный результат. Сильная сторона модели — сочетание компактного квантованного представления, ускоренного декодирования и адаптации к старым поколениям Apple Silicon. Ограничения включают неполноценную точность по сравнению с full-precision checkpoint, зависимость производительности от устройства и среды MTPLX, а также отсутствие в README сведений о поддерживаемых языках, размере контекстного окна и точной архитектуре базовой модели. Лицензия — Apache 2.0.

Qwen3.8-27B-GGUF-4.2BPW-16GB — это квантованная версия плотной языковой модели Qwen3.8-27B, разработанной командой Qwen. Сборка опубликована пользователем hitsfmdj и создана с использованием Omenator AI. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ollama или LM Studio, особенно на видеокартах с 16 ГБ VRAM. Модель поставляется в формате GGUF с importance-weighted смешанной точностью и эффективной точностью 4,189 бит на вес. Все 27 млрд параметров сохранены: параметры не удалялись и не подвергались дистилляции, а точность перераспределялась между тензорами с учётом их важности. Размер файла составляет 11,88 ГБ, заявленный базовой моделью контекст — 262 144 токена. Сборка рассчитана на полное размещение в памяти одной 16-гигабайтной GPU без выгрузки слоёв на CPU. Ключевое преимущество — возможность запускать 27B-модель на видеокартах класса 16 ГБ с сохранением VRAM для KV-кэша; на эталонной системе заявлена скорость декодирования 12,77 токена в секунду. Оценка потери качества составляет около 2,6% относительно почти без потерь, но основана только на perplexity и KL-divergence при отборе квантования и не подтверждена полноценным набором downstream-бенчмарков. Реальная скорость и доступный контекст зависят от оборудования, backend и настроек KV-кэша. Базовая модель и квантованная сборка распространяются по лицензии Apache-2.0; для базовой модели действуют соответствующие условия лицензии. Языки и специализированные возможности исходной Qwen3.8-27B в README не указаны.

Qwen3.8-27B-Uncensored-oQ8e-mtp — это квантизированная версия модели orcarouter/Qwen3.8-27B-Uncensored, подготовленная пользователем pyros-vault для запуска на Apple Silicon и macOS. Артефакт создан в формате MLX с помощью oMLX 0.6.1 и предназначен для развёртывания через runtime oMLX с OpenAI-совместимым API. Модель относится к типу qwen3_5, имеет заявленный максимальный контекст 262 144 токена, поддерживает мультимодальные сценарии благодаря сохранённым ресурсам Vision и включает один слой MTP. Используется смешанная квантизация oQ8e: аффинная Q8/G64 применяется по всей модели без переопределений точности для отдельных тензоров. Размер тензорных данных составляет около 27,94 GiB, модель размещена в шести Safetensors-фрагментах. В README не указаны точные языки, результаты бенчмарков или проверенная производительность. Модель подходит для диалоговых и мультимодальных задач, однако фактические возможности Vision, качество генерации, потребление памяти, скорость и эффективность MTP зависят от версии oMLX, клиента, промпта и аппаратного обеспечения. Полный контекст заявлен только конфигурацией и не подтверждён тестированием; квантизация может влиять на качество. Репозиторий не предназначен для CUDA на Windows, а hosted inference Hugging Face его формат не обслуживает. Прямая исходная модель распространяется по лицензии Apache-2.0; для полного соблюдения условий необходимо учитывать также правила и атрибуцию upstream-модели. Квантизацию и упаковку выполнил pyros-vault.