I.6Перевод и языковая адаптация

primeline/distil-whisper-large-v3-german — модель распознавания немецкой речи, разработанная Флорианом Циммермайстером и основанная на технике дистилляции Whisper. Она предназначена для транскрибации немецкой речи как локально, так и в составе конвейеров распознавания. В карточке описана версия с 756 млн параметров и размером 1,51 ГБ в bfloat16; метаданные указывают архитектуру Whisper с 905,2 млн параметров и формат safetensors. Модель обучена на отфильтрованных данных Common Voice, многоязычного LibriSpeech и внутренних данных. Автор заявляет о более быстром выводе с минимальной потерей качества относительно немецкой версии Whisper large v3; при оптимизации, например с TensorRT, модель может применяться для распознавания речи в реальном времени. Указанный язык — немецкий. Лицензия — Apache-2.0.

dots.llm1.base — базовая языковая модель семейства dots.llm1, разработанная командой dots1. Она предназначена для генерации и продолжения текста, а также служит основой для диалоговых приложений и дальнейшей настройки под инструкции. Модель построена на разреженной архитектуре Mixture of Experts (MoE): в README указаны 142 млрд параметров всего и 14 млрд активируемых при инференсе. Архитектура включает 62 слоя, multi-head attention с QK-Norm, маршрутизацию к 6 из 128 экспертов и 2 общих эксперта. Репозиторий содержит веса в формате Safetensors; контекст составляет 32 768 токенов. Поддерживаются английский и китайский языки. Разработчики сообщают о предобучении на высококачественном корпусе без синтетических данных и о производительности на уровне Qwen2.5-72B. Модель распространяется по лицензии MIT. Карточка описывает серию, включающую базовую и настроенную на инструкции версии; приведённые характеристики серии не гарантируют одинаковое качество на всех задачах.

OpenAssistant/falcon-40b-sft-mix-1226 — языковая модель OpenAssistant, созданная дообучением Falcon 40B от TII. Это плотный авторегрессионный трансформер с причинным декодером; метаданные указывают 65 млрд параметров. Модель обучена на смеси диалогов OpenAssistant OASST1, Dolly-15k и синтетических инструкционных данных; карточка связывает её с контрольной точкой обучения на 1226 шагах. Модель предназначена для генерации ответов и продолжения текста по инструкциям, в том числе в диалоговом формате с маркерами пользовательских и ассистентских реплик. Основные языки — английский, немецкий, испанский и французский; README также отмечает ограниченные возможности на итальянском, португальском, польском, нидерландском, румынском, чешском и шведском. Модель принимает текст и генерирует текст. Сильная сторона модели — дообучение на диалогах и инструкциях, позволяющее отвечать на вопросы и выполнять текстовые запросы на нескольких языках. Карточка приводит оценивание ilm-eval и демонстрации продолжения случайных запросов. Ограничения: дополнительные языки поддерживаются слабее основных, а в карточке нет данных о длине контекста. Лицензия — Apache 2.0.

Faro-Yi-34B-DPO — разговорная языковая модель, созданная wenbopan как DPO-версия Faro-Yi-34B. Она предназначена для генерации ответов в диалоге и других текстовых задач; для общения использует шаблон ChatML. Модель построена на архитектуре Llama, имеет 33,9 млрд параметров и контекст длиной до 32 768 токенов. В карточке заявлена поддержка английского и китайского языков. Автор отмечает хорошую работу как с коротким, так и с длинным контекстом и сообщает, что модель превосходит исходную Yi-34B-200K на многих задачах. В метаданных происхождение указано как слияние моделей; веса опубликованы в формате safetensors. Лицензия — MIT. Карточка не приводит подробных результатов оценки или конкретных ограничений качества.

GLM-4.7-Flash-5bit — это версия языковой модели GLM-4.7-Flash, разработанной организацией zai-org и преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста и запуска на устройствах и в программных окружениях, совместимых с MLX. Модель поддерживает английский и китайский языки и относится к классу text-generation. Вариант 5bit использует 5-битное представление параметров, что может снизить требования к памяти по сравнению с полноформатной версией, однако README не содержит точных сведений о размере модели, архитектуре, длине контекста, доступных модальностях и производительности. Для работы требуется библиотека mlx-lm; в README приведён пример загрузки модели, применения chat template и генерации ответа. Модель распространяется по лицензии MIT. Ограничения, связанные с качеством, безопасностью и областью применения базовой модели, в предоставленных данных отдельно не описаны.

GLM-5.2-MXFP4xFP8_BLOCK — квантизированная версия языковой модели GLM-5.2, разработанная RedHatAI на базе модели zai-org/GLM-5.2. Это текстовая causal language model с архитектурой GlmMoeDsaForCausalLM: принимает текст и генерирует текст. В README указана поддержка английского и китайского языков, а также готовность к инференсу через vLLM. Модель использует смешанную квантизацию: линейные слои MoE-экспертов квантизированы до 4-битного MXFP4, а линейные слои внимания, dense- и shared-expert-компоненты — до 8-битного блочно-масштабируемого FP8_BLOCK; активации квантизируются в FP8 с динамическим масштабированием. В среднем используется около 4,4 бита на параметр, благодаря чему размер модели на диске сокращён примерно с 1,47 ТБ в формате BF16 до 411 ГБ, а требования к дисковой и GPU-памяти уменьшены приблизительно на 72%. Модель предназначена для запуска крупной GLM-5.2 в условиях ограниченных ресурсов, включая инференс с использованием vLLM, параллелизма по тензорам, FP8 KV-кэша и инструментального вызова. Ключевое ограничение — экспериментальная поддержка этого квантизированного checkpoint в vLLM; размер контекста, точное число параметров, мультимодальные возможности и лицензия в README не указаны. Квантизация выполнена с помощью LLM Compressor методом RTN без калибровочных данных, а модель экспортирована в формате compressed-tensors.

OneNexus/GLM-5.3-MXFP4 — квантизированная версия полноразмерной модели GLM-5.3, разработанной Z.ai и основанной на исходном контрольном пункте zai-org/GLM-5.3-BF16. Модель предназначена для генерации текста и диалоговых сценариев; входом и выходом служит текст. В метаданных заявлены английский и китайский языки, архитектура GlmMoeDsaForCausalLM и поддержка pipeline text-generation. Модель использует MoE-архитектуру GLM-5.3 с DSA. Весовые параметры маршрутизируемых MoE-экспертов квантизированы в формате OCP MXFP4 E2M1 с блочным масштабированием 1×32, тогда как внимание, DSA-проекции, маршрутизатор, общие MLP-проекции, lm_head и отдельные компоненты сохранены в BF16. Размер индексированных весов составляет около 407,92 ГиБ в 282 шардах, что существенно меньше исходной BF16-версии. Валидация выполнена с контекстом до 1 048 576 токенов. К сильным сторонам относятся заметное сокращение объёма весов, совместимость с готовым рецептом InferenceX/SGLang и оптимизация для AMD Instinct MI350 с поддержкой EAGLE, DSA, MXFP4 MoE, FP8 KV-кэша и HiCache. Ограничения связаны с узкой инфраструктурой валидации: заявлена конфигурация из четырёх GPU AMD Instinct MI350 и ROCm-стек с конкретной версией SGLang; производительность и качество на другом оборудовании или в других средах могут отличаться. Модель распространяется по лицензии glm-5.3, обозначенной в README как license: other.

google_gemma-4-31B-it-GGUF — это квантизированная версия instruction-tuned модели Gemma 4 31B-it, разработанной Google. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель опубликована как google/gemma-4-31B-it. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp, LM Studio, Ollama-подобные и другие совместимые инструменты. По указанной классификации pipeline_tag это модель для преобразования изображений и текста в текст, однако подробные сведения о поддерживаемых модальностях и языках в README не приведены. Доступны варианты с точностью от BF16 до Q3 и IQ3, включая Q4, Q5, Q6 и Q8. Размер файлов составляет примерно от 13,84 до 61,41 ГБ; варианты Q4–Q6 заявлены как обеспечивающие хороший или очень высокий уровень качества при меньшем потреблении памяти, а Q3 ориентированы на системы с ограниченными ресурсами и отличаются более низким качеством. Архитектура, максимальная длина контекста и точное число параметров, помимо обозначения 31B, в README не уточняются. Сильными сторонами являются широкий выбор уровней квантизации, совместимость с экосистемой llama.cpp и возможность локального инференса. Ограничения включают значительные требования к памяти, особенно для BF16 и высокоточных вариантов, а также возможное снижение качества у компактных Q3-вариантов. Для недавно поддерживаемых моделей может потребоваться обновление используемого программного обеспечения. Лицензия указана как Apache-2.0; при этом для Gemma также приведена отдельная ссылка на лицензионные условия Google.

richardyoung/granite-4.2-8b-heretic — модифицированная версия IBM Granite 4.2 8B, созданная разработчиком richardyoung методом abliteration с помощью Heretic. Это плотный декодерный трансформер GraniteForCausalLM на 8,4 млрд параметров для диалогов и генерации текста; модель поддерживает контекст до 131 072 токенов и 12 языков. В карточке также заявлены режимы рассуждения и вызов инструментов, однако каталог подтверждает только чат-возможности и задачу text-generation. Модель предназначена для творческого письма, обучения и экспериментов с методами выравнивания, а также локального вывода с меньшим числом отказов на запросы, которые базовая модель отклоняет. По приведённому в README тесту доля отказов снизилась с 99 из 100 до 12 из 100; это результат автора, а не независимая оценка. Указанная лицензия — Apache 2.0.

L3.1-70b-Milasha — чат-модель, созданная KaraKaraWitch как слияние пяти моделей семейства Llama 3.1 с помощью LazyMergekit. Она предназначена для диалога и генерации текста в формате Llama 3 Instruct; при слиянии MeowMix использовалась для усиления языковых возможностей в китайском, японском и корейском языках. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель подходит для многоходовых бесед и генерации текста с длинным контекстом. Веса доступны в формате safetensors. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое использование. README не содержит подробной оценки качества или перечня ограничений; заявленный акцент на CJK-языках относится к усилению языковых возможностей при слиянии.

Llama-3-Open-Ko-8B — языковая модель Junbum Lee (Beomi), созданная продолжением предобучения Meta Llama 3 8B на общедоступных текстах. Модель содержит около 7,5 млрд параметров, использует плотную авторегрессионную архитектуру Transformer семейства Llama и принимает текст, генерируя текст или код. Для обучения использовано более 60 ГБ очищенных от дубликатов текстов и свыше 17,7 млрд токенов; контекст — 8192 токена. Модель предназначена для генерации текста и дальнейшей адаптации под языковые задачи, особенно для работы с корейским и английским языками. Это базовая, а не инструкционная версия; карточка отдельно упоминает предварительную инструкционную модель. Модель выпущена как статический чекпойнт, обученный на офлайн-данных. Указана лицензия Llama 3; для использования необходимо соблюдать условия Llama 3 Community License и Acceptable Use Policy.

miquliz-120b-v2.0 — крупная языковая модель на архитектуре Llama, созданная wolfram как линейное слияние слоёв miqu-1-70b-sf и lzlv_70b_fp16_hf с помощью mergekit. В README указано 120 млрд параметров, 140 слоёв и контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов; в карточке приведён шаблон запросов Mistral [INST]...[/INST]. Модель рассчитана на английский, немецкий, французский, испанский и итальянский языки. Репозиторий содержит веса Safetensors; для модели также опубликованы сторонние квантизованные сборки GGUF и EXL2. README сообщает о высоких результатах во внутренних сравнениях автора, но не приводит методику или независимые оценки. Лицензия в метаданных обозначена как other; автор также упоминает происхождение части весов из утёкшей модели, поэтому правовой статус и условия использования требуют отдельной проверки.

NaijaVox-2.0 — модель распознавания речи с открытыми весами, разработанная Axiveri для нигерийских языков и вариантов английского. Она дообучена методом PEFT LoRA на базе OpenAI Whisper large-v3 и предназначена для преобразования аудиозаписей в текст на йоруба, хауса, игбо, нигерийском пиджине и нигерийском английском. Модель содержит около 905,3 млн параметров; в репозитории веса представлены в формате Safetensors. Обучение проводилось на 25 866 примерах из семи наборов данных с применением SpecAugment и добавлением фонового шума. По данным карточки, модель подходит для транскрибации разговоров, интервью, эфиров и голосового ввода, в том числе в шумных условиях и при переключении между языками. Для йоруба заявлена поддержка диакритики. В тестах на небольших выборках WER составил 14,7% для нигерийского пиджина, 19,6% для нигерийского английского, 22,3% для йоруба, 25,8% для хауса и 30,5% для игбо. Модель принимает аудио и выдаёт текст. Качество может зависеть от языка, акцента, шума и условий записи; опубликованные метрики получены на тестах по 50 примеров на язык и не гарантируют аналогичных результатов в других сценариях. Лицензия — Apache-2.0.

Occiglot-7B-it-en-Instruct — генеративная языковая модель Occiglot Research Collective, дообученная следовать инструкциям и поддерживать диалог. Это плотный decoder-only трансформер Mistral с 7,1 млрд параметров; модель принимает текст и имеет контекст до 32 768 токенов. Карточка описывает поддержку английского и итальянского языков, а также кода; обучение включало многоязычные и программные инструкции, а взаимодействие рассчитано на шаблон ChatML. Модель подходит для диалоговых ответов, выполнения текстовых инструкций, генерации текста и помощи с кодом на английском и итальянском. Это ранний выпуск исследовательского проекта, обученный на дополнительных инструкционных данных; приведённые оценки названы предварительными, а неанглоязычные результаты ограничены особенностями тестовых наборов. Модель не прошла safety alignment и может выдавать проблемный контент. Лицензия — Apache 2.0.

Omnilingual-ASR-CTC-300M-CoreML-INT8-10s — это экспорт модели Meta Omnilingual ASR CTC-300M в формате CoreML, подготовленный для локального распознавания речи на устройствах Apple. Модель предназначена для автоматической транскрипции аудио на более чем 1600 языках и не требует указания языка при инференсе, что делает её подходящей для многоязычных приложений и сценариев с неизвестным языком входной речи. Модель построена по архитектуре в стиле wav2vec 2.0: энкодер с семислойным свёрточным экстрактором признаков, 24 слоями Transformer и линейной CTC-головой. Она содержит около 326 млн параметров, использует словарь из 10 288 SentencePiece-токенов и принимает моноаудио в виде нормализованной 16-кГц PCM-волны. Выходом являются логиты CTC. Данная сборка рассчитана на фрагменты длительностью до 10 секунд; более длинные записи необходимо разбивать на части или экспортировать модель с другим ограничением длительности. Веса подвергнуты INT8-палетизации методом k-means, при этом вычисления выполняются в FP16. Формат MLProgram поддерживает развёртывание на iOS 17 и macOS 14 с использованием CPU и Apple Neural Engine, что уменьшает размер модели примерно до 312 МБ и подходит для офлайн-инференса на Apple Silicon. Ограничениями являются фиксированная длина входа, необходимость самостоятельного CTC-декодирования и потенциальные ошибки распознавания, зависящие от языка и качества аудио. В README приведены ориентировочные показатели WER для пяти языков; заявленные характеристики скорости для Neural Engine являются ожидаемыми, а не подтверждёнными результатами тестирования этой сборки. Модель распространяется по лицензии Apache 2.0.

Pleias-3b-Preview — базовая языковая модель на 3,2 млрд параметров, разработанная Pleias и обученная с нуля на Common Corpus. Это плотный трансформер с архитектурой, близкой к Llama и GPT-NeoX, предназначенный для генерации продолжения текста. Модель обучена на открытых данных из общественного достояния или под разрешительными лицензиями; для обучения использовались Nanotron и вычислительные ресурсы Jean Zay при поддержке Etalab. Модель подходит для генерации и творческого письма на основных европейских языках, а также как основа для дообучения на задачах работы с документами, включая RAG, перевод и исправление ошибок OCR. В README заявлена поддержка английского, французского, испанского, немецкого, итальянского, нидерландского, польского, латинского и португальского; контекст составляет 4096 токенов. Новый токенизатор рассчитан на улучшенную обработку документов и многоязычие. Это ранний предварительный релиз базовой модели, которая умеет продолжать текстовые промпты и не прошла дополнительное выравнивание безопасности. Несмотря на заявленную низкую токсичность, возможны предвзятые, вредоносные или недостоверные ответы, в том числе из-за исторических текстов в данных. Лицензия — Apache-2.0; авторы заявляют, что модель не предназначена для воспроизведения защищённого авторским правом контента.

Qwen3-235B-A22B-Instruct-2507-MLX-8bit — это 8-битная квантизированная версия языковой модели Qwen3-235B-A22B-Instruct-2507, подготовленная в формате MLX для эффективной работы на устройствах с Apple Silicon. Исходную модель разработала команда Qwen, а квантизацию выполнила команда LM Studio с использованием инструмента mlx_lm. Модель предназначена для генерации текста и работы с инструкциями в сценариях, поддерживаемых исходной instruct-моделью. В README указаны общий размер исходной модели — 235B параметров — и обозначение A22B, однако дополнительные сведения об архитектуре, длине контекста, поддерживаемых языках и модальностях не приведены. Формат MLX ориентирован на локальный запуск на компьютерах Apple Silicon, а 8-битное представление снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность. Модель распространяется по лицензии Apache-2.0. README не содержит подробностей о результатах тестирования, производительности, ограничениях безопасности или качестве на отдельных языках и задачах, поэтому эти характеристики требуют дополнительной проверки.

MaziyarPanahi/Qwen3-32B-GGUF — это набор квантованных файлов модели Qwen3-32B в формате GGUF. Исходную модель разработала команда Qwen, а конвертацию и публикацию квантованных вариантов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые приложения и библиотеки. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством вывода. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов; возможны ускорение на GPU и предоставление OpenAI-совместимого API в зависимости от используемого ПО. Карточка не содержит подробностей об архитектуре, количестве параметров исходной модели, поддерживаемых языках, размере контекста, мультимодальности, результатах оценки или конкретных ограничениях качества. Условия лицензирования в README также не указаны, поэтому их следует уточнить на странице исходной модели Qwen/Qwen3-32B и публикации квантованных файлов.

Qwen3-4B-Instruct-2507-GGUF — это набор файлов модели в формате GGUF для Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью. Модель содержит вариант с примерно 4 миллиардами параметров и распространяется в формате GGUF с уровнями квантизации 2-, 3-, 4-, 5-, 6- и 8-bit. Этот формат ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие приложения. GGUF может упростить запуск модели на локальных системах с использованием CPU и GPU, однако конкретные требования к памяти, производительность, контекстное окно, поддерживаемые языки и модальности в README не указаны. Сильные стороны модели — компактный размер, наличие нескольких уровней квантизации и широкая совместимость с локальными средствами инференса. Квантизация может снизить требования к ресурсам, но способна повлиять на качество по сравнению с исходной моделью; степень этого влияния зависит от выбранного варианта. Лицензия и условия использования в предоставленных данных не указаны.

Qwen3-4B-Instruct-2507-MLX-6bit — это 6-битно квантованная версия инструкционной языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и ориентировано на запуск на устройствах с Apple Silicon. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях и сценариях, поддерживающих MLX. Ключевая характеристика модели — 6-битное квантование, снижающее требования к памяти по сравнению с полноразмерной версией и делающее модель более подходящей для локального использования на совместимых компьютерах Apple. В README не указаны архитектура, точный объём контекста, поддерживаемые языки и мультимодальные возможности, поэтому эти свойства нельзя достоверно описать. К ограничениям относятся возможные ошибки, неточности и генерация неподходящего или вредного содержания, характерные для языковых моделей. Модель распространяется по лицензии Apache-2.0.

Azizbek8189/Qwen3.5-0.8B-GGUF — модель семейства Qwen3.5 на базе Qwen/Qwen3.5-0.8B, представленная в формате, подготовленном с использованием инструментов Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для прототипирования, исследовательских и разработческих задач, а также специализированного дообучения. Модель поддерживает текстовые и визуальные входы и может применяться для рассуждений, программирования, визуального понимания и агентских сценариев. Модель содержит 0,8 млрд параметров, 24 слоя и скрытое измерение 1024. В архитектуре сочетаются Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; заявлена длина контекста 262 144 токена. Указана поддержка 201 языка и диалекта. Артефакты совместимы с Hugging Face Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся компактный размер, мультимодальность, большой контекст и эффективность гибридной архитектуры, что делает модель подходящей для локального запуска и экспериментов с ограниченными ресурсами. Ограничениями являются небольшой по современным меркам объём параметров и заявленная ориентация на прототипирование и исследования, поэтому качество на сложных задачах может уступать более крупным моделям. Лицензия — Apache-2.0.

lmstudio-community/Qwen3.6-27B-MLX-4bit — 4-битная квантованная версия модели Qwen3.6-27B, разработанной Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель оптимизирована для запуска на устройствах с Apple Silicon. Модель предназначена для задач генерации текста и обработки связок изображение—текст, включая сценарии локального запуска через совместимые инструменты. В карточке указана принадлежность к классу image-text-to-text, однако подробные сведения о поддерживаемых языках, размере контекстного окна и полном наборе мультимодальных возможностей не приведены. Ключевая особенность модели — 4-битное представление, снижающее требования к памяти по сравнению с полноформатной версией и подходящее для локального использования на Apple Silicon. Ограничения включают возможную потерю качества из-за квантования, а также отсутствие в предоставленных данных конкретных результатов тестирования и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored-i1-GGUF — это квантизированная GGUF-версия модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored, подготовленная mradermacher. Модель предназначена для генерации текста, диалогов, рассуждений, решения математических и STEM-задач, программирования и многоязычного использования. В README указана поддержка английского, китайского, японского и испанского языков. Модель описана как vision model, поэтому для работы с изображениями могут потребоваться дополнительные файлы mmproj из статического репозитория. Вариант доступен в нескольких форматах квантизации i1, включая Q2_K, Q3, IQ3, IQ4, Q4, Q5 и Q6; размеры файлов составляют примерно от 13,3 до 29,3 ГБ. Квантизация позволяет запускать модель с меньшими требованиями к памяти, однако качество и скорость зависят от выбранного варианта: Q4_K_M отмечен как рекомендуемый, а Q4_0 — как быстрый, но менее качественный. К сильным сторонам относятся широкий набор заявленных сценариев, мультиязычность, поддержка изображений и наличие вариантов с разным компромиссом между размером, качеством и скоростью. Ограничения включают отсутствие в README сведений о размере контекста, точной архитектуре, числе активных параметров, результатах тестирования и фактическом качестве мультимодальной обработки. Модель распространяется под лицензией Apache-2.0.

Qwen3.8-27B-GSQ-RCO-MLX — производная модель от Qwen3.8-27B, разработанная для инференса на Apple Silicon с использованием MLX и специализированных Metal-ядер. Она создана на основе ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF; упаковку в формат MLX выполнил автор репозитория uqer1244. Модель предназначена для генерации текста и локального запуска на совместимых Mac с Apple Silicon. Это 27-миллиардная текстовая модель архитектуры Qwen3.5/Qwen3.8 hybrid с поддержкой 11 типов смешанного квантования GSQ-RCO/IQ, включая IQ1_M, IQ1_S, IQ2_XXS, IQ2_XS, IQ2_S, IQ3_XXS, IQ3_S, IQ4_XS, Q2_K, Q4_K и Q6_K. Квантованные веса сохранены без повторного квантования в packed Safetensors; также поддерживаются тензоры F32 и BF16. Объём контекста, список языков и мультимодальные возможности в README не указаны. К сильным сторонам относятся снижение требований к памяти по сравнению с полноразмерной моделью, сохранение исходных GGUF payloads и оптимизация выполнения на Apple Silicon. Для минимального запуска требуется около 10,4 ГБ unified memory, рекомендуется дополнительный запас. Модель нельзя загружать напрямую через mlx_lm.load(): необходим отдельный runtime mlx_gsq-rco и MLX с поддержкой Metal. Предзаполнение пока использует функциональный multi-row QMV path, поэтому обработка длинных промптов может быть менее производительной; runtime ориентирован на данную архитектуру и схему имён тензоров. В карточке указана лицензия Apache-2.0 с необходимостью сохранять upstream-уведомления и условия использования.

Qwen 3.8 27B ROCmFP4 FAST — это квантизированная GGUF-версия модели Qwen 3.8 27B, разработанной командой Qwen и адаптированной пользователем julianmb. Модель предназначена для генерации текста и оптимизирована прежде всего для AMD Strix Halo с графикой Radeon 8060S, а также дискретных AMD Radeon GPU, использующих ROCm или Vulkan. Модель имеет плотную архитектуру с 27 млрд параметров и представлена в формате ROCmFP4 с эффективной точностью 4,26 бит на вес и размером файла около 13,55 GiB. Заявлены поддерживаемые языки английский и китайский. Версия ориентирована на ускоренное авторегрессионное декодирование и может использовать speculative decoding с MTP; на Ryzen AI Max+ 395 указана скорость до 36,04 токена в секунду, при устойчивом MTP-декодировании K=4 — 33,80 токена в секунду. Без спекулятивного декодирования измеренная скорость составляет 14,02 токена в секунду. Сильные стороны модели — сниженное потребление памяти, оптимизация под оборудование AMD и высокая скорость генерации при сохранении заявленного качества, близкого к исходной модели. Дополнительно описана экспериментальная гибридная NPU-акселерация AMD XDNA 2 для уменьшения задержки выдачи первого токена на длинных запросах, но она не повышает устойчивую скорость декодирования. Реальная производительность зависит от GPU, драйверов, конфигурации MTP и программного окружения, поэтому приведённые показатели нельзя считать универсальными. Модель распространяется по лицензии Apache 2.0.

Vontra/Qwen3.8-Flash-Next-MLX-oQ4-MTP — общественная MLX-конверсия мультимодальной модели Qwen3.8-Flash-Next, созданная Vontra на основе официальных весов Qwen в формате BF16. Модель предназначена для запуска на Apple Silicon через совместимые среды oMLX или MLX-VLM и поддерживает обработку текста и изображений. Это не официальный релиз Qwen. Модель использует разреженную архитектуру mixture-of-experts qwen4_exp с 125 млрд параметров, из которых около 6 млрд активны при обработке токена, 48 слоями, 512 маршрутизируемыми экспертами, 10 активными экспертами и одним общим экспертом. В состав входят Gated DeltaNet, Qwen Sparse Attention, расширенные gated residual-потоки, hashed bigram и trigram embeddings, а также один встроенный MTP-блок для speculative decoding. Контекст составляет до 262 144 токенов. Конверсия выполнена в смешанной 4-битной точности oQ4 с отдельными модулями в 5- и 8-битном формате; размер весов — около 113,33 ГБ. Сильными сторонами являются экономичное по сравнению с полной точностью хранение, поддержка визуально-текстовых сценариев и встроенный MTP для ускорения генерации. Ограничения связаны с большими требованиями к памяти, зависимостью от Apple Silicon и необходимостью runtime с явной поддержкой qwen4_exp и native MTP; стандартные среды без такой поддержки могут не загрузить модель. Указанная лицензия — Qwen Community License 1.0.

cstr/qwen3-asr-0.6b-GGUF — GGUF/ggml-квантизированные версии модели Qwen3-ASR 0.6B, разработанной Alibaba и адаптированные для запуска через CLI qwen3-asr-main из проекта CrispStrobe/CrispASR. Модель предназначена для автоматического распознавания речи и транскрибации аудиозаписей с автоматическим определением языка. Она поддерживает 30 языков, включая русский, английский, немецкий, французский, китайский и другие, а также 22 китайских диалекта. Это speech-LLM с Whisper-подобным аудиоэнкодером: 2D-свёрточный subsampler, 18-слойный Transformer и projector преобразуют аудио в представления размерности 1024, после чего их обрабатывает Qwen3 0.6B — 28-слойная языковая модель с GQA, SwiGLU и RoPE. Доступны варианты F16, Q8_0, Q4_K и Q3_K с размерами примерно от 531 МБ до 1,88 ГБ. Вариант Q4_K рекомендован как компромисс между размером, скоростью и качеством и на 4-ядерном CPU работает немного быстрее реального времени на указанном тестовом аудио. Для длинных записей предпочтительнее обычные Q4_K или Q8_0; варианты с importance matrix могут на длинном аудио переходить в повторяющиеся фрагменты. Модель сильна многоязычным распознаванием, компактностью, работой на CPU и отсутствием необходимости в torch, librosa или scipy во время инференса: необходимые mel-фильтры встроены в GGUF. Заявленный средний показатель составляет 6,42% WER на Open ASR Leaderboard, однако производительность и качество зависят от варианта квантизации и характеристик аудио. Для штатного запуска требуется 16 кГц, моно, 16-битный PCM WAV; другие форматы нужно предварительно конвертировать. Модель распространяется по лицензии Apache-2.0.

Alcoft/Qwen_Qwen3-4B-GGUF — это набор GGUF-квантизованных версий языковой модели Qwen3-4B, разработанной командой Qwen. Репозиторий подготовлен пользователем Alcoft с использованием TAO71-AI AutoQuantizer; исходная модель доступна в репозитории Qwen/Qwen3-4B. Модель предназначена для генерации текста и локального запуска в совместимых с GGUF приложениях. Доступны варианты квантизации от Q2_K до Q8_0, а также F16 и исходный BF16. Размер файлов составляет примерно от 1,55 до 7,5 ГБ. Для большинства сценариев автор рекомендует варианты Q4_K–Q8_0: Q4_K_M и Q4_K_L дают приемлемое качество при умеренном размере, Q5_K и Q6_K обеспечивают высокое и очень высокое качество, а Q8_0 приближается к качеству F16. Варианты Q2 и Q3 характеризуются низким качеством и в README не рекомендуются. В README не указаны архитектурные подробности, максимальная длина контекста, поддерживаемые языки, дополнительные модальности, конкретные сценарии применения или сравнительные результаты. Лицензия также не указана, поэтому условия использования следует уточнять по карточке исходной модели Qwen3-4B и репозиторию конвертированных файлов.

bartowski/Qwen_Qwen3.6-27B-GGUF — это набор GGUF-квантизаций языковой модели Qwen3.6-27B, разработанной Qwen и опубликованной в формате, совместимом с llama.cpp. Квантизации подготовлены bartowski с использованием imatrix и предназначены для локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В метаданных указано назначение image-text-to-text, однако подробные сведения о поддержке изображений в README отсутствуют. Модель имеет 27 млрд параметров и доступна в вариантах от BF16 до низкобитных Q3, Q4, Q5, Q6, Q8 и IQ-квантизаций. Размер файлов составляет примерно от 13,5 до 54,7 ГБ; варианты с более высокой точностью обычно сохраняют лучшее качество, а низкобитные версии требуют меньше оперативной памяти. Для некоторых конфигураций заявлена поддержка MTP-слоёв через параметр draft-mtp в llama.cpp. Формат prompt использует специальные маркеры ролей system, user и assistant с секцией рассуждений think. Модель подходит для локальной генерации текста и мультимодальных сценариев, если соответствующая поддержка реализована используемым инструментом, однако языки, размер контекста, архитектурные детали исходной модели и конкретные возможности работы с изображениями в предоставленных данных не указаны. Сильные стороны — широкий выбор квантизаций, возможность запуска на различном оборудовании и заявленное высокое качество вариантов Q5–Q8; ограничения связаны с ростом потерь качества у низкобитных вариантов и значительными требованиями к памяти. Указана лицензия Apache-2.0.

SauerkrautLM-Mixtral-8x7B — многоязычная языковая модель компании VAGO solutions на архитектуре Mixture of Experts, дообученная на базе mistralai/Mixtral-8x7B-v0.1. Модель содержит 7,1 млрд параметров и принимает текстовые запросы; заявленный контекст — до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев на английском, немецком, французском, итальянском и испанском языках. Она прошла supervised fine-tuning (SFT) на OpenOrca/SlimOrca и выравнивание предпочтений методом DPO. Для обучения использовались немецкие аугментированные и переведённые данные, а также части наборов distilabel-math-preference-dpo и UltraFeedback. Карточка указывает лицензию Apache 2.0, допускающую коммерческое использование. Разработчики предупреждают, что модель может выдавать неподходящий или некорректный контент; качество немецких формулировок улучшали аугментацией, но стабильность поведения не гарантируется.