I.2Синтез, понимание и проверка знаний

MLX-версия модели Qwen3.5-122B-A10B-6bit, преобразованная из Qwen/Qwen3.5-122B-A10B с помощью mlx-vlm 0.3.12. Модель опубликована сообществом mlx-community и предназначена для запуска в формате MLX, в частности через библиотеку mlx-vlm. По классификации pipeline_tag это мультимодальная модель image-text-to-text, способная обрабатывать изображения и генерировать текстовые ответы, например описания изображений. Из доступных данных известно обозначение размера исходной модели — 122B — и конфигурации A10B, а также 6-битное представление, однако подробности архитектуры, поддерживаемых языков, максимального контекста и качества не указаны. Ключевое преимущество этой версии — адаптация для экосистемы MLX и сниженная точность хранения, потенциально уменьшающая требования к памяти по сравнению с полноточными вариантами. Ограничения и фактическая производительность зависят от исходной модели и среды запуска; для использования требуется mlx-vlm. Модель распространяется по лицензии Apache-2.0.

Arm/qwen3-5-2b-q4-k-m-ggml-llama-cpp-vivo-x300 — оптимизированная для мобильных CPU на базе Arm версия Qwen3.5-2B, разработанного командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста в среде llama.cpp и поставляется в формате GGUF с квантизацией Q4_K_M. Оптимизация ориентирована на платформы Arm с поддержкой SME2; эталонные измерения выполнены на смартфоне vivo X300 под управлением Android 16 и OriginOS 6. Модель содержит около 2 млрд параметров и сохраняет 24 основных transformer-блока исходной модели. GGUF включает необходимые словарь, merges и chat template, поэтому внешние файлы токенизатора не требуются. В комплект также входит отдельный vision projector в формате f16, однако он не квантизирован, не тестировался и не учитывался в приведённых результатах, поэтому подтверждённые характеристики относятся только к текстовому декодеру. Языки и размер контекстного окна в карточке не указаны. К сильным сторонам относятся существенное уменьшение размера модели до 1215,36 МБ, снижение требований к памяти и ускорение инференса на совместимых Arm-устройствах: 22,09 токена в секунду и 983,29 мс до первого токена против 7,87 токена в секунду и 6346,48 мс у f16-базовой версии. На тесте MMLU Redux в режиме 0-shot точность составила 62,4578%, что на 1,44 процентного пункта ниже исходной модели. Реальная производительность зависит от устройства, настроек и температурного режима, поэтому перед использованием в продуктивных сценариях необходима проверка на собственных данных. Модель распространяется по лицензии Apache-2.0.

Карточка модели jamiefutch/Qwen3.5-35B-A3B-MXFP4_MOE-GGUF на Hugging Face совпадает с карточкой noctrex/Qwen3.5-35B-A3B-MXFP4_MOE-GGUF, поэтому описание составлено по ней. Это квантованные сборки Qwen3.5-35B-A3B, опубликованные noctrex для запуска через llama.cpp. Модель использует архитектуру Mixture of Experts: в README указаны варианты с MXFP4 для тензоров MoE и BF16 или F16 для остальных тензоров; предпочтителен BF16, а F16 может быть быстрее на некоторых аппаратных платформах. Метаданные репозитория обозначают сборки как GGUF в форматах BF16, F16 и F32. Модель предназначена для диалога и обработки изображений с текстовым выводом. Для работы с изображениями README рекомендует использовать файл mmproj в формате F32. Это перекладывает на пользователя выбор и настройку совместимой версии llama.cpp и подходящих файлов проектора. Сведения о лицензии, языках и длине контекста в предоставленных источниках отсутствуют.

Qwen3.5-4B-Base-Kazakh — текстовая плотная причинная языковая модель на архитектуре Qwen3.5, разработанная как адаптация Qwen/Qwen3.5-4B-Base командой ISSAI. Модель продолжительно предобучена на корпусе примерно из 15,7 млрд новых токенов с равной долей казахского и английского текста; токенизатор расширен на 16 тыс. казахских токенов. Она содержит 3,5 млрд параметров и поддерживает контекст до 262 144 токенов. Модель предназначена для генерации текста, особенно на казахском языке, с сохранением исходных возможностей английского языка. Её можно использовать как базу для генерации и продолжения текста, а также для дальнейшей адаптации под казахоязычные сценарии. Для загрузки и работы в README приведён пример с Transformers и форматом bfloat16. Репозиторий распространяется по лицензии Apache-2.0. Это базовая модель, а не специализированный чат-ассистент; результаты в прикладных задачах могут требовать дополнительной настройки.

Qwen3.5-9B-ultra-uncensored-heretic — мультимодальная модель на 9 млрд параметров, созданная независимым автором как модификация Qwen/Qwen3.5-9B. Это плотная модель семейства Qwen3.5 с архитектурой Qwen3_5ForConditionalGeneration: она принимает текст и изображения и предназначена для диалога, рассуждений и визуального анализа. В карточке указаны контекст 262 144 токена с расширением до 1 010 000 токенов и поддержка 201 языка и диалекта для базовой модели. Автор применил abliteration, чтобы снизить частоту отказов: в приведённом тесте отказов было 4 из 100 против 86 из 100 у исходной модели. Результат PIQA близок к исходному показателю, однако эти тесты сами по себе не подтверждают качество на других задачах. Веса опубликованы в формате Safetensors и доступны по лицензии Apache-2.0. Сниженные ограничения могут приводить к выдаче ответов на запросы, которые базовая модель отклоняла.

Qwen3.6-27B-Fable-Fusion-711-MTP-MagicQuant-GGUF — производная GGUF-модель на базе Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. Репозиторий опубликован lmcoleman, а квантование выполнено MagicQuant методом гибридного эволюционного поиска по отдельным тензорам. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio или llama-cpp-python; заявленный язык — английский. Модель имеет размер 27 млрд параметров и поставляется в вариантах Q4, Q5, Q6 и Q8 с гибридными схемами квантования. Для разных групп тензоров подбираются отдельные типы квантования, а чувствительные компоненты, включая embeddings, output head и router, сохраняются в F32, F16 или BF16. Рекомендуемым вариантом назван Q5: он занимает около 17,68 ГиБ и обеспечивает качество, статистически сопоставимое с более крупным Q6. Доступен также файл mmproj-F16 для обработки изображений; поддержка мультимодального ввода зависит от совместимого vision-компонента. Сильными сторонами являются хорошее соотношение качества и размера, выбор нескольких уровней квантования и сохранение чувствительных слоёв с высокой точностью. Ограничения включают необходимость значительного объёма памяти, зависимость возможностей от llama.cpp и выбранного файла квантования, а также отсутствие в README точных сведений о максимальной длине контекста, архитектурных деталях MTP и качестве на независимых тестах. Указана лицензия Apache-2.0; для производной модели применяется лицензия базовой модели.

Qwen3.6-27B-Uncensored-HauhauCS-Aggressive — мультимодальная модель, разработанная HauhauCS на базе Qwen/Qwen3.6-27B от команды Qwen. Версия предназначена для пользователей, которым нужен прямой ответ без предварительных оговорок на провокационные или жёсткие запросы. По заявлению автора, изменения не затрагивают датасеты и исходные возможности модели, а направлены на устранение отказов; в указанном тесте модель получила 0 отказов из 465 запросов. Модель содержит 27 млрд плотных параметров и использует гибридную архитектуру: 48 слоёв линейного внимания Gated DeltaNet и 16 слоёв полного gated attention, всего 64 слоя. Поддерживаются текст, изображения и видео; для работы с визуальными данными поставляется отдельный mmproj-файл. Нативный контекст составляет 262 тысячи токенов и может быть расширен примерно до 1 млн с помощью YaRN. Заявлены языки English, Chinese и multilingual. Доступны GGUF-квантизации Q2–Q8, включая специализированные варианты K_P, совместимые с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Сильная сторона Aggressive — отсутствие вступительных отказов и оговорок, что удобно для сценариев, где требуется максимально прямой стиль ответа. При этом автор рекомендует большинству пользователей вариант Balanced, поскольку он стабильнее для агентного программирования, использования инструментов, рассуждений и творческого письма. Агрессивная настройка может быть менее подходящей для задач, где важны осторожная подача и встроенные ограничения безопасности. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Q4_K_M-GGUF — это квантизированная версия модели Qwen3.6-35B-A3B в формате GGUF. Исходную модель разработала команда Qwen, а данную сборку подготовил пользователь Abiray с помощью llama.cpp. Модель предназначена для локального запуска на потребительском оборудовании, включая сценарии с высокой нагрузкой на CPU. В README указано, что модель относится к классу MoE и имеет заявленный размер 35B параметров с конфигурацией A3B; точные сведения об архитектуре, числе активных параметров, контекстном окне и поддерживаемых языках не приведены. Метка pipeline указывает на задачи преобразования изображения и текста, однако подробности о мультимодальных возможностях отсутствуют. Квантизация Q4_K_M уменьшает размер модели и требования к ресурсам, обеспечивая компромисс между качеством и занимаемым объёмом, но может снижать точность по сравнению с менее квантизированными версиями. Для запуска рекомендуется использовать llama.cpp и файл GGUF. README не содержит требований к объёму памяти, результатов тестирования или детального описания ограничений производительности. Распространение указано под лицензией Apache-2.0.

Qzshch выпустил конверсию в GGUF модели Blackfrost-AI/Qwen3.8-27B-ABLITERATED-NVFP4 — мультимодальной модели Qwen3.8-27B с уменьшенной склонностью к отказам. Это конверсия исходных весов в формат GGUF без дополнительного обучения; в варианте ORIG веса MLP представлены в NVFP4, а DeltaNet, внимание, эмбеддинги, выходной слой и MTP-голова сохранены в BF16. Репозиторий также содержит более компактный вариант VERY-LOW и BF16-проектор для обработки изображений и видео. Модель предназначена для диалогов и задач vision-language, включая работу с изображениями; в карточке также заявлена поддержка видео через проектор. Она рассчитана на запуск через llama.cpp с поддержкой NVFP4 и GPU Blackwell с архитектурой sm_120. В README приведён пример с контекстом 100 000 токенов, но это значение настройки запуска, а не подтверждённый размер нативного контекстного окна. Ключевая особенность — сниженная склонность к отказам, поэтому операторам нужно самостоятельно задавать правила использования и защитные ограничения. Вариант ORIG занимает около 29,3 ГБ, что ограничивает доступный контекст на GPU с 32 ГБ видеопамяти. Указана лицензия Apache-2.0.

Это мультимодальная чат-модель семейства Qwen3.5 на 27 млрд параметров, созданная на основе TeichAI/Qwen3.8-27B-Fable-Distill. Автор применил Heretic v1.2.0 и метод Arbitrary-Rank Ablation: rank-2 обновление проекций внимания и MLP в слоях 30–64 вычислено в замкнутой форме, без градиентного дообучения. Модель предназначена для диалогов и задач с изображениями; метаданные также отмечают интерфейс вызова инструментов. Изменение направлено на снижение отказов: в тесте автора модель отказала на 5 из 100 вредоносных запросов против 91 из 100 у исходной модели. На безвредных запросах измеренная KL-дивергенция относительно исходной составила 0,1004. Модель опубликована в формате safetensors для Transformers. Сведения о лицензии в предоставленных данных отсутствуют.

taurusduan/Qwen3.8-27B-Heretic-Abliterated-Uncensored-GGUF — это модифицированная версия Qwen3.8-27B семейства Qwen, подготовленная в формате GGUF для запуска через llama.cpp. Она основана на варианте trohrbaugh/Qwen3.8-27B-heretic-ara, созданном Tim Rohrbaugh с применением метода ARA, и дополнительно прошла два полноразмерных прохода ARA для уменьшения остаточных отказов модели. Точная команда разработчиков RVN в README не указана. Модель предназначена для генерации текста, исследовательских задач, творческого письма, ролевых сценариев и генерации с уменьшенным числом отказов на вредоносные запросы. Архитектура — гибрид Gated DeltaNet и стандартного внимания: 27 млрд параметров, 64 слоя, из которых 16 используют обычное внимание, а 48 — линейное внимание Gated DeltaNet; предусмотрены GQA с 24 attention heads и 4 KV heads. Размер скрытого слоя — 5120, словарь содержит 248 320 токенов, контекст — до 262 144 токенов. Модель текстовая; языки в README явно не перечислены. К сильным сторонам относятся низкое поведенческое отклонение от исходной модели после модификации и существенно сниженная вероятность отказов: заявлены KL примерно 0,0085 и 0–1 отказов на 100 вредоносных запросов в независимой проверке. При этом защитные ограничения намеренно ослаблены, поэтому модель не подходит для сценариев, требующих строгих гарантий безопасности, и предназначена только для совершеннолетних пользователей. Использование должно соответствовать законам и ответственным практикам. Лицензия — Apache-2.0; доступны GGUF-файлы, а отдельные варианты содержат встроенную поддержку MTP для speculative decoding.

Qwen3.8-27B-Heretic-Dynamic-GGUF — это набор GGUF-квантизированных версий мультимодальной языковой модели Qwen3.8-27B. Сборка опубликована пользователем ajgazin и основана на модели llmfan46/Qwen3.8-27B-Ultra-Uncensored-Heretic-Native-MTP-Preserved, которая, в свою очередь, создана на базе Qwen3.8-27B от Qwen. Модель предназначена для генерации текста и может обрабатывать изображения и видео при использовании отдельного vision-проектора mmproj-BF16.gguf; для текстовых задач нужен только основной GGUF-файл. Модель имеет размер 27B параметров и поставляется в вариантах UD-Q4_K_XL, UD-Q5_K_M, UD-Q6_K_XL и UD-Q8_K_XL размером примерно от 16,4 до 29,3 GiB. В сборке сохранены 15 MTP-тензоров, а динамическая per-tensor-квантизация Unsloth с importance matrix обеспечивает меньшую потерю качества по сравнению со статической Q5_K_M при немного меньшем размере файла. Варианты ориентированы на запуск через llama.cpp; в README приведён пример контекста 8192 токена и рекомендованы параметры sampling temperature 1.0, top_p 0.95 и top_k 20. К сильным сторонам относятся сохранённые MTP-компоненты, поддержка мультимодального ввода, несколько вариантов компромисса между качеством и требованиями к памяти, а также заявленная близость динамических квантов к полной точности. Ограничения связаны с высокими требованиями к памяти: Q8-вариант требует более 32 ГБ VRAM или частичной выгрузки, а vision-сценарии требуют дополнительного проектора. Модель описана как uncensored и abliterated, поэтому её поведение и защитные ограничения отличаются от исходной Qwen3.8-27B. Лицензия указана как Apache-2.0.

Qwen3.8-27B-Huihui-Abliterated-NInfer-NVFP4 — мультимодальная модель для работы с текстом и изображениями, разработанная на основе huihui-ai/Huihui-Qwen3.8-27B-abliterated и упакованная в формат NInfer. Артефакт предназначен для локального инференса, исследований поведения моделей и сценариев, требующих рассуждений и анализа визуального содержимого. Заявлены английский и китайский языки. Модель имеет размер 27 млрд параметров; точная базовая архитектура в README не описана. Используется смешанное представление весов: FP8 E4M3 с построчным масштабированием BF16 для attention и Gated DeltaNet-проекций, NVFP4 с размером группы 16 для MLP-слоёв 0–55, а также FP8 для lm_head и MLP-слоёв 56–63. Нормализации, эмбеддинги, vision tower и MTP-тензоры сохранены в исходном формате Huihui. Поддерживается обработка изображений, а серверный профиль предусматривает контекст до 204 800 токенов, однако качество на длинном контексте зависит от рабочей нагрузки. Сильные стороны модели — мультимодальность, высокая компактность смешанного квантования и оптимизация под видеокарты NVIDIA Blackwell, включая RTX 5090; README сообщает о проверенной работе на одной RTX 5090 и скорости декодирования около 74,8 токена в секунду. Ограничения включают зависимость от совместимого оборудования и NInfer, отсутствие комплексных бенчмарков, а также то, что abliterated-производная может иметь изменённые характеристики отказов и поведения. Модель распространяется по лицензии Apache-2.0; предназначена для исследований и локального использования, ответственность за дальнейшее применение лежит на пользователе.

Qwen3.8-27B-MLX-5bit — это 5-битная квантованная версия модели Qwen3.8-27B, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель предназначена для запуска на устройствах Apple Silicon. Модель относится к классу image-text-to-text и рассчитана на задачи, связанные с обработкой изображений и текста, включая мультимодальные сценарии общения и генерации ответов. Она содержит 27 миллиардов параметров и использует 5-битное представление, что снижает требования к памяти по сравнению с полноразмерной версией. README не содержит данных о поддерживаемых языках и размере контекстного окна. Ключевое преимущество модели — адаптация под экосистему Apple Silicon и уменьшенный объём памяти благодаря квантованию. При этом квантование может влиять на точность и качество ответов по сравнению с исходной моделью, а запуск оптимизирован прежде всего для Apple Silicon. Модель распространяется по лицензии Apache-2.0.

Это квантованная NVFP4-версия Qwen3.8-27B с черновыми слоями MTP, подготовленная felippeburk как механическая конверсия весов sakamakismile/Qwen3.8-27B-MTP-NVFP4 в единый файл GGUF для llama.cpp. Модель предназначена для генерации текста и диалогов, а MTP-слои позволяют использовать спекулятивное декодирование на совместимых графических процессорах Blackwell, включая RTX 5090 и RTX 5080. Основной файл весит около 19 ГБ. Для обработки изображений README указывает на отдельный проектор mmproj-F16.gguf; сам файл модели текстовый. В README приведены настройки запуска с контекстом 196 тысяч токенов, однако это рекомендуемая конфигурация, а не подтверждённый метаданными предел контекста. Модель использует формат рассуждений Qwen3.8: этап рассуждения расходует общий лимит выходных токенов, поэтому слишком малый лимит может привести к пустому итоговому ответу. Репозиторий распространяется по лицензии Apache-2.0. Для запуска требуются llama.cpp с поддержкой NVFP4 и MTP, а обработка изображений требует отдельного совместимого проектора; заявленный сценарий ориентирован на оборудование Blackwell.

Qwen3.8-27B-nvfp4qat-NInfer — квантизированная версия модели Qwen3.8-27B, подготовленная cometkim для выполнения в runtime NInfer v3. В состав артефакта также встроен модуль-черновик DFlash2 от z-lab для speculative decoding. Модель предназначена для генерации текста, диалоговых сценариев и мультимодальных задач с обработкой текста и изображений через компоненты Text и Vision. Модель содержит около 27 млрд параметров в основном Text-компоненте и использует профиль весов NVFP4 W4A4, полученный с применением quantization-aware training из QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4. В артефакте также присутствуют MTP, Vision, оптимизированная draft head и NVFP4-версия DFlash2 размером около 2 млрд параметров. Для DFlash2 заявлены пять слоёв, скользящее окно 2048, selector rank 256 и top-16. Размер файла составляет около 17,35 GiB. Языки и максимальная длина контекста в карточке не указаны. Сильными сторонами являются существенное уменьшение размера весов за счёт NVFP4, отсутствие необходимости в отдельном файле для DFlash2 и поддержка ускоренного декодирования в NInfer. В приведённых оценках модель получила accuracy 89,22 на GPQA-Diamond, 91,11 на AIME 2026 и 66,30 на LongBench v2, однако эффективность встроенного DFlash2 ниже, чем у профиля nvfp4full: 2,50 токена за раунд и 21,4% принятия против 5,50 и 64,3% соответственно на указанном тесте. Модель не является checkpoint для Transformers, Safetensors или GGUF и требует NInfer v3; карточка также не указывает совместимость с другими средами. Распространяется по лицензии Apache-2.0.

PreDoctor подготовил локальную версию мультимодальной модели Qwen3.8-27B для запуска через расширение PreTensor для Chrome и локальный хост на NVIDIA CUDA. Это плотная модель с 27,8 млрд параметров и архитектурой Qwen3.5; она принимает текст и изображения и предназначена для диалогов и задач image-text-to-text. Модель поддерживает интерфейс вызова инструментов. Языковые веса представлены в формате NVFP4 W4A16, а энкодер изображений и мультимодальный объединитель сохранены в BF16. Для работы требуется загрузчик PreTensor: стандартный Transformers не загружает этот предварительно квантованный чекпойнт напрямую. Это распределение использует safetensors и рассчитано на локальный запуск с NVIDIA CUDA; оно не предназначено для выполнения через WebGPU. Контекстная длина в предоставленных данных не указана. Лицензия — Apache 2.0.

Mantisec выпустил FP16-представление модели Qwen3.8-27B-OBLITERATED, преобразованное из OBLITERATUS/Qwen3.8-27B-OBLITERATED. Это плотная мультимодальная модель семейства Qwen3.5 с архитектурой Qwen3_5ForConditionalGeneration, предназначенная для диалогового взаимодействия и обработки изображений с текстом. Версия рассчитана на инференс и дообучение на видеокартах NVIDIA V100, где FP16 подходит для тензорных ядер Volta. Веса переведены из BF16 в FP16 со стратегией проверки диапазона: значения, не представимые в конечном диапазоне FP16, отклоняются, а не обрезаются. README сообщает об успешной проверке генерацией и полном совпадении токенов с исходной моделью в этой проверке, при небольшом расхождении логитов. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Условия лицензии в предоставленных данных не описаны.

Qwen3.8-27B-TURBO-Fable-MXFP4-awq — мультимодальная квантованная модель, опубликованная just1moremodel. Она основана на Qwen3.8-27B и производной модели DavidAU Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU, созданной с применением многоэтапного обучения Cold Fusion и GAIN, а также модификации с неограниченным поведением. Модель предназначена для следования инструкциям, генерации творческого текста и диалоговых сценариев без встроенного защитного выравнивания; заявлен английский язык. Модель имеет плотную архитектуру на 27 млрд параметров и 64 слоя, представлена архитектурой Qwen3_5ForConditionalGeneration с сохранённой vision tower, поэтому поддерживает текстовые и визуальные входы. Контекст при рекомендованном запуске через vLLM составляет до 32 768 токенов. Веса сжаты методом AMD Quark MXFP4 W4A8 с AWQ: веса используют fp4 с размером группы 32, активации — динамический fp8. Размер файла модели составляет около 18,04 GiB вместо примерно 55 GB для исходной BF16-версии; предусмотрена поддержка speculative decoding через MTP. К сильным сторонам относятся существенное снижение требований к памяти, поддержка мультимодальности, режимов рассуждения и совместимого с OpenAI API сервинга через vLLM. Модель проверена на AMD RDNA4 в конфигурации TP2 и обеспечивает связные ответы, однако требуется совместимый стек vLLM с ядрами Quark/MXFP4; на одной видеокарте с 32 GB памяти запуск может быть слишком тесным. Квантование может немного ухудшать качество по сравнению с BF16, а формальные сравнительные бенчмарки не представлены. Модель не имеет встроенных ограничений безопасности и предназначена для взрослых, исследовательских и ответственных сценариев использования. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next Q4_0-Q8out-v3 — это GGUF-чекпойнт модели Qwen3.8-Flash-Next, опубликованный nitinpanj и предназначенный для локального запуска на компьютерах Apple Silicon. Модель ориентирована на генерацию текста и диалоговые сценарии через llama.cpp и OpenAI-совместимый сервер. Архитектура использует mixture-of-experts, а чекпойнт оптимизирован для потоковой загрузки редко используемых экспертных весов с SSD, благодаря чему модель размером около 95,5 ГиБ может запускаться на Mac с 64 ГиБ unified memory. Вариант v3 сочетает квантование Q4_0 с Q8_0 для output.weight и дополнительными изменениями квантования отдельных групп тензоров. По данным README, это снизило perplexity с 5,2777 до 4,3148 и повысило принятие черновых токенов при speculative decoding с 0,751 до 0,817. При использовании отдельной draft head объёмом около 1,9 ГиБ заявлена скорость генерации примерно 27,6 токена в секунду на Apple M5 Pro с 64 ГиБ памяти; без неё — около 18,0–18,6 токена в секунду. В конфигурации запуска указан контекст 98 304 токена, при этом скорость снижается по мере заполнения контекста. Главное ограничение — модель не работает со стандартной версией llama.cpp: требуется форк npanj/llama.cpp с поддержкой --moe-stream и сборкой Metal. Рекомендуется около 100 ГиБ свободного места на внутреннем SSD, поскольку экспертные веса постоянно считываются с диска; внешний USB-накопитель будет существенно медленнее. Ниже 64 ГиБ памяти запуск не проверен и, вероятно, потребует уменьшения кэша с потерей скорости. Лицензия в README не указана.

TheDrainFlorist/Qwen3.8-Flash-Next-VQ-2.1bpw — векторно-квантизированная версия Qwen3.8-Flash-Next, разработанная TheDrainFlorist с использованием VQLab и ориентированная на работу на компьютерах Apple Silicon. Модель предназначена для генерации текста, а также поддерживает обработку изображений; для запуска используются MLX, mlx-lm и mlx-vlm. Указанный язык — английский. В основе лежит MoE-архитектура с 180 млрд общих параметров и 10 активными экспертами из 512; также заявлены 51,2 млрд параметров n-gram PLE и vision-компонент. Квантизация выполнена методом vector quantization с разной геометрией по слоям, основной формат — 2.1 bits per weight. Размер основного файла составляет около 45,755 GiB, а дополнительная MTP-голова занимает ещё 2,140 GiB и загружается только при включении speculative decoding. Сведения о размере контекста в README не указаны. Сильными сторонами модели являются возможность разместить крупную MoE-модель на машине с 64 ГБ памяти, поддержка текста и изображений, оптимизированные для Apple Silicon ядра и опциональное ускорение генерации через MTP. Ограничения включают высокие требования к памяти, небольшой запас ресурсов на 64-гигабайтных системах и необходимость специальной поддержки архитектуры qwen4_exp: на момент описания требуется версия mlx-lm из отдельной ветки, поскольку в опубликованных версиях эта архитектура отсутствует. Для изображений нужен mlx-vlm версии 0.6.16 или новее; стандартная версия exo также не подходит без специальной ветки. Модель распространяется по лицензии qwen-community-1.0, обозначенной в карточке как license other.

TheDrainFlorist/Qwen3.8-Flash-Next-VQ-3.2bpw — это векторно-квантизированная версия Qwen3.8-Flash-Next, подготовленная сообществом TheDrainFlorist с использованием VQLab для устройств Apple Silicon и MLX. Базовая модель разработана командой Qwen. Модель предназначена для генерации текста и обработки изображений в совместимых конфигурациях, включая локальный запуск на машинах с 96 ГБ объединённой памяти и распределённое обслуживание через exo. Архитектура основана на Mixture-of-Experts: заявлены 180B общих параметров, 10 из 512 активных экспертов, а также 51,2B n-gram PLE и vision-компонент. Используется VQ-квантизация с уровнем 3.2 bpw; размер артефакта составляет около 69,4 GiB. В составе поставляется собственный runtime model.py, а модель рассчитана на стек MLX. README указывает английский язык, но сведения о поддерживаемом размере контекста не приведены. Сильными сторонами являются низкое потребление памяти относительно исходной MoE-модели, поддержка текста и изображений, оптимизации ядер для Apple Silicon и возможность speculative decoding через специальную ветку exo. Ограничения связаны с зависимостью от экспериментальной архитектуры qwen4_exp: для текстового запуска требуется версия mlx-lm с ещё не вошедшим в стабильный релиз PR, а для изображений — mlx-vlm не ниже 0.6.16. Stock exo также несовместим без специальной ветки; при включении speculative decoding запросы обрабатываются последовательно. Модель распространяется по лицензии qwen-community-1.0; тип лицензии в README обозначен как other, а полный текст доступен в файле LICENSE.

Xirui1208/readall-readtwice-step5-20260921 — контрольный чекпойнт Qwen2, разработанный в рамках обучения ReadAll / ReadTwice с обучением с подкреплением. Это плотная авторегрессионная модель генерации текста на 7,1 млрд параметров с контекстом 32 768 токенов; репозиторий содержит веса BF16 в формате Safetensors и конфигурацию для Transformers. Модель предназначена для диалога и ответов на вопросы по длинным документам. В оценке HQA на входе длиной 224 тыс. токенов она использовалась вместе с соответствующим рекуррентным конвейером ReadTwice: документ обрабатывается частями и несколькими последовательными вызовами, а не одним запросом к модели. README также приводит оценку на LongBench QA. На фиксированном наборе HQA модель получила 57,81% exact match, 73,19% F1 и 75,78% bidirectional SubEM; по сравнению с исходным чекпойнтом step36 приросты невелики. Эти результаты не подтверждают устойчивое улучшение на новых данных. Для сопоставления при оценке README рекомендует жадное декодирование с отключённой выборкой. Репозиторий публичный; лицензия в предоставленных данных не указана.

reader-lm-1.5b-GGUF — это набор GGUF-квантизаций модели reader-lm-1.5b, разработанной Jina AI и квантизированной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска, в том числе через LM Studio. README указывает поддержку множества языков, но не приводит точный список языков, архитектуру или размер контекстного окна. Доступны варианты от полноточного F16 размером 3,09 ГБ до компактных IQ3_M размером 0,78 ГБ, включая квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и другие. Варианты Q6_K и Q6_K_L заявлены как высококачественные, Q4_K_M — как компромисс между размером и качеством, а Q3 и IQ3 — как подходящие для систем с ограниченной оперативной памятью. Отдельные варианты оптимизированы для ARM-процессоров. Модель поддерживает формат чата с ролями system, user и assistant. Квантизация уменьшает требования к памяти и позволяет запускать модель локально, но может снижать качество по сравнению с F16; степень снижения зависит от выбранного варианта. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но ограничивающая коммерческое применение.

reader-lm-1.5b-IMat-GGUF — это GGUF-квантизированная версия языковой модели jinaai/reader-lm-1.5b, подготовленная legraphista. Модель предназначена для генерации текста и локального запуска с использованием llama.cpp. В репозитории представлены варианты квантизации от 1 до 8 бит, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и семейство IQ; для большинства вариантов применена IMatrix, предназначенная для улучшения качества при сниженной точности. Исходная модель имеет размер 1,5 млрд параметров и исходный тип данных BF16. В метаданных указана поддержка multilingual-сценариев, однако конкретный перечень языков и размер контекстного окна не приведены. Формат GGUF и набор компактных квантованных файлов делают модель подходящей для запуска на ограниченных по памяти устройствах; выбор между вариантами позволяет балансировать качество, размер файла и требования к ресурсам. При этом более агрессивная квантизация может снижать точность и качество генерации, а результаты тестирования и сравнительные бенчмарки в README не указаны. Модель распространяется по лицензии CC BY-NC 4.0, которая допускает использование с обязательным соблюдением условий лицензии, но ограничивает коммерческое применение. Квантизованные файлы созданы с использованием llama.cpp версии b3731.

RLPR-Qwen2.5-7B-Base — языковая модель OpenBMB, дообученная на базе Qwen2.5-7B-Base с помощью фреймворка RLPR для усиления рассуждений. Метод использует вероятности генерации самой модели как сигнал вознаграждения, без внешних проверяющих моделей; обучение также включает фильтрацию запросов по стандартному отклонению и использует набор данных RLPR-Train. Модель предназначена для генерации ответов и решения задач общего и математического рассуждения. В карточке приведены результаты на тестах MMLU-Pro и TheoremQA; заявлено улучшение относительно исходной модели и ряда моделей, использующих внешнюю проверку. Это плотная авторегрессионная архитектура Qwen2 с 7,1 млрд параметров, контекстом до 131 072 токенов и поддержкой английского языка по метаданным. Доступны веса Safetensors и интерфейс для чата и вызова инструментов. Модель выпущена под лицензией Apache-2.0. Карточка не приводит подробностей об ограничениях качества или безопасности; как и другие языковые модели, она может генерировать ошибки и убедительно излагать неверные ответы.

roberta-base-japanese-jsnli — японская модель классификации последовательностей, разработанная на основе nlp-waseda/roberta-base-japanese и дообученная на наборе JSNLI. Она предназначена для задач распознавания отношений между текстовыми фрагментами и классификации по заданным категориям, включая zero-shot-классификацию через постановку задачи как NLI. Модель построена на архитектуре RoBERTa и содержит 137,8 млн параметров. Контекст составляет до 514 токенов. Перед подачей текста его необходимо сегментировать с помощью Juman++. В карточке указана точность 0,9328 и loss 0,2039 на оценочной выборке JSNLI. Модель распространяется по лицензии CC BY-SA 4.0.

RoLlama3.1-8b-Instruct — румынская инструкционно настроенная языковая модель OpenLLM-Ro, созданная на основе Meta Llama 3.1 8B Instruct. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM, примерно 7,5 млрд параметров и контекстом до 131 072 токенов; репозиторий содержит веса в формате safetensors. Модель предназначена для диалогов с ассистентом и генерации текста на румынском языке, а также для адаптации к смежным языковым задачам. Дообучение выполнено на наборах инструкций и диалогов, включая RoAlpaca, RoDolly, RoOrca, RoOpenAssistant, RoUltraChat и RoMagpie. Модель поддерживает чат и интерфейс вызова инструментов. Разработчик указывает исследовательское назначение и исключает использование для языков, отличных от румынского. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование.

SauerkrautLM 7B HerO GGUF — квантизированная версия языковой модели SauerkrautLM 7B HerO, разработанной VAGO solutions и преобразованной в формат GGUF пользователем TheBloke. Модель основана на архитектуре Mistral и предназначена для генерации текста и диалоговых сценариев. Модель содержит около 7 миллиардов параметров, работает с текстом и ориентирована на английский и немецкий языки, включая немецкоязычные приложения. Для взаимодействия используется шаблон ChatML с ролями system, user и assistant. Формат GGUF поддерживается llama.cpp и рядом локальных интерфейсов и библиотек, что позволяет запускать модель на CPU и GPU; доступны варианты квантизации от 2 до 8 бит. К сильным сторонам относятся локальный запуск, поддержка CPU+GPU-инференса, несколько уровней квантизации для выбора компромисса между качеством, скоростью и потреблением памяти, а также ориентация на немецкий язык. Ограничения включают возможную потерю качества при низкой разрядности квантизации, отсутствие заявленной поддержки изображений и других немультимедийных данных, а также отсутствие в README сведений о размере контекста, результатах тестирования и специальных прикладных навыках. Модель распространяется по лицензии Apache-2.0.

SJT-2B — диалоговая модель Sakalti на архитектуре Gemma 2, дообученная на базе google/gemma-2-2b-jpn-it. Она предназначена для генерации текста в формате общения и может использоваться для ответов на вопросы и суммаризации. Модель содержит 2,7 млрд параметров, принимает текст и выдаёт текст; в метаданных указан контекст длиной до 131 072 токенов. Для обучения использовались Unsloth и Hugging Face TRL. Модель распространяется на условиях Gemma Terms of Use. Карточка не описывает конкретный набор данных или результаты оценки качества.