I.2Синтез, понимание и проверка знаний

Это GGUF-квантизированная версия языковой модели Nemotron-H-8B-Reasoning-128K, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных средах, поддерживающих llama.cpp, включая LM Studio и другие совместимые проекты. Модель относится к классу reasoning-моделей, имеет около 8 миллиардов параметров и заявленный контекст до 128K токенов. Доступны варианты от полного BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Более высокие варианты, включая Q6_K_L и Q6_K, обеспечивают качество, близкое к исходному, а Q4-варианты предлагают более компактный запуск. Сильными сторонами являются большой контекст, возможность локального использования и широкий выбор квантизаций для разного оборудования. Ограничения связаны с потерями качества при более агрессивной квантизации; точный формат промптов, поддерживаемые языки, архитектурные детали и официальная лицензия в представленном README не указаны.

Orion-14B-Chat-RAG — диалоговая модель OrionStarAI из семейства Orion-14B. Базовую серию обучили с нуля на многоязычном корпусе объёмом 2,5 трлн токенов; эта версия дообучена на специальном наборе данных для генерации с дополнением извлечёнными сведениями (RAG). Модель предназначена для ответов на вопросы по найденным документам и других сценариев, где ответ опирается на переданный контекст. Это плотная авторегрессионная языковая модель с 14,1 млрд параметров и контекстным окном 4096 токенов. В README заявлена поддержка китайского, английского, японского и корейского языков; метаданные также отмечают возможности работы с кодом. Репозиторий содержит веса PyTorch. Для применения в RAG необходимо организовать поиск и передавать модели извлечённый контекст; сама карточка не описывает встроенный поисковый индекс. Модель может быть полезна для многоязычных диалогов и генерации ответов с опорой на документы. README заявляет высокую эффективность в задачах RAG, но не приводит в предоставленном фрагменте конкретных результатов оценки этой версии. Лицензия в предоставленных данных не указана.

pandafish-dt-7b — языковая модель на 7,1 млрд параметров, созданная объединением моделей Experiment26-7B и MergeCeption-7B-v3 методом dare_ties с помощью LazyMergekit. Она основана на архитектуре Mistral и предназначена для генерации текста и общих языковых задач; заявленная длина контекста составляет 32 768 токенов. В README приведены результаты оценивания на наборе Nous Benchmark, включая AGIEval, GPT4All, TruthfulQA и Bigbench. Модель распространяется в формате safetensors по лицензии Apache-2.0. README также перечисляет сторонние варианты в форматах GGUF и MLX. Данных о целевых языках и специализированных предметных областях нет, поэтому модель следует рассматривать как универсальную.

PandafishHeatherReReloaded — объединённая модель для генерации текста, созданная MysticFoxMagic методом slerp с помощью LazyMergekit на основе MysticFoxMagic/HeatherSpell-7b и ichigoberry/pandafish-2-7b-32k. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и принимает текстовый контекст длиной до 32 768 токенов. Модель предназначена для генерации текста и ответов на запросы. Веса опубликованы в формате Safetensors; при объединении использована точность bfloat16. В метаданных указана лицензия, но её условия здесь не раскрыты.

Panther v1 — языковая модель Rardilit на архитектуре LLaMA, выпущенная в мае 2023 года. Модель содержит 6,6 млрд параметров, работает с текстом и имеет контекстное окно 2048 токенов. В карточке заявлена поддержка нескольких языков; в метаданных указан английский язык. Модель предназначена для генерации текста, исследования поведения языковых моделей и использования в качестве основы для дообучения. Среди возможных последующих задач названы извлечение информации, ответы на вопросы и суммаризация. Модель может выдавать фактически звучащие, но неверные ответы, а также нерелевантный или повторяющийся текст; возможны стереотипы, персональные данные и неприемлемый контент. Разработчик — Rardilit. Указана лицензия Panther License v1.0, классифицированная в метаданных как other; конкретные условия следует сверять с текстом лицензии. Модель не предназначена для решений с существенными последствиями, в том числе в медицине, праве, политике и финансах.

Карточка модели google/pegasus-multi_news на Hugging Face совпадает с карточкой google/pegasus-xsum, поэтому описание составлено по ней. google/pegasus-xsum — англоязычная модель Pegasus для генерации кратких пересказов, основанная на архитектуре кодировщика-декодировщика и разработанная Jingqing Zhang, Yao Zhao, Mohammad Saleh и Peter J. Liu; карточку поддерживает @sshleifer. Модель содержит 366,8 млн параметров, принимает текст и выдаёт текст. Её основная специализация — абстрактная суммаризация, в частности создание короткого пересказа по исходному тексту; в материалах карточки приведены результаты на XSum, CNN/DailyMail и других наборах данных. При предобучении использовались C4 и HugeNews, смешанные и стохастически выбранные предложения-заполнители, а также изменённый SentencePiece-токенизатор с поддержкой символа новой строки. Заявленная длина контекста — 512 токенов. Доступны веса в форматах PyTorch, TensorFlow и Flax. Карточка не сообщает об ограничениях помимо длины контекста. Лицензия в предоставленных данных не указана.

TroyDoesAI/Phi-3-Context-Obedient-RAG — дообученная разговорная модель TroyDoesAI на базе microsoft/Phi-3-mini-128k-instruct, предназначенная для ответов по предоставленному контексту, в том числе в сценариях RAG, с акцентом на соблюдение источников и снижение галлюцинаций. Модель принимает текстовые блоки и инструкции; для связывания фрагментов с метаданными в карточке описан формат с разделителями BEGININPUT, BEGINCONTEXT и ENDINSTRUCTION. По метаданным это плотная causal language model семейства Phi-3 с 3,7 млрд параметров и контекстным окном 4096 токенов. Указаны чат-возможности и формат safetensors. Карточка описывает настройку на одиночные вопросы, ответы в виде абзацев и списков; практическое назначение — формирование ответов на основе переданных документов и контекста. Лицензия в метаданных — CC BY-SA 4.0, а в README указана CC BY 4.0, поэтому сведения о лицензии противоречат друг другу и требуют проверки перед использованием. README не приводит результатов оценки качества; следование контексту и снижение галлюцинаций заявлены как цель дообучения, а не как гарантированное свойство.

Pyrhea-72B — объединённая языковая модель на основе Llama, созданная автором saucam с помощью Mergekit из davidkim205/Rhea-72b-v0.5 и abacusai/Smaug-72B-v0.1. Она предназначена для генерации текста, включая диалог и ответы на вопросы. Модель содержит 71 млрд параметров и поддерживает контекст длиной до 32 768 токенов. В объединении использован метод dare_ties с настройками весов 0,6 для Rhea и 0,4 для Smaug; указаны bf16 и int8-маска. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает конкретные языковые ограничения и результаты оценки качества.

CultriX/Qwen2.5-14B-Brocav3 — объединённая языковая модель на основе семейства Qwen2.5, созданная CultriX с помощью mergekit. В качестве базовой модели использована CultriX/Qwen2.5-14B-Wernickev3; при объединении также задействованы математические, диалоговые и другие варианты Qwen2.5-14B. Для слияния применён метод della_linear. Модель предназначена для генерации текста и диалогового общения. Её можно использовать для ответов на вопросы, составления текстов и математических запросов. Размер модели — 14 млрд параметров, архитектура — плотная Qwen2ForCausalLM; заявленная длина контекста составляет до 131 072 токенов. Модель работает через библиотеку Transformers и распространяется в формате safetensors. Карточка не описывает отдельные результаты оценки качества или специальные ограничения поведения. Лицензия в предоставленных данных не указана.

llmfan46/Qwen3.5-35B-A3B-ultra-uncensored-heretic — мультимодальная разговорная модель, созданная независимым автором на основе Qwen3.5-35B-A3B от Alibaba. Это дообученная версия с методом abliteration: по приведённому в карточке тесту она реже отказывает в ответах, при этом сохраняет близость к поведению исходной модели по метрике KL divergence. Модель принимает текст и изображения и формирует текстовые ответы; её можно использовать для диалога, анализа изображений, рассуждений и сценариев с вызовом инструментов. В основе лежит архитектура Qwen3.5 MoE с 35 млрд параметров всего и примерно 3 млрд активных параметров. Исходная модель поддерживает контекст до 262 144 токенов с возможностью расширения; карточка производной модели отдельно не подтверждает изменения этого предела. README указывает поддержку 201 языка и диалекта для семейства Qwen3.5, но не уточняет, насколько полно она сохранена в этой версии. Формат весов — Safetensors; заявлена совместимость с Transformers и рядом движков инференса. Лицензия — Apache-2.0.

Hellohihihih/qwen35-v35-textmix-merged-full — полноразмерная объединённая текстовая причинная языковая модель на архитектуре Qwen3.5, созданная автором репозитория на основе Qwen/Qwen3.5-9B и адаптера LoRA Hellohihihih/qwen35-v30-textmix-lora. Веса адаптера объединены с базовыми весами, поэтому для запуска не требуется загружать PEFT-адаптер отдельно. Модель предназначена для генерации текста и диалогов; в тегах карточки указаны английский и корейский языки, ответы на вопросы и рассуждения. Это текстовая версия без кодировщиков изображений, аудио и видео, а также без мультимодального проектора. Модель содержит 7,2 млрд параметров, поддерживает контекст до 262 144 токенов и распространяется в формате safetensors через Transformers. Лицензия указана как other, поэтому условия использования следует уточнить в карточке репозитория.

Avesed/Qwen3.6-35B-A3B-INT4-W4A16 — это квантизированная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen и подготовленной Avesed. Модель предназначена для генерации текста, решения математических и академических задач, рассуждений и многоязычных сценариев на английском и китайском языках. В README также указано наличие vision tower и MTP head, однако подробности поддерживаемых мультимодальных сценариев не приведены. Это гибридная Mixture-of-Experts-модель с 256 экспертами, из которых для каждого запроса активируются 8; суммарный размер составляет около 35B параметров, а активная часть — около 3B. Архитектура использует GatedDeltaNet для линейного внимания. Основная особенность версии — weight-only-квантизация AWQ до INT4 в формате W4A16 с group_size 32: квантизированы экспертные FFN, тогда как чувствительные к качеству компоненты, включая self-attention, роутер, shared expert, GatedDeltaNet, эмбеддинги, lm_head, vision tower и MTP head, сохранены в bf16. Заявленные результаты составляют 96,8% на GSM8K и 80,2% на MMLU-Pro. Модель ориентирована на эффективный инференс через vLLM; для запуска требуется конфигурация с tensor parallelism, а на Ampere доступен режим W4A8 с INT8-активациями через специализированную сборку vllm-ampere-optimized. Ограничениями являются зависимость от совместимого программного стека и аппаратного ускорения, а также возможное снижение качества из-за квантизации; размер контекста в README не указан. Модель распространяется по лицензии Apache-2.0.

avlp12/Qwen3.8-27B-Alis-MLX-8bit — 8-битная квантизированная версия мультимодальной модели Qwen3.8-27B от Qwen, подготовленная пользователем avlp12 для запуска на Apple Silicon с использованием MLX. Модель предназначена для генерации и анализа текста, работы с изображениями и сценариев, где важны высокая точность, длинные последовательности генерации и агентские циклы. Поддержка изображений сохранена благодаря полной vision-башне, а также сохранена MTP-голова для speculative decoding. Модель основана на архитектуре Qwen3_5ForConditionalGeneration с типом модели qwen3_5 и содержит 27 миллиардов параметров. Квантованный языковой компонент использует 8-битное представление, тогда как 333 тензора vision-башни объёмом около 0,461 млрд параметров сохранены в исходном формате bf16. Указанный размер сборки составляет 27,9 ГБ, пиковое потребление оперативной памяти при загрузке и коротком контексте — около 28,1 ГБ, скорость декодирования на Apple M3 Ultra — около 22 токенов в секунду. Модель поддерживает мультимодальный ввод, включая изображения; заявленные языки включают английский и корейский, также отдельно измерялось качество на коде. Размер контекста в README не указан. Главное преимущество сборки — близкое к исходной bf16-модели поведение при существенно меньшем размере и более высокой скоростью декодирования; заявленные различия perplexity статистически неразличимы на проверенных корпусах. Ограничения — необходимость совместимого Apple Silicon и MLX-окружения, значительные требования к памяти, а также возможное снижение точности из-за 8-битной квантизации по сравнению с bf16. Лицензия модели — Apache-2.0.

Qwen3.8-27B-FP8-Pessoa — квантованный вариант мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для обработки текста, изображений и видео, включая сценарии визуально-языкового анализа и генерации текста по мультимодальному вводу. Квантование выполнено с использованием llm-compressor; веса сохранены в формате compressed-tensors для непосредственного применения с vLLM. Лицензия — Apache-2.0. Языковая часть содержит около 27 млрд параметров, vision tower — 460,7 млн, а MTP-голова — 82,3 млн. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания с GQA; нативный контекст составляет 262 144 токена. Поддерживается многоязычный ввод. Линейные, MLP- и полные attention-слои используют weight-only FP8 E4M3 W8A16 с BF16-активациями, GPTQ-коррекцией и поканальным масштабированием. Vision tower и MTP-голова оставлены в BF16, поэтому сохраняются возможности понимания изображений и видео, а также speculative decoding. Главные преимущества — уменьшенный до 31,24 ГБ размер чекпойнта против 55,6 ГБ у BF16-версии и низкая ошибка квантования. Компромисс заключается в более низкой скорости предварительной обработки по сравнению с W8A8 из-за деквантования перед GEMM, а также в высоких требованиях к памяти и ускорителям. Для работы рекомендуется vLLM 0.26.1rc0 с FlashInfer; заявлена поддержка NVIDIA Blackwell, Ampere и Hopper с поддержкой FP8 E4M3.

lued/Qwen3.8-27B-heretic-ara-INT8-W8A16-MTP — квантизированная версия модели heretic-org/Qwen3.8-27B-heretic-ara, основанной на Qwen3.8-27B от Qwen. Репозиторий lued содержит численную W8A16-квантизацию; исходная модель была изменена проектом Heretic с применением abliteration для устранения встроенного профиля отказов. Модель предназначена для диалоговых и мультимодальных задач, включая работу с изображениями, рассуждения и генерацию текста, и оптимизирована для запуска через vLLM на видеокартах архитектуры Ampere, в частности на конфигурации из двух RTX 3090. Модель имеет 27 млрд параметров, сохраняет vision tower, управление режимом рассуждений и нативный контекст до 262 144 токенов. Веса представлены в INT8 с форматом W8A16, активации поддерживают FP16 или BF16, а голова MTP сохранена в исходном BF16 для speculative decoding. Используется симметричная data-free RTN-квантизация с размером группы 128 и форматом compressed-tensors; проверенный профиль vLLM включает tensor parallelism на двух GPU, FP8 E4M3 KV-кэш и три draft-токена MTP. Расширение контекста до 1 млн токенов с YaRN относится к исходной модели и требует отдельной настройки и достаточного объёма KV-кэша. Сильными сторонами являются уменьшенный объём памяти, совместимость с Ampere без нативного FP8 tensor-core исполнения, сохранение мультимодальности и длинного контекста, а также устранение отказов на указанном наборе из 100 вредоносных запросов исходной abliteration-моделью. Ограничением является намеренное изменение поведения: abliteration привела к заметному сдвигу распределения, а отсутствие отказов не означает гарантии безопасного использования. Производительность и поведение могут зависеть от конфигурации vLLM и доступной памяти. Модель распространяется по лицензии Apache 2.0.

lyf/Qwen3.8-27B-Heretic-ARA-NVFP4-MTP-VL — мультимодальная версия модели Qwen3.8-27B-Heretic-ARA, подготовленная lyf и распространяемая как квантизированный релиз на базе heretic-org/Qwen3.8-27B-heretic-ara. Модель предназначена для генерации текста, рассуждений, вызова инструментов, а также анализа изображений и видео через vision/video tower. Поддерживаются английский и китайский языки. Основные веса преобразованы в формат NVFP4 W4A4 с использованием compressed-tensors, при этом vision/video tower и 15 нативных BF16-тензоров MTP сохранены. MTP поддерживает speculative decoding с рекомендуемым числом спекулятивных токенов 3. Релиз ориентирован на запуск в vLLM с CUDA 13 на GPU Blackwell, в частности RTX 5090. Для текстового режима заявлена практическая длина контекста до 192K токенов и агрессивная конфигурация до 256K; мультимодальный режим требует существенно больше видеопамяти и обычно ограничивается диапазоном 32K–96K. Сильными сторонами являются сочетание низкой разрядности, мультимодальности, длинного контекста и ускорения генерации через MTP. Ограничения включают зависимость от совместимого стека vLLM/CUDA и GPU Blackwell, высокие требования к видеопамяти, рекомендованную однопоточную конфигурацию и необходимость самостоятельно проверять лимиты изображений, видео и кэша энкодера перед эксплуатацией. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-MLX — сборка официальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen и адаптированной OrcaRouter для MLX. Это мультимодальная vision-language модель с поддержкой текста и изображений, ориентированная на запуск на устройствах Apple Silicon. Заявлены английский и китайский языки, управление режимом рассуждений, вызов инструментов и Multi-Token Prediction (MTP) для ускорения спекулятивной генерации. Модель имеет 27 миллиардов параметров и плотную гибридную архитектуру, сочетающую линейное внимание Gated DeltaNet с полноразмерным attention. Доступны аффинные варианты квантования на 4, 6 и 8 бит: примерно 16, 24 и 31 ГБ соответственно. Визуальная башня, нормализационные и свёрточные слои сохраняются в BF16, а линейные веса языковой модели квантуются. Вариант 8-bit обеспечивает качество, близкое к BF16, 6-bit предлагает компромисс между качеством и объёмом, а 4-bit предназначен для повседневного использования при меньших требованиях к памяти. Модель подходит для диалоговых приложений, анализа изображений, генерации текста, задач рассуждения и сценариев с вызовом функций. Для ускорения генерации доступен отдельный MTP-драфтер, совместимый с любой основной точностью. Ограничениями являются значительные требования к оперативной памяти, зависимость от актуальных версий mlx-vlm и MLX, а также преимущественная ориентация на Apple Silicon; для vision-режима на CUDA требуется дополнительная настройка. Репозиторий распространяется по лицензии Apache 2.0.

Qwen3.8-27B-NVFP4-MTP-VL-GGUF — пользовательская GGUF-сборка базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Сборка предназначена для локального запуска через llama.cpp и Ollama и объединяет языковую модель с поддержкой изображений и видео, механизмом MTP для ускоренного спекулятивного декодирования и отдельным F16 CLIP-проектором для обработки зрения. Это не официальный checkpoint в формате Transformers, а квантованная упаковка сообщества. Языковая часть и MTP используют NVFP4, выходные и embedding-слои — Q5_K, размер языкового файла составляет около 14,6 ГиБ, а проектор занимает около 888 МиБ. Нативный контекст модели — 262 144 токена; в GGUF добавлены метаданные статического YaRN с коэффициентом 4, позволяющие запрашивать окно до 1 048 576 токенов без изменения весов. Поддерживаются английский и китайский языки. Сильные стороны — существенно меньшие требования к памяти по сравнению с BF16, сохранение визуальных возможностей и MTP, а также совместимость с локальными рантаймами. Для работы требуются сборки, поддерживающие архитектуру qwen35, NVFP4, mmproj и draft-mtp. Окно в миллион токенов требует очень большого объёма памяти для KV-кэша, а статический YaRN может ухудшать качество на коротких запросах, поэтому для обычного диалога рекомендуется меньший контекст. Модель распространяется по лицензии Apache License 2.0.

Qwen3.8-27B-Omnimerge-v6-MTP-GGUF — квантизированная GGUF-версия модели, опубликованная автором ManniX-ITA. Она создана на основе ManniX-ITA/Qwen3.8-27B-Omnimerge-v6, представляющей собой объединение методом task arithmetic трёх дообученных моделей Qwen3.6 на базе Qwen3.8-27B. В метаданных указана архитектура Qwen3.5, размер модели — около 27,78 млрд параметров, основной заявленный язык — английский. Модель предназначена для текстовой генерации, рассуждений и мультимодальных сценариев с обработкой изображений. В комплекте сохранена MTP-голова для self-speculative decoding, а также опубликован F16 vision projector; это позволяет использовать модель с изображениями через llama.cpp. Доступны 19 вариантов квантизации от F16 и Q8_0 до Q2_K и IQ2_S, что даёт возможность выбирать между качеством, скоростью и требованиями к памяти. Для MTP требуется сборка llama.cpp с поддержкой соответствующего механизма; в приведённых измерениях вариант Q4_K_M достигал примерно двукратного ускорения генерации при настройке с тремя черновыми токенами. Сильными сторонами являются широкий выбор квантизаций, поддержка изображений, reasoning-возможности, воспроизводимые imatrix-варианты и сохранённая MTP-голова. Ограничения включают зависимость расширенных возможностей от совместимого llama.cpp, значительные требования к памяти для крупных вариантов, а также то, что MTP может приводить к отличиям вывода от обычной генерации при близких значениях вероятностей; эквивалентность качества в README не измерялась. Для длительных рассуждений рекомендуется выделять достаточный reasoning budget. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, опубликованная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео. Профиль Aggressive ориентирован на прямые ответы с минимальным вступлением и без поведения отказа; заявленные возможности базовой модели сохраняются без изменений в обучающих данных и общем назначении. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder и поддержкой мультимодального ввода через отдельный BF16-проектор. Архитектура включает 64 слоя, скрытый размер 5120, размер FFN 17408, словарь 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Указана поддержка английского, китайского и других языков. Выпуск представлен в форматах GGUF с различными уровнями квантизации, включая специализированные K_P-кванты. К сильным сторонам относятся длинный контекст, мультимодальность, сохранённые встроенные механизмы MTP/NextN и ускорение HauhauCS FastMTP 32K. Заявлено ускорение генерации до 3,02 раза для документов и до 1,93 раза для задач рассуждения по сравнению с вариантами без MTP, однако эти показатели зависят от сценария и конфигурации. Агрессивный профиль может быть менее подходящим для надёжно контролируемых агентских задач, где предпочтительнее сбалансированная версия. Для работы с изображениями и видео требуется отдельный vision-проектор. Модель распространяется по лицензии Apache-2.0.

eousphoros выпустил экспериментальную производную модели Qwen3.8-27B: к исходным весам BF16 применена слитая LoRA-калибровка с нормализацией и статическим YaRN-масштабированием. Модель предназначена для диалогов и мультимодальных задач с длинным контекстом; принимает текст, изображения и видео, а в ответ генерирует текст. В каталоге Hugging Face для неё указаны архитектура Qwen3.5, 27 млрд параметров у базовой модели и контекст до 1 048 576 токенов в конфигурации автора; библиотека — Transformers. Калибровка выполнена на 137 обновлениях с использованием текстовых, агентных и мультимодальных примеров. Метрики сходства слияния проверяют корректность экспорта, но не являются оценкой общих возможностей. Полная оценка на длинном контексте, включая RULER, ещё не завершена, поэтому пригодность для конкретной нагрузки нужно проверять отдельно. Статическое масштабирование YaRN применяется на любой длине последовательности. Лицензия — Apache-2.0.

Sawfwair/Qwen3.8-Flash-Next-MLX-4bit — это воспроизводимая конверсия модели Qwen/Qwen3.8-Flash-Next в формат MLX, разработанная Sawfwair на основе исходной модели Qwen. Модель предназначена для задач генерации текста и обработки изображений с текстом, включая мультимодальные сценарии, совместимые с архитектурой Qwen4-Exp. Поддерживает нативный контекст до 262 144 токенов. Исходная модель насчитывает около 180 млрд параметров: 125 млрд параметров основной модели, 51 млрд параметров n-граммовых эмбеддингов и 4 млрд параметров MTP. Квантизация выполнена в формате MLX affine Q4: применяются Q4/group-64 для языковых, MTP- и vision-матриц и Q4/group-32 для таблицы n-грамм; маршрутизаторы, нормализации, смещения, свёртки и несовместимые формы оставлены в плотном формате. Размер артефактов составляет около 97,55 GiB. К сильным сторонам относятся большой контекст, поддержка текста и изображений, воспроизводимая конверсия и существенное уменьшение размера по сравнению с полноразмерным представлением. Для работы требуется runtime MLX с поддержкой архитектуры Qwen4-Exp; старые версии mlx-lm или mlx-vlm могут не поддерживать модель. Распространение осуществляется по Qwen Community License 1.0. Лицензия содержит требования к атрибуции и отображению для очень крупных коммерческих продуктов, а также отдельные условия для некоторых коммерческих Model-as-a-Service и AI Work Assistant-сценариев; перед использованием необходимо ознакомиться с её полным текстом.

Vontra/Qwen3.8-Flash-Next-MLX-4bit-MTP — это 4-битная MLX-конверсия мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen. Конверсия выполнена из официального BF16-чекпойнта для запуска на Apple Silicon через MLX и сохраняет штатный блок MTP для speculative decoding. Модель предназначена для диалогов и генерации текста, а также для сценариев vision-language с обработкой изображений при наличии совместимого MLX-VLM и runtime. Архитектура представляет собой vision-language sparse MoE на базе Qwen4Exp с языковой частью на 125 млрд параметров, из которых активны около 6 млрд, и контекстом до 262 144 токенов. Используются Gated DeltaNet, Qwen Sparse Attention, разреженные mixture-of-experts-слои, расширенные gated residual streams, hashed bigram и trigram embeddings, а также один draft-блок MTP объёмом 4 млрд параметров. Основные языковые и MTP-модули квантизованы в 4 бита с размером группы 32; мультимодальные модули и router gates сохранены в BF16. Формат весов — MLX safetensors, общий размер — около 113,2 ГБ. К сильным сторонам относятся существенно сниженный по сравнению с BF16 объём весов, поддержка длинного контекста и потенциальное ускорение декодирования благодаря native MTP. На Apple M3 Studio в указанной конфигурации скорость генерации выросла с 27,83 до 31,44 токена в секунду, однако результаты зависят от длины контекста, версии runtime, состояния кэша, памяти и температуры. Для работы требуется runtime с явной поддержкой архитектуры qwen4_exp и native MTP; старые версии могут быть несовместимы, а поддержка изображений зависит от версий MLX-VLM и oMLX. Модель распространяется по Qwen Community License 1.0.

evsinlb/Qwen3.8-Flash-Next-oQ4e-fp16-mtp — это 4-битная MLX-квантизированная версия Qwen3.8-Flash-Next, разработанной командой Qwen. Сборка подготовлена с использованием oQ/oMLX и предназначена для запуска на Apple Silicon, прежде всего M1 и M2. Модель относится к архитектуре qwen4_exp и поддерживает генерацию текста, а также встроенные компоненты для работы с изображениями. Модель использует MoE-архитектуру с 512 экспертами и маршрутизацией top-10, 48 слоями и гибридом линейного и полноформатного внимания. В ней присутствует таблица PLE n-грамм объёмом 51,2 млрд параметров, Lightning MTP-голова, 4-битные веса с отдельными 5-битными улучшениями для чувствительных тензоров и контекст до 262 144 токенов. Размер модели на диске составляет около 99,82 GiB в 21 шарде; компоненты vision и MTP сохранены. Сильная сторона сборки — обработка длинных документов: она подходит для пакетного суммирования, извлечения данных и одноразового анализа больших текстов. На M2 Ultra заявлена высокая скорость предварительной обработки, около 525 токенов в секунду при контексте 8K, тогда как генерация выполняется примерно со скоростью 23–25 токенов в секунду. Ограничениями являются очень большой объём памяти, зависимость производительности от режима размещения PLE-таблицы и аппаратной платформы, а также сравнительно невысокая скорость декодирования для интерактивных сценариев. Модель распространяется по лицензии Apache 2.0. Формат — MLX safetensors; для запуска требуется совместимое окружение oMLX/MLX и достаточный объём оперативной памяти, поскольку только постоянно резидентная часть занимает около 70 GiB, а полное размещение модели требует примерно 100 GiB.

devan-carlin/Qwen3.8-Flash-Next-W4A16 — сообщественная W4A16-квантизированная версия Qwen3.8-Flash-Next, базовую модель и лицензию которой разработала команда Qwen. Репозиторий предоставляет квантизацию и рецепт запуска на Intel XPU с использованием patched vLLM. Модель предназначена для генерации текста, рассуждений, вызова инструментов и мультимодальных сценариев с обработкой изображений; доступны текстовые и графические входы через процессор Qwen3-VL. Модель использует MoE-архитектуру с 125B параметров и примерно 6B активных параметров. Экспертные веса квантизированы в int4 по схеме group-128 с активациями A16, а отдельные компоненты, включая визуальный модуль, эмбеддинги и ряд служебных слоёв, сохранены в BF16. Поддерживается контекст до 256K токенов и FP8 KV-кэш. В составе присутствует 27-блочный vision tower, совместимый с Qwen3-VL. Для корректной работы требуется PLE n-gram table объёмом около 96 ГБ в оперативной памяти. К сильным сторонам относятся большой контекст, MoE-эффективность, поддержка изображений и возможность производительного запуска на Intel Arc Pro B70: заявлено около 53,4 токена в секунду на конфигурации из четырёх ускорителей. Ограничения существенны: необходимы четыре Intel Arc Pro B70 с суммарно 128 ГБ VRAM, не менее 128 ГБ оперативной памяти, специальная версия vLLM и закреплённые версии XPU-зависимостей. Для этого чекпойнта рекомендуется температура не выше примерно 0,7, поскольку при более высоких значениях наблюдаются повторения и деградация вывода. Модель распространяется по Qwen Community License 1.0; лицензия указана как other.

TextAttack дообучила RoBERTa-base для классификации пар предложений на датасете MRPC из набора GLUE. Модель содержит 151,8 млн параметров и принимает текстовые пары; максимальная длина контекста по метаданным — 514 токенов. При дообучении использовались 5 эпох, размер пакета 16, скорость обучения 3e-05 и максимальная длина последовательности 256 токенов. Модель предназначена для определения, выражают ли два предложения одинаковый смысл. В карточке указана точность 0,912 на оценочной выборке, достигнутая после двух эпох обучения. Доступны веса PyTorch и Flax; лицензия в предоставленных данных не указана.

SciPhi-Mistral-RAG-Hermes-7B-32k — языковая модель на архитектуре Mistral, созданная как слияние модели SciPhi/SciPhi-Self-RAG-Mistral-7B-32k с помощью LazyMergekit. Она предназначена для генерации текста и сценариев RAG, где модель формирует ответы на основе предоставленного контекста. Модель содержит 6,5 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает текст и выдаёт текст. README и метаданные не уточняют поддерживаемые естественные языки и условия лицензии, поэтому конкретные языки и лицензионные условия здесь не приводятся.

chargoddard/servile-harpsichord-cdpo — языковая модель семейства Mistral, разработанная Chargoddard. Это плотная авторегрессионная модель на 7,1 млрд параметров для генерации текста; она обучена на другой случайной выборке тех же наборов данных, что и loyal-piano-m7, а затем дообучена методом cDPO на смеси датасетов RLHF. Модель использует формат запросов Alpaca и поддерживает контекст до 32 768 токенов. Модель предназначена для диалоговой генерации и следования инструкциям. В обучении использованы наборы данных Orca, суммаризации отзывов, ролевого диалога и предпочтений, включая PKU-SafeRLHF и UltraFeedback. Репозиторий содержит веса Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

SnorkelWestBeagle-DARETIES-7B — объединённая чат-модель на архитектуре Mistral, созданная с помощью LazyMergekit из Snorkel-Mistral-PairRM-DPO, WestLake-7B-v2 и NeuralBeagle14-7B; в конфигурации также указана Mistral-7B-v0.1 как базовая модель. Модель содержит 7,1 млрд параметров, принимает текст и предназначена для генерации ответов и рассуждений. Заявленная длина контекста — 32 768 токенов. Модель объединяет несколько чекпойнтов методом DARE-TIES с маской int8; веса сохранены в формате safetensors. В README приведены результаты Open LLM Leaderboard, включая оценки ARC и HellaSwag. Репозиторий распространяется по лицензии Apache-2.0. Карточка не описывает специализацию по языкам или прикладным областям.

SOLAR-0-70b-16bit — языковая модель компании Upstage для генерации текста и выполнения инструкций в диалоге. Это дообученная на основе Llama 2 модель с плотной архитектурой LlamaForCausalLM и 68,7 млрд параметров. Карточка указывает английский язык; модель рассчитана на работу через HuggingFace Transformers. Метаданные задают контекст 4096 токенов, а авторы сообщают о возможности обрабатывать более 10 тысяч входных токенов с настройкой rope_scaling. Модель подходит для ответов на вопросы, диалогов и выполнения текстовых инструкций общего назначения. Upstage оценивала её на ARC-Challenge, HellaSwag, MMLU, TruthfulQA и MT-bench. В описании не заявлены специализированные прикладные области или мультимодальные возможности. Для дообученных чекпойнтов указана лицензия CC BY-NC-4.0, ограничивающая коммерческое использование.