I.2Синтез, понимание и проверка знаний

Карточка модели SillyTilly/Meta-Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta-Llama-3.1-8B-Instruct — инструктивно дообученная языковая модель семейства Llama 3.1, разработанная Meta. Это плотная авторегрессионная модель на архитектуре Transformer с 7,5 млрд параметров; версия Instruct прошла supervised fine-tuning и обучение с обратной связью от людей. Репозиторий содержит веса в формате safetensors, модель предназначена для генерации текста и диалогов с помощником. Окно контекста — 131 072 токена. Модель рассчитана на многоязычный диалог, ответы на вопросы, написание и преобразование текста, а также может использоваться в приложениях и для создания синтетических данных. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель принимает и выдаёт текст; поддержка инструментов зависит от интеграции разработчиком. Модель выпущена Meta 23 июля 2024 года. Лицензия — Llama 3.1 Community License с условиями использования и Acceptable Use Policy; перед коммерческим применением необходимо ознакомиться с её условиями. Это статический чекпойнт, обученный на офлайн-данных. Качество и безопасность ответов могут различаться между языками, а карточка не заявляет поддержку русского языка.

Это GGUF-сборка Meta-Llama-3-1-8B-Instruct-f16-gguf, опубликованная ProfessorF (Nick V. Flor) для воспроизводимости исследований. Репозиторий содержит модель в формате GGUF F16; метаданные указывают на чат-возможности и генерацию текста. README описывает семейство Llama 3.2, но его сведения о размерах 1B и 3B и контексте 128k не подтверждают характеристики именно этой 8B-сборки. Модель предназначена для диалогового помощника и генерации текста, включая ответы на вопросы, суммаризацию, поиск знаний и переформулирование запросов. В README перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский; метаданные также содержат эти языки. Использование регулируется лицензией Llama 3.2 Community License, которая допускает коммерческое и исследовательское применение на своих условиях. Качество и ограничения этой конкретной сборки отдельно не описаны.

MindLink-32B-0801 — диалоговая языковая модель, разработанная Kunlun Inc. на основе Qwen3-32B и дообученная с применением методов постобучения. Она предназначена для генерации ответов в чате, рассуждений и решения общих текстовых задач. В карточке заявлены плановое и адаптивное рассуждение: модель подбирает глубину ответа в зависимости от сложности запроса. Модель имеет плотную архитектуру Qwen3ForCausalLM и 29,7 млрд параметров. Метаданные указывают контекст 40 960 токенов, тогда как README сообщает о контексте 128K для семейства MindLink; фактическую длину для этой версии стоит уточнить перед использованием. Карточка указывает английский язык, а базовая Qwen3-32B описана как многоязычная. Доступны веса в формате safetensors, также описан совместимый с OpenAI Chat Completions API интерфейс. Лицензия — Apache 2.0. Для производных работ README требует сохранять уведомления об авторских правах Qwen и документировать изменения. В README также отмечена возможность непоследовательных ответов при инференсе и дана рекомендация очищать историю диалога перед повторной попыткой.

Карточка модели eshiryae/MiniCPM4-8B на Hugging Face совпадает с карточкой openbmb/MiniCPM4-8B, поэтому описание составлено по ней. MiniCPM4-8B — плотная языковая модель OpenBMB с 7,9 млрд параметров, построенная на архитектуре MiniCPMForCausalLM. Она предназначена для эффективного запуска на устройствах с ограниченными ресурсами; разработчики сообщают об ускорении генерации более чем в пять раз на типичных конечных устройствах, а на Jetson AGX Orin — примерно в семь раз по сравнению с Qwen3-8B при декодировании. Модель обучена на 8 трлн токенов и поддерживает диалоговый режим. Модель принимает текст и генерирует текст. Она предобучена на контекстах длиной 32 тысячи токенов, а расширение контекста до 128 тысяч достигается с помощью YaRN; README приводит результаты теста поиска фрагмента в длинном тексте. Карточка и метаданные указывают поддержку китайского и английского языков. Модель распространяется по лицензии Apache-2.0. Производитель отмечает, что генерируемые ответы требуют самостоятельной проверки: модель не выражает личных мнений или ценностных суждений, а её выводы не следует считать позицией разработчиков. Для корректного форматирования запросов при использовании chat API vLLM нужно явно включать добавление специальных токенов.

Trelis выпустила дообученную версию Mistral-7B-Instruct-v0.1 для суммаризации длинных текстов. Модель использует плотную архитектуру Mistral на 7,1 млрд параметров; в карточке заявлено обучение для контекстов до 16 тыс. токенов, а метаданные указывают нативный контекст до 32 768 токенов. Для суммаризации предлагается формат инструкции [INST] с явными маркерами начала и конца текста. Модель предназначена для создания краткого изложения больших документов и фрагментов текста. В основе лежит трансформер Mistral с Grouped-Query Attention, Sliding-Window Attention и токенизатором Byte-fallback BPE; модель работает с текстом и поддерживает диалоговый формат. В карточке не перечислены целевые языки, поэтому языковую специализацию определить нельзя. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка базовой Mistral-7B-Instruct-v0.1 отмечает отсутствие встроенных механизмов модерации; качество суммаризации для конкретных языков и типов документов требует проверки на целевых данных.

Модель thewordsmiths/Mistral-7B-v0.3_sft_merged_100000 — дообученная разработчиком thewordsmiths версия языковой модели Mistral-7B-v0.3. Она предназначена для генерации текста и может использоваться в приложениях, где требуется создавать продолжения или ответы на текстовые запросы. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров, принимает текст и генерирует текст. Контекст составляет до 32 768 токенов, язык карточки модели — английский. Для обучения использовались Unsloth и библиотека TRL; веса доступны в формате safetensors. Лицензия — Apache-2.0.

Joemgu/mlong-t5-large-sumstew — многоязычная модель для абстрактивного суммирования длинных документов и генерации заголовков, созданная на базе архитектуры LongT5 и дообученная разработчиком на наборе данных Joemgu/sumstew. Она принимает текст с инструкцией «Summarize:» для получения краткого содержания или «Write a title and summarize:» для генерации заголовка и краткого содержания. Модель содержит около 614,9 млн параметров; в метаданных указан контекст 4096 токенов, а в README заявлена обработка входов до 16 тысяч токенов. Поддерживаемые языки — английский, немецкий, французский, итальянский и испанский. Репозиторий использует Transformers и содержит веса в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Модель предназначена для подготовки кратких изложений и заголовков к длинным текстам. Ограничение по длине входа зависит от источника: README заявляет до 16 тысяч токенов, тогда как метаданные указывают контекст 4096 токенов; фактическое качество за пределами этого значения следует проверять на целевых документах.

Модель cross-encoder/nli-deberta-v3-large разработана на базе microsoft/deberta-v3-large и обучена с помощью SentenceTransformers Cross-Encoder на наборах SNLI и MultiNLI. Для пары предложений она оценивает три отношения: противоречие, следование и нейтральность. Модель предназначена для вывода отношений между текстами и классификации без примеров, когда метки задаются пользователем. Модель содержит 533,8 млн параметров, использует архитектуру DeBERTa V2 для классификации последовательностей и рассчитана на контекст до 512 токенов. В README приведены точности 92,20% на SNLI-test и 90,49% на MNLI mismatched. Доступны форматы PyTorch, Safetensors и ONNX; лицензия — Apache-2.0. Карточка указывает поддержку английского языка.

Cross-Encoder for Natural Language Inference — англоязычная модель от Sentence Transformers на базе microsoft/deberta-v3-xsmall. Она принимает пару предложений и оценивает их отношение, выдавая оценки для противоречия, следования и нейтральности. Модель содержит 77,5 млн параметров, использует архитектуру DeBERTa V2 и рассчитана на контекст до 512 токенов. Модель обучена на SNLI и MultiNLI. Её можно применять для проверки текстовых гипотез и классификации без дополнительного обучения, задавая категории в виде гипотез. В README приведены точности 91,64% на тестовой выборке SNLI и 87,77% на наборе MNLI mismatched. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия инструкционной языковой модели Llama-3.1-8B-UltraLong-4M-Instruct, разработанной NVIDIA и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на запросы и работу с очень длинными контекстами; обозначение UltraLong-4M указывает на поддержку контекста до 4 миллионов токенов. В карточке указано, что модель ориентирована на английский язык и относится к текстовой модальности. Модель содержит 8 миллиардов параметров и распространяется в формате GGUF, совместимом с llama.cpp, LM Studio и другими проектами на его основе. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и IQ-квантизаций с размером файлов примерно от 4,3 до 16,1 ГБ. Квантизации выполнены с использованием imatrix, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью инференса; наиболее качественными названы BF16, Q8_0 и варианты Q6, а Q4 и Q3 подходят для систем с меньшим объёмом оперативной памяти. Основные ограничения связаны с использованием квантизированных вариантов: уменьшение размера может сопровождаться снижением качества по сравнению с исходными весами, а требования к памяти при работе с контекстом в миллионы токенов остаются высокими. Для корректной работы следует использовать рекомендованный шаблон prompt формата Llama 3.1. Лицензия модели — CC-BY-NC-4.0, допускающая использование с некоммерческими ограничениями.

NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-NVFP4-GGUF — GGUF-представление NVFP4-квантизованной эластичной языковой модели NVIDIA. В одном чекпойнте заключены три вложенных варианта на 30B, 23B и 12B параметров с общим пространством весов; для генерации можно выбрать подходящий размер. Модель основана на NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 и сочетает Mamba-2, Transformer и Mixture-of-Experts. В базовой архитектуре 23 слоя Mamba-2 и MoE, 6 слоёв внимания, а в каждом MoE-слое — 128 экспертов и один общий, из которых на токен активируются шесть. Модель предназначена для диалогов, рассуждений и генерации текста, а вложенные размеры позволяют выбирать компромисс между качеством, вычислительными затратами и задержкой. Контекст в README указан до 128K в примере развёртывания и до 1M при увеличении настройки. Поддерживаются английский, немецкий, испанский, французский, итальянский и японский языки. В README описана квантизация NVFP4 с дистилляцией с учётом квантизации и заявлена готовность к коммерческому использованию. Лицензия в метаданных обозначена как other, поэтому конкретные условия следует сверять с лицензией репозитория.

Карточка модели EmperoAI/NVIDIA-Nemotron-Labs-Teacher-STEM на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-Labs-Teacher-STEM, поэтому описание составлено по ней. NVIDIA-Nemotron-Labs-Teacher-STEM — большая языковая модель NVIDIA из семейства Nemotron 3 Ultra, предназначенная для сложных рассуждений и использования как самостоятельная модель и учитель для генерации синтетических данных и дистилляции. Она дообучена на основе постобученной Nemotron 3 Ultra Student с дополнительной настройкой на рассуждения и обучением с подкреплением; в рецепте также применяется дистилляция с участием нескольких учителей. Модель использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, отдельными слоями внимания и Multi-Token Prediction. Она содержит 550 млрд параметров, из которых 55 млрд активны, и поддерживает генерацию текста с контекстом до 262 144 токенов по метаданным Hugging Face. Предназначена для математики, программирования, естественных наук, гуманитарных и общественных дисциплин, ответов на сложные вопросы и работы с инструментами, включая поиск и выполнение кода. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, корейский, хинди, арабский, китайский, иврит и бразильский вариант португальского. Карточка сообщает о возможности коммерческого и некоммерческого использования; лицензия в метаданных указана как other, поэтому конкретные лицензионные условия следует сверить с репозиторием. Для запуска требуются значительные вычислительные ресурсы и совместимое оборудование.

OpenBuddy-mixtral-7bx8-v16.3-32k — многоязычная чат-модель семейства Mixtral, опубликованная командой OpenBuddy. Она предназначена для диалогов и генерации текста; архитектура — Mixtral MoE, класс MixtralForCausalLM. В репозитории указаны 7,1 млрд параметров и контекст до 32 768 токенов; модель распространяется в формате safetensors и использует библиотеку Transformers. Модель поддерживает китайский, английский, французский, немецкий, японский, корейский, итальянский и русский языки. Лицензия — Apache 2.0. Ответы могут быть ошибочными, вредными или оскорбительными; модель не следует использовать для решений в медицине, финансах, праве и других критически важных сценариях.

QVikhr-3-4B-Instruction — русско-английская инструктивная языковая модель команды Vikhr, дообученная методом SFT на синтетическом датасете GrandMaster2 на основе Qwen/Qwen3-4B. Это плотная авторегрессионная модель с 3,7 млрд параметров и контекстом до 40 960 токенов; веса опубликованы в формате Safetensors под лицензией Apache-2.0. Модель предназначена для диалогов по инструкциям, генерации ответов с учётом контекста и анализа текста, с особым упором на русский язык при поддержке английского. Её можно встраивать в пользовательские приложения и сервисы. В карточке приведён результат 78,2 в Ru Arena General против 64,8 у базовой Qwen3-4B; это результат указанного теста, а не гарантия качества в других сценариях. Карточка не приводит систематических оценок ошибок или ограничений. Как и другие генеративные языковые модели, она может выдавать неточные ответы; перед использованием важной информации нужна проверка.

Qwen2.5-14B-DeepSeek-R1-1M — объединённая плотная языковая модель на архитектуре Qwen2, созданная с помощью MergeKit методом TIES. В качестве базовой использована Qwen/Qwen2.5-14B-Instruct-1M; в объединение также вошли DeepSeek-R1-Distill-Qwen-14B и Qwen2.5-14B-Instruct. Модель содержит 14 млрд параметров, распространяется в формате Safetensors и рассчитана на контекст до 1 010 000 токенов. Модель предназначена для диалогов и генерации текста по инструкциям, включая работу с длинным контекстом. Метаданные также указывают интерфейс для вызова инструментов. Данные карточки описывают способ объединения и состав моделей, но не приводят отдельные оценки качества или подробные рекомендации по применению. Лицензия в предоставленных данных не указана. Для использования следует учитывать условия лицензий исходных моделей; их совместимость здесь не подтверждена.

RedHatAI/Qwen2-72B-Instruct-FP8 — это текстовая instruction-tuned модель для диалоговых и ассистентских сценариев, созданная Neural Magic на основе Qwen2-72B-Instruct. Модель принимает текст и генерирует текст; заявлена для коммерческого и исследовательского использования на английском языке. Модель содержит 72 млрд параметров и использует FP8-квантизацию весов и активаций линейных операторов в трансформерных блоках. Симметричная поканальная схема не используется: применяется симметричная поквантовая схема с одним масштабным коэффициентом на тензор. Это примерно вдвое снижает требования к дисковому пространству и памяти GPU по сравнению с 16-битной версией. Модель подготовлена для инференса через vLLM версии 0.5.0 и выше; в примерах развертывания и оценки используется максимальная длина контекста 4096 токенов. К сильным сторонам относятся существенное снижение требований к ресурсам при сохранении качества исходной модели: средний результат на OpenLLM benchmark составляет 80,34 против 79,97 у неквантизированной версии. Ограничения включают ориентацию на английский язык, необходимость совместимого FP8-оборудования и программного стека для эффективного запуска, а также отсутствие в README сведений о поддержке изображений или других модальностей. Лицензия указана как tongyi-qianwen; применение должно соответствовать условиям этой лицензии и законодательству.

Qwen3.5-27B-NVFP4 — квантованная версия модели Qwen/Qwen3.5-27B, опубликованная apolo13x. Это мультимодальная модель типа image-text-to-text: принимает текст и изображения, а генерирует текстовые ответы. Она предназначена для диалоговых сценариев, анализа изображений и решения общих задач обработки текста и мультимодального понимания. Весы и активации модели преобразованы в формат FP4 с использованием llm-compressor и 512 калибровочных образцов из набора neuralmagic/calibration. Квантование уменьшает размер модели с 51,8 до 18,4 ГБ, примерно в 2,8 раза, при заявленном среднем восстановлении точности 99,1% относительно исходной Qwen3.5-27B. Модель поддерживает режим рассуждений и предназначена для запуска, в частности, через nightly-версии vLLM. По результатам оценки в режиме zero-shot с включённым рассуждением модель получила 79,29% на GPQA Diamond, 93,88% на IFEval и 94,32% на MMLU-Redux; средний результат составил 89,16% против 89,76% у исходной модели. Сильными сторонами являются существенное снижение требований к дисковому пространству и сохранение близкой к исходной точности. Ограничения включают возможные потери качества из-за квантования и зависимость поддержки от актуальных сборок vLLM. Модель распространяется по лицензии Apache-2.0.

NVIDIA Qwen3.5-397B-A17B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.5-397B-A17B, разработанной Alibaba и подготовленной с помощью NVIDIA Model Optimizer. README отдельно уточняет, что модель не принадлежит и не разработана NVIDIA, а создана на основе сторонней модели. Она предназначена для коммерческого и некоммерческого использования, в том числе для AI-агентов, чат-ботов, RAG-систем и других приложений на базе искусственного интеллекта. Модель использует архитектуру Transformers и сеть Qwen3.5-397B-A17B с 397 млрд параметров, из которых активируется 17 млрд. Она поддерживает текстовые, графические и видео входы, включая строки, изображения RGB и видео в форматах MP4/WebM, а также контекст длиной до 262 тысяч токенов. Выходом служит текст. Квантизация NVFP4 применяется к весам и активациям линейных операторов в MoE-блоках трансформера. Ключевое преимущество модели — готовая к инференсу низкоразрядная версия, ориентированная на NVIDIA GPU и совместимая с архитектурой Blackwell. Для запуска заявлена поддержка SGLang и vLLM в Linux; версия Model Optimizer — 0.42.0. Ограничения включают высокие требования к аппаратным ресурсам и зависимость от поддерживаемой GPU-инфраструктуры; сведения о полном составе обучающих и тестовых данных, языках и некоторых аспектах базовой модели в README не раскрыты. Лицензия — Apache License 2.0.

Qwen3.5-397B-A17B-Opus-4.6-Reasoning-Uncensored-GGUF — GGUF-версия модели, разработанная timteh673 на базе Qwen/Qwen3.5-397B-A17B. Модель предназначена прежде всего для генерации текста, сложного рассуждения, аналитических задач, многошагового решения проблем и диалоговых сценариев. Она прошла abliteration для снижения отказов и LoRA-дообучение на 12 842 образцах рассуждений, дистиллированных из ответов Anthropic Claude Opus 4.6, с использованием тегов <think> для явного отображения процесса рассуждения. Архитектура представляет собой гибридную Qwen3.5 MoE с GatedDeltaNet и Transformer-компонентами: 397 млрд параметров всего, 17 млрд активных параметров на токен, 60 слоёв, 32 attention-головы, 2 KV-головы, 512 маршрутизируемых экспертов и общий эксперт, из которых активны 10 на токен. Заявлена длина контекста до 262 144 токенов, словарь из 248 320 токенов и поддержка более 201 языка, включая английский, китайский, японский, корейский, русский и другие. Модель также сохраняет нативный vision encoder для работы с текстом, изображениями и видео, однако мультимодальные возможности после дообучения не тестировались. Сильными сторонами являются MoE-архитектура с большим общим числом параметров, улучшенное структурированное рассуждение и широкий контекст. Модель очень требовательна к ресурсам: размер доступных вариантов составляет примерно от 135 до 739 ГБ, а для рекомендованной квантизации Q4_K_M требуется около 230 ГБ оперативной памяти. Возможны отдельные отказы, поскольку routed-эксперты не были полностью обработаны при abliteration; режим рассуждения генерирует теги <think>, которые при необходимости следует удалять постобработкой. Лицензия — Apache 2.0.

FreedomAISVR публикует GGUF-квантизацию модели Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled — разговорной модели рассуждения, дистиллированной из Claude 4.7 Opus. В основе лежит архитектура Qwen3.5 MoE с 35 млрд параметров, около 3 млрд из которых активны при генерации; в модели 256 экспертов, из них 8 активируются на токен, а также 40 слоёв и MTP-голова. Контекст составляет 262 144 токена. Модель предназначена для генерации текста и диалогов с многошаговыми рассуждениями. Это текстовая версия без поддержки изображений. Веса сохранены в формате GGUF и квантизированы в NVFP4 примерно до 4 бит; файл модели занимает около 18,81 ГБ. Apache 2.0 указана как лицензия исходной модели.

Infatoshi/Qwen3.6-35B-A3B-GGUF — это набор GGUF-конверсий базовой модели Qwen/Qwen3.6-35B-A3B, подготовленный Infatoshi для запуска в llama.cpp. Модель предназначена для генерации и обработки текста, а также для мультимодальных сценариев с изображениями и видео; для работы с визуальными входными данными требуется отдельный файл vision projector. Модель использует разреженную MoE-архитектуру: 35 млрд параметров суммарно, около 3 млрд активных параметров, 256 экспертов и один общий эксперт, маршрутизация top-8. В архитектуре сочетаются слои Gated-DeltaNet и Gated-Attention в соотношении 3:1, заявлен нативный контекст до 262 тысяч токенов. Указана поддержка английского, китайского и многоязычного применения. Доступны варианты квантования Q4_K_M, Q5_K_M, Q8_0 и BF16 с объёмом файлов от 20 до 65 ГБ. Сильными сторонами являются существенно сниженное число активных параметров при большом общем размере модели, поддержка длинного контекста и мультимодальный ввод. Вариант Q4_K_M рассчитан на одну видеокарту с 24 ГБ памяти, тогда как более качественные или менее квантованные варианты требуют 32–40 ГБ видеопамяти, частичной выгрузки или CPU. Производительность и требуемые ресурсы зависят от варианта квантования, размера контекста и режима инференса; варианты Q5_K_M, Q8_0 и BF16 не помещаются на одной 24-гигабайтной видеокарте при практически применимом контексте. Модель распространяется по лицензии Apache-2.0.

satgeze/Qwen3.6-35B-Uncensored-HauhauCS-1M-GGUF — GGUF-сборка модели Qwen3.6-35B-A3B, основанная на uncensored-варианте HauhauCS. Модель предназначена для генерации текста, диалоговых и агентских сценариев, работы с длинными документами и задач, требующих анализа изображений. Поддерживаются llama.cpp и Ollama; заявлена совместимость с агентскими клиентами через Anthropic Messages API. Модель использует исходный контекст 262 144 токена, расширенный до 1 048 576 токенов с помощью YaRN RoPE scaling с коэффициентом 4. В сборку включён слой MTP для speculative decoding: по данным README, на RTX 5090 скорость выросла с 284,6 до 380,1 токена в секунду, а результат декодирования остаётся идентичным стандартному режиму. Визуальный ввод обеспечивается отдельной башней mmproj размером около 899 МБ, которая подключается во время запуска. Основной файл Q4_K_M имеет размер около 21,7 ГБ. К сильным сторонам относятся очень длинный контекст, проверенная авторами работа поиска информации на диапазоне до 1M токенов, поддержка изображений и ускоренное декодирование через MTP. Ограничения включают необходимость совместимого рантайма и значительных аппаратных ресурсов, а также отдельную установку vision-компонента для визуальных задач. Сведения о поддерживаемых языках и точной архитектуре в README не приведены. Модель распространяется по лицензии Apache-2.0.

Shiftedx/qwen3.8-27b-aeon-ultimate-uncensored-attention8-bf16recurrence-vision-mtplx — независимая конверсия сообщества на базе AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED, подготовленная для Apple Silicon, MLX и MTPLX. Это плотная модель на 27 млрд параметров с гибридной архитектурой attention/Gated DeltaNet, поддерживающая работу с текстом и изображениями, рассуждения, вызов инструментов и структурированный вывод. Релиз не является официальным продуктом AEON-7, Qwen, Apple, MLX или MTPLX. Модель использует смешанную точность: аффинное 4-битное и 8-битное квантование весов, а отдельные рекуррентные проекции, vision tower и native multi-token prediction head сохранены в BF16. Репозиторий занимает около 23,84 ГБ, рассчитан на конфигурацию с 64 ГБ или более unified memory и поддерживает контекст до 262 144 токенов; квалификационное тестирование выполнено до 131 072 токенов. Заявлены языки English, Chinese и multilingual. Для ускорения предусмотрена спекулятивная генерация с MTP-head, квалифицированная на глубине 3. По опубликованным тестам модель получила 8/10 в проверке качества, 15/15 в тестах длинного контекста, 6/6 в вызове инструментов, 2/2 в лёгких агентских сценариях и 4/4 в vision-тестах. Сильными сторонами являются ориентация на качество локального запуска, мультимодальность, инструменты, длинный контекст и оптимизация под Apple Silicon. Ограничения включают высокие требования к памяти и зависимость производительности от оборудования и версии MTPLX; заявленные результаты относятся к конкретному Apple M4 Max с 64 ГБ памяти и не гарантируют аналогичную скорость на других системах. Модель распространяется по лицензии Apache-2.0, унаследованной от исходной линейки.

RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead — мультимодальная плотная модель семейства Qwen3.8-27B, разработанная Qwen и подвергнутая квантованию RadixArk с помощью NVIDIA Model Optimizer. Это производный чекпойнт без дополнительного обучения или дообучения RadixArk: почти все тензоры используют смешанную NVFP4 W4A4-квантизацию, веса внимания — FP8, а lm_head, MTP и визуальные тензоры сохранены в исходной точности BF16. Размер модели — 27 млрд параметров. Модель предназначена для диалоговых систем, AI-агентов, чат-ботов, RAG-систем и других приложений с поддержкой текста, изображений и видео. Она принимает текст и визуальные данные, генерирует текст и поддерживает нативный контекст до 262 144 токенов. Для запуска заявлена интеграция с SGLang на Linux и совместимость с GPU NVIDIA Blackwell; чекпойнт проверен на GB300. В README приведены результаты на GSM8K — 96,13% — и Terminal-Bench 2.1 — 69,4% в одном из протоколов. Ключевое преимущество модели — предварительное квантование, рассчитанное на эффективное развертывание, при сохранении lm_head в BF16; заявленные результаты близки к результатам варианта с квантованным lm_head. Ограничения включают зависимость от совместимой инфраструктуры NVIDIA Blackwell и SGLang, а также типичные для базовой модели риски неточных, неполных, нерелевантных или предвзятых ответов. Лицензия — Apache License 2.0; возможности, обучение, ограничения и условия использования унаследованы от исходной модели Qwen3.8-27B.

Qwen3.8-Flash-Next-FP8 — экспериментальная модель семейства Qwen, разработанная командой Qwen. Это причинная языковая модель с vision encoder, предназначенная для обработки текста и изображений, генерации ответов и решения мультимодальных задач. FP8-вариант содержит квантизированные веса и конфигурацию в формате Hugging Face Transformers и совместим с Transformers, vLLM, SGLang и TokenSpeed. Модель имеет 125 млрд параметров, из которых 6 млрд активируются при обработке, а также 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Архитектура включает 48 слоёв, гибрид Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts с 512 экспертами и активацией 10 маршрутизируемых экспертов плюс одного общего. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 000 000 токенов. Для повышения эффективности на длинном контексте используется разреженное внимание на уровне микроблоков. Ключевые сильные стороны модели — высокая вычислительная эффективность, сниженная задержка при работе с длинным контекстом, поддержка мультимодальных сценариев и экономичное FP8-квантизирование с заявленной близостью характеристик к исходной модели. Ограничения включают экспериментальный статус архитектуры, отсутствие в представленном README сведений о поддерживаемых языках, подробных результатах бенчмарков и требованиях к оборудованию. Модель распространяется по лицензии qwen-community-1.0; условия следует уточнять в файле LICENSE.

JANGQ-AI подготовила JANG_4S — квантованный 4-битный вариант Qwen/Qwen3.8-Flash-Next для запуска на компьютерах Apple Silicon через MLX и vMLX. В основе лежит экспериментальная архитектура Qwen4: разреженная MoE-модель на 125 млрд параметров с 6 млрд активных, большой хешированной n-граммной таблицей эмбеддингов, гибридными слоями Gated DeltaNet и Qwen Sparse Attention, а также башнями для обработки изображений и видео. В этой сборке сохранена голова многотокенного предсказания; таблица эмбеддингов может обслуживаться с SSD при поддержке рантайма. Модель предназначена для диалога, рассуждений, анализа изображений и видео и агентных сценариев с вызовом инструментов. Она принимает текст, изображения и видео, а контекст составляет 262 144 токена с возможностью расширения до 1 млн через YaRN. По заявлению карточки, квантование оценивали сравнением с bf16 на 5 931 отложенной позиции; качество выражено метриками KL и совпадения предсказаний. Для работы требуются значительные ресурсы: файлы занимают около 71,8 ГиБ, заявленный резидентный объём при обслуживании таблицы с SSD — около 53 ГиБ. Вызовы инструментов используют диалект Qwen XML, поэтому рантайм должен поддерживать соответствующий парсер; карточка предупреждает о несовместимости с Hermes-only парсерами. Лицензия указана как other, её конкретные условия в предоставленных данных не раскрыты.

QwenLong-L1-32B — плотная языковая модель семейства Qwen2, разработанная Tongyi Lab группы Alibaba. Она дообучена с обучением с подкреплением на основе DeepSeek-R1-Distill-Qwen-32B для рассуждений по длинному контексту и ответов на вопросы по документам. В карточке указаны 32 млрд параметров, поддержка генерации текста и контекст до 131 072 токенов. Модель предназначена для DocQA, включая задачи с математическими, логическими и многошаговыми рассуждениями по длинным документам. Авторы сообщают о проверке на семи бенчмарках и приводят результаты, сопоставимые с Claude-3.7-Sonnet-Thinking; это заявления авторов, а не независимая оценка. Для обработки контекста длиннее 32 768 токенов README рекомендует включать масштабирование YaRN и отмечает, что оно может ухудшать результаты на коротких текстах. Модель распространяется по лицензии Apache-2.0.

QwQ-32B-AWQ — 4-битная AWQ-квантизированная версия reasoning-модели семейства Qwen, разработанная командой Qwen. Модель предназначена для генерации текста и решения сложных задач, где важны пошаговое рассуждение и повышенная точность, включая математические задачи, вопросы с вариантами ответа, диалоговые сценарии и другие задачи, требующие анализа. Она основана на Qwen2.5 и обучалась с использованием предварительного обучения, supervised fine-tuning и reinforcement learning. Это каузальная языковая модель с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещений в QKV-проекциях внимания. Модель содержит около 32,5 млрд параметров, из которых 31 млрд не относятся к эмбеддингам, 64 слоя и механизм GQA с 40 головами для Q и 8 для KV. Заявленная длина контекста составляет до 131 072 токенов, однако для входов длиннее 8192 токенов рекомендуется включать YaRN. В карточке указаны поддержка английского языка и текстовая модальность; модель доступна для запуска через совместимые инструменты экосистемы Hugging Face и рекомендуется к развёртыванию с vLLM. Сильными сторонами модели являются ориентация на рассуждение, конкурентоспособность с современными reasoning-моделями сопоставимого класса и сниженные требования к памяти благодаря 4-битной квантизации. Ограничения включают возможные повторы при жадной декодировке, необходимость подбора параметров sampling и потенциальное ухудшение производительности на коротких текстах при статическом YaRN. Модель распространяется по лицензии Apache-2.0.

ruT5-base — предварительно обученная русскоязычная трансформерная модель семейства T5, разработанная командой SberDevices. Это архитектура encoder-decoder с примерно 123,8 млн параметров по метаданным Hugging Face; карточка README приводит другую оценку — 222 млн параметров. Модель использует BPE-токенизатор со словарём 32 101 токен и рассчитана на контекст до 512 токенов. Модель предназначена для задач преобразования текста в текст: она может служить основой для генерации, перефразирования, суммаризации и других русскоязычных NLP-сценариев. README ссылается на препринт о семействе предварительно обученных трансформерных языковых моделей для русского языка и описывает обучение на корпусе объёмом 300 ГБ. Модель поддерживает русский язык и распространяется в формате PyTorch. Сведения о лицензии в предоставленных данных отсутствуют; перед использованием следует проверить условия на странице репозитория Hugging Face.

cointegrated/rut5-base-absum — модель для абстрактивного суммирования текстов на русском языке, разработанная на основе ruT5. Она дообучена на четырёх наборах данных для суммирования, включая русскоязычные датасеты из метаданных. Модель построена на архитектуре T5 и содержит 122,1 млн параметров. Модель подходит для автоматического составления краткого пересказа статьи или другого текста. Она принимает текст и генерирует текстовое резюме на русском языке. Веса опубликованы в форматах PyTorch и safetensors; лицензия — MIT.