I.3Извлечение и структурирование данных

AxionML/Qwen3.5-35B-A3B-NVFP4 — квантованная версия мультимодальной модели Qwen3.5-35B-A3B, разработанная AxionML для задач открытого размещения и развёртывания. Модель предназначена для обработки текста и изображений, включая рассуждения, программирование, работу с агентами и визуальное понимание. Она реализована как авторегрессионная языковая модель с vision encoder и поддерживает архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Модель содержит 35 млрд параметров, из которых активируется около 3 млрд, имеет 40 слоёв и нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Линейные слои используют квантование NVFP4, выполненное с помощью NVIDIA TensorRT Model Optimizer; это уменьшает размер модели на диске и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. Формат ориентирован на ускоренный inference на оборудовании с поддержкой Blackwell Tensor Cores. К сильным сторонам относятся высокая параметрическая эффективность за счёт MoE, большой контекст, мультимодальность и сниженные требования к памяти благодаря 4-битному квантованию. Ограничения связаны с зависимостью производительности и качества от совместимого оборудования и программного стека, а также с потенциальными потерями точности, свойственными квантованию; конкретные требования к аппаратному обеспечению и подробные результаты оценки в представленном фрагменте не указаны. Модель доступна для коммерческого и некоммерческого использования по лицензии Apache 2.0.

RedHatAI/Qwen3.5-397B-A17B-FP8-dynamic — мультимодальная причинная языковая модель архитектуры Qwen3_5MoeForCausalLM, разработанная RedHatAI на основе Qwen/Qwen3.5-397B-A17B от Alibaba Cloud. Модель принимает текст и изображения, а генерирует текст. Она предназначена для рассуждений, работы с визуально-языковыми запросами, вызова инструментов и решения широкого круга задач обработки текста и кода. Модель содержит 397 млрд параметров и использует FP8-квантизацию весов и активаций. Квантизируются линейные операторы в трансформерных блоках, тогда как визуальный энкодер, механизм линейного внимания Gated DeltaNet, маршрутизаторы MoE, общие эксперты и эмбеддинги сохраняются в исходной точности. Это уменьшает размер на диске и потребление GPU-памяти примерно на 50% по сравнению с 16-битной версией. Поддерживаются текстовый режим, мультимодальная обработка изображений, вызов инструментов и multi-token prediction для speculative decoding. Модель оптимизирована для инференса с vLLM и валидирована с vLLM 0.18.0, RHOAI 3.4 и RHAIIS 3.4. FP8-квантизация снижает требования к ресурсам, однако модель остаётся очень крупной и требует мног GPU-инфраструктуры; в README приведена конфигурация с tensor parallelism на 4 устройствах. Данные о поддерживаемых языках, размере контекста и численных результатах бенчмарков в представленном описании отсутствуют. Модель распространяется по лицензии Apache-2.0.

AxionML/Qwen3.5-4B-NVFP4 — мультимодальная модель для работы с текстом и изображениями, разработанная AxionML на основе Qwen/Qwen3.5-4B. Модель предназначена для открытого использования, развёртывания и высокопроизводительного inference-сервинга, включая сценарии визуального понимания, рассуждений, программирования и агентских задач. Это causal language model с vision encoder и архитектурой, сочетающей Gated Delta Networks и разреженный Mixture-of-Experts. Модель содержит около 4 млрд параметров, 32 слоя, скрытую размерность 2560 и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Линейные слои используют NVFP4-квантизацию весов и активаций с помощью NVIDIA TensorRT Model Optimizer, что уменьшает размер хранения и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. К сильным сторонам относятся сочетание мультимодальности, длинного контекста и сниженные требования к памяти, что делает модель подходящей для эффективного локального и серверного развёртывания на совместимом оборудовании. К ограничениям относятся потенциальная потеря качества из-за 4-битной квантизации и необходимость аппаратной и программной поддержки NVFP4, в частности соответствующих GPU и средств инференса. Модель распространяется по лицензии Apache 2.0 и разрешена для коммерческого и некоммерческого использования.

NVIDIA Qwen3.6-35B-A3B-NVFP4 — квантизированная версия языковой модели Qwen3.6-35B-A3B, разработанной Alibaba и подготовленной NVIDIA с использованием Model Optimizer. Модель предназначена для генерации текста, чат-ботов, AI-агентов, RAG-систем и других приложений на базе ИИ. Модель использует архитектуру Transformers с гибридным вниманием и Mixture-of-Experts (MoE): всего 35 млрд параметров, из которых активируется 3 млрд. Она поддерживает текстовые, графические и видеовходы, включая изображения RGB и видео MP4/WebM, а также контекст длиной до 262 тысяч токенов; выходом служит текст. Для запуска заявлена поддержка vLLM на Linux и NVIDIA GPU архитектур Hopper и Blackwell. Квантизация выполнена в формат NVFP4 с помощью nvidia-modelopt версии 0.44.0, что ориентировано на эффективный инференс на совместимом оборудовании. Сильными сторонами модели являются большой контекст, мультимодальные входы, MoE-архитектура с небольшим числом активных параметров и готовность к развертыванию через vLLM. Ограничения включают зависимость от совместимой NVIDIA-инфраструктуры, неполное раскрытие данных об обучении и необходимость дополнительного тестирования на данных конкретного сценария. Использование регулируется лицензией Apache 2.0; модель доступна для коммерческого и некоммерческого применения.

Qwen3.8-27B-int4-AutoRound — мультимодальная версия базовой модели Qwen/Qwen3.8-27B, подготовленная пользователем devan-carlin с использованием Intel AutoRound. Модель предназначена для генерации текста, решения математических и логических задач, программирования, работы с алгоритмами, а также анализа изображений и текстовых запросов. Модель содержит 27 млрд параметров и использует архитектуру qwen3_5 с 64 слоями и чередованием линейного и полноформатного внимания в соотношении 3:1. Поддерживается контекст длиной до 256K токенов. В репозитории присутствует vision tower Qwen3-VL, поэтому модель работает как в текстовом, так и в мультимодальном режиме. Квантизация выполнена в INT4 с помощью AutoRound, с размером группы 128 и симметричным представлением; отдельные компоненты сохранены в 16-битной точности. Основное преимущество — существенное снижение объёма памяти: около 18 ГБ против примерно 52 ГБ для BF16, а также более высокая скорость генерации на конфигурации из четырёх Intel Arc Pro B70. В заявленном тесте скорость составила 47,8 токена в секунду против 30,2 у BF16, при сопоставимом качестве на математических, логических, алгоритмических и программных запросах. Ограничением является более многословная генерация INT4-версии, из-за чего при длинных ответах может потребоваться увеличить параметр max_tokens. Для запуска рекомендуется vLLM с tensor parallelism; на XPU/ARK может потребоваться исправление qzeros guard для загрузки симметричных INT4-весов. Модель распространяется по лицензии Apache-2.0, как и базовая модель.

MrFuzzihead/Qwen3.8-35B-A3B-Distill-APEX-GGUF — это набор GGUF-квантизаций модели Qwen3.8-35B-A3B-Distill, разработанной Empero и квантизированной MrFuzzihead методом APEX при участии команды LocalAI. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая сценарии генерации текста, рассуждений, программирования, следования инструкциям, вызова функций и агентного использования. В основе лежит разреженная Mixture-of-Experts-архитектура примерно на 35 млрд параметров, из которых для каждого токена активируются 8 из 256 маршрутизируемых экспертов, а также общий эксперт. Модель использует 40 слоёв с гибридной схемой Gated DeltaNet и Gated Attention; полный attention применяется только в 10 слоях, что снижает нагрузку на KV-кэш. Заявлен нативный контекст до 262 144 токенов. Базовая модель мультимодальная и сохраняет vision tower, однако дистилляция выполнялась только для текста, а визуальные возможности не были проверены. Поддерживаются отдельные vision-проектор и MTP-компоненты для мультимодальности и спекулятивного декодирования. Ключевая особенность — APEX-квантизация с разной точностью для типов тензоров и позиций слоёв, учитывающая разреженность MoE. Доступны варианты размером примерно от 10,9 до 25,3 ГБ, рассчитанные на видеокарты с 12–24 ГБ памяти и различные компромиссы между качеством, размером и скоростью. I-варианты используют importance matrix на разнообразных данных, включая диалоги, код, рассуждения, вызов инструментов и агентные трассы, и ориентированы на более высокую точность. Модель использует постоянно включённое дистиллированное пошаговое рассуждение с блоком <think>, поэтому адаптивного переключателя уровня рассуждений нет. Распространяется по лицензии Apache-2.0.

Spark-X2.5-4B-FP8 — компактная универсальная языковая модель, разработанная командой SparkLLM; базовая модель указана как XHToken/Spark-X2.5-4B-Base. Версия FP8 предназначена для генерации текста и может применяться в диалогах, написании и редактировании текстов, переводе, рассуждениях, программировании, использовании инструментов и агентских сценариях. Модель содержит около 4 млрд параметров и использует гибридную архитектуру внимания: один слой полного внимания на три слоя sliding-window attention. Она поддерживает контекст до 1 млн токенов и более 200 языков. Модель обучалась на примерно 20 трлн токенов из веб-страниц, книг, научных публикаций, кода и энциклопедических материалов; дополнительное обучение включало supervised fine-tuning, масштабное reinforcement learning и метод MOPD. Заявлена совместимость с Transformers, vLLM, SGLang, llama.cpp, MLX, Ollama и LM Studio, а также с различными аппаратными платформами. Сильными сторонами являются сочетание длинного контекста, эффективности инференса, уменьшенного использования KV-cache, возможностей программирования и агентской работы. Ограничения конкретной версии FP8, включая возможные потери точности квантования и фактическое качество на отдельных языках и задачах, в README не уточняются. Модель распространяется по лицензии Apache-2.0.

all-mpnet-base-v2 — модель Sentence Transformers, разработанная в ходе Community Week Hugging Face. Она кодирует предложения и короткие абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. В основе лежит microsoft/mpnet-base, дообученная контрастивным обучением на более чем миллиарде пар предложений из нескольких наборов данных. Модель содержит 136,7 млн параметров, использует архитектуру MPNet и принимает текст. Её можно применять для семантического поиска, извлечения информации и группировки похожих фрагментов. Текст длиннее 384 токенов модели обрезается; README рекомендует использовать её как кодировщик предложений и коротких абзацев. Лицензия — Apache-2.0.

BAAI/bge-base-en — англоязычная плотная модель эмбеддингов семейства BGE, разработанная BAAI. Она преобразует текст в векторы для семантического поиска, извлечения документов, кластеризации и классификации, а также для использования в векторных базах данных и системах RAG. Модель основана на BERT, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Эмбеддинги можно применять для поиска близких по смыслу фрагментов и ранжирования кандидатов по относительной близости векторов. README рекомендует использовать более новую BAAI/bge-base-en-v1.5: у исходной версии распределение оценок сходства менее удобно, поэтому абсолютный порог сходства следует выбирать на данных конкретной задачи. Для коротких поисковых запросов к длинным документам инструкция к запросу может улучшить поиск. Модель предназначена для английского языка. Доступны веса в форматах PyTorch, safetensors и ONNX. Лицензия — MIT.

khoa-klaytn/bge-small-en-v1.5-angle — англоязычная модель эмбеддингов на архитектуре BERT, дообученная на тех же данных и с той же библиотекой, что и WhereIsAI/UAE-Large-V1. Она преобразует текст в плотные векторы размером 384, подходящие для поиска и сопоставления текстов. Модель содержит около 40 млн параметров, принимает текст длиной до 512 токенов и распространяется в формате safetensors. Модель предназначена для семантического поиска, извлечения релевантных документов, кластеризации и классификации текстов, а также для использования в векторных базах данных и RAG-системах. Версия BGE v1.5 улучшает поиск без инструкций; для коротких запросов к длинным документам добавление инструкции может повысить качество. Лицензия — MIT. Оценивать сходство следует по относительному порядку оценок: абсолютный балл сам по себе не является надёжным порогом сходства. Для фильтрации по порогу его следует подбирать на данных конкретной задачи.

EmbeddingGemma-300m — компактная модель эмбеддингов Google DeepMind на базе Gemma 3 с инициализацией T5Gemma. Она преобразует текст в векторы размерности 768; благодаря Matryoshka Representation Learning векторы можно сократить до 512, 256 или 128 измерений и перенормировать. Модель содержит 302,8 млн параметров, принимает до 2048 токенов и рассчитана на работу, в том числе на устройствах с ограниченными ресурсами. Модель предназначена для семантического поиска и извлечения документов, сравнения текстов, классификации и кластеризации. Её можно применять для поиска по документам и коду, обнаружения дубликатов, подбора рекомендаций и поиска доказательств для проверки фактов. Обучение охватывает более 100 языков, однако в карточке этой версии явно указаны английский и немецкий. Модель выдаёт числовые векторы, а не готовые текстовые ответы. Её качество зависит от охвата обучающих данных; возможны ошибки при интерпретации языковых нюансов, сарказма и образных выражений. Репозиторий указывает лицензию Gemma; использование регулируется условиями Google и политикой допустимого использования Gemma.

unsloth/GLM-4-32B-0414-GGUF — это квантизированная GGUF-версия языковой модели GLM-4-32B-0414, разработанной командой THUDM и подготовленной Unsloth для локального запуска. Модель относится к классу text-generation и предназначена для диалогов, следования инструкциям, генерации инженерного кода, создания интерактивных артефактов, function calling, поиска по документам и подготовки отчётов. Модель содержит 32 миллиарда параметров и обучалась на 15 триллионах единиц высококачественных данных, включая синтетические материалы для задач рассуждения. На этапе дообучения применялись выравнивание по человеческим предпочтениям, rejection sampling и reinforcement learning, что улучшило следование инструкциям, программирование и работу с агентскими сценариями. Заявлена поддержка китайского и английского языков. Мультимодальность и размер контекстного окна в карточке не указаны. Сильными сторонами модели являются развитые способности к генерации кода, function calling, ответам на вопросы с использованием поиска и созданию отчётов; авторы также заявляют сопоставимую с более крупными моделями производительность на отдельных тестах. GGUF ориентирован на удобное локальное развёртывание, в частности через llama.cpp; для корректной обработки системного промпта рекомендуется использовать параметр --jinja. Лицензия — MIT. Конкретный уровень квантизации, требования к аппаратным ресурсам и ограничения качества для отдельных сценариев в README не указаны.

RedHatAI/gpt-oss-20b — открытая модель с открытыми весами, разработанная OpenAI и опубликованная Red Hat AI в валидированной сборке для Red Hat OpenShift AI, Red Hat AI Inference Server и vLLM. Модель предназначена для генерации текста, диалоговых приложений, задач рассуждения, агентных сценариев и вызова инструментов, включая function calling, веб-поиск, выполнение Python-кода и Structured Outputs. Это меньшая версия серии gpt-oss: модель содержит около 21 млрд параметров, из которых около 3,6 млрд активны при обработке запроса. Она использует архитектуру Mixture-of-Experts и посттренировочную MXFP4-квантизацию весов MoE, благодаря чему рассчитана на работу примерно в пределах 16 ГБ памяти и обеспечивает меньшую задержку по сравнению с gpt-oss-120b. Поддерживается английский язык; в карточке указана текстовая модальность и задачи text-to-text, text-generation и tool-calling. Доступна настройка интенсивности рассуждений: low, medium и high. Сильные стороны модели — открытые веса, низкие требования к памяти, возможность локального и специализированного развертывания, тонкой настройки и интеграции с инструментами. Ограничения и важные условия использования: модель должна работать в формате ответов Harmony, иначе она может функционировать некорректно; раскрываемую цепочку рассуждений не следует показывать конечным пользователям. В README не приведены количественные результаты тестов и полный размер контекстного окна. Модель распространяется по лицензии Apache 2.0, допускающей модификацию и коммерческое использование.

FastFlowLM/GPT-OSS-20B-NPU2 — текстовая генеративная модель на базе openai/gpt-oss-20b, разработанной OpenAI. Она предназначена для задач рассуждения, универсальной генерации текста, локального и специализированного применения, а также агентских сценариев для разработчиков, включая вызов функций, веб-б browsing, выполнение Python-кода и Structured Outputs. Модель относится к серии open-weight gpt-oss-20b: заявлено 21 млрд параметров, из которых 3,6 млрд активны при инференсе. Используется архитектура MoE с постобучением весов в формате MXFP4; модель рассчитана на работу примерно в пределах 16 ГБ памяти. Поддерживается настраиваемый уровень рассуждения — low, medium или high, а также дообучение. Формат входа и ответа должен соответствовать harmony response format, иначе модель может работать некорректно. README не содержит подтвержденных сведений о языках, размере контекста и мультимодальных возможностях; по указанному pipeline_tag модель предназначена для генерации текста. Сильными сторонами являются относительно низкие требования к памяти, возможность локального запуска, настраиваемый баланс качества рассуждений и задержки, а также пригодность для кастомизации и агентских приложений. К ограничениям относятся обязательное использование harmony response format и то, что цепочку рассуждений не рекомендуется показывать конечным пользователям. Модель распространяется по лицензии Apache 2.0, допускающей свободное использование, модификацию и коммерческое развертывание.

K2-Horizon-7B-GGUF — набор GGUF-квантизаций модели IFM/K2-Horizon-7B, разработанной IFM. Это плотная decoder-only модель примерно на 7 млрд параметров, предназначенная для генерации текста, рассуждений, программирования, работы с длинным контекстом и использования инструментов. Модель поддерживает английский язык и относится к текстовым моделям без мультимодального или визуального входа. Исходная модель имеет нативное контекстное окно до 524 288 токенов (512K), что делает её подходящей для анализа больших документов и других задач с длинным контекстом. Доступны варианты квантизации Q4_0, Q4_K_M, Q4_K_M Selective, Q5_K_M, Q6_K и Q8_0 размером примерно от 5,34 до 9,57 ГБ. Вариант Selective сохраняет тензоры проекций внимания Q/K/V/O в формате Q6_K поверх базовой Q4_K_M. Для запуска требуется сборка llama.cpp с поддержкой архитектуры K2 Horizon, в частности форк MBZUAI-IFM до появления поддержки в upstream. Файлы содержат совместимый с llama.cpp шаблон чата; доступны форматы вызова инструментов xml, json и xml_typed. Ограничения включают зависимость от специализированного runtime, потребность в значительном объёме памяти при использовании контекста 512K и возможные потери качества из-за квантизации. Модель распространяется по лицензии Apache-2.0.

Llama-3.3-70B-Instruct-FP8-dynamic — это 70-миллиардная инструкционно дообученная языковая модель Meta на архитектуре Llama 3.3, опубликованная RedHatAI в динамически квантизованном варианте FP8 и адаптированная FuriosaAI для запуска на аппаратуре FuriosaAI RNGD с использованием Furiosa-LLM. Модель предназначена для автодополнения текста, многоязычного диалога, выполнения инструкций и вызова инструментов через функции. Модель работает с текстом на входе и выходе, поддерживает английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий языки. Это плотный autoregressive Transformer; веса линейных слоёв квантизованы в FP8, а активации квантизуются динамически для каждого токена во время инференса. Поддерживается tool calling через парсер llama3_json. Для запуска на RNGD используется tensor parallelism с 32 PE, что соответствует четырём картам RNGD. Сильные стороны модели — сочетание большого размера, инструкционного обучения, многоязычности, поддержки вызова инструментов и сниженных требований к вычислительным ресурсам благодаря FP8-квантизации. Ограничения включают необходимость совместимой инфраструктуры для запуска оптимизированной версии: Furiosa-LLM и аппаратуры FuriosaAI RNGD; в README не указаны размер контекстного окна, результаты бенчмарков и подробные ограничения безопасности. Модель распространяется по лицензии Llama 3.3 Community License.

Mistral-Small-Instruct-2409 — плотная языковая модель на 22 млрд параметров от команды Mistral AI, дообученная следовать инструкциям. Она предназначена для диалогов, генерации текста и вызова функций в приложениях и inference-сервисах. Модель поддерживает контекст до 32 768 токенов и, согласно карточке, функцию вызова инструментов; для запуска рекомендуются vLLM или mistral-inference. Для работы на одном GPU требуется не менее 44 ГБ видеопамяти, либо можно распределить нагрузку между несколькими устройствами. В карточке перечислена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому условия использования следует проверять в материалах модели на Hugging Face.

Muse-Glimmer-30B-AWQ-INT4 — квантованная примерно до 4-битной точности версия Muse Glimmer-30B, разработанной Meta Superintelligence Lab и дистиллированной из Muse Spark. Это причинно-следственная языковая модель с отдельным энкодером восприятия, предназначенная для локального запуска на потребительском оборудовании без облачной инфраструктуры и доступа к сети. Модель ориентирована на автономные агентские задачи: многошаговое рассуждение, вызов инструментов, написание и отладку кода, выполнение многоэтапных запросов и восстановление после ошибок инструментов. Архитектура включает плотный causal Transformer примерно на 29,6 млрд параметров и perception encoder примерно на 1,8 млрд параметров. Используются 52 слоя, чередование локального и глобального внимания, GQA, SwiGLU и RoPE; контекст составляет 131 072 токена или более. Модель принимает текст и изображения, а генерирует текст, поддерживая анализ скриншотов, графиков и документов. Заявлена работа более чем со 100 языками; среди явно перечисленных — английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский. Заявленный размер файла — 24,02 ГБ. К сильным сторонам относятся мультимодальность, длительное поддержание планов, точное использование инструментов, совместимость с агентскими оркестраторами и настраиваемая интенсивность рассуждений. К ограничениям относятся необходимость значительных аппаратных ресурсов и возможные потери качества из-за квантования, хотя для близких 4-битных конфигураций заявлено минимальное снижение результатов на агентских задачах. Модель распространяется по лицензии Apache 2.0.

nomic-embed-text-v1 — текстовый энкодер эмбеддингов, разработанный Nomic AI на архитектуре NomicBert. Модель содержит 136,7 млн параметров, принимает до 8192 токенов и предназначена для преобразования текстов в векторы для поиска и сравнения по смыслу. Модель используют для построения RAG-индексов, поиска по запросам, группировки текстов, выявления тем и семантических дубликатов, а также получения признаков для классификации. Для разных задач в начале текста требуется соответствующий префикс-инструкция. В README заявлены результаты на MTEB, LoCo и тесте Jina Long Context; доступность открытых весов и кода обучения также отмечена в карточке. Модель работает с английским языком. Доступны форматы PyTorch, Safetensors и ONNX; библиотека карточки — Sentence Transformers. Лицензия — Apache-2.0. Несмотря на упоминание мультимодального пространства эмбеддингов в README, сама модель принимает текст; для изображений указан отдельный согласованный энкодер nomic-embed-vision-v1.

paraphrase-MiniLM-L12-v2 — модель sentence-transformers, обученная командой Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и предназначена для поиска семантически близких текстов, кластеризации и сравнения сходства. Модель основана на архитектуре BERT и содержит около 40 млн параметров; максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, группировки похожих текстов и поиска парафразов. Она принимает текст и выдаёт векторные представления, которые можно сравнивать по близости. Доступны варианты форматов PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO; для работы используются библиотека sentence-transformers или Transformers с подходящей операцией pooling. Модель опубликована под лицензией Apache-2.0. README не приводит отдельной оценки качества или специальных ограничений; при использовании для семантического поиска точность зависит от данных и выбранного способа сравнения векторов.

sentence-transformers/paraphrase-mpnet-base-v2 — модель для преобразования предложений и абзацев в плотные векторы размерности 768. Она обучена командой Sentence Transformers на архитектуре MPNet и подходит для семантического поиска, кластеризации и сравнения сходства текстов. Модель принимает текст и выдаёт эмбеддинги; для использования через Transformers поверх контекстных представлений токенов требуется корректная операция pooling. Число параметров — 136,7 млн, длина контекста — 514 токенов. Доступны варианты в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. В карточке не заявлена специализация на конкретном языке.

txn545/Qwen3.5-122B-A10B-NVFP4 — квантизированная версия языковой модели Qwen3.5-122B-A10B от Alibaba, подготовленная с использованием NVIDIA Model Optimizer. Это авторегрессионная модель на архитектуре Transformers с разреженной экспертной архитектурой: всего 122 млрд параметров, из которых 10 млрд активируются при обработке запроса. Модель принимает текст, изображения и видео, а генерирует текст; заявленная длина контекста — до 262 тысяч токенов. Языки README не уточняет. Модель предназначена для развертывания в AI Agent-системах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Квантизация весов и активаций линейных операторов в MoE-блоках выполнена в формате NVFP4 и ориентирована на инференс через SGLang на GPU NVIDIA Blackwell под Linux. Указанная версия квантизации создана с помощью nvidia-modelopt v0.43.0.dev52+g35e60991c; для запуска требуется актуальная версия SGLang с поддержкой соответствующих изменений. Сильной стороной модели являются крупный общий объём параметров, мультимодальный ввод, длинный контекст и оптимизация для аппаратного ускорения NVIDIA. Ограничения включают зависимость от совместимого оборудования и программного окружения, а также возможные неточности, токсичные ответы и усиление предубеждений, присутствовавших в исходных данных обучения. Сведения о полном обучающем и тестовом наборах, а также подробные языковые характеристики не раскрыты. Модель распространяется по лицензии Apache 2.0 и допускает коммерческое и некоммерческое использование с учётом условий базовой модели Qwen3.5-122B-A10B.

NVIDIA Qwen3.5-397B-A17B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.5-397B-A17B, разработанной Alibaba и подготовленной с помощью NVIDIA Model Optimizer. README отдельно уточняет, что модель не принадлежит и не разработана NVIDIA, а создана на основе сторонней модели. Она предназначена для коммерческого и некоммерческого использования, в том числе для AI-агентов, чат-ботов, RAG-систем и других приложений на базе искусственного интеллекта. Модель использует архитектуру Transformers и сеть Qwen3.5-397B-A17B с 397 млрд параметров, из которых активируется 17 млрд. Она поддерживает текстовые, графические и видео входы, включая строки, изображения RGB и видео в форматах MP4/WebM, а также контекст длиной до 262 тысяч токенов. Выходом служит текст. Квантизация NVFP4 применяется к весам и активациям линейных операторов в MoE-блоках трансформера. Ключевое преимущество модели — готовая к инференсу низкоразрядная версия, ориентированная на NVIDIA GPU и совместимая с архитектурой Blackwell. Для запуска заявлена поддержка SGLang и vLLM в Linux; версия Model Optimizer — 0.42.0. Ограничения включают высокие требования к аппаратным ресурсам и зависимость от поддерживаемой GPU-инфраструктуры; сведения о полном составе обучающих и тестовых данных, языках и некоторых аспектах базовой модели в README не раскрыты. Лицензия — Apache License 2.0.

hamishivi/Qwen3.5-9B — дообученная мультимодальная модель на 9 млрд параметров, основанная на Qwen/Qwen3.5-9B-Base. Это причинная языковая модель с визуальным энкодером, реализованная в архитектуре Qwen3.5 и представленная в формате Transformers с весами safetensors; она поддерживает чат и интерфейс вызова инструментов. Модель предназначена для диалога и рассуждений по тексту и изображениям, визуального понимания, программирования и агентных сценариев с использованием инструментов. В README заявлена поддержка 201 языка и диалекта. Контекст составляет 262 144 токена и может расширяться до 1 010 000 токенов; по умолчанию модель работает в режиме рассуждений. Архитектура сочетает Gated Delta Networks и разреженную смесь экспертов. Для обслуживания доступны Transformers, vLLM, SGLang и KTransformers; README рекомендует современные версии этих фреймворков и специализированные движки для высокой пропускной способности. Длинный контекст может требовать значительных ресурсов памяти. Лицензия — Apache-2.0.

local-inference-lab/Qwen3.8-Flash-Next-NVFP4 — мультимодальная conversational-модель, дистиллированная из Qwen/Qwen3.8-Flash-Next с применением quantization-aware distillation. Она предназначена для диалогов, общего следования инструкциям, reasoning, программирования, multilingual-сценариев и обработки изображений с текстом. В качестве учителя использовалась исходная BF16-модель Qwen, а обучение проводилось на корпусе из 200 004 844 prompt-and-response токенов и 53 573 документов с последовательностями до 8 192 токенов. Архитектура сохранена без сокращения числа слоёв и экспертов: 48 decoder layers, 512 routed experts на слой, из которых для каждого токена активны 10, гибрид Gated DeltaNet/Qwen Sparse Attention и n-gram embedding tables. Сжатие достигается пониженной точностью весов: routed experts и часть компонентов используют NVFP4, другие проекции — MXFP8, а отдельные параметры остаются в BF16. Также сохранены vision encoder, MTP-модуль, tokenizer, chat template и vision assets. Размер checkpoint составляет около 98 GiB; заявлены оценки AA-LCR 79.4, GPQA Diamond 89.9 и Tool Eval Bench 91. Сильные стороны модели — сохранение исходной архитектуры, обучение с компенсацией ошибок квантования и более высокая эффективность по сравнению с NVFP4 PTQ на GPQA Diamond: при сопоставимом качестве модель использовала меньше токенов. Ограничения включают значительный объём checkpoint, дополнительные требования к памяти для KV cache и runtime buffers, а также необходимость runtime с поддержкой Qwen3.8-Flash-Next и смешанного ModelOpt-формата NVFP4/MXFP8, включая NVFP4 PLE tables. Модель распространяется по лицензии qwen-community-1.0; точные условия следует проверять по указанной license-ссылке.

NVIDIA Qwen3.8-Flash-Next NVFP4 — квантизированная версия модели Alibaba Qwen3.8-Flash-Next, подготовленная с помощью NVIDIA Model Optimizer. NVIDIA не является разработчиком исходной модели. Это авторегрессионная мультимодальная модель для работы с текстом, изображениями и видео, предназначенная для AI-агентов, чат-ботов, RAG-систем и других приложений на базе искусственного интеллекта. Модель использует архитектуру Transformers с гибридным вниманием Gated DeltaNet и Qwen Sparse Attention, Mixture-of-Experts, gated residual streams, vision encoder и n-gram embeddings. Общий объём составляет 125 млрд параметров, из них активируется 6 млрд; дополнительно заявлены 51 млрд параметров n-gram embeddings и 4 млрд MTP. Поддерживаются текстовые, RGB- и видео-входы, а также контекст до 262 тысяч токенов с возможностью расширения до 1 миллиона токенов. Выход представлен текстовыми последовательностями. README не содержит сведений о поддерживаемых языках. NVFP4-квантизация обеспечивает готовый к развёртыванию вариант модели с сохранением сопоставимой с FP8 точности по указанным тестам; модель ориентирована на NVIDIA GPU, в частности Blackwell B200 и B300, и поддерживает vLLM в Linux. Ограничения включают зависимость от совместимого оборудования и программного стека, а также необходимость дополнительного тестирования на данных конкретного сценария перед безопасным внедрением. Указаны лицензия NVIDIA Open Model License и дополнительная применимость Qwen Community License 1.0.

Карточка модели fabianschmidt-cohere/Qwen3-Embedding-4.9M-init на Hugging Face совпадает с карточкой unsloth/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — текстовая модель эмбеддингов семейства Qwen3, представленная в репозитории Unsloth и основанная на Qwen/Qwen3-0.6B-Base. Это плотная архитектура с 507,6 млн параметров и контекстом до 32 768 токенов. Модель преобразует текст в векторы размерностью от 32 до 1024 и позволяет задавать инструкцию для конкретной задачи. Модель предназначена для семантического поиска и извлечения текстов, сравнения предложений, классификации и кластеризации текста, поиска по коду и межъязыкового сопоставления. Она поддерживает более 100 языков, включая языки программирования, и рассчитана на многоязычные и межъязыковые сценарии. Лицензия — Apache-2.0. Карточка описывает всю серию Qwen3 Embedding, поэтому приведённые в ней лидерские результаты относятся к модели 8B, а не подтверждают такие же результаты для версии 0.6B. Для работы с Transformers требуется версия 4.51.0 или новее: более ранние версии могут выдавать ошибку распознавания архитектуры Qwen3.

Карточка модели Rasputin312/Qwen3-Embedding-4B_both_0_pct_3_epochs на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-4B, поэтому описание составлено по ней. Qwen3-Embedding-4B — мультиязычная модель для построения текстовых эмбеддингов из семейства Qwen3, разработанная командой Qwen. Это плотная модель на базе Qwen3-4B-Base, дообученная для задач поиска и сравнения текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для семантического поиска по документам и коду, оценки сходства предложений, классификации и кластеризации текстов, а также поиска соответствий между языками. Она поддерживает более 100 языков, контекст до 40 960 токенов по метаданным и до 32 тысяч токенов в описании модели. Размер эмбеддинга можно настраивать от 32 до 2560 измерений; также поддерживаются инструкции, настраивающие представление под задачу.

Semantic-Lite-2 — многоязычная модель эмбеддингов предложений, созданная на основе Spark-X2.5-1.7B с замороженными слоями базовой модели и обучаемой проекционной головой. Она преобразует текст в L2-нормированные векторы размерности 256 для сравнения семантической близости; косинусное сходство можно вычислять скалярным произведением. В репозитории указано 371,2 млн параметров, а метаданные задают контекст до 1 048 576 токенов. Модель предназначена для семантического поиска, ранжирования близких предложений и документов, кластеризации, выявления дубликатов, сопоставления запросов и FAQ, рекомендаций по содержанию и поиска контекста для RAG. README описывает поддержку индонезийского, английского, арабского, китайского, японского, корейского, русского, тайского, хинди, вьетнамского, амхарского и суахили; метаданные подтверждают первые десять языков. В README приведены результаты оценки на небольших наборах индонезийских и межъязыковых пар, поэтому они не гарантируют аналогичного качества на других данных. Доступны варианты fp16, q8 и q4; для q4 указано снижение точности примерно на 3 процентных пункта top-1 относительно fp16. Лицензия — Apache-2.0.

airoboros-65b-gpt4-m2.0 — плотная авторегрессионная модель семейства LLaMA на 65 млрд параметров, разработанная Jon Durbin и дообученная для следования инструкциям на синтетических данных Airoboros. Версия m2.0 объединяет данные набора 1.4.1 без дубликатов и категории system с данными GPT-4, созданными на основе версии от июня 2023 года; исходная серия также включала данные GPT-4 от марта 2023 года. Модель предназначена для диалога и генерации текста по инструкциям: ответов на вопросы по предоставленному контексту, помощи с программированием, планирования шагов для задач с инструментами и генерации аргументов функций в JSON или YAML. Для общения используется текстовый шаблон с ролями USER и ASSISTANT. Контекст составляет 2048 токенов. Модель обучена с QLoRA; README отмечает, что варианты 65B основаны на оригинальной LLaMA, а не Llama 2. Карточка описывает модель как дающую подробные ответы, ориентированную на использование контекста в закрытых вопросах и включающую примеры планирования и вызова функций. Возможны галлюцинации, особенно если запрос не содержит достаточных сведений; для вопросов по контексту автор рекомендует явно просить не придумывать ответ. Модель выпускается по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства и ограничивающей коммерческое применение.