Трансформерный аудиотокенизатор OpenMOSS-Team кодирует и восстанавливает речь, музыку и другие звуки в компактные дискретные токены.

Подходит для: сжатие речевых записей с настраиваемым битрейтом · восстановление аудиосигнала из дискретных токенов · потоковое кодирование и декодирование аудио

Компактная мультиязычная модель OpenMOSS для потокового синтеза речи и клонирования голоса, рассчитанная на работу в том числе на CPU.

Подходит для: озвучивание текста в реальном времени · клонирование голоса по эталонной аудиозаписи · генерация речи для локальной демонстрации

Открытая мультимодальная модель OpenMOSS для анализа изображений и длинных видео, OCR, разбора документов и ответов на инструкции.

Подходит для: ответы на вопросы по изображениям и видеозаписям · поиск и локализация событий во времени в длинном видео · распознавание текста на изображениях и разбор документов

MOSS-TTS-v1.5 — многоязычная модель OpenMOSS-Team для генерации речи из текста, клонирования голоса и управления паузами и произношением.

Подходит для: синтез речи на нескольких языках из текста · клонирование голоса по аудиореференсу · озвучивание длинных текстов с управлением паузами

Occamy-1.0 — дообученная мультимодальная MoE-модель для длительных агентных задач, программирования и совместной работы с инструментами.

Подходит для: выполнение многоэтапных рабочих процессов с вызовом инструментов · написание и отладка кода через терминал · поиск и обработка информации в ходе агентной задачи

MOSS-Music-8B-Instruct анализирует музыкальные записи и отвечает на вопросы о словах, звучании, структуре и музыкальных характеристиках.

Подходит для: распознавание текста песен с временными метками · создание текстового описания настроения, жанра и инструментов композиции · определение аккордов и тональности по аудиозаписи

Многоязычная аудиомодель для транскрибирования длинных записей с временными метками, диаризацией говорящих и аннотациями акустических событий.

Подходит для: расшифровка многочасовых совещаний с разметкой говорящих · транскрибация телефонных звонков с временными метками · создание субтитров для видео и лекций

Базовая мультимодальная модель OpenMOSS для понимания изображений и видео и последующей адаптации под прикладные задачи.

Подходит для: описание содержимого изображения · ответы на вопросы по изображению · анализ событий и их порядка в видео

Базовая мультимодальная модель OpenMOSS для понимания изображений и видео и последующей адаптации к прикладным задачам.

Подходит для: ответы на вопросы о содержимом изображения · сравнение нескольких изображений в одном запросе · понимание последовательности событий в видео

MOVA — открытая мультимодальная модель OpenMOSS для генерации видео по изображению с синхронным звуком.

Подходит для: создание видео по исходному изображению · добавление синхронного звука к сгенерированному видео · генерация звуковых эффектов по сцене

Компактный причинный Transformer-токенизатор кодирует и восстанавливает 48-кГц стереоаудио для потоковой генерации речи и обработки звука.

Подходит для: сжатие стереоречи в дискретные аудиотокены · восстановление речи из последовательности аудиотокенов · аудиотокенизация для MOSS-TTS-Nano

Мультимодальная модель OpenMOSS для понимания изображений и видео, включая OCR, разбор документов и временной анализ событий.

Подходит для: ответы на вопросы по содержимому видео · поиск и временная локализация событий в длинных видео · распознавание действий на видео

MOSS-VoiceGenerator синтезирует выразительную речь на китайском и английском по тексту и описанию желаемого голоса, без аудиообразца.

Подходит для: озвучивание аудиокниг голосом заданного персонажа · создание голосов для игровых персонажей и дубляжа · синтез реплик для ролевых агентов

Мультимодальная модель Xiaomi для генерации текста, агентных задач и работы с инструментами, с контекстом до миллиона токенов.

Подходит для: написание и исправление программного кода · выполнение многошаговых задач с вызовом инструментов · ответы на вопросы по длинным репозиториям и трассам взаимодействия

Мультиязычная модель OpenMOSS для синтеза речи и клонирования голоса с генерацией стереоаудио 48 кГц.

Подходит для: синтез речи из текста на разных языках · клонирование голоса по аудиореференсу · генерация длинных озвученных текстов с управлением паузами

Мультимодальная модель Xiaomi MiMo на 9 млрд параметров для агентных задач, программирования, кибербезопасности и анализа изображений.

Подходит для: написание и исправление кода · выполнение многошаговых агентных задач · анализ изображений в диалоге

Многоязычная модель OpenMOSS для выразительного синтеза длинных диалогов с несколькими голосами и клонированием голоса по короткому аудиопримеру.

Подходит для: генерация многосторонних диалогов для подкастов · озвучивание аудиокниг с голосами рассказчика и персонажей · создание спортивных и киберспортивных комментариев

Потоковая многоязычная модель синтеза речи для голосовых агентов, учитывающая текстовый и акустический контекст предыдущих реплик.

Подходит для: озвучивание ответов голосового агента в реальном времени · синтез связной речи с учётом истории диалога · клонирование голоса для последовательных реплик

Многоязычная модель MOSI.AI и OpenMOSS для синтеза выразительной речи из текста, включая длинную озвучку и клонирование голоса по аудиопримеру.

Подходит для: озвучивание аудиокниг и длинных текстов · клонирование голоса по короткому аудиообразцу · синтез речи с переключением языков

MOSS-Audio-Tokenizer-v2 кодирует и восстанавливает стереозвук в виде дискретных токенов для сжатия и последующих задач понимания и генерации аудио.

Подходит для: сжатие и кодирование стереозвука · восстановление аудио из дискретных токенов · потоковая обработка речи и звука

Многоязычная модель семейства MOSS-TTS для синтеза речи из текста, включая потоковую генерацию и управление произношением.

Подходит для: озвучивание текста на нескольких языках · создание потоковой речи для голосовых приложений · генерация смешанной китайско-английской речи

Совместимый пакет OpenMOSS для потокового анализа видео моделью MOSS-VL-Realtime через специализированный backend SGLang-Omni.

Подходит для: ответы на вопросы о происходящем в видеопотоке · отслеживание порядка и длительности событий по временным меткам · обновление ответа по мере поступления новых кадров

Предварительно обученная мультимодальная модель OpenMOSS для понимания видео и дальнейшего дообучения под офлайн- и потоковые сценарии.

Подходит для: исследование понимания видеосцен и временных связей · создание модели ответов на вопросы по видео после SFT · дообучение для потокового понимания видео в реальном времени

Открытая аудиоязыковая модель примерно на 4,6 млрд параметров для распознавания и анализа речи, звуков и музыки с ответами в текстовой форме.

Подходит для: транскрибация аудиозаписей с временными метками · ответы на вопросы по содержанию подкастов, встреч и интервью · краткое изложение аудиозаписей