CLAP от LAION сопоставляет аудио с текстовыми описаниями для классификации звуков без примеров и поиска аудио по тексту.

Подходит для: классификация звуков по заданным текстовым меткам без дообучения · поиск аудиозаписей по текстовому описанию · сопоставление звука с набором возможных описаний

CLIP ViT-B/32 от OpenAI сопоставляет изображения с текстовыми метками для классификации без дообучения и исследований обобщения компьютерного зрения.

Подходит для: классификация изображений по заданным текстовым категориям · поиск подходящей подписи для изображения среди вариантов · исследование переноса на новые классы без дообучения

CLAP от LAION сопоставляет аудио с текстовыми описаниями для классификации звуков без дообучения и извлечения признаков.

Подходит для: классификация звуков по текстовым меткам без дообучения · поиск аудиозаписей по текстовым описаниям · сопоставление звуковых фрагментов с описаниями

Модель CLAP сопоставляет аудио музыки и речи с текстовыми описаниями и извлекает их эмбеддинги для классификации и поиска без дообучения.

Подходит для: классификация аудиофрагмента по текстовым меткам · поиск музыки по текстовому описанию · поиск речевых записей по описанию содержания

CLAP сопоставляет аудио с текстовыми описаниями, извлекает признаки и поддерживает поиск и классификацию звуков без обучения на целевых метках.

Подходит для: поиск аудиозаписей по текстовому описанию · классификация звуков по заданным текстовым меткам · извлечение признаков аудио для последующего анализа

CLIP ViT-L/14 от OpenAI сопоставляет изображения с текстовыми категориями для исследовательской классификации изображений без дополнительного обучения.

Подходит для: классификация изображений по текстовым описаниям без дообучения · сравнение изображения с набором англоязычных категорий · исследование обобщения моделей компьютерного зрения

Мультимодальная CLIP ViT-L/14 от LAION сопоставляет изображения с английскими текстовыми метками для zero-shot классификации и поиска.

Подходит для: классификация изображений по текстовым описаниям без дообучения · поиск изображений по текстовому запросу · поиск подходящего текста для изображения

CLIP ViT-B/16 от OpenAI сопоставляет изображения с текстовыми категориями для исследовательской классификации без дополнительного обучения.

Подходит для: экспериментальная классификация изображений по текстовым категориям · сопоставление изображения с набором описаний на английском языке · поиск изображений по текстовому запросу в ограниченном наборе

Модель LAION CLAP сопоставляет музыкальные аудиозаписи с текстовыми описаниями и извлекает их эмбеддинги для классификации и поиска по сходству.

Подходит для: классификация музыкальных фрагментов по заданным текстовым меткам · поиск текстового описания, наиболее подходящего к аудиозаписи · извлечение эмбеддингов музыки для поиска по сходству

CLIP-модель ViT-B/16-plus, обученная на LAION-400M, сопоставляет изображения с текстовыми метками для классификации без дообучения.

Подходит для: классификация изображений по текстовым описаниям · поиск подходящей категории для изображения из списка вариантов · сортировка изображений по тематическим меткам

Мультимодальная модель OpenBMB для анализа изображений, аудио и видео, а также для двустороннего голосового диалога в реальном времени.

Подходит для: ответы на вопросы по изображениям и видеозаписям · распознавание текста и разбор документов на изображениях · голосовой диалог на английском и китайском языках

CLIP-модель ViT-B/32 для классификации изображений по текстовым меткам и сопоставления изображений с описаниями без дополнительного обучения.

Подходит для: классификация изображений по пользовательским текстовым меткам · поиск изображений по текстовым описаниям · сопоставление изображения с набором подписей или категорий

CLIP ViT-H/14 сопоставляет изображения с текстовыми описаниями и выполняет классификацию изображений по заданным текстовым меткам без дообучения.

Подходит для: Классификация изображений по пользовательским текстовым меткам · Поиск изображений по текстовому запросу · Поиск текстовых описаний, соответствующих изображению

Базовая X-CLIP сопоставляет видео с текстом и поддерживает классификацию видео и поиск видео по тексту.

Подходит для: классификация видео по текстовым описаниям без дополнительного обучения · классификация видео с небольшим количеством размеченных примеров · классификация видео с учителем

Немецкоязычная модель Canopy Labs на базе Orpheus и Llama для выразительного синтеза речи, потоковой генерации и клонирования голоса.

Подходит для: озвучивание немецкого текста естественной речью · потоковая генерация речи для приложений с низкой задержкой · управление эмоциями и интонацией речи с помощью тегов

CLIP-модель ViT для классификации изображений по текстовым меткам без дообучения и поиска по сходству между изображениями и текстом.

Подходит для: классификация изображений по пользовательским текстовым меткам · поиск изображений по текстовому запросу · поиск описаний, соответствующих изображению

Orpheus 3B — англоязычная Llama-модель CanopyAI для выразительного синтеза речи, потокового озвучивания и клонирования голоса.

Подходит для: озвучивание текста естественным голосом · потоковая генерация речи в реальном времени · управление эмоциями и интонацией в синтезированной речи

CLIP ViT-L/14, обученная на MetaCLIP-2.5B, сопоставляет изображения с текстовыми метками для классификации без дообучения.

Подходит для: классификация изображений по собственным текстовым категориям · поиск изображений по описаниям · сортировка фотографий по содержимому

VoiceCLAP-Large-v2 сопоставляет аудиозаписи речи с текстовыми описаниями с помощью эмбеддингов и ориентирована, в частности, на анализ эмоций в голосе.

Подходит для: поиск аудиоклипов по текстовому описанию голоса · сопоставление речи с описанием эмоциональной окраски · ранжирование аудиозаписей по сходству с текстовым запросом

CLIP ViT-L/14 от LAION сопоставляет изображения и текст для классификации без дообучения и мультимодального поиска.

Подходит для: классификация изображений по текстовым меткам без дообучения · поиск изображений по текстовому запросу · поиск текстовых описаний, соответствующих изображению

Ultravox — модель Fixie.ai, которая понимает речь и текст и генерирует текстовые ответы для голосовых агентов, анализа речи и речевого перевода.

Подходит для: создание голосового агента с текстовыми ответами · анализ содержания аудиосообщений · распознавание устной речи

Модель Canopy Labs на основе Llama для выразительного синтеза английской речи с потоковой генерацией, управлением эмоциями и клонированием голоса.

Подходит для: синтез английской речи для голосовых интерфейсов · потоковое озвучивание текста в реальном времени · создание выразительной речи с заданной эмоцией и интонацией

X-CLIP Large Patch14 — видеоязыковая модель Microsoft для классификации видео и поиска соответствий между видео и текстом.

Подходит для: классификация видео без дополнительного обучения · классификация видео по нескольким размеченным примерам · классификация видео с размеченным обучающим набором

Мультиязычная модель на базе ModernBERT для классификации тональности текстов, включая отзывы, на 16 языках и более.

Подходит для: определение тональности отзывов о товарах · анализ отзывов о местах и заведениях · сортировка отзывов по тональности на русском языке