Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
YeungNLP/bert-from-clip-chinese-1M — текстовый компонент BertCLIP, китайской версии предварительно обученной мультимодальной модели CLIP, опубликованный авторами проекта CLIP-Chinese. В репозитории размещены веса BERT, извлечённые из BertCLIP; исходная модель обучалась контрастивному сопоставлению изображений и китайского текста на 1,4 млн пар с использованием стратегии LiT-tuning, при которой визуальная часть фиксируется во время настройки текстовой.
Модель можно загрузить через BertModel из библиотеки Transformers и использовать для извлечения признаков текста или как основу для downstream-задач. Это плотная BERT-модель на 129,5 млн параметров с контекстом до 512 токенов, представленная в формате PyTorch. Карточка описывает китайскоязычное предварительное обучение; отдельные веса визуального компонента в этот репозиторий не входят. Лицензия в предоставленных данных не указана.
Сценарии применения
извлечение признаков из китайских текстов
получение представлений китайских текстов для downstream-задач
использование текстового энкодера в мультимодальных экспериментах CLIP
Ограничения
Репозиторий содержит только веса текстового компонента BERT; использование CLIP для сопоставления изображений и текста требует визуального компонента. Контекст ограничен 512 токенами.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель