Русскоязычная BERT-модель для классификации тональности текстов, включая отзывы о Huawei.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель ivanovsdesign/sbert-ru-huawei-sentiment-fine-additional — русскоязычная модель классификации текста на архитектуре BERT, разработанная на основе дообученной модели ivanovsdesign/sbert-ru-huawei-sentiment-fine-up. Она предназначена для определения тональности текстов, в частности отзывов о Huawei. Модель содержит 525,7 млн параметров, принимает текст длиной до 512 токенов и выдаёт метку класса. В репозитории веса представлены в формате safetensors.
В README приведены результаты валидации: accuracy 0,676, macro-F1 0,469 и weighted-F1 0,653. Эти показатели указывают на ограниченное качество классификации, особенно при оценке по macro-F1; перед применением в критичных сценариях модель следует проверить на целевых данных. Сведения о лицензии в предоставленных данных отсутствуют.
На валидации macro-F1 составил 0,469, поэтому качество может быть неодинаковым для разных классов. Максимальная длина входа — 512 токенов.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
loss: 0.8187900185585022
f1_macro: 0.4688891046680926
f1_micro: 0.6755368334532005
f1_weighted: 0.6528249387359626
precision_macro: 0.5035109628201623
precision_micro: 0.6755368334532005
precision_weighted: 0.6460535502350792
recall_macro: 0.48754194632937153
recall_micro: 0.6755368334532005
recall_weighted: 0.6755368334532005
accuracy: 0.6755368334532005
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…