Дообученный классификатор DistilBERT определяет положительную или отрицательную тональность текста.
9скачиваний за 30 дней1лайквеса обновлены11 фев 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Модель lxs1/DistilBertForSequenceClassification_6h_768dim — классификатор тональности на основе DistilBERT, дообученный для отнесения текста к положительной или отрицательной категории. В архитектуре 6 голов внимания, размер скрытого представления 768 и промежуточный слой размером 4 × 768; модель принимает последовательности длиной до 512 токенов.
Модель предназначена для анализа отзывов, публикаций в социальных сетях и других текстов: например, для оценки реакции на товары и услуги, мониторинга тональности упоминаний бренда и фильтрации контента по тональности. В обучающих данных использовались социальные публикации, отзывы о товарах и фильмах; тексты приводились к нижнему регистру, из них удалялись стоп-слова, имена пользователей и URL.
Разработчик предупреждает о возможных смещениях из обучающих данных и о том, что качество на текстах вне обучающего распределения может быть нестабильным. Лицензия в предоставленных данных не указана.
Сценарии применения
Определение тональности отзывов о товарах
Анализ отзывов о фильмах
Мониторинг тональности упоминаний бренда в соцсетях
Оценка обратной связи клиентов о сервисах
Фильтрация текстов по тональности для модерации
Ограничения
Возможны смещения, унаследованные от обучающих данных; качество на текстах вне распределения социальных публикаций и отзывов может снижаться. Результаты рекомендуется проверять на целевых данных.
Для каких профессий подходит5
Разделы каталога профессий, в задачах которых используется эта модель
Model Card for DistilBertForSequenceClassification_6h_768dim
Model Description
Purpose: This model is designed for sentiment analysis tasks, aimed at classifying text into positive or negative sentiment categories.
Model architecture: The model is based on the DistilBERT architecture, which is a distilled version of BERT that maintains most of the original model's performance while being more efficient. Specifically, it uses 6 attention heads, a hidden dimension size of 768, and an intermediate (hidden) layer size of 4*768.
Training data: The model was fine-tuned on a dataset compiled from various sources, including social media posts, product reviews, and movie reviews. The data was preprocessed to remove usernames, URLs, and any identifiable information. Texts were lowercased, and stopwords were removed to focus on meaningful content.
Intended Use
Intended users: This model is intended for developers and data scientists looking to integrate sentiment analysis into their applications, such as customer feedback analysis or content moderation.
Use cases: Potential use cases include analyzing customer reviews to gauge overall sentiment about products or services, monitoring social media for brand sentiment, and filtering content based on sentiment for moderation purposes.
Limitations
Known limitations: The model may exhibit biases present in the training data, potentially leading to inaccuracies in certain contexts or for specific demographic groups. Its performance has not been extensively tested across all possible domains, so results may vary for texts outside of the training distribution.
Hardware
Training Platform: The model was trained on Intel Developer Cloud over scalable Intel® Xeon® 4th Gen Scalable processors.
Software Optimizations
Known Optimizations: During training, techniques such as gradient accumulation and mixed-precision training were employed to enhance performance and reduce memory usage. The AdamW optimizer was used for its effective learning rate adjustments.
Ethical Considerations
Ethical concerns: There is a risk of the model reinforcing or amplifying biases present in the training data, leading to potentially unfair outcomes. Users are encouraged to thoroughly test the model in their specific contexts and consider bias mitigation strategies.
More Information
For more details on the DistilBERT model architecture and its implementation, please refer to the original paper and documentation available on the Hugging Face model hub.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров