Характеристики
- Контекст
- 300 токенов
- Параметры
- 136 млн
- Архитектура
- bert · dense
- Опубликована
- 28 мар 2022
Ссылки
kor_unsmile
BERT-модель Smilegate AI классифицирует корейские высказывания, отмечая ненавистническую речь, оскорбления и нейтральный текст.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
smilegate-ai/kor_unsmile — модель классификации текста, опубликованная Smilegate AI и реализованная на архитектуре BERT. Она предназначена для анализа корейских высказываний и выявления ненавистнической речи, оскорблений и чистых высказываний; для категорий ненависти предусмотрена многометочная классификация. Модель содержит 136,3 млн параметров и рассчитана на контекст до 300 токенов.
Её можно применять для первичной модерации комментариев и разметки корейского текста по категориям оскорбительной речи. Точность не гарантируется: разработчики датасета отмечают, что разметка может содержать ошибки, а качество классификации различается между категориями. Базовая модель и лицензия отдельно для весов в карточке модели не указаны. В материалах разработчика baseline-модель UnSmile опубликована под Apache 2.0; лицензия датасета CC-BY-NC-ND 4.0 относится именно к датасету.
Сценарии применения
- поиск ненавистнических высказываний в корейских комментариях
- классификация оскорблений и токсичных сообщений
- выявление высказываний с гендерными оскорблениями
- разметка комментариев по категориям ненависти
- фильтрация нейтральных и оскорбительных корейских сообщений
Ограничения
Модель обучена для корейских высказываний, поэтому её применение к другим языкам не подтверждено. Разработчики указывают, что разметка не гарантирует стопроцентную точность; опубликованные baseline-метрики заметно различаются между классами.
Для каких профессий подходит4
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…
- Класс архитектуры
- BertForSequenceClassification
- Ревизия весов
- f597423