/ Модель

Характеристики

Контекст
512 токенов
Параметры
137 млн
Лицензия
Apache 2.0
Архитектура
bert · dense
Опубликована
12 сен 2022

text-complexity-classification

Классификация текстаТекст → label7 профессий

Модель классифицирует немецкие тексты по четырём уровням языковой сложности — от лёгкого языка до специальной терминологии.

95скачиваний за 30 дней17лайковвеса обновлены23 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель krupper/text-complexity-classification разработана Рубеном Клеппом для классификации сложности немецкоязычных текстов. Она относит текст к одному из четырёх классов: лёгкий язык (leichte Sprache), простой язык (einfache Sprache), повседневный язык (Alltagssprache) или специальный язык (Fachsprache).

Сценарии применения

  • оценка сложности немецкого текста
  • определение текстов на лёгком немецком языке
  • поиск материалов на простом немецком языке
  • выявление повседневных и специализированных немецких текстов

Ограничения

Модель предназначена для немецкого языка и принимает текстовые последовательности длиной до 512 токенов. Оценка F1 0,982 приведена в карточке модели, но условия и набор данных оценки там не раскрыты.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for text-complexity-classification

The model classifies texts into the language complexity classes (German language):

  • easy language / leichte Sprache
  • simple language / einfache Sprache
  • everyday language / Alltagssprache
  • special language / Fachsprache

The underlying corpus was trained on the basis of over 300,000 texts of the mentioned language categories. Freely available websites served as sources. Thematic diversity was taken into account when selecting the sources.

Evaluation

  • f1: 0.982
  • Precision: 0.981
  • Recall: 0.983

How to use

>>> from transformers import pipeline
>>> classifier = pipeline(model="krupper/text-complexity-classification")
>>> classifier("Bei Kleinkindern unter 2 Jahren liegen nur begrenzte Erfahrungen zur Pharmakokinetik vor.")
[{'label': 'special_language', 'score': 0.999923825263977}]

DOI: https://doi.org/10.57967/hf/0131

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
bbb83fa

0 моделей