/ Модель

Характеристики

Контекст
514 токенов
Параметры
152 млн
Лицензия
CC BY-NC 4.0
Архитектура
xmod · dense
Опубликована
19 мар 2023

swissbert-ner

Разметка токеновТекст → label8 профессий

Модель ZurichNLP для распознавания именованных сущностей в немецких, французских, итальянских и ретороманских текстах.

87скачиваний за 30 дней3лайкавеса обновлены11 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ZurichNLP/swissbert-ner — модель ZurichNLP для распознавания именованных сущностей, дообученная на наборе WikiNEuRal. Она выполняет токеновую классификацию и выделяет сущности в немецком, французском и итальянском текстах; для ретороманского языка Grischun заявлена работа в режиме zero-shot. Модель построена на архитектуре X-MOD, содержит 151,8 млн параметров и поддерживает контекст до 514 токенов.

Модель подходит для автоматической разметки имен людей, организаций и других сущностей в многоязычных текстах на языках Швейцарии. В README показано применение через pipeline Transformers с простой агрегацией меток. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Сценарии применения

  • извлечение именованных сущностей из немецких текстов
  • разметка организаций и персон во французских документах
  • распознавание сущностей в итальянских текстах
  • zero-shot распознавание сущностей в ретороманском Grischun
  • автоматическая разметка сущностей в многоязычных швейцарских текстах

Ограничения

Для немецкого, французского и итальянского заявлено обучение с разметкой, а для ретороманского — только zero-shot режим, поэтому качество на нём может отличаться. Лицензия CC BY-NC 4.0 не допускает коммерческое использование.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

The SwissBERT model fine-tuned on the WikiNEuRal dataset for multilingual NER.

Supports German, French and Italian as supervised languages and Romansh Grischun as a zero-shot language.

Usage

from transformers import pipeline

token_classifier = pipeline(
  model="ZurichNLP/swissbert-ner",
  aggregation_strategy="simple",
)

German example

token_classifier.model.set_default_language("de_CH")
token_classifier("Mein Name sei Gantenbein.")

Output:

[{'entity_group': 'PER',
  'score': 0.5002625,
  'word': 'Gantenbein',
  'start': 13,
  'end': 24}]

French example

token_classifier.model.set_default_language("fr_CH")
token_classifier("J'habite à Lausanne.")

Output:

[{'entity_group': 'LOC',
  'score': 0.99955386,
  'word': 'Lausanne',
  'start': 10,
  'end': 19}]

Citation

@article{vamvas-etal-2023-swissbert,
      title={Swiss{BERT}: The Multilingual Language Model for Switzerland}, 
      author={Jannis Vamvas and Johannes Gra\"en and Rico Sennrich},
      year={2023},
      eprint={2303.13310},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2303.13310}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
XmodForTokenClassification
Ревизия весов
6c50ef7

0 моделей