/ Модель

Характеристики

Размер весов
611 МБ
Лицензия
CC BY-NC 4.0
Библиотека
gliner
Опубликована
9 мар 2024

gliner_small-v1

Разметка токеновТекст → label10 профессий

Англоязычная модель GLiNER на 166 млн параметров для извлечения сущностей произвольных заданных типов из текста.

1 331скачиваний за 30 дней10лайковвеса обновлены10 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

GLiNER-small-v1 — модель распознавания именованных сущностей, разработанная Urchade Zaratiana, Nadi Tomeh, Pierre Holat и Thierry Charnois. Она использует двунаправленный трансформерный энкодер класса BERT и позволяет извлекать сущности заданных пользователем типов, в отличие от классических NER-моделей с фиксированным набором категорий.

Модель предназначена для извлечения имен и других сущностей из текста, в том числе в сценариях, где важны компактность и практичность по сравнению с крупными языковыми моделями. В этой версии 166 млн параметров; она обучена на Pile-NER и рассчитана на английский язык. Для работы используется библиотека GLiNER. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование с соблюдением её условий.

Сценарии применения

  • распознавание именованных сущностей в английских документах
  • извлечение пользовательских категорий сущностей из текста
  • разметка упоминаний людей, организаций и мест
  • автоматическое тегирование текстовых коллекций

Ограничения

Версия предназначена для английского языка и обучена на Pile-NER; качество на других языках и типах данных не подтверждено. Лицензия CC BY-NC 4.0 ограничивает использование некоммерческими сценариями.

Для каких профессий подходит10

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for GLiNER-small

GLiNER is a Named Entity Recognition (NER) model capable of identifying any entity type using a bidirectional transformer encoder (BERT-like). It provides a practical alternative to traditional NER models, which are limited to predefined entities, and Large Language Models (LLMs) that, despite their flexibility, are costly and large for resource-constrained scenarios.

This version has been trained on the Pile-NER dataset (Research purpose)

Links

Available models

ReleaseModel Name# of ParametersLanguageLicense
v0urchade/gliner_baseurchade/gliner_multi209M209MEnglishMultilingualcc-by-nc-4.0
v1urchade/gliner_small-v1urchade/gliner_medium-v1urchade/gliner_large-v1166M209M459MEnglish English Englishcc-by-nc-4.0
v2urchade/gliner_small-v2urchade/gliner_medium-v2urchade/gliner_large-v2166M209M459MEnglish English Englishapache-2.0
v2.1urchade/gliner_small-v2.1urchade/gliner_medium-v2.1urchade/gliner_large-v2.1 urchade/gliner_multi-v2.1166M209M459M209MEnglish English English Multilingualapache-2.0

Installation

To use this model, you must install the GLiNER Python library:

!pip install gliner

Usage

Once you've downloaded the GLiNER library, you can import the GLiNER class. You can then load this model using GLiNER.from_pretrained and predict entities with predict_entities.

from gliner import GLiNER

model = GLiNER.from_pretrained("urchade/gliner_small-v1")

text = """
Cristiano Ronaldo dos Santos Aveiro (Portuguese pronunciation: [kɾiʃˈtjɐnu ʁɔˈnaldu]; born 5 February 1985) is a Portuguese professional footballer who plays as a forward for and captains both Saudi Pro League club Al Nassr and the Portugal national team. Widely regarded as one of the greatest players of all time, Ronaldo has won five Ballon d'Or awards,[note 3] a record three UEFA Men's Player of the Year Awards, and four European Golden Shoes, the most by a European player. He has won 33 trophies in his career, including seven league titles, five UEFA Champions Leagues, the UEFA European Championship and the UEFA Nations League. Ronaldo holds the records for most appearances (183), goals (140) and assists (42) in the Champions League, goals in the European Championship (14), international goals (128) and international appearances (205). He is one of the few players to have made over 1,200 professional career appearances, the most by an outfield player, and has scored over 850 official senior career goals for club and country, making him the top goalscorer of all time.
"""

labels = ["person", "award", "date", "competitions", "teams"]

entities = model.predict_entities(text, labels)

for entity in entities:
    print(entity["text"], "=>", entity["label"])
Cristiano Ronaldo dos Santos Aveiro => person
5 February 1985 => date
Al Nassr => teams
Portugal national team => teams
Ballon d'Or => award
UEFA Men's Player of the Year Awards => award
European Golden Shoes => award
UEFA Champions Leagues => competitions
UEFA European Championship => competitions
UEFA Nations League => competitions
Champions League => competitions
European Championship => competitions

Named Entity Recognition benchmark result

image/png

Model Authors

The model authors are:

Citation

@misc{zaratiana2023gliner,
      title={GLiNER: Generalist Model for Named Entity Recognition using Bidirectional Transformer}, 
      author={Urchade Zaratiana and Nadi Tomeh and Pierre Holat and Thierry Charnois},
      year={2023},
      eprint={2311.08526},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · gliner

Нельзя запустить

Модели GLiNER требуют отдельного рантайма.

Ревизия весов
0f0f4e7

0 моделей