/ Модель

Характеристики

Контекст
514 токенов
Параметры
95,2 млн
Лицензия
Apache 2.0
Архитектура
roberta · dense
Опубликована
4 ноя 2023

GovernanceBERT-base

Заполнение пропусковТекст → текст3 профессии

Англоязычная RoBERTa-модель для заполнения пропусков и анализа текстов о корпоративном управлении в сфере ESG.

55скачиваний за 30 дней0лайковвеса обновлены10 ноя 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

GovernanceBERT-base — языковая модель на архитектуре RoBERTa, разработанная авторами исследования о применении NLP для измерения ESG-коммуникации. Она дообучена предварительной языковой тренировкой на основе DistilRoBERTa и предназначена для анализа текстов по вопросам корпоративного управления в контексте ESG.

Модель обучалась на материалах годовых и отчетов об устойчивом развитии, а также корпоративных и общих новостях. Задача в карточке Hugging Face — заполнение пропусков в тексте: модель предсказывает токены вместо маскированных фрагментов. Английская версия содержит около 95,2 млн параметров и поддерживает контекст до 514 токенов.

Модель подходит для NLP-анализа англоязычных текстов о корпоративном управлении и ESG, в том числе как компонент исследовательских и аналитических процессов. Она не предназначена сама по себе для оценки компаний или выдачи готовых ESG-рейтингов. Лицензия — Apache-2.0.

Сценарии применения

  • предсказание пропущенных слов в ESG-отчетах
  • анализ формулировок о корпоративном управлении в годовых отчетах
  • исследование ESG-коммуникации компаний
  • анализ текстов корпоративных новостей о governance

Ограничения

Модель ориентирована на англоязычные тексты по тематике корпоративного управления и не выдаёт готовые ESG-оценки. Контекст ограничен 514 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for GovernanceBERT-base

Model Description

Based on this paper, this is the GovernanceBERT-base language model. A language model that is trained to better understand governance texts in the ESG domain.

Using the DistilRoBERTa model as a starting point, the GovernanceBERT-base Language Model is additionally pre-trained on a text corpus comprising governance-related annual reports, sustainability reports, and corporate and general news.

More details can be found in the paper

@article{schimanski_ESGBERT_2024,
title = {Bridging the gap in ESG measurement: Using NLP to quantify environmental, social, and governance communication},
journal = {Finance Research Letters},
volume = {61},
pages = {104979},
year = {2024},
issn = {1544-6123},
doi = {https://doi.org/10.1016/j.frl.2024.104979},
url = {https://www.sciencedirect.com/science/article/pii/S1544612324000096},
author = {Tobias Schimanski and Andrin Reding and Nico Reding and Julia Bingler and Mathias Kraus and Markus Leippold},
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForMaskedLM
Ревизия весов
53f4438

0 моделей