Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Архитектура: bert · dense

Ссылки

Hugging Face

FinancialBERT

ahmedrachid

Заполнение пропусковТекст → текст3 профессии

Англоязычная BERT-модель, предварительно обученная на финансовых текстах для NLP-задач в финансовой сфере.

199скачиваний за 30 дней29лайковвеса обновлены7 фев 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

FinancialBERT — англоязычная модель семейства BERT, созданная Ahmed Rachid Hazourli и предварительно обученная на корпусе финансовых текстов. Она предназначена для исследований и практических NLP-задач в финансовой сфере и позволяет использовать готовую модель без значительных ресурсов, необходимых для её обучения с нуля.

Модель содержит 137 млн параметров, использует архитектуру BertForMaskedLM и принимает текстовые последовательности длиной до 512 токенов. В обучающие данные вошли новости Reuters и Bloomberg, корпоративные отчёты 10-K и 10-Q, а также документы с отчётами о доходах. Основная задача по метаданным — восстановление замаскированных токенов в тексте. Доступна в формате PyTorch; лицензия в предоставленных сведениях не указана.

Сценарии применения

восстановление пропущенных слов в финансовых новостях
анализ корпоративных отчётов и документов 10-K и 10-Q
эксперименты с языковыми моделями для финансовых текстов

Ограничения

Модель ориентирована на английские финансовые тексты, а контекст ограничен 512 токенами. Сведения о лицензии отсутствуют в предоставленных данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.2Отраслевые задачиБанки, платежи и инвестицииAI помогает управлять финансовым риском, платежами, инвестиционным анализом и обслуживанием клиентов.37 задач1 723модели III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели III.1Корпоративные функцииСтратегия, продукт и бизнес-моделиAI помогает принимать продуктовые и стратегические решения на основе свидетельств, а не только интуиции.19 задач2 459моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

FinancialBERT is a BERT model pre-trained on a large corpora of financial texts. The purpose is to enhance financial NLP research and practice in financial domain, hoping that financial practitioners and researchers can benefit from it without the necessity of the significant computational resources required to train the model.

The model was trained on a large corpus of financial texts:

TRC2-financial: 1.8M news articles that were published by Reuters between 2008 and 2010.
Bloomberg News: 400,000 articles between 2006 and 2013.
Corporate Reports: 192,000 transcripts (10-K & 10-Q)
Earning Calls: 42,156 documents.

More details on FinancialBERT can be found at: https://www.researchgate.net/publication/358284785_FinancialBERT_-_A_Pretrained_Language_Model_for_Financial_Text_Mining

Created by Ahmed Rachid Hazourli

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: 1ab60da