Характеристики

Контекст: 8 192 токена
Параметры: 149 млн
Лицензия: Apache 2.0
Архитектура: modernbert · dense
Базовая модель: ModernBERT-base
Библиотека: transformers
Опубликована: 31 июл 2025

Ссылки

Hugging Face arXiv 2412.13663 arXiv 2212.14197

modernbert-fingpt

tsphua

Классификация текстаТекст → label3 профессии

Дообученная ModernBERT для отнесения финансовых текстов к одной из девяти категорий тональности.

546скачиваний за 30 дней1лайквеса обновлены31 июл 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

tsphua/modernbert-fingpt — модель классификации тональности финансовых текстов, созданная дообучением answerdotai/ModernBERT-base на наборе FinGPT/fingpt-sentiment-train. Она относит текст к одной из девяти категорий тональности — от выраженно негативной до позитивной — и предназначена для анализа финансовых новостей, сообщений и других материалов, связанных с рынком.

В основе лежит encoder-only Transformer семейства ModernBERT с 149 млн параметров и контекстом до 8192 токенов. README описывает обучение с максимальной длиной последовательности 512 токенов; для практического применения это ограничивает длину текста, использованную при настройке модели. Модель принимает текст и выдаёт метку класса тональности. Лицензия — Apache-2.0.

Сценарии применения

оценка тональности финансовых новостей
анализ настроений в сообщениях о компаниях и рынках
сортировка финансовых текстов по степени негатива или позитива

Ограничения

README описывает обучение с максимальной длиной последовательности 512 токенов, несмотря на контекстную длину базовой архитектуры до 8192 токенов. Модель настроена на финансовые тексты и девять категорий тональности, поэтому её пригодность для других областей и схем разметки не установлена.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.2Отраслевые задачиБанки, платежи и инвестицииAI помогает управлять финансовым риском, платежами, инвестиционным анализом и обслуживанием клиентов.37 задач1 723модели I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ModernBERT Fine-tuned for Financial Text Sentiment Analysis

This project fine-tunes the ModernBERT model on the FinGPT sentiment dataset for financial text sentiment analysis.

Dataset & Model

Model: answerdotai/ModernBERT-base
Dataset: FinGPT/fingpt-sentiment-train
Task: Multi-class sentiment classification (9 categories)
Domain: Financial text analysis

ModernBert

ModernBERT is a modernized bidirectional encoder-only Transformer model (BERT-style) pre-trained on 2 trillion tokens of English and code data with a native context length of up to 8,192 tokens. It leverages architectural improvements such as Rotary Positional Embeddings (RoPE) for long-context support, Local-Global Alternating Attention for efficiency on long inputs, Unpadding and Flash Attention for efficient inference.

FinGPT Sentiment Analysis Dataset

Contains 76,772 test rows (17,919,695 tokens)

Sentiment Categories

The model classifies text into 9 fine-grained sentiment levels:

Label ID	Sentiment Category	Description
0	Strong Negative	Very pessimistic
1	Moderately Negative	Somewhat pessimistic
2	Mildly Negative	Slightly pessimistic
3	Negative	General negative sentiment
4	Neutral	No clear positive or negative bias
5	Mildly Positive	Slightly optimistic
6	Moderately Positive	Somewhat optimistic
7	Positive	General positive sentiment
8	Strong Positive	Very optimistic

Model Configuration

Parameters

Max Sequence Length: 512 tokens
Batch Size: 16
Learning Rate: 2e-5 with warmup
Epochs: 3 with early stopping
Optimizer: AdamW with weight decay (0.01)

Features

Early Stopping: Prevents overfitting (patience=3)
Best Model Loading: Automatically loads best checkpoint
Mixed Precision: FP16 training for speed optimization
Stratified Splitting: 80/20 train/validation split

Evaluation Metrics

Accuracy: Overall classification accuracy
F1-Score: Weighted F1-score across all classes
Precision: Weighted precision
Recall: Weighted recall
Confusion Matrix: Visual analysis of classification performance
Classification Report: Detailed per-class metrics

Performance

Training Time (on T4 GPU)

Total Training: ~30-45 minutes
Per Epoch: ~10-15 minutes
Evaluation: ~2-3 minutes

Training Results (Actual)

Loss: 0.3741
Accuracy: 0.9043
F1: 0.9026
Precision: 0.9022
Recall: 0.9043

Training Loss	Epoch	Step	Validation Loss	Accuracy	F1	Precision	Recall
0.9551	0.1302	500	0.8504	0.6769	0.6623	0.6589	0.6769
0.6639	0.2605	1000	0.7921	0.7162	0.6952	0.7444	0.7162
0.5221	0.3907	1500	0.5066	0.8134	0.8083	0.8147	0.8134
0.4415	0.5210	2000	0.4247	0.8381	0.8363	0.8410	0.8381
0.4276	0.6512	2500	0.3884	0.8594	0.8486	0.8484	0.8594
0.3767	0.7815	3000	0.3472	0.8756	0.8661	0.8689	0.8756
0.3281	0.9117	3500	0.3463	0.8754	0.8631	0.8611	0.8754
0.2419	1.0419	4000	0.3556	0.8883	0.8737	0.8728	0.8883
0.2859	1.1722	4500	0.3162	0.8922	0.8859	0.8829	0.8922
0.226	1.3024	5000	0.3269	0.8914	0.8857	0.8851	0.8914
0.2378	1.4327	5500	0.3281	0.8903	0.8834	0.8881	0.8903
0.2654	1.5629	6000	0.3038	0.8938	0.8862	0.8896	0.8938
0.2319	1.6931	6500	0.3032	0.8993	0.8919	0.8905	0.8993
0.2116	1.8234	7000	0.3013	0.9023	0.8919	0.8937	0.9023
0.1922	1.9536	7500	0.2959	0.9017	0.8968	0.8941	0.9017
0.1536	2.0839	8000	0.3983	0.9009	0.8986	0.9000	0.9009
0.1438	2.2141	8500	0.3982	0.8990	0.8968	0.8954	0.8990
0.1329	2.3444	9000	0.3809	0.9021	0.8990	0.8968	0.9021
0.1175	2.4746	9500	0.3944	0.9019	0.8991	0.8977	0.9019
0.1634	2.6048	10000	0.3899	0.9043	0.8999	0.8989	0.9043
0.1049	2.7351	10500	0.4006	0.9037	0.9016	0.9009	0.9037
0.1247	2.8653	11000	0.3828	0.9053	0.9019	0.9006	0.9053
0.1511	2.9956	11500	0.3741	0.9043	0.9026	0.9022	0.9043

Deployment Options

API Deployment: Create REST API using FastAPI
Batch Processing: Set up automated sentiment analysis pipeline
Real-time Analysis: Integrate with financial data streams

References

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertForSequenceClassification
Ревизия весов: 514217b