Характеристики

Контекст: 8 192 токена
Параметры: 135 млн
Лицензия: Apache 2.0
Архитектура: modernbert · dense
Библиотека: transformers
Опубликована: 15 янв 2025

Ссылки

Italian-ModernBERT-base

Классификация текстаТекст → label3 профессии

Базовая модель ModernBERT, предварительно обученная на итальянских текстах для заполнения пропусков и классификации последовательностей.

518скачиваний за 30 дней5лайковвеса обновлены11 июн 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Italian ModernBERT — базовая модель семейства ModernBERT, разработанная DeepMount00 и предварительно обученная на итальянских текстовых корпусах. Она предназначена для языковых задач на итальянском языке, включая заполнение пропусков в тексте и классификацию последовательностей.

Модель использует плотную архитектуру ModernBERT с 22 слоями и примерно 134,9 млн параметров. Контекстное окно составляет 8192 токена; применяются RoPE и чередование локального и глобального внимания. Токенизатор оптимизирован для итальянского языка, а для ускорения вычислений поддерживается Flash Attention 2.

Модель рассчитана на итальянский язык и не подходит для других языков. Результаты могут отражать смещения обучающих данных. Лицензия — Apache 2.0.

Сценарии применения

заполнение пропущенных слов в итальянском тексте
классификация итальянских предложений и документов
извлечение контекстных представлений итальянского текста для последующего дообучения

Ограничения

Оптимизирована для итальянского языка и не предназначена для обработки других языков. Может отражать смещения, присутствующие в обучающих данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Italian ModernBERT

💡 Found this resource helpful? Creating and maintaining open source AI models and datasets requires significant computational resources. If this work has been valuable to you, consider supporting my research to help me continue building tools that benefit the entire AI community. Every contribution directly funds more open source innovation! ☕

Model Description

Italian ModernBERT (DeepMount00/Italian-ModernBERT-base) is a specialized Italian language version of ModernBERT, specifically pre-trained on Italian text corpora. This model is designed exclusively for Italian language tasks.

Key Features

Architecture: Based on ModernBERT-base (22 layers, 149M parameters)
Context Length: 8,192 tokens
Language: Italian-only
Tokenizer: Custom tokenizer optimized for Italian language
Training: Pre-trained on Italian text corpus

Technical Details

Uses Rotary Positional Embeddings (RoPE)
Implements Local-Global Alternating Attention
Supports Flash Attention 2 for optimal performance
No token type IDs required

Limitations

Optimized only for Italian language processing
Not suitable for other languages
May reflect biases present in training data

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertForSequenceClassification
Ревизия весов: 36bd00d