Итальянская BERT-модель, адаптированная на текстах нормативных документов для предсказания пропущенных слов и анализа юридической лексики.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
hseBert-it-cased — итальянская языковая модель на базе BERT, созданная bullmount посредством адаптивного дообучения bert-base-italian-xxl-cased методом masked language modeling на примерно 7 тысячах предложений из итальянских нормативных документов. Модель ориентирована на работу с текстами законодательства и нормативов, в частности с правилами охраны труда и экологическим кодексом Италии.
Это BERT с архитектурой BertForMaskedLM, примерно 137,2 млн параметров и контекстом до 512 токенов. Основной сценарий — предсказание замаскированных слов в итальянских нормативных текстах; веса доступны в формате PyTorch. Лицензия — MIT. README показывает загрузку через Transformers, но не приводит оценки качества или результатов прикладной проверки.
Дообучение проводилось примерно на 7 тысячах предложений из двух итальянских нормативных документов, поэтому охват ограничен этими текстами и близкой лексикой. README не сообщает результатов оценки качества; модель предназначена для предсказания маскированных токенов, а не для диалоговых ответов или генерации длинных текстов.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
hseBert-it-cased is a BERT model obtained by MLM adaptive-tuning bert-base-italian-xxl-cased on texts of Italian regulation (Testo unico sulla sicurezza sul lavoro - D.lgs. 9 aprile 2008, n. 81, Codice dell'Ambiente - D.lgs. 3 aprile 2006, n. 152), approximately 7k sentences.
from transformers import AutoModel, AutoTokenizer
model_name = "bullmount/hseBert-it-cased"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…