Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Архитектура: bert · dense
Опубликована: 18 июл 2022

Ссылки

bert_1890_1900

Заполнение пропусковТекст → текст3 профессии

Англоязычная BERT-модель, обученная на книгах 1890–1900 годов, для предсказания пропущенных слов и работы с историческими текстами.

351скачиваний за 30 дней0лайковвеса обновлены22 мар 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Living with Machines — англоязычная BERT-модель, обученная на корпусе исторических книг, опубликованных в 1890–1900 годах. Корпус содержит около 1,1 млрд токенов; модель разработана при участии исследовательской инициативы Living with Machines и The Alan Turing Institute.

Модель предназначена для заполнения пропусков в тексте на английском языке и анализа исторической лексики и формулировок конца XIX века. Это плотная архитектура BERT с головой BertForMaskedLM, 136,7 млн параметров и контекстом до 512 токенов. Доступны веса PyTorch и Safetensors.

Специализация на книгах 1890–1900 годов делает модель полезной для исторических текстов, но её языковые представления привязаны к этому корпусу и периоду и могут хуже подходить для современного английского или других жанров. Лицензия в предоставленных данных не описана.

Сценарии применения

подстановка пропущенного слова в англоязычном тексте XIX века
анализ лексики исторических книг 1890–1900 годов
сравнение исторических и современных английских формулировок

Ограничения

Обучение на книгах 1890–1900 годов ограничивает применимость модели к современному английскому, другим периодам и жанрам. Лицензия не указана в предоставленных данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Neural Language Models for Nineteenth-Century English: bert_1890_1900

Introduction

BERT model trained on a large historical dataset of books in English, published between 1890-1900 and comprised of ~1.1 billion tokens.

Data paper: http://doi.org/10.5334/johd.48
Github repository: https://github.com/Living-with-machines/histLM

License

The models are released under open license CC BY 4.0, available at https://creativecommons.org/licenses/by/4.0/legalcode.

Funding Statement

This work was supported by Living with Machines (AHRC grant AH/S01179X/1) and The Alan Turing Institute (EPSRC grant EP/N510129/1).

Dataset creators

Kasra Hosseini, Kaspar Beelen and Mariona Coll Ardanuy (The Alan Turing Institute) preprocessed the text, created a database, trained and fine-tuned language models as described in the accompanying paper. Giovanni Colavizza (University of Amsterdam), David Beavan (The Alan Turing Institute) and James Hetherington (University College London) helped with planning, accessing the datasets and designing the experiments.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: 659244b