/ Модель

Характеристики

Контекст
512 токенов
Параметры
205 млн
Лицензия
CC BY-NC-SA 4.0
Архитектура
bert · dense
Библиотека
transformers
Опубликована
15 мая 2025

aquilign-multilingual-segmenter

Разметка токеновТекст → label3 профессии

Модель BERT для определения границ фраз в средневековых текстах на семи языках и подготовки корпусов к выравниванию.

245скачиваний за 30 дней0лайковвеса обновлены3 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Aquilign Multilingual Segmenter — модель ProMeText для сегментации средневековых и исторических текстов на фразы. Она основана на архитектуре BERT и дообучена для классификации токенов с целью выявления границ фраз в многоязычной исторической прозе.

Модель предназначена для подготовки параллельных корпусов к выравниванию, многоязычного выравнивания средневековых текстов и исследований в цифровой филологии и вычислительной гуманитаристике. Она используется в рабочем процессе Aquilign и обучалась на Multilingual Segmentation Dataset с исторической прозой XIII–XVI веков. Поддерживаются латинский, французский, кастильский, португальский, каталанский, английский и итальянский языки.

Модель содержит 205,1 млн параметров, принимает последовательности длиной до 512 токенов и доступна в формате safetensors для библиотеки Transformers. Лицензия CC BY-NC-SA 4.0 требует указания авторства и распространяет производные работы на тех же условиях, ограничивая коммерческое использование. Качество сегментации может зависеть от языка, периода и жанра текста; назначение модели ориентировано на историческую прозу и рабочий процесс Aquilign.

Сценарии применения

  • сегментация средневековой прозы на фразы
  • подготовка параллельных исторических текстов к выравниванию
  • выравнивание многоязычных средневековых корпусов
  • предобработка исторических текстов для цифровой филологии

Ограничения

Модель рассчитана на историческую прозу и сегментацию фраз; качество на других жанрах, периодах и языках не подтверждено. Коммерческое использование ограничено лицензией CC BY-NC-SA 4.0.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Aquilign Multilingual Segmenter

Aquilign Multilingual Segmenter is a token-classification model for phrase-level segmentation of medieval and historical texts.

The model is designed to detect custom segmentation delimiters in multilingual historical corpora and is used as part of the Aquilign alignment workflow.

Model Description

The segmenter is based on a trainable BertForTokenClassification model from Hugging Face’s transformers library.

It was fine-tuned on historical prose from the Multilingual Segmentation Dataset to identify phrase-level segmentation boundaries.

Supported Languages

  • Latin
  • French
  • Castilian
  • Portuguese
  • Catalan
  • English
  • Italian

Intended Use

This model is intended for:

  • phrase-level segmentation of medieval texts
  • preprocessing parallel corpora before alignment
  • multilingual medieval text alignment workflows
  • digital philology and computational humanities research

It is especially designed to be used with Aquilign.

Related Resources

Citation

If you use this model, please cite the related dataset and publication.

Dataset

@dataset{ing2025multilingual,
  author       = {Ing, L. and Gille Levenson, M. and Macedo, C.},
  title        = {Multilingual Segmentation Dataset for Historical Prose (13th--16th c.)},
  year         = {2025},
  publisher    = {Zenodo},
  version      = {1.0},
  doi          = {10.5281/zenodo.16992629},
  url          = {https://doi.org/10.5281/zenodo.16992629},
  license      = {Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International}
}

Related Publication

@inproceedings{ing-etal-2026-phrase,
  title = {Phrase-Level Segmentation on Medieval Corpora for Aligning Multilingual Texts},
  author = {Ing, Lucence and Gille Levenson, Matthias and Macedo, Carolina},
  booktitle = {Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026)},
  month = {May},
  year = {2026},
  pages = {936--946},
  address = {Palma, Mallorca, Spain},
  publisher = {European Language Resources Association (ELRA)},
  doi = {10.63317/32huzuuokpfr}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForTokenClassification
Ревизия весов
ac4d4cb

0 моделей