/ Модель

Характеристики

Контекст
512 токенов
Параметры
137 млн
Архитектура
bert · dense
Базовая модель
DA-BERT_Old_News_V1
Библиотека
sentence-transformers
Опубликована
16 мая 2025

Old_News_Segmentation_SBERT_V0.1

ЭмбеддингиТекст → embedding3 профессии

Дообученная Sentence Transformers модель для сравнения предложений и поддержки сегментации исторических датских газетных текстов.

110скачиваний за 30 дней1лайквеса обновлены8 окт 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

JohanHeinsen/Old_News_Segmentation_SBERT_V0.1 — дообученная модель Sentence Transformers на базе CALDISS-AAU/DA-BERT_Old_News_V1, разработанная для начальной версии сегментации ENO. Модель кодирует предложения в эмбеддинги размерности 768 и оценивает их сходство по косинусной мере; обучена на 20 502 парах газетных фрагментов с оценками сходства.

Основной сценарий — поиск смысловых связей между предложениями из датских газет XVIII — начала XIX века для поддержки сегментации ENO. Модель также подходит для эмбеддингов и сравнения текстов на историческом датском языке; она обучена на газетных материалах разных жанров и тем. Архитектура — BERT, библиотека sentence-transformers, максимальная длина последовательности — 512 токенов.

Это начальная версия, поэтому качество сегментации может требовать дополнительной проверки. Обучающие примеры происходят из газет, что ограничивает переносимость на другие периоды, жанры и языки. Лицензия в предоставленных данных не указана.

Сценарии применения

  • сопоставление предложений из датских газет XVIII века
  • поддержка сегментации газетных текстов ENO
  • поиск похожих фрагментов на историческом датском языке
  • создание эмбеддингов предложений из газет начала XIX века

Ограничения

Это начальная версия модели, обученная на датских газетных данных; её переносимость на другие эпохи, жанры и языки может быть ограничена. Максимальная длина последовательности составляет 512 токенов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SentenceTransformer based on CALDISS-AAU/DA-BERT_Old_News_V1

This is a sentence-transformers model finetuned from CALDISS-AAU/DA-BERT_Old_News_V1. It is an initial version of a model meant to assist in segmenting ENO. It can also be used as a general purpose embedding model for eighteenth- and early nineteenth-century Danish. It has been trained from newspaper data, covering a wide range of genres and topics.

Model Description

  • Model Type: Sentence Transformer
  • Base model: CALDISS-AAU/DA-BERT_Old_News_V1
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 768 dimensions
  • Similarity Function: Cosine Similarity

Training Details

Training Dataset

Unnamed Dataset

  • Size: 20,502 training samples
  • Columns: sentence_0, sentence_1, and label
  • Approximate statistics based on the first 1000 samples:
    sentence_0sentence_1label
    typestringstringfloat
    detailsmin: 4 tokensmean: 27.64 tokensmax: 314 tokensmin: 4 tokensmean: 27.19 tokensmax: 218 tokensmin: 0.0mean: 0.45max: 1.0
  • Samples:
    sentence_0sentence_1label
    Slagelse den 31te Januar 1818. Vastholm.Sølv til Amtets Fattigkasse forbudt, efter privat Overeenskomst med vedkommende Ægtpligtige at modtage Vederlag, enten i Penge, eller andre Præstationer, istedet for Befordring en naturg.0.0
    – Ved Opholdet i Louisenlund har Hs. Majestæt Kongen den 10de dennes allernaadigst egenhændigen overlevet Storcommandeurkorset af Dannebrogen til Allerhøistsammes Svigerfader Hs. Durchl.Landgreve Carl til Churbessen, Generalfeldtmarskal Stadtholder i Hertugdømmene Slesvig og Holsteen, Ridder af Elefanten og Dannebrogsmand.1.0
    , samt Eieren af Riignorgaard i Amtet Gottorf, H. Petersen, udnævnte til Landmaalere.Under Finants-Collegiet: Til Kasserer for de specielle Oppebørseler i Hertugdommene, har Hs. Majestæt, under 26de Juli dette Aar, udnævnt C. Schleth, Kasserer, Bogholder og Regnskabsfører ved Travensalzer Salme; forhenværende Revisor ved den grønlandske Handel, N. Døller, udnævnt til General-Revisor ved Lottoet i Kjøbenhavn.0.0
  • Loss: CosineSimilarityLoss with these parameters:
    {
        "loss_fct": "torch.nn.modules.loss.MSELoss"
    }
    

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · sentence-transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
BertModel
Ревизия весов
5d2bba5

0 моделей