Характеристики

Контекст: 32 768 токенов
Параметры: 3,1 млрд
Лицензия: Своя лицензия
Архитектура: qwen2 · dense
Базовая модель: Qwen2.5-3B-Instruct
Библиотека: transformers
Опубликована: 3 сен 2026

Ссылки

tei-bibl-annotator-citext-exparser

Генерация текстаТекст → текст3 профессии

Дообученная на Qwen2.5-3B-Instruct модель размечает библиографические цитаты встроенными TEI XML-тегами с сохранением исходного текста.

16скачиваний за 30 дней0лайковвеса обновлены3 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TEI Bibliographic Annotator — модель cmboulanger, дообученная на Qwen/Qwen2.5-3B-Instruct с помощью LoRA и объединённая с базовыми весами. Она размечает обычный текст библиографических цитат встроенными TEI XML-тегами: выделяет авторов, названия, даты, издателей и другие структурные элементы, сохраняя исходный текст без перефразирования и нормализации. Модель рассчитана на цитаты из сносок в юридико-социологических работах, включая сокращённые и анафорические ссылки вроде «Id.» и «ibid.», а также цитаты, смешанные с авторским текстом.

Это плотная авторегрессионная модель семейства Qwen2 с 3,1 млрд параметров и контекстом 32 768 токенов. Принимает текстовую инструкцию и цитату в формате чата, выдаёт размеченный текст; карточка указывает немецкий и английский языки. На пилотной проверке корректный TEI XML получен для 99,83% записей, точное совпадение с эталонной разметкой — для 42,50%; эти результаты относятся к первому пилоту и являются ограниченной проверкой, а не полной оценкой выпущенной версии. Лицензия указана как other, конкретные условия в карточке не раскрыты.

Сценарии применения

разметка библиографических цитат в TEI XML
извлечение авторов, названий и дат из цитат
структурирование ссылок в сносках научных работ
обработка сокращённых ссылок вроде «ibid.» и «Id.»
разметка цитат, смешанных с авторским текстом

Ограничения

Пилотная оценка показывает высокую долю синтаксически корректного TEI XML, но точное совпадение с эталоном заметно ниже; опубликованные метрики не являются полной оценкой выпущенного чекпойнта. Указана лицензия other, поэтому условия использования следует уточнить по карточке репозитория.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

TEI Bibliographic Annotator

A LoRA fine-tune of Qwen/Qwen2.5-3B-Instruct, merged back into the base weights, that tags a plain-text bibliographic citation with inline TEI XML markup. It reproduces the input text exactly, inserting tags around the spans that carry bibliographic structure (author, title, date, publisher, and so on) — nothing is paraphrased or normalized away. The output is just the tagged citation: no XML declaration, no wrapping element.

Source & training pipeline: github.com/cboulanger/tei-annotation-model · Live demo: cmboulanger/tei-bibl-annotator-demo

The training citations come from footnotes in legal-sociology scholarship (mostly German, some English), where citations are frequently given in short-form or anaphoric form ("Id.", "ibid.", a bare case name introduced earlier) and are mixed in with the author's own prose — harder than the clean one-per-line entries of a reference list.

Example:

input:  Scheingold, The Politics of Rights (1974).
output: <author><persName><surname>Scheingold</surname></persName>,</author>
        <title level="a">The Politics of Rights</title> <date>(1974).</date>

This release

Model label: citext-exparser
Model repo: cmboulanger/tei-bibl-annotator-citext-exparser
Training corpora: citext-tei-enriched, exparser-tei
Released: 2026-09-03T14:41:49.151752+00:00

Dataset splits used for this checkpoint:

train: 16279 records / 418 documents
dev: 2144 records / 14 documents
test: 2147 records / 17 documents

Sanity eval of the merged checkpoint on the dev split:

[1/300] citext-tei-enriched/10.1515_zfrs-1984-0208#0: parsed=True exact_match=False
[2/300] citext-tei-enriched/10.1515_zfrs-1984-0208#7: parsed=True exact_match=False
[3/300] citext-tei-enriched/10.1515_zfrs-1984-0208#14: parsed=True exact_match=True
[4/300] citext-tei-enriched/10.1111_1467-6478.00040#5: parsed=True exact_match=True
[5/300] citext-tei-enriched/10.1111_1467-6478.00040#12: parsed=True exact_match=True
[6/300] citext-tei-enriched/10.1111_1467-6478.00040#19: parsed=True exact_match=True
[7/300] citext-tei-enriched/10.1111_1467-6478.00040#26: parsed=True exact_match=False
[8/300] citext-tei-enriched/10.1111_1467-6478.00040#34: parsed=True exact_match=True
[9/300] citext-tei-enriched/10.1111_1467-6478.00040#41: parsed=True exact_match=True
[10/300] citext-tei-enriched/10.1111_1467-6478.00040#48: parsed=True exact_match=False
[11/300] citext-tei-enriched/10.1111_1467-6478.00040#55: parsed=True exact_match=True
[12/300] citext-tei-enriched/10.1111_1467-6478.00040#62: parsed=True exact_match=False
[13/300] citext-tei-enriched/10.1111_1467-6478.00040#69: parsed=True exact_match=False
[14/300] citext-tei-enriched/10.1111_1467-6478.00040#76: parsed=True exact_match=False
[15/300] citext-tei-enriched/10.1111_1467-6478.00040#84: parsed=True exact_match=True
[16/300] citext-tei-enriched/10.1515_zfrs-1980-0203#5: parsed=True exact_match=False
[17/300] citext-tei-enriched/10.1515_zfrs-1980-0203#12: parsed=True exact_match=False
[18/300] citext-tei-enriched/10.1515_zfrs-1980-0203#19: parsed=True exact_match=False
[19/300] citext-tei-enriched/10.1515_zfrs-1980-0203#26: parsed=True exact_match=False
[20/300] citext-tei-enriched/10.1515_zfrs-1980-0203#33: parsed=True exact_match=False
[21/300] citext-tei-enriched/10.1515_zfrs-1980-0203#40: parsed=True exact_match=False
[22/300] citext-tei-enriched/10.1515_zfrs-1980-0203#48: parsed=True exact_match=False
[23/300] citext-tei-enriched/10.1515_zfrs-1980-0203#55: parsed=True exact_match=False
[24/300] citext-tei-enriched/10.1515_zfrs-1980-0203#62: parsed=True exact_match=False
[25/300] citext-tei-enriched/10.1111_1467-6478.00081#6: parsed=True exact_match=False
[26/300] citext-tei-enriched/10.1111_1467-6478.00081#13: parsed=True exact_match=False
[27/300] citext-tei-enriched/10.1111_1467-6478.00081#20: parsed=True exact_match=False
[28/300] citext-tei-enriched/10.1111_1467-6478.00081#27: parsed=True exact_match=False
[29/300] citext-tei-enriched/10.1515_zfrs-1984-0108#3: parsed=True exact_match=False
[30/300] citext-tei-enriched/10.1515_zfrs-1984-0108#10: parsed=True exact_match=True
[31/300] citext-tei-enriched/10.1515_zfrs-1984-0108#17: parsed=True exact_match=False
[32/300] citext-tei-enriched/10.1515_zfrs-1984-0108#24: parsed=True exact_match=True
[33/300] citext-tei-enriched/10.1515_zfrs-1984-0108#31: parsed=True exact_match=False
[34/300] citext-tei-enriched/10.1515_zfrs-1984-0108#38: parsed=True exact_match=True
[35/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#0: parsed=True exact_match=True
[36/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#8: parsed=True exact_match=False
[37/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#15: parsed=True exact_match=False
[38/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#22: parsed=True exact_match=False
[39/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#29: parsed=True exact_match=False
[40/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#36: parsed=True exact_match=False
[41/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#43: parsed=True exact_match=True
[42/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#51: parsed=True exact_match=False
[43/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#58: parsed=True exact_match=False
[44/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#65: parsed=True exact_match=False
[45/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#72: parsed=True exact_match=True
[46/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#79: parsed=False exact_match=False
[47/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#86: parsed=True exact_match=False
[48/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#93: parsed=True exact_match=True
[49/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#101: parsed=True exact_match=True
[50/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#108: parsed=True exact_match=False
[51/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#115: parsed=True exact_match=False
[52/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#122: parsed=True exact_match=False
[53/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#129: parsed=True exact_match=True
[54/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#136: parsed=True exact_match=True
[55/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#143: parsed=True exact_match=True
[56/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#151: parsed=True exact_match=False
[57/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#158: parsed=True exact_match=False
[58/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#165: parsed=True exact_match=False
[59/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#172: parsed=True exact_match=False
[60/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#179: parsed=True exact_match=True
[61/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#186: parsed=True exact_match=True
[62/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#193: parsed=True exact_match=False
[63/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#201: parsed=True exact_match=False
[64/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#208: parsed=True exact_match=True
[65/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#215: parsed=True exact_match=False
[66/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#222: parsed=True exact_match=False
[67/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#229: parsed=True exact_match=False
[68/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#236: parsed=True exact_match=False
[69/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#243: parsed=False exact_match=False
[70/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#251: parsed=True exact_match=False
[71/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#258: parsed=True exact_match=False
[72/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#265: parsed=True exact_match=False
[73/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#272: parsed=True exact_match=False
[74/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#279: parsed=True exact_match=False
[75/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#286: parsed=True exact_match=False
[76/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#294: parsed=True exact_match=False
[77/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#301: parsed=True exact_match=True
[78/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#308: parsed=True exact_match=False
[79/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#315: parsed=True exact_match=False
[80/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#322: parsed=True exact_match=True
[81/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#329: parsed=True exact_match=False
[82/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#336: parsed=True exact_match=False
[83/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#344: parsed=True exact_match=True
[84/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#351: parsed=True exact_match=False
[85/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#358: parsed=True exact_match=False
[86/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#365: parsed=True exact_match=False
[87/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#372: parsed=True exact_match=True
[88/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#379: parsed=True exact_match=False
[89/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#386: parsed=True exact_match=False
[90/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#394: parsed=True exact_match=False
[91/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#401: parsed=True exact_match=True
[92/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#408: parsed=True exact_match=True
[93/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#415: parsed=True exact_match=False
[94/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#422: parsed=True exact_match=False
[95/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#429: parsed=True exact_match=False
[96/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#436: parsed=True exact_match=False
[97/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#444: parsed=True exact_match=True
[98/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#451: parsed=True exact_match=False
[99/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#458: parsed=True exact_match=False
[100/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#465: parsed=True exact_match=False
[101/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#472: parsed=True exact_match=False
[102/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#479: parsed=True exact_match=False
[103/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#486: parsed=True exact_match=True
[104/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#494: parsed=True exact_match=False
[105/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#501: parsed=True exact_match=False
[106/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#508: parsed=True exact_match=True
[107/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#515: parsed=True exact_match=False
[108/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#522: parsed=True exact_match=True
[109/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#529: parsed=True exact_match=False
[110/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#536: parsed=True exact_match=False
[111/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#544: parsed=True exact_match=False
[112/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#551: parsed=False exact_match=False
[113/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#558: parsed=True exact_match=False
[114/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#565: parsed=True exact_match=False
[115/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#572: parsed=True exact_match=False
[116/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#579: parsed=True exact_match=True
[117/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#587: parsed=True exact_match=False
[118/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#594: parsed=True exact_match=False
[119/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#601: parsed=True exact_match=True
[120/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#608: parsed=True exact_match=True
[121/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#615: parsed=True exact_match=False
[122/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#622: parsed=True exact_match=False
[123/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#629: parsed=True exact_match=False
[124/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#637: parsed=True exact_match=False
[125/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#644: parsed=True exact_match=False
[126/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#651: parsed=True exact_match=False
[127/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#658: parsed=True exact_match=True
[128/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#665: parsed=True exact_match=True
[129/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#672: parsed=True exact_match=True
[130/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#679: parsed=True exact_match=False
[131/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#687: parsed=True exact_match=False
[132/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#694: parsed=True exact_match=True
[133/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#701: parsed=True exact_match=False
[134/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#708: parsed=True exact_match=True
[135/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#715: parsed=True exact_match=True
[136/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#722: parsed=True exact_match=True
[137/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#729: parsed=True exact_match=True
[138/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#737: parsed=True exact_match=True
[139/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#744: parsed=True exact_match=False
[140/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#751: parsed=True exact_match=True
[141/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#758: parsed=True exact_match=False
[142/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#765: parsed=True exact_match=True
[143/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#772: parsed=True exact_match=False
[144/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#779: parsed=True exact_match=True
[145/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#787: parsed=True exact_match=False
[146/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#794: parsed=False exact_match=False
[147/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#801: parsed=True exact_match=False
[148/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#808: parsed=True exact_match=True
[149/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#815: parsed=True exact_match=False
[150/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#822: parsed=True exact_match=True
[151/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#830: parsed=True exact_match=True
[152/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#837: parsed=True exact_match=False
[153/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#844: parsed=True exact_match=True
[154/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#851: parsed=True exact_match=False
[155/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#858: parsed=True exact_match=True
[156/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#865: parsed=True exact_match=True
[157/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#872: parsed=True exact_match=False
[158/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#880: parsed=True exact_match=True
[159/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#887: parsed=True exact_match=True
[160/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#894: parsed=True exact_match=False
[161/300] citext-tei-enriched/Luhmann (1983) Rechtssoziologie#901: parsed=True exact_match=False
[162/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#2: parsed=True exact_match=True
[163/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#9: parsed=True exact_match=False
[164/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#16: parsed=True exact_match=False
[165/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#24: parsed=True exact_match=False
[166/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#31: parsed=True exact_match=True
[167/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#38: parsed=True exact_match=False
[168/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#45: parsed=True exact_match=True
[169/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#52: parsed=True exact_match=True
[170/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#59: parsed=True exact_match=True
[171/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#66: parsed=True exact_match=True
[172/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#74: parsed=True exact_match=False
[173/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#81: parsed=True exact_match=True
[174/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#88: parsed=True exact_match=True
[175/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#95: parsed=True exact_match=False
[176/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#102: parsed=True exact_match=True
[177/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#109: parsed=True exact_match=True
[178/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#116: parsed=True exact_match=False
[179/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#124: parsed=True exact_match=False
[180/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#131: parsed=True exact_match=False
[181/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#138: parsed=True exact_match=True
[182/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#145: parsed=True exact_match=True
[183/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#152: parsed=True exact_match=True
[184/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#159: parsed=True exact_match=True
[185/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#166: parsed=True exact_match=True
[186/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#174: parsed=True exact_match=False
[187/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#181: parsed=True exact_match=True
[188/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#188: parsed=True exact_match=True
[189/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#195: parsed=True exact_match=True
[190/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#202: parsed=True exact_match=True
[191/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#209: parsed=True exact_match=True
[192/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#217: parsed=True exact_match=True
[193/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#224: parsed=True exact_match=True
[194/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#231: parsed=True exact_match=True
[195/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#238: parsed=True exact_match=False
[196/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#245: parsed=True exact_match=False
[197/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#252: parsed=True exact_match=True
[198/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#259: parsed=True exact_match=True
[199/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#267: parsed=True exact_match=False
[200/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#274: parsed=True exact_match=True
[201/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#281: parsed=True exact_match=False
[202/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#288: parsed=True exact_match=True
[203/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#295: parsed=True exact_match=True
[204/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#302: parsed=True exact_match=True
[205/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#309: parsed=True exact_match=True
[206/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#317: parsed=True exact_match=False
[207/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#324: parsed=True exact_match=False
[208/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#331: parsed=True exact_match=False
[209/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#338: parsed=True exact_match=False
[210/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#345: parsed=True exact_match=False
[211/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#352: parsed=True exact_match=False
[212/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#359: parsed=True exact_match=False
[213/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#367: parsed=True exact_match=False
[214/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#374: parsed=True exact_match=False
[215/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#381: parsed=True exact_match=True
[216/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#388: parsed=True exact_match=False
[217/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#395: parsed=True exact_match=False
[218/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#402: parsed=True exact_match=True
[219/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#409: parsed=True exact_match=True
[220/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#417: parsed=True exact_match=False
[221/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#424: parsed=True exact_match=False
[222/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#431: parsed=True exact_match=False
[223/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#438: parsed=True exact_match=True
[224/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#445: parsed=True exact_match=True
[225/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#452: parsed=True exact_match=True
[226/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#460: parsed=True exact_match=False
[227/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#467: parsed=True exact_match=True
[228/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#474: parsed=True exact_match=False
[229/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#481: parsed=True exact_match=True
[230/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#488: parsed=True exact_match=False
[231/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#495: parsed=True exact_match=False
[232/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#502: parsed=True exact_match=False
[233/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#510: parsed=True exact_match=True
[234/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#517: parsed=True exact_match=True
[235/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#524: parsed=True exact_match=False
[236/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#531: parsed=True exact_match=True
[237/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#538: parsed=True exact_match=True
[238/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#545: parsed=True exact_match=True
[239/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#552: parsed=True exact_match=False
[240/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#560: parsed=True exact_match=True
[241/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#567: parsed=True exact_match=False
[242/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#574: parsed=True exact_match=False
[243/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#581: parsed=True exact_match=True
[244/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#588: parsed=True exact_match=True
[245/300] citext-tei-enriched/Gurvitch (1974) Grundzüge der Soziologie des Rechts#595: parsed=True exact_match=False
[246/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#3: parsed=True exact_match=True
[247/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#11: parsed=True exact_match=True
[248/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#18: parsed=True exact_match=False
[249/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#25: parsed=True exact_match=False
[250/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#32: parsed=True exact_match=True
[251/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#39: parsed=True exact_match=True
[252/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#46: parsed=True exact_match=True
[253/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#53: parsed=True exact_match=False
[254/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#61: parsed=True exact_match=False
[255/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#68: parsed=True exact_match=False
[256/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#75: parsed=True exact_match=False
[257/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#82: parsed=True exact_match=True
[258/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#89: parsed=True exact_match=True
[259/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#96: parsed=True exact_match=False
[260/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#103: parsed=True exact_match=False
[261/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#111: parsed=True exact_match=True
[262/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#118: parsed=True exact_match=False
[263/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#125: parsed=True exact_match=False
[264/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#132: parsed=True exact_match=False
[265/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#139: parsed=True exact_match=True
[266/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#146: parsed=True exact_match=True
[267/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#154: parsed=True exact_match=True
[268/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#161: parsed=True exact_match=True
[269/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#168: parsed=True exact_match=False
[270/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#175: parsed=True exact_match=False
[271/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#182: parsed=True exact_match=False
[272/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#189: parsed=True exact_match=True
[273/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#196: parsed=True exact_match=False
[274/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#204: parsed=True exact_match=False
[275/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#211: parsed=True exact_match=False
[276/300] citext-tei-enriched/Opp (1973) Soziologie im Recht#218: parsed=True exact_match=False
[277/300] exparser-tei/20044#2: parsed=True exact_match=True
[278/300] exparser-tei/20044#9: parsed=True exact_match=False
[279/300] exparser-tei/20044#16: parsed=True exact_match=False
[280/300] exparser-tei/20044#23: parsed=True exact_match=True
[281/300] exparser-tei/20044#31: parsed=True exact_match=False
[282/300] exparser-tei/20044#38: parsed=True exact_match=False
[283/300] exparser-tei/20044#45: parsed=True exact_match=True
[284/300] exparser-tei/20044#52: parsed=True exact_match=False
[285/300] exparser-tei/20044#59: parsed=True exact_match=False
[286/300] exparser-tei/20044#66: parsed=True exact_match=False
[287/300] exparser-tei/20044#73: parsed=True exact_match=True
[288/300] citext-tei-enriched/10.1515_zfrs-1989-0202#5: parsed=True exact_match=False
[289/300] citext-tei-enriched/10.1515_zfrs-1989-0202#12: parsed=True exact_match=True
[290/300] citext-tei-enriched/10.1515_zfrs-1989-0202#19: parsed=True exact_match=False
[291/300] citext-tei-enriched/10.1515_zfrs-1989-0202#26: parsed=True exact_match=True
[292/300] citext-tei-enriched/10.1515_zfrs-1989-0202#33: parsed=True exact_match=False
[293/300] citext-tei-enriched/10.1515_zfrs-1980-0105#3: parsed=True exact_match=False
[294/300] citext-tei-enriched/10.1515_zfrs-1980-0105#10: parsed=True exact_match=False
[295/300] citext-tei-enriched/10.1515_zfrs-1980-0105#18: parsed=True exact_match=False
[296/300] citext-tei-enriched/10.1111_1467-6478.00033#2: parsed=True exact_match=False
[297/300] citext-tei-enriched/10.1111_1467-6478.00033#9: parsed=True exact_match=False
[298/300] citext-tei-enriched/10.1111_1467-6478.00033#16: parsed=True exact_match=True
[299/300] citext-tei-enriched/10.1515_zfrs-1985-0207#5: parsed=True exact_match=False
[300/300] citext-tei-enriched/10.1515_zfrs-1985-0207#12: parsed=True exact_match=False

=== /ptmp/cboul/tei-sft-citext-exparser/merged ===
records: 300
parse_success_rate=0.9867 exact_match_rate=0.4033 (parsed=296 exact=121)

The "Results" and "Training data" sections below describe the first training pilot and are kept for methodology; the numbers above are the ones for this released label.

License

This checkpoint is for research use only. The base model, Qwen/Qwen2.5-3B-Instruct, is released under Alibaba's Qwen Research License, which restricts commercial use. Because the LoRA adapter is merged directly into the base weights, this checkpoint is a derivative work and inherits those terms. See the linked license text for the exact conditions.

How to use

The model expects the same chat prompt used during training and evaluation: a fixed system instruction plus the raw citation as the user turn. Generation is greedy (do_sample=False), max_new_tokens=1024.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

REPO = "cmboulanger/tei-bibl-annotator"
DEVICE = "cuda" if torch.cuda.is_available() else "cpu"

INSTRUCTIONS = (
    "Tag this bibliographic citation with inline TEI XML markup, exactly "
    "reproducing the input text with tags inserted around the parts that "
    "carry structure (author, title, date, etc). Output only the tagged "
    "citation, with no XML declaration or wrapping element."
)


def build_messages(input_text: str) -> list[dict]:
    return [
        {"role": "system", "content": INSTRUCTIONS},
        {"role": "user", "content": input_text},
    ]


tokenizer = AutoTokenizer.from_pretrained(REPO)
model = AutoModelForCausalLM.from_pretrained(REPO, dtype=torch.bfloat16).to(DEVICE)
model.eval()

input_text = "Scheingold, The Politics of Rights (1974)."
inputs = tokenizer.apply_chat_template(
    build_messages(input_text), add_generation_prompt=True,
    tokenize=True, return_dict=True, return_tensors="pt",
).to(DEVICE)

with torch.inference_mode():
    generated = model.generate(**inputs, max_new_tokens=1024, do_sample=False)
completion_ids = generated[:, inputs["input_ids"].shape[1]:]
print(tokenizer.batch_decode(completion_ids, skip_special_tokens=True)[0].strip())

Results

First training pilot: LoRA fine-tune (rank 16, all attention + MLP projections) for 3 epochs over the 9,050-record train set; training loss dropped to 0.028. Scored on the full 1,207-record held-out dev set:

Metric	Result
Parse success (valid TEI XML)	99.83% (1,205 / 1,207)
Exact match (byte-identical to gold markup)	42.50% (513 / 1,207)

These are a lightweight sanity signal — is the output well-formed, and how often is a citation exactly right — not a full per-field or per-tier evaluation.

Training data

99 TEI documents, each a <listBibl> of individually tagged <bibl> citation records extracted from footnotes. After filtering one degenerate record, 11,467 records remain, split by whole document (a document's citations are never split across sets) at roughly an 80/10/10 ratio:

Split	Documents	Records
train	78	9,050
dev	10	1,207
test	10	1,210

The split is stratified so the rare legal tier (citations containing a case reference) appears in the dev and test sets, not only in train.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen2ForCausalLM
Ревизия весов: e230c05