I.3Извлечение и структурирование данных

Veridex-QA-cuad-deberta-v3 — англоязычная модель извлечения ответов для поиска положений, связанных с рисками, в коммерческих договорах. Её разработали для сервиса Veridex; модель дообучена полным fine-tuning Microsoft DeBERTa-v3-base на наборе CUAD с экспертной разметкой юристов. Архитектура — DeBERTa-v2 для вопросно-ответной задачи, размер — 211,6 млн параметров, контекст — 512 токенов. На вход подаются текст договора и вопрос о категории положения; на выходе модель выделяет точный фрагмент текста или воздерживается от ответа, если положение не найдено. Она предназначена для предварительной проверки договоров поставки, дистрибуции, лицензирования, обслуживания, NDA и соглашений с аффилированными лицами: помогает находить, например, условия расторжения, ограничения ответственности, автопродления, эксклюзивности и смены контроля. Для обработки длинных договоров README рекомендует скользящие окна. Модель показала F1 87,06 и exact match 83,98 на тестовой выборке CUAD, однако результат зависит от категории: похожие формулировки могут путаться, а основной тип ошибки — ложные срабатывания. Она рассчитана только на англоязычные договоры, основанные на коммерческих соглашениях США; другие языки, юрисдикции и стили договоров не проверялись. Это инструмент первичного отбора, а не юридическая консультация или основание для самостоятельного принятия договорных решений. Лицензия — CC BY 4.0.

ViGOS-3B — мультимодальная модель для анализа изображений, разработанная в рамках подхода Visual Grounding On-Policy Self-Distillation. Это дообученная версия Qwen/Qwen2.5-VL-3B-Instruct с архитектурой Qwen2.5-VL, примерно 3,1 млрд параметров и контекстом до 128 000 токенов. Она принимает изображение и вопрос или инструкцию и генерирует текстовый ответ; при запросе может описывать визуальные признаки, рассуждать и выдавать итоговый ответ. Модель предназначена для исследований и разработки в области визуальных вопросов и ответов, визуальной математики, анализа диаграмм и графиков, OCR с опорой на изображение, пространственных рассуждений и визуального заземления. Метод обучения направлен на то, чтобы модель сначала сформировала описание изображения, прежде чем рассуждать и отвечать; на инференсе используются только изображение, запрос и формат ответа. В карточке приведены результаты на бенчмарках, включая MM-Vet, MMMU и ViLP. Модель может выдавать правдоподобные, но неверные описания и рассуждения, поэтому её ответы требуют проверки. Её не следует использовать как единственного принимающего решения инструмента в медицине, праве, финансах, робототехнике с критическими требованиями к безопасности, наблюдении или идентификации. Лицензия указана как other; конкретные условия использования следует уточнить в карточке репозитория.

Модель khadija69/xlmRobertaLarge_BIES_stem_1K_2 разработана как дообученная версия khadija69/xlmRobertaLarge_BIES_stem_1K_1 на неизвестном наборе данных. Это XLM-RoBERTa large с архитектурой XLMRobertaForTokenClassification, предназначенная для классификации и разметки токенов в тексте. Модель содержит 658,7 млн параметров и принимает последовательности длиной до 514 токенов. В карточке приведены результаты на валидационной выборке после пяти эпох: точность 0,5520 и функция потерь 0,8697; обучающая точность составила 0,6458. Данные обучения и конкретные классы разметки не описаны, поэтому применимость к определённой задаче извлечения сущностей или тегирования следует проверять отдельно. Модель распространяется по лицензии MIT.

Ælæctra Danish ELECTRA Small Cased — датская языковая модель на архитектуре ELECTRA, созданная Malte Højmark-Bertelsen в рамках бакалаврской работы по когнитивистике. Модель содержит 20,8 млн параметров, обучена на датском корпусе Danish Gigaword (DAGW) по схеме ELECTRA с задачей выявления заменённых токенов. Для обработки текста использует регистр букв и поддерживает контекст до 512 токенов. Модель предназначена для задач обработки датского языка и может служить компактной основой для дообучения, в частности для распознавания именованных сущностей. В оценке на DaNE её F1 ниже, чем у DaBERT и mBERT, но модель существенно меньше и требует меньше вычислительных ресурсов. Карточка рекомендует дальнейшую оценку на других задачах. Доступны веса PyTorch и TensorFlow; лицензия MIT.

CAMeLBERT-MSA — предобученная на современном литературном арабском языке модель BERT, разработанная CAMeL Lab. Это вариант семейства CAMeLBERT для MSA, обученный на корпусах арабских текстов общим объёмом 107 ГБ; модель содержит 136,3 млн параметров и принимает последовательности длиной до 512 токенов. Доступны версии весов для PyTorch, TensorFlow и Flax. Модель предназначена для восстановления скрытых токенов в тексте и как основа для дообучения под задачи NLP на арабском языке, в том числе распознавание именованных сущностей, разметку частей речи, анализ тональности, определение диалекта и классификацию поэзии. Предобучение на MSA делает её подходящей для текстов на современном литературном арабском, но не гарантирует одинакового качества на разговорных диалектах или классическом арабском. Максимальная длина контекста — 512 токенов. Лицензия — Apache-2.0.

Matthijsvanhof/bert-base-dutch-cased-finetuned-mBERT — дообученная модель DistilBERT для классификации токенов, созданная на базе distilbert-base-multilingual-cased. Она предназначена для присвоения меток отдельным токенам входного текста; конкретный набор меток и целевой сценарий в карточке не раскрыты. Модель имеет контекст длиной до 512 токенов и распространяется в формате PyTorch по лицензии Apache-2.0. В README приведены результаты оценки: F1 и точность по полноте составляют 0,7255, accuracy — 0,9758, loss — 0,0898. Датасет и ограничения применения не описаны, поэтому эти метрики нельзя привязать к конкретной задаче или оценить переносимость модели на новые данные.

dbmdz German BERT uncased — немецкоязычная модель BERT, выпущенная командой MDZ Digital Library Баварской государственной библиотеки. Это вариант без различения регистра, предназначенный для восстановления замаскированных слов и дальнейшей адаптации к задачам обработки немецкого языка. Модель содержит 137,1 млн параметров, использует архитектуру BERT для masked language modeling и принимает последовательности длиной до 512 токенов. Модель предварительно обучена на корпусе объёмом около 16 ГБ и 2,35 млрд токенов, включающем Википедию, EU Bookshop, Open Subtitles, CommonCrawl, ParaCrawl и News Crawl. Её можно применять для заполнения пропусков в немецком тексте и как основу для дообучения на задачах, например, распознавания именованных сущностей или разметки частей речи. Лицензия — MIT. Карточка перечисляет PyTorch, TensorFlow и Flax-версии весов.

dbmdz/bert-base-italian-uncased — базовая модель BERT для итальянского языка, опубликованная командой MDZ Digital Library Баварской государственной библиотеки. Это плотный трансформерный энкодер BertForMaskedLM с 137,1 млн параметров и контекстом до 512 токенов; модель обучена без учёта регистра букв. Модель предназначена прежде всего для заполнения пропусков в итальянском тексте и может служить основой для последующей адаптации под задачи обработки языка, например распознавание именованных сущностей или разметку частей речи. Обучающий корпус объёмом 13 ГБ включал свежую выгрузку Wikipedia и тексты из OPUS; README сообщает о 2 050 057 573 токенах. Поддерживаются форматы PyTorch, TensorFlow и Flax, а репозиторий включает веса Safetensors. Модель ориентирована на итальянский и не является разговорным чат-ассистентом или генератором текста общего назначения. Для специализированных downstream-задач может потребоваться дообучение. Распространяется по лицензии MIT.

Карточка модели dkleczek/bert-base-polish-cased-v1 на Hugging Face совпадает с карточкой dkleczek/bert-base-polish-uncased-v1, поэтому описание составлено по ней. dkleczek/bert-base-polish-uncased-v1 — uncased польская языковая модель BERT, созданная Дареком Клечеком (Darek Kłeczek). Она предназначена для заполнения замаскированных фрагментов текста и дальнейшего дообучения для задач понимания польского языка. Модель основана на архитектуре BERT с 12 слоями, размерностью скрытого состояния 768 и 12 головами внимания; метаданные указывают 159,3 млн параметров и контекст до 512 токенов. Доступны веса PyTorch и Flax. Модель обучалась на польских текстах из Open Subtitles, ParaCrawl и Польского парламентского корпуса. Автор отмечает, что в uncased-варианте некоторые польские символы и диакритические знаки могут некорректно обрабатываться токенизатором после приведения к нижнему регистру; это может особенно влиять на классификацию токенов. Обучающий корпус Open Subtitles также содержал много дубликатов, а обучение не использовало Whole Word Masking. Автор рекомендует cased-вариант. В карточке не указана лицензия.

Модель sachaarbonel/bert-italian-cased-finetuned-pos — дообученная Sacha Arbonel итальянская версия BERT Base для разметки частей речи в тексте. Она обучена на итальянской части набора XTREME UD POS и присваивает каждому токену одну из 17 меток, включая существительное, глагол, прилагательное, пунктуацию и другие категории. Модель содержит 137,1 млн параметров, имеет архитектуру BERT для классификации токенов и принимает последовательности длиной до 512 токенов. В README указаны F1 97,25, точность 97,15 и полнота 97,36 на оценочном наборе. Репозиторий содержит веса PyTorch и Flax, включая формат safetensors. Лицензия в предоставленных данных не указана.

Модель muhtasham/bert-small-finetuned-xglue-ner — компактная модель BERT, дообученная на наборе WNUT 17 для распознавания именованных сущностей и классификации токенов. Она принимает текст и присваивает метки отдельным токенам, поэтому подходит для извлечения сущностей из пользовательских текстов. В основе лежит google/bert_uncased_L-4_H-512_A-8; модель содержит 32,4 млн параметров и поддерживает контекст до 512 токенов. На оценочной выборке WNUT 17 указаны F1 0,4749, точность 0,5932, полнота 0,3959 и accuracy 0,9252. Эти результаты указывают на ограниченное качество извлечения сущностей, особенно по полноте; перед применением в конкретной области модель следует проверить на соответствующих данных. Лицензия — Apache 2.0.

pzryathzsdhc/cti-ner-roberta-large — крупная модель RoBERTa, дообученная для распознавания именованных сущностей в англоязычных бюллетенях CISA по киберугрозам. Она размечает текст в формате BIO и выделяет 16 типов сущностей: идентификаторы и названия техник атак, CVE и CWE, хеши, имена и пути файлов, IP-адреса, адреса электронной почты, семейства вредоносных программ, группы угроз, инструменты взлома, тактики, классификации TLP, имена правил YARA и затронутые программные продукты. Модель содержит 454,1 млн параметров, принимает текст и имеет контекст 514 токенов. При обработке длинных бюллетеней следует использовать скользящие окна: обычный однопроходный вызов токенизатора может усекать текст, особенно насыщенный хешами. На тестовой выборке из восьми бюллетеней строгая micro-F1 составила 0,63, расслабленная — 0,69; небольшой размер теста ограничивает надёжность оценки. Обучающие метки были предложены LLM и проверены валидаторами формата span, а тестовую разметку курировали люди. Модель выпущена под лицензией MIT.

guidobenb/DarkBERT-finetuned-ner — англоязычная модель распознавания именованных сущностей для анализа описаний киберинцидентов. Она разработана на базе s2w-ai/DarkBERT и дообучена на данных VCDB в формате VERIS; архитектура — RoBERTa для классификации токенов, около 151,8 млн параметров, контекст — до 514 токенов. Модель предназначена для извлечения сущностей категорий VERIS 4A: участников инцидента, активов, действий и атрибутов. Её можно применять для структурирования отчетов об инцидентах, сбора данных киберразведки и анализа открытых сведений об утечках, вторжениях, вредоносном ПО и DDoS-атаках. В опубликованной оценке F1 составляет 0,5014, precision — 0,4628, recall — 0,5470, поэтому результаты требуют проверки и могут пропускать или неверно размечать сущности. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Исходная модель DarkBERT предварительно обучена на текстах даркнета, а обучающие данные этой версии происходят из публичной базы инцидентов VCDB.

Koichi Yasuoka разработал модель DeBERTa V2 large для разметки японского текста частями речи по универсальной системе UPOS. Она дообучена на текстах Aozora Bunko на основе KoichiYasuoka/deberta-large-japanese-aozora и присваивает тег UPOS каждому длинному слову; модель также предназначена для анализа зависимостей. Модель принимает японский текст и выдаёт метки для токенов. Архитектура — DeBERTa V2 с 435,4 млн параметров, контекст — до 512 токенов. Репозиторий содержит веса PyTorch. Лицензия — CC BY-SA 4.0.

Koichi Yasuoka разработал эту модель на архитектуре DeBERTa-v2 для разметки частей речи в китайском тексте. Она дообучена на базе IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese и присваивает каждому слову тег UPOS из универсального набора частей речи. Модель предназначена для POS-разметки и разбора зависимостей; метаданные Hugging Face указывают задачу классификации токенов и датасет Universal Dependencies. Модель содержит 930,7 млн параметров, работает с китайским языком и поддерживает упрощённое и традиционное письмо. Родной размер контекста — 512 токенов. Веса доступны в формате PyTorch, лицензия — Apache-2.0. Карточка не уточняет ограничения качества или точный формат вывода разбора зависимостей.

DictaBERT Large Parse — модель семейства BERT, выпущенная Dicta для совместного синтаксического и морфологического разбора современного иврита. Это дообученная версия dictabert-large-joint, адаптированная к методам разметки корпусов Hebrew UD Treebank и NEMO. Модель содержит около 533,7 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. Модель выполняет сегментацию префиксов, морфологическое снятие неоднозначности, лемматизацию, синтаксический разбор зависимостей и распознавание именованных сущностей. Результат можно получить в JSON или в форматах Universal Dependencies, включая вариант, адаптированный к стилю IAHLT. Лицензия — CC BY 4.0.

Xenova/distilbert-base-cased-distilled-squad — модель для извлечения ответов на вопросы по заданному контексту. Она представляет собой веб-совместимую версию distilbert-base-cased-distilled-squad, подготовленную сообществом Xenova и содержащую веса в формате ONNX для работы с библиотекой Transformers.js. Модель предназначена для сценариев question answering, включая запуск непосредственно в JavaScript-приложениях и веб-среде. Пользователь передаёт вопрос и фрагмент текста, а модель определяет соответствующий ответ в контексте. Архитектурно это дистиллированная версия BERT на базе DistilBERT с регистрозависимым токенизатором; точные размер, поддерживаемые языки, модальности и максимальная длина контекста в README не указаны. Приведённый пример относится к английскому языку, поэтому языковые возможности следует считать неуточнёнными. Сильные стороны модели — компактный формат ONNX и интеграция с Transformers.js, что упрощает использование в веб-приложениях и JavaScript-проектах. Ограничение состоит в узкой специализации: модель отвечает на вопросы только на основе предоставленного контекста и не предназначена для свободной генерации текста или поиска внешних знаний. Лицензия в README не указана; условия использования необходимо уточнять в исходном репозитории базовой модели и связанных материалах.

Карточка модели EdgeAIMed/EdgeAIMed-NER-OncologyDetect-SuperClinical-141M на Hugging Face совпадает с карточкой OpenMed/OpenMed-NER-OncologyDetect-SuperClinical-141M, поэтому описание составлено по ней. OpenMed разработала OpenMed-NER-OncologyDetect-SuperClinical-141M — специализированную модель распознавания и классификации биомедицинских сущностей в тексте. Это дообученная модель архитектуры DeBERTa v2 примерно на 155 млн параметров; она принимает токенизированный текст и выдаёт предсказания сущностей с BIO-разметкой. В README указано обучение на корпусе BioNLP 2013 CG, ориентированном на генетику рака, и перечислены типы сущностей, включая гены и продукты генов, опухоли, ткани, органы, клетки и химические вещества. Модель предназначена для извлечения онкологических и генетических сущностей из научной литературы и клинических текстов, а также для текстового анализа в исследованиях и здравоохранении. Контекст ограничен 512 токенами. README приводит F1 0,77, точность 0,75 и полноту 0,79 на заявленной оценке; качество на других корпусах и реальных клинических документах может отличаться. Расширенные сценарии вроде выявления лекарственных взаимодействий не подтверждены отдельной оценкой модели. Лицензия — Apache-2.0.

toastynews разработала небольшую модель ELECTRA для сегментации слов в тексте. Модель дообучена на базе toastynews/electra-hongkongese-small-discriminator на корпусах HKCanCor, CityU и AS с BI-разметкой. Вариант hkt обучен на текстах из Гонконга и Тайваня; в этой линейке также есть варианты hk и модели другого размера. Модель предназначена для сегментации гонконгского кантонского и стандартного китайского текста из Гонконга. Для применения автор рекомендует библиотеку CKIP Transformers. Размер модели — 20,3 млн параметров, максимальный контекст — 512 токенов; доступны форматы PyTorch и TensorFlow. Модель хуже работает с текстами из других регионов и с английским языком. Распространяется по лицензии Apache-2.0.

Модель leeshal/flan-t5-small-resume-extractor-v2 — дообученная автором портфолио-проекта FLAN-T5-small для извлечения структурированных сведений из резюме. Она принимает текст резюме и по отдельной инструкции извлекает навыки, высшее образование и названия проектов; результаты выдаёт текстом, разделяя несколько значений точками с запятой. Архитектура — T5 для генерации последовательности, размер — 45,8 млн параметров, нативный контекст — 512 токенов. В обучении использовались только синтетические резюме на английском языке; модель опубликована в формате safetensors. На синтетическом тестовом наборе модель показала высокие результаты, но эти оценки отражают работу с синтетическим форматом и не предсказывают точность на реальных резюме. Проверка на одном реальном резюме ограничена единичным примером; длинные резюме следует подавать целиком, поскольку усечение ухудшает извлечение. Модель может придумать ответ для отсутствующего или оборванного раздела, неверно разбирает некоторые строки сертификатов и не оценивалась на справедливость. Это учебный проект, не предназначенный для решений о найме. Лицензия — Apache-2.0.

ml6team разработала distilbert-inspec — модель на базе DistilBERT, дообученная на датасете Inspec для извлечения ключевых фраз из текста. Она решает задачу разметки последовательности: каждому токену присваивается метка начала ключевой фразы, её продолжения или текста вне ключевой фразы. Модель предназначена прежде всего для извлечения ключевых фраз из аннотаций научных статей на английском языке, особенно в областях компьютеров, управления и информационных технологий. Она принимает текст и выдаёт метки токенов, которые можно объединить в ключевые фразы. Максимальная длина контекста — 512 токенов. На тестовой части Inspec модель показала F1@5 0,39 и F1@10 0,38. Авторы предупреждают, что она специализирована на аннотациях научных работ и не рекомендуется для других предметных областей. Лицензия — MIT.

kl3m-003-3.7b — компактная языковая модель, первоначально разработанная компанией 273 Ventures и переданная ALEA Institute. Это авторегрессионная модель семейства Mixtral с архитектурой Mixture of Experts: четыре локальных эксперта, из которых для каждого токена используются два. В README указан размер 3,69 млрд параметров, а в метаданных — 1,2 млрд; контекст составляет 4096 токенов. Модель обучена на английском, испанском, немецком и французском языках на данных, которые разработчики описывают как юридически допустимые. Лицензия — CC-BY 4.0. Модель предназначена для юридических, нормативных и финансовых рабочих процессов: она может генерировать текст, помогать с черновиками положений договоров, базовыми ответами на регуляторные вопросы и извлечением структурированных данных в JSON. Её также предлагают использовать как основу для доменного дообучения или обучения более крупных моделей. Разработчики отмечают низкую токсичность и эффективность запуска на потребительских GPU. Модель не настроена на выполнение инструкций и не выровнена по предпочтениям пользователей, поэтому ответы могут не соответствовать запросу и содержать правдоподобные, но неверные юридические сведения. Контекст ограничен 4096 токенами; результаты в юридических и нормативных сценариях требуют проверки специалистом. Разработчики указывают, что общие задачи могут выполняться хуже профильных.

daekeun-ml/ko-trocr-base-nsmc-news-chatbot — экспериментальная корейская модель распознавания текста на изображениях, созданная для проверки концепции на основе архитектуры TrOCR. Это модель типа VisionEncoderDecoder: в энкодере использованы веса facebook/deit-base-distilled-patch16-384, а в декодере — klue/roberta-base. Для обучения синтезировали изображения текста и собрали 637 401 текстовый пример из данных для суммаризации новостей, классификации тональности отзывов о фильмах и чат-бота. В README рекомендовано расширить обучающие данные и продолжить обучение или выполнить дообучение; гиперпараметры подбирались эвристически, без отдельной настройки. Модель выпущена под лицензией MIT.

Llama2-MedTuned-7b — дообученная по инструкциям модель семейства Llama 2, адаптированная для биомедицинских и клинических NLP-задач. Она разработана для извлечения сущностей и отношений, а также вывода по медицинским текстам; обучение проводилось примерно на 200 тысячах инструкционных примеров. Модель использует плотную авторегрессионную архитектуру Transformer LlamaForCausalLM с 6,6 млрд параметров и контекстом до 4096 токенов. Она принимает текст и генерирует текст, в том числе структурированные ответы для оценки задач вроде NER, извлечения отношений и медицинского NLI. Карточка не приводит поддерживаемые естественные языки или сравнительные результаты качества. Модель распространяется по лицензии Apache-2.0. Результаты в медицинских сценариях требуют проверки специалистом; карточка не описывает клиническую валидацию.

Local Minutes contextualizer — дообученная DuaneMB модель на базе Qwen3.5-4B для подготовки контекста к фрагментам муниципальных документов. Она принимает исходные страницы перед фрагментом и сам фрагмент, а затем формирует JSON с названием собрания, текущей темой и короткими пояснениями ссылок, имён, должностей и терминов, которые в отрывке не раскрыты. Такой контекст добавляют к фрагменту перед индексацией для поиска и RAG. Модель построена на плотной текстовой архитектуре Qwen3.5, содержит 3,4 млрд параметров и поддерживает контекст до 262 144 токенов. Она обучалась на англоязычных документах муниципалитетов Вермонта: сначала методом SFT с LoRA, затем методом GRPO; LoRA-веса объединены с базовой моделью. По оценке на тестовых отрывках дообученная версия чаще давала полезный контекст и реже пропускала нужные пояснения, чем исходная модель и прежний производственный вариант. Модель предназначена для узкой задачи контекстуализации, а не для ответов на вопросы, суммаризации или работы в качестве общего ассистента. Она может ошибочно связывать одноимённых людей; примерно в 8–11% контекстов встречались неподтверждённые источником утверждения. Обучение охватывало документы Вермонта, английский язык и один формат запроса, поэтому качество на других типах документов и форматах не гарантируется. Лицензия — Apache-2.0.

Longformer for SciCo — модель Allen Institute for AI для разрешения иерархической кореференции научных понятий между документами. Она принимает две упоминаемые сущности с контекстом каждой и классифицирует их отношение по четырём вариантам: не связаны, кореферентны, первая является родительской или дочерней по отношению ко второй. Модель основана на Longformer и предназначена для анализа научных текстов с длинным контекстом; размер составляет 151,9 млн параметров, максимальная длина контекста — 4098 токенов. Модель решает задачу многоклассовой классификации отношений между упоминаниями и может применяться для построения иерархий научных концептов по нескольким документам. В отличие от описанной в статье исходной версии, этот вариант использует двухслойный MLP поверх представления токена [CLS] вместо одного линейного слоя. Доступна в формате PyTorch, лицензия Apache-2.0.

Felldude/Ministral-3-8B-Uncensored — полноразмерное дообучение Ministral 3 для задач компьютерного зрения и языковой генерации на темах NSFW. Модель объединяет языковую часть на 8,4 млрд параметров и визуальный энкодер на 0,4 млрд параметров; поддерживает ввод изображений и текста, а также контекст длиной до 256 тыс. токенов. В карточке заявлена многоязычная поддержка, но конкретные языки не перечислены. Модель предназначена для подробного описания изображений, включая NSFW-контент, ответов на вопросы по изображениям, создания NSFW-историй и других мультимодальных диалогов. Также заявлены OCR и извлечение данных, классификация текста, перевод, вызов функций и структурированный JSON. Указаны соблюдение системных инструкций и развертывание на периферийных устройствах; пример использования требует CUDA GPU. Модель основана на mistralai/Ministral-3-8B-Base-2512 и распространяется по лицензии Apache 2.0. README не приводит результатов сравнительной оценки, поэтому качество для отдельных задач, языков и сценариев применения не подтверждено.

daominhwysi/mmbert-small-vi-exam-seq-labeling — модель токенной классификации, разработанная автором репозитория и дообученная на базе многоязычного энкодера jhu-clsp/mmBERT-base для разметки структуры экзаменационных заданий. Она предназначена для извлечения из вьетнамских экзаменационных документов номеров и меток вопросов, формулировок заданий и обозначений вариантов ответа. Модель ориентирована на школьные экзамены 8–12 классов по математике, естественным и гуманитарным предметам, а также английскому языку. Архитектура основана на ModernBERT с головой токенной классификации, объединяющей последние четыре скрытых слоя. Заявлена работа с контекстом до 8192 токенов; обучение использовало скользящие окна разных размеров. Выходная разметка следует схеме BIO. README заявляет сохранение исходных символов при реконструкции структуры, однако приведённая таблица оценки содержит несогласованные показатели: Macro F1 87,36% при Precision и Recall 0,00%, поэтому качество следует проверять на собственных данных. Модель принимает текст экзамена и выдаёт последовательностные метки; поддержка сканированных документов предполагает наличие отдельного этапа распознавания текста. Репозиторий распространяется по лицензии Apache-2.0.

MrBERT-biomed — многоязычная биомедицинская модель на архитектуре ModernBERT, разработанная Language Technologies Lab Барселонского суперкомпьютерного центра. Это энкодер с 307 млн параметров, дообученный на биомедицинском корпусе объёмом 24,13 млрд токенов в течение двух эпох; задача обучения — masked language modeling. Модель принимает текст и предсказывает замаскированные токены. Контекст — до 8192 токенов. Модель предназначена для адаптации к биомедицинским текстам, включая извлечение сущностей и поиск по медицинским публикациям. В README приведены результаты оценки распознавания биомедицинских сущностей на испанском языке; данные не подтверждают, что репозиторий включает отдельную модель эмбеддингов или поиска. Основная часть обучающих данных — английская и испанская; также использовались немецкий, итальянский, французский и небольшие доли португальского и русского. Распространяется по лицензии Apache-2.0. Авторы предупреждают о возможных смещениях и искажениях; для прикладных систем требуется учитывать соответствующие риски и требования законодательства.

OGBert v1 MLM — англоязычная модель masked language modeling, разработанная mjbommar на основе ModernBERT и обученная на синтетическом энциклопедическом словаре OpenGloss v1.1. Она предназначена прежде всего для предсказания пропущенных слов в определениях и текстах со специальной терминологией, а также для извлечения признаков и дальнейшего дообучения под профильные задачи. Модель имеет encoder-only архитектуру ModernBERT с 10 слоями, скрытым размером 384 и 36,2 млн параметров. Контекст составляет до 1024 токенов. Обучающий корпус включает около 160 млн слов и определения из 16 областей и 11 уровней чтения; модель рассчитана на английский язык. В README отмечены хорошие результаты на географической и математической терминологии, а также на задачах поиска и кластеризации. Модель доступна по лицензии Apache-2.0. Её оценки сходства слов относительно низкие, поэтому для тонкого сравнения семантической близости может потребоваться контрастивное дообучение. Качество также различается между областями: например, на искусстве и истории оно ниже, чем на географии и математике.