I.3Извлечение и структурирование данных

Qwen3.8-27B-Abliterated-SME-Preview — предварительная модель-ассистент для малого и среднего бизнеса от hotdogs, дообученная методом LoRA SFT на базе hotdogs/Qwen3.8-27B-abliterated. Это плотная гибридная модель с архитектурой Qwen3_5ForConditionalGeneration: 64 слоя, включая линейное внимание GDN и полное внимание; в репозитории представлены объединённые веса BF16 в safetensors. Модель предназначена для ответов на деловые вопросы, анализа CSV и офисных документов, а также для формирования структурированных вызовов инструментов. Модель принимает текст; в карточке указана мультимодальная обёртка с поддержкой изображений, хотя README описывает текстовые сценарии. Обучение проводилось на англоязычном наборе документов и вызовов инструментов; метаданные также указывают тайский язык. Контекст обучения — 8192 токена. Лицензия — Apache-2.0. В README приведены результаты на ARC, MMLU и GSM8K, а также проверки формата вызовов инструментов; они указывают на сохранение общих возможностей базовой модели и улучшение математического рассуждения, но полноценные агентные бенчмарки ещё не проводились. Выпуск имеет статус Preview. Склонность базовой модели отказывать снижена намеренно; для выполнения вызовов csv_* и doc_* требуется подключить инструменты к среде исполнения. BF16-версия на 27 млрд параметров требует нескольких GPU либо квантованного варианта для практического запуска.

gyr66/relation_extraction_bert_base_uncased — модель для извлечения отношений между сущностями в англоязычном тексте. Это дообученная версия BERT Base Uncased, разработанная на основе google-bert/bert-base-uncased с использованием библиотеки Transformers. Модель имеет архитектуру BertForRelationExtraction, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Модель обучена на наборе данных SemEval 2010 Task 8. На оценочном наборе указаны F1 0,8616 и функция потерь 0,9300. Основной сценарий — классифицировать семантическое отношение между сущностями в тексте. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. В карточке нет подробностей о схеме разметки, качестве на других наборах данных и ограничениях применения, поэтому приведённые метрики относятся только к указанному оценочному набору. Для работы с текстами на других языках или с контекстом длиннее 512 токенов модель не заявлена.

ReviewMate Rhetorical Sentence Classifier v1 — это модель DistilBERT, разработанная для ReviewMate и дообученная в два этапа на PubMed-RCT и CSAbstruct. Она относит отдельные предложения из аннотаций научных статей к одной из пяти риторических ролей: контекст и мотивация, цель исследования, методы, результаты или выводы. Модель предназначена для извлечения структуры эмпирических научных работ и используется в ReviewMate для поиска и синтеза литературы. Она лучше всего подходит для статей по информатике, ИИ и прикладным STEM-дисциплинам; заявленная точность составляет 0,7517 на CSAbstruct и 0,8833 на PubMed-RCT. Архитектура — DistilBERT для классификации последовательностей, максимальная длина контекста — 512 токенов, основной язык — английский. Классификация выполняется по одному предложению без учета соседнего контекста. Качество может снижаться на теоретических, математических и гуманитарных текстах, а также на неэмпирических работах. Модель распространяется по лицензии Apache-2.0.

sandsiv-278-pii-ch — многоязычная модель SandSIV для распознавания и разметки персональных данных в текстах, ориентированная на швейцарский контекст. Она дообучена для классификации токенов на базе microsoft/mdeberta-v3-base и имеет архитектуру DeBERTa V2; размер — 306 млн параметров по метаданным, длина контекста — 512 токенов. Модель выявляет 19 типов сущностей, включая имена, адреса, телефоны, электронную почту, номера банковских карт и IBAN, а также швейцарские AHV-номера, кантоны и номера земельного реестра. Поддерживает английский, итальянский, немецкий и французский языки. Модель предназначена для обнаружения PII как этапа обезличивания отзывов клиентов, обращений в поддержку и административных документов. SandSIV сообщает о применении модели в anonymo.io — настольном приложении, выполняющем инференс локально. Обучение проводилось на синтетических данных; по оценке разработчика, качество на реалистичных текстах, отличающихся от обучающих шаблонов, может быть ниже. Возможны ошибки при обработке идентификаторов документов с буквенным префиксом, фрагментация сущностей на части и более слабое распознавание возраста. Лицензия — MIT.

Sarashina2.2-Vision-3B — мультимодальная языковая модель с изображениями от японской компании SB Intuitions. Она основана на Sarashina2.2-3B-Instruct и использует визуальный энкодер SigLIP; размер модели — 3,8 млрд параметров. Для работы предусмотрена библиотека Transformers, веса опубликованы в формате safetensors. Модель принимает изображения и текстовые запросы и предназначена для описания изображений, ответов на вопросы по ним, а также чтения и анализа документов, с особым вниманием к японским изображениям и тексту. Карточка приводит результаты тестов на японских и англоязычных наборах задач, включая вопросы по документам и слайдам. Модель дообучена в несколько этапов, включая настройку следования инструкциям и оптимизацию предпочтений. Модель распространяется по лицензии MIT. По данным карточки, её обучение на безопасность ограничено: ответы могут быть неточными, бессмысленными, предвзятыми или нежелательными; для практического применения разработчикам рекомендуется дополнительная настройка с учётом предпочтений людей и требований безопасности.

sat-3l — модель семейства Segment Any Text, предназначенная для сегментации текста на предложения в составе библиотеки wtpsplit. Она решает задачу токенной классификации: определяет границы сегментов в последовательности токенов. Архитектура — плотная SubwordXLMForTokenClassification с тремя слоями Transformer; размер составляет 220,3 млн параметров, нативная длина контекста — 514 токенов. Доступны веса PyTorch и ONNX. Модель рассчитана на многоязычную сегментацию текста и подходит для подготовки документов к дальнейшей обработке, включая разделение текста на предложения. Карточка ссылается на работу Segment Any Text, но не приводит подробностей о качестве по отдельным языкам. Лицензия MIT.

DS4AI-UPB/span-detector-ro — модель Dragoș Mitruț Vasile, Elena-Simona Apostol, Stefan-Adrian Toma, Adrian Paschke и Ciprian-Octavian Truică для обнаружения двух аргументов отношений в предложениях на румынском языке. Она основана на XLM-RoBERTa large и выполняет классификацию токенов по пяти меткам BIO: O, B-E1, I-E1, B-E2 и I-E2. Размер модели по метаданным — 658,7 млн параметров, максимальная длина контекста — 514 токенов. Модель предназначена для первого этапа сквозного извлечения отношений: она выделяет сущности e1 и e2 в обычном румынском предложении, после чего найденные фрагменты можно передать классификатору отношений DS4AI-UPB/xlmr-large-ro-re. Обучение проводилось на разметке сущностей SemEval-2010 Task 8, поскольку готовые модели распознавания именованных сущностей плохо подходят для этих номинальных сущностей. На отложенной валидационной выборке указаны F1 0,869, точность 0,85 и полнота 0,89. Модель работает с текстом и предназначена для румынского языка. По README, лицензия — MIT.

stanfordnlp/stanza-et — набор моделей для эстонского языка из проекта Stanza, разработанного Stanford NLP. Модели предназначены для лингвистического анализа текста: от обработки исходного текста до синтаксического анализа и распознавания сущностей. В метаданных указана задача token-classification, библиотека Stanza и формат PyTorch; лицензия — Apache-2.0. Модель подходит для разметки эстонского текста в конвейерах NLP. Карточка описывает коллекцию инструментов Stanza в целом и не приводит отдельные характеристики архитектуры, размер или длину контекста.

Модель dmargutierrez/xlm-roberta-base-mapa_coarse-ner — дообученная версия XLM-RoBERTa base для распознавания именованных сущностей на уровне токенов. Она обучена на наборе данных LexTreme и предназначена для извлечения сущностей из текста, в том числе в юридическом контексте. Модель содержит 305,2 млн параметров, использует архитектуру XLM-RoBERTa и поддерживает контекст до 514 токенов. На оценочном наборе указаны F1 0,664, точность 0,6624 и полнота 0,6657; accuracy 0,9872. Высокая accuracy при более умеренном F1 означает, что для практического применения полезно отдельно проверять качество по категориям сущностей. Лицензия — MIT. Карточка не уточняет список языков и метки сущностей.

Ælæctra — датская модель на базе ELECTRA-Small, дообученная Malte Højmark-Bertelsen для распознавания именованных сущностей в датском тексте на датасете DaNE. Это компактный трансформер с 20,8 млн параметров и контекстом до 512 токенов; доступны веса PyTorch и TensorFlow. Модель предназначена для разметки токенов и извлечения именованных сущностей из датских документов и текстов. В оценке на тестовом наборе DaNE вариант Cased показал micro-F1 80,08 без метки MISC. В README отмечено, что результат немного ниже, чем у датского BERT и multilingual BERT, зато модель значительно компактнее и требует меньше вычислительных ресурсов. Лицензия — MIT. કાર

arabic_PP-OCRv5_mobile_rec — мобильная модель распознавания строк арабского текста из изображений, разработанная командой PaddleOCR как часть семейства PP-OCRv5_rec. Она предназначена для использования в OCR-системах, где требуется извлекать текстовые строки и выдавать их в виде текста; показатель точности на описанной в карточке оценке составляет 81,27%. Для распознавания документов модель можно подключить как модуль распознавания в конвейере PP-OCRv5 вместе с детектором текста и, при необходимости, модулями коррекции ориентации и геометрии изображения. Модель относится к мобильной линейке и использует библиотеку PaddleOCR. В метаданных указан английский язык, но README описывает поддержку арабского; идентификатор модели также указывает на арабское распознавание. Репозиторий распространяется по лицензии Apache-2.0. Это распознаватель текстовых строк, поэтому сам по себе он не выполняет полный поиск областей текста на странице: для такого сценария нужен OCR-конвейер с модулем детекции.

Athene-V2-Agent-GGUF — это набор квантованных GGUF-версий модели Athene-V2-Agent, разработанной Nexusflow и подготовленной пользователем bartowski для запуска через llama.cpp. Модель относится к классу text-generation и предназначена для англоязычной генерации текста, агентских сценариев, function calling, извлечения информации и задач, связанных с RLHF. README не указывает точную архитектуру, число параметров и максимальную длину контекста. Модель ориентирована на использование в локальных приложениях и совместима, в частности, с LM Studio. Доступны варианты квантования от Q8_0 до Q2_K и IQ-серий, различающиеся размером файлов и качеством: старшие варианты обеспечивают качество, близкое к исходной модели, а младшие требуют меньше оперативной памяти, но заметно уступают по качеству. Для взаимодействия используется формат промпта с маркерами ролей system, user и assistant. Версия Q4_0_8_8 оптимизирована для ARM и требует поддержки SVE, при этом в README не рекомендуется для Mac и Windows. Сильные стороны модели — специализация на агентских задачах, function calling и extraction, а также широкий выбор квантований для локального запуска. Ограничения включают заявленную поддержку только английского языка, отсутствие сведений о мультимодальности, архитектуре, размере и контекстном окне, а также неизбежную потерю качества в низкобитных вариантах. Лицензия указана как other; конкретные условия использования в README не приведены.

SlavicBERT — многоязычная модель на архитектуре BERT, разработанная авторами исследования о настройке мультиязычных трансформеров для распознавания именованных сущностей. Модель обучена на русских новостях и Википедиях на болгарском, чешском, польском и русском языках; словарь субтокенов построен по этим данным. Инициализация выполнена из Multilingual BERT. Модель содержит 12 слоёв, 768 скрытых размерностей и 12 attention-голов. В README указано 180 млн параметров, метаданные Hugging Face указывают 205,1 млн; длина контекста — 512 токенов. Репозиторий содержит веса PyTorch и Flax. Это базовая модель для извлечения признаков из текста на четырёх славянских языках, которую можно адаптировать для задач обработки языка. В карточке не указана лицензия.

Это модель распознавания именованных сущностей, разработанная авторами книги «Введение в большие языковые модели» для главы о NER. Она основана на cl-tohoku/bert-base-japanese-v3 и дообучена на llm-book/ner-wikipedia-dataset. Модель использует архитектуру BERT и содержит 138,4 млн параметров; принимает японский текст и размечает в нём сущности, например имена людей и географические названия. Максимальная длина контекста — 512 токенов. Модель подходит для извлечения именованных сущностей из японских текстов, в том числе для обработки материалов в стиле Википедии. Она доступна через библиотеку Transformers и распространяется по лицензии Apache 2.0.

DS4AI-UPB разработала bert-base-romanian-re — румынский BERT-энкодер, дообученный на классификацию отношений между двумя отмеченными сущностями в предложении. Модель основана на dumitrescustefan/bert-base-romanian-cased-v1 и содержит 151,6 млн параметров; максимальная длина контекста — 512 токенов. На вход подаётся предложение с двумя выделенными сущностями, а модель предсказывает одно из 19 направленных отношений SemEval-2010 Task 8, сводимых к 10 общим типам. На тестовой части румынского перевода набора SemEval авторы сообщают macro F1 0,824. Модель предназначена для извлечения отношений в румынских текстах, например для определения причинно-следственной связи между сущностями. Обучение проводилось на автоматически переведённом наборе данных с автоматической проверкой, поэтому результаты могут зависеть от качества перевода и отличаться на естественных румынских текстах. Репозиторий распространяется по лицензии MIT.

BERTurk — регистрозависимая модель BERT для турецкого языка, опубликованная командой MDZ Digital Library Баварской государственной библиотеки. Это плотный трансформерный энкодер с 137,8 млн параметров и контекстом до 512 токенов. Модель предварительно обучена на турецких текстах из корпуса OSCAR, Википедии, OPUS и специального корпуса, подготовленного Кемалом Офлазером. Её можно использовать как основу для задач обработки турецкого языка, например разметки частей речи и распознавания именованных сущностей, после соответствующей настройки. Доступны веса в форматах PyTorch, TensorFlow и Flax, а также safetensors. Модель предназначена для турецкого языка и не является готовым чат-ботом или специализированной системой для одной прикладной области. Лицензия — MIT.

Alesub/bert-finetuned-ner — модель семейства BERT, дообученная для классификации токенов и распознавания именованных сущностей. Она принимает текст и присваивает метки отдельным токенам; подходит для извлечения сущностей из текста в задачах обработки естественного языка. Модель основана на google-bert/bert-base-cased, содержит 135,5 млн параметров и поддерживает контекст до 512 токенов. Используются библиотека Transformers и формат весов Safetensors. В карточке приведены результаты оценки: precision 0,375, recall 0,6, F1 0,4615 и accuracy 0,4. Датасет указан как None, поэтому назначение меток и языки обучения определить нельзя. Лицензия — Apache-2.0.

CHEONINJEONG/bge-m3-address-v2 — модель Sentence Transformers на архитектуре XLM-RoBERTa, дообученная для сопоставления корейских адресов. Она преобразует текстовые адреса и запросы в плотные векторы размерностью 1024; косинусное сходство между ними можно использовать для поиска и ранжирования вариантов записи адреса. В обучающих примерах сопоставляются разговорные, слитные или записанные словами адреса с нормализованными вариантами, включая сложные отрицательные примеры с близкими, но неверными адресами. Модель предназначена для семантического поиска и извлечения адресов, в том числе при различиях в пробелах, сокращениях и записи чисел. Метаданные указывают 658,7 млн параметров и контекст до 8194 токенов; README задаёт максимальную длину последовательности 512 токенов. Лицензия в предоставленных данных не указана.

ugaray96/biobert_ncbi_disease_ner — дообученная на наборе NCBI Disease модель BioBERT для распознавания упоминаний заболеваний в тексте. Она предназначена для извлечения названий болезней из неструктурированных медицинских и биологических текстов, например аннотаций PubMed, чтобы поддерживать поиск информации и извлечение знаний. Модель использует архитектуру BERT с классификационной головой для токенов и содержит 135,5 млн параметров. Контекст ограничен 512 токенами. Обучающая выборка включает 793 аннотации PubMed и 6 892 упоминания заболеваний; в метаданных указан английский язык. Для работы доступны веса PyTorch, TensorFlow, JAX и safetensors. Модель рассчитана на распознавание заболеваний в англоязычных медицинских и биологических текстах. Лицензия — OpenRAIL.

BLING Sheared-LLaMA 2.7B 0.1 — англоязычная инструкционная модель от llmware, дообученная для узкого круга задач с контекстом, включая сценарии RAG. Она построена на Sheared-LLaMA-2.7B и предназначена для локального запуска на ноутбуке, в том числе без специализированной квантизации, для прототипирования и работы с чувствительными корпоративными данными. Модель генерирует ответы на вопросы по предоставленному контексту, извлекает ключевые значения и выполняет базовое суммирование. В карточке приведены результаты тестирования RAG-Instruct-Benchmark-Tester: средняя оценка 90,25 из 100, при этом результаты по математике и логике ниже, чем по другим проверенным задачам. Архитектура — плотная LlamaForCausalLM, размер — 2,6 млрд параметров, контекст — 4096 токенов. Лицензия — Apache 2.0. Модель может давать неполные или неточные ответы; результаты следует проверять, особенно для сложных вопросов и математических задач. Оценка в карточке основана на двух тестовых прогонах и не гарантирует качество на других данных.

Модель ml4pubmed/bluebert-pubmed-uncased-L-12-H-768-A-12_pub_section — дообученный классификатор текста на основе BlueBERT от BioNLP. Он предназначен для определения раздела научного документа по текстовому фрагменту: BACKGROUND, CONCLUSIONS, METHODS, OBJECTIVE или RESULTS. Модель использует архитектуру BERT с 12 слоями, скрытым размером 768 и 12 головами внимания; содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Она рассчитана на англоязычные тексты из биомедицинской области. В карточке приведены метрики на тестовой выборке: точность 0,831 и F1 0,828. Модель подходит для автоматической разметки разделов аннотаций и научных текстов PubMed. Для текста существенно длиннее контекстного окна может понадобиться разбиение на фрагменты; качество на других языках и вне биомедицинской тематики не подтверждено. Сведения о лицензии в предоставленных данных отсутствуют.

CeLLaTe-ner-2class-bioformer16l-baseline — модель Mardiyyah для распознавания сущностей в тексте на уровне токенов. Она дообучена на bioformers/bioformer-16l с использованием набора данных OTAR3088/CeLLaTe-ner-2class-iob_final и предназначена для задач NER с двумя классами. Модель построена на архитектуре BERT, содержит 50,3 млн параметров и принимает последовательности длиной до 1024 токенов. В README приведены результаты на оценочной выборке: precision 0,8144, recall 0,7576, micro F1 0,7850 и accuracy 0,9829. Карточка не раскрывает названия двух классов, точное назначение сущностей и ограничения оценки. Модель опубликована в формате safetensors по лицензии Apache-2.0.

code-daemon-denoise-v1 — двуязычный фильтр словаря, созданный автором репозитория на основе intfloat/multilingual-e5-small. Он оценивает отдельную словоформу как полезный технический термин или лишний элемент поискового словаря, чтобы очищать лексику, собранную из кода, документации, комментариев и сообщений коммитов. Модель подходит для английских и русских текстов в программных корпусах и рассчитана на пакетную обработку коротких однословных входов. В основе — замороженный энкодер семейства XLM-RoBERTa с архитектурой BertModel и 384-мерными нормализованными эмбеддингами; поверх него обучена логистическая регрессия, сведённая к одному аффинному преобразованию. В README описаны варианты ONNX, OpenVINO, TensorRT и другие сборки; метаданные указывают 124,3 млн параметров, контекст 512 токенов и лицензию Apache-2.0. Для корректной оценки необходимо добавлять префикс «vocab: »; README рекомендует порог strip_threshold 0,95 и указывает, что модель не предназначена для предложений, языков вне латиницы и кириллицы или терминологии за пределами программной области.

danish-lm-400m-icl-v3 — плотная причинная языковая модель семейства Llama, разработанная Jens Jepsen и дообученная на датском наборе примеров для обучения в контексте. Модель содержит 414,7 млн параметров, принимает текст и поддерживает контекст до 8 048 токенов. Её задача — по нескольким примерам, помещённым в один ход пользователя, вывести схему и формат ответа и применить их к новому тексту без отдельной инструкции. Модель подходит для извлечения структурированных данных из датских текстов, когда примеры показывают требуемые поля и способ их записи. В оценках она заметно превзошла базовую модель на знакомых схемах, а также справлялась с частью ранее не встречавшихся схем и задачей распознавания сущностей. Модель обучалась только на примерах такого обучения в контексте; качество на общих задачах в ходе обучения снизилось, а перенос на новые форматы ограничен и зависит от сходства разделителей. Для устойчивой работы примеры следует помещать в один ход пользователя, а новые форматы включать в обучение. Лицензия — Apache-2.0.

DistilBERTurk — дистиллированная контекстная языковая модель для турецкого языка, выпущенная командой MDZ Digital Library Баварской государственной библиотеки (dbmdz). Это версия DistilBERT с регистрозависимой токенизацией, обученная на 7 ГБ данных, использованных для BERTurk, с регистрозависимой BERTurk в качестве учителя. Модель предназначена для использования в качестве основы для задач понимания турецкого текста, включая разметку частей речи и распознавание именованных сущностей. Дистилляция уменьшает модель по сравнению с учителем; авторы сообщают, что разница в общей производительности относительно BERTurk составляет около 1,18%, а в разметке частей речи DistilBERTurk превосходит 24-слойную XLM-RoBERTa. Модель работает с текстом и поддерживает контекст до 512 токенов. Репозиторий распространяется под лицензией MIT. В карточке указаны веса и форматы PyTorch, Safetensors и TensorFlow.

Donut base — модель семейства Donut, представленная командой NAVER CLOVA в работе «OCR-free Document Understanding Transformer». Это дообученная на RVL-CDIP модель архитектуры vision-encoder-decoder: визуальный энкодер Swin Transformer кодирует изображение документа, а декодер BART авторегрессионно формирует текстовый результат. Модель предназначена для понимания изображений документов и дообучена на задаче классификации документов RVL-CDIP. Её можно применять для извлечения текстового представления из изображения документа и сценариев классификации документов. Поддерживается обработка изображений с генерацией текста; модель рассчитана на англоязычный набор RVL-CDIP. Модель распространяется в формате PyTorch по лицензии MIT. Карточка указывает дообучение на RVL-CDIP, однако не приводит подробных оценок качества или ограничений за пределами этого набора данных.

Eagle2-1B — компактная мультимодальная модель Vision-Language от NVIDIA для сценариев, где важны быстрый вывод и умеренные вычислительные ресурсы. Она построена на архитектуре Eagle 2.5 VL и объединяет языковую основу Qwen2.5-0.5B-Instruct с компонентами PaliGemma и SigLIP; модель распространяется в формате safetensors и рассчитана на контекст до 16 тысяч токенов. Модель принимает текст, изображения и видео и формирует текстовые ответы. Она подходит для диалога по изображениям и видео, ответов на вопросы по документам, графикам и визуальным данным. В README приведены результаты на DocVQA, ChartQA и InfoVQA; они показывают применимость к анализу документов и диаграмм, но сами по себе не гарантируют качество в конкретном сценарии. Карточка указывает поддержку нескольких языков, не перечисляя их по отдельности. Модель доступна по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Как и другие VLM, она может ошибаться при распознавании визуальных деталей и интерпретации материалов; перед применением в значимых процессах ответы следует проверять.

Карточка модели EdgeAIMed/EdgeAIMed-NER-DiseaseDetect-TinyMed-135M на Hugging Face совпадает с карточкой OpenMed/OpenMed-NER-DiseaseDetect-TinyMed-135M, поэтому описание составлено по ней. OpenMed-NER-DiseaseDetect-TinyMed-135M — модель OpenMed для распознавания упоминаний заболеваний в биомедицинских текстах. Это дообученный трансформер DistilBERT для token classification с архитектурой distilbert-base-multilingual-cased и контекстом до 512 токенов; модель выдаёт BIO-метки B-DISEASE и I-DISEASE для найденных сущностей. В README указаны данные BC5CDR-Disease и показатели на них: F1 0,88, точность 0,87 и полнота 0,89. Модель предназначена для извлечения названий заболеваний из медицинских записей и научных публикаций, а также для поиска по биомедицинской литературе и поддержки аналитики. Несмотря на многоязычную базовую архитектуру, карточка описывает обучение и оценку только на BC5CDR-Disease и указывает английский язык; перенос на другие языки и жанры медицинских текстов требует отдельной проверки. Лицензия — Apache-2.0.

FinSight NER — модель распознавания именованных сущностей в финансовых новостях, разработанная в рамках проекта FinSight. Это дообученная версия BERT base uncased с 136,7 млн параметров, обученная на вручную размеченном наборе FiNER-ORD. Модель принимает текст и размечает имена людей (PER), организации (ORG) и географические названия (LOC) в формате BIO; максимальная длина контекста — 512 токенов. Модель предназначена для извлечения участников и мест из финансовых новостей и повествовательных разделов документов SEC. На тестовой выборке показатель micro F1 составил 0,8159 при строгом сопоставлении сущностей. Лучше всего модель распознаёт имена людей; качество ниже для организаций и географических названий. Модель рассчитана на хорошо сформулированный текст с обычной капитализацией. Она не размечает суммы, проценты и даты, а также не настроена на структурированный юридический и договорный текст; заголовки прописными буквами и текст в нижнем регистре могут ухудшать качество. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое использование.

FrALBERT Base Cased — французская предварительно обученная языковая модель на архитектуре ALBERT, опубликованная пользователем cservan. Она обучена на французской Википедии с целями masked language modeling и Sentence Ordering Prediction; регистр букв сохраняется, поэтому модель различает, например, «french» и «French». По метаданным, модель содержит 137,8 млн параметров, использует формат PyTorch и рассчитана на контекст до 512 токенов. Архитектура ALBERT разделяет веса между повторяющимися слоями Transformer, что уменьшает объём памяти при сохранении вычислительной стоимости, сопоставимой с BERT аналогичной глубины. Основной сценарий непосредственного использования — предсказание замаскированных токенов. Модель также предназначена для дообучения на задачах классификации последовательностей и токенов, заполнения слотов и ответов на вопросы; её представления можно использовать как признаки для таких задач. Она не предназначена для свободной генерации текста. Лицензия — Apache-2.0.