I.3Извлечение и структурирование данных

Lutece-Vision-Base — мультимодальная модель Sujet AI для анализа финансовых документов и ответов на вопросы по их изображениям. Это дообученная версия microsoft/Florence-2-base-ft на наборе Sujet-Finance-QA-Vision-100k, содержащем 100 629 пар вопросов и ответов для 9 212 изображений. Модель построена на архитектуре Florence-2; при дообучении параметры энкодера были заморожены. Модель принимает изображение документа и текстовый вопрос, а на выходе формирует ответ на английском языке. Она предназначена для извлечения и интерпретации сведений из финансовых документов, отчётов и изображений. Лицензия — MIT. Качество ответов может снижаться на сложных или неоднозначных документах и сценариях, не представленных в обучающих данных. Результаты следует проверять, особенно перед использованием в финансовых решениях; модель предоставляется без гарантий.

intanm/mbert-squadv2 — модель на архитектуре BERT, дообученная автором на bert-base-multilingual-cased на наборе данных SQuAD v2 для ответов на вопросы по предоставленному тексту. Она предсказывает ответ на основе контекста и может сигнализировать, что в контексте ответа нет. Модель содержит 205,1 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Мультиязычная базовая модель позволяет применять её к текстам на нескольких языках; карточка не уточняет, на каких языках проводилось дообучение. На оценочной части SQuAD v2 указано значение Loss 0,9959, но других результатов и рекомендаций по использованию автор не приводит. Лицензия — Apache-2.0.

openbmb/MiniCPM-V-4.6-Thinking-GPTQ — GPTQ-квантизированная версия мультимодальной модели MiniCPM-V 4.6 Thinking, разработанной командой OpenBMB. Модель предназначена для понимания изображений и видео, включая сложные мультимодальные рассуждения, математические задачи и сценарии с интенсивным использованием OCR. Она генерирует явную цепочку рассуждений перед итоговым ответом. Модель использует архитектуру, ориентированную на эффективную работу на периферийных устройствах: визуальный энкодер SigLIP2-400M и языковую модель Qwen3.5-0.8B, а также смешанное сжатие визуальных токенов 4x/16x. Данная версия имеет квантизацию GPTQ W4A16 и рассчитана на использование через Transformers. Поддерживаются входы в виде изображений и видео; заявлена возможность развертывания на iOS, Android и HarmonyOS. Сведения о поддерживаемых языках и размере контекстного окна в карточке не указаны. К сильным сторонам относятся низкие требования к ресурсам, пригодность для мобильных и edge-сценариев, обработка изображений и видео, а также улучшенное качество на сложных задачах благодаря режиму рассуждений. Ограничения связаны с тем, что это квантизированная версия базовой модели и что подробные результаты бенчмарков, поддерживаемые языки и контекст не приведены. Модель распространяется по лицензии Apache-2.0.

Карточка модели sonic-coder/MiniCPM-V-4.6-Thinking-heretic на Hugging Face совпадает с карточкой heretic-org/MiniCPM-V-4.6-Thinking-heretic, поэтому описание составлено по ней. heretic-org/MiniCPM-V-4.6-Thinking-heretic — производная модель на основе openbmb/MiniCPM-V-4.6-Thinking, изменённая методом abliteration для снижения числа отказов. По карточке, в указанной проверке она отказала в 14 случаях из 416 против 314 у исходной модели. Базовая модель предназначена для диалога и рассуждений по изображениям и видео, включая распознавание текста на изображениях и визуальные математические задачи. Модель принимает текст и изображения, а также поддерживает видео по описанию базовой модели. Архитектура MiniCPM-V 4.6 Thinking сочетает визуальный энкодер SigLIP2-400M и языковую модель Qwen3.5-0.8B; она формирует цепочку рассуждений перед итоговым ответом и использует сжатие визуальных токенов 4x/16x. Репозиторий содержит веса safetensors и заявляет возможности диалога, работы с изображениями и интерфейс вызова инструментов. Модель подходит для вопросов по изображениям и видео, OCR и мультимодальных рассуждений, в том числе локального запуска на мобильных устройствах. Снижение числа отказов может привести к выдаче нежелательного или небезопасного содержания; результаты проверки отказов не гарантируют качества во всех задачах. Лицензия — Apache-2.0.

Модель mrm8488/mobilebert-uncased-finetuned-squadv1 — англоязычный MobileBERT, дообученный Мануэлем Ромеро для ответов на вопросы по заданному тексту. Архитектура MobileBERT использует компактные bottleneck-структуры; модель содержит 59,7 млн параметров и принимает контекст длиной до 512 токенов. Модель предназначена для извлечения ответа из предоставленного фрагмента текста: пользователь задаёт вопрос и передаёт контекст, а модель возвращает ответный фрагмент и оценку уверенности. В README сообщается о результате EM 82,33 и F1 89,64 на тестовых данных SQuAD. Модель обучена на данных SQuAD; карточка указывает SQuAD v1.1, хотя в описании обучения также упоминается SQuAD v2.0. Веса доступны в форматах PyTorch и Safetensors. Лицензия в предоставленных сведениях не указана. Модель рассчитана на английский язык и ограничена ответами, обоснованными переданным контекстом; её не следует рассматривать как универсальную разговорную модель.

csarron/mobilebert-uncased-squad-v1 — модель MobileBERT, дообученная на наборе SQuAD 1.1 для ответов на вопросы по заданному тексту. Она использует компактную архитектуру на основе BERT с узкими слоями и балансом механизмов внимания и прямого распространения; в метаданных указаны 59,7 млн параметров, контекст до 512 токенов и форматы PyTorch и Safetensors. Базовая модель — google/mobilebert-uncased. Модель предназначена для извлечения ответа из предоставленного фрагмента текста по вопросу на английском языке. В README приведены результаты на SQuAD 1.1: EM 82,6 и F1 90,0. Лицензия — MIT. Она не предназначена для генерации развернутых ответов вне контекста или для языков, отличных от английского.

mALBERT Base Cased 32k — предварительно обученная многоязычная модель на архитектуре ALBERT от автора репозитория cservan. Она обучена на задаче masked language modeling и предназначена для предсказания скрытых токенов, извлечения признаков текста и дообучения для задач классификации последовательностей, разметки токенов и ответов на вопросы. Модель учитывает регистр символов и использует общие веса для повторяющихся слоёв Transformer. В карточке указаны 12 повторяющихся слоёв, размер скрытого представления 768, 12 голов внимания, словарь SentencePiece размером 32 тыс. токенов и 11 млн параметров; метаданные каталога указывают 137,8 млн параметров и контекст до 512 токенов. Модель обучалась на многоязычной Википедии; метаданные перечисляют поддержку широкого набора языков, включая русский, английский, французский, немецкий, испанский и китайский. Доступна в форматах PyTorch и Safetensors. Модель подходит для заполнения масок и как основа для дообучения на прикладных задачах понимания текста. Это не авторегрессионная модель для свободной генерации текста. Лицензия — Apache-2.0.

bhavikardeshna/multilingual-bert-base-cased-vietnamese — модель семейства BERT, представленная в формате PyTorch и предназначенная для ответов на вопросы. По метаданным, она содержит 205,1 млн параметров и поддерживает контекст длиной до 512 токенов. Карточка README не содержит дополнительного описания назначения или обучения модели. Модель подходит для сценариев извлечения ответа из текста в формате вопроса и контекста. Метаданные не подтверждают конкретные языки, лицензию или происхождение чекпойнта, поэтому эти характеристики не уточняются.

MultiTabQA — базовая модель для ответов на вопросы по нескольким таблицам, представленная Вайшали Пал, Эндрю Йейтсом, Евангелосом Канулисом и Маартеном де Рейке в работе о генерации табличных ответов для вопросов к нескольким таблицам. Модель построена на архитектуре TAPEX на базе BART: двунаправленный энкодер обрабатывает вход, а авторегрессионный декодер генерирует ответную таблицу. Размер модели — 95,2 млн параметров, контекст — до 1024 токенов. Модель предназначена для выполнения SQL-запросов над несколькими входными таблицами и поддерживает операции UNION, INTERSECT, EXCEPT и JOIN. Её можно применять для получения таблицы-ответа на естественно-языковой вопрос по связанным данным. В карточке указаны английский язык и лицензия MIT. Доступны веса в форматах PyTorch и safetensors.

muRIL-squad-nep-translated-squad — модель для ответов на вопросы на основе архитектуры BERT, разработанная как дообученная версия suban244/muRIL-squad. Она предназначена для извлечения ответа из предоставленного текста и может применяться в системах поиска ответов по документам. Модель содержит 264,8 млн параметров и принимает контекст длиной до 512 токенов. Карточка указывает, что для дообучения использован неизвестный набор данных; сведений о лицензии и оценке качества нет.

utahnlp/naturalquestionsShort_microsoft_deberta-v3-base_seed-1 — дообученная модель семейства Microsoft DeBERTa-v3-base, опубликованная NLP-группой Университета Юты. Она предназначена для извлечения коротких ответов на вопросы по контексту в задаче Natural Questions. Модель имеет около 211,6 млн параметров, использует архитектуру DeBERTa и поддерживает входной контекст длиной до 512 токенов. Это текстовая англоязычная модель для extractive question answering: она выбирает фрагмент ответа из предоставленного контекста, а не генерирует произвольный длинный ответ. Сильная сторона — специализированная настройка под короткие ответы Natural Questions; ограничения включают зависимость от качества и релевантности контекста, ограниченную длину входа и отсутствие подтвержденных сведений о поддержке других языков. Лицензия для этой производной модели в доступных источниках не указана.

Модель Impresso HIPE-2022 NER — компактная многоязычная BERT-модель для распознавания именованных сущностей в исторических газетах. Её разработал проект Impresso, дообучив dbmdz/bert-medium-historic-multilingual-cased на наборе impresso-project/ner-augmentation для задачи HIPE-2022. Модель выполняет токен-классификацию по схеме IOB2 и выделяет сущности категорий NE-COARSE-LIT: людей, организации, места, продукты и временные выражения. Она рассчитана на французские, немецкие и английские тексты; размер составляет 49,9 млн параметров, контекст — до 512 токенов. В тестовой оценке на уровне сущностей указан F1 0,7022; F1 для мест — 0,8028, для организаций — 0,3944. Эти результаты показывают неодинаковое качество по категориям, особенно ограниченное распознавание организаций. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространения производных материалов на тех же условиях и запрещает коммерческое использование.

Это квантованная в формате GGUF версия NVIDIA Nemotron Nano 12B v2 VL, подготовленная brunopio из модели nvidia/NVIDIA-Nemotron-Nano-12B-v2-VL-BF16 с помощью llama.cpp и GGUF-my-repo. Мультимодальная модель с поддержкой чата и зрения предназначена для диалога по изображениям и визуальных вопросов и ответов; базовая модель также описана как подходящая для анализа документов и понимания видео. Репозиторий рассчитан на запуск через llama.cpp, включая CLI и сервер. Метаданные указывают формат GGUF BF16, однако имя репозитория содержит Q4_K_M; README не уточняет, какой именно вариант квантования лежит в репозитории. Лицензия отмечена как other, поэтому условия следует сверить с карточкой базовой модели и файлами репозитория.

Wismut разработала nym-pii-multilingual — многоязычную модель распознавания персональных и других чувствительных данных для обезличивания текста в nym. Это дообученная на jhu-clsp/mmBERT-base модель с архитектурой ModernBERT, примерно 307 млн параметров и контекстом до 8192 токенов. Она размечает токены 40 типами сущностей с использованием 81 BIO-метки: среди них имена, даты рождения, контакты, адреса, государственные, медицинские и финансовые идентификаторы, номера карт, IBAN, API-ключи и пароли. Модель рассчитана на обработку текста примерно на 23 языках, включая русский, английский, немецкий, французский, китайский, японский, корейский, арабский и хинди. Обучение включало синтетические данные и примеры из реальных текстов с автоматической разметкой; также применялась самодистилляция. Модель обучали распознавать искажённый OCR-текст и содержимое структурированных документов, таких как таблицы, JSON и CSV. Доступны веса Safetensors и ONNX; для ONNX также есть уменьшенный вариант int8, который, по результатам описанных авторами тестов, сохраняет качество близким к полной версии. Модель подходит для обнаружения чувствительных данных перед редактированием или заменой в документах и текстовых потоках. Слабее распознаются идентификаторы, похожие на номера заявок или дел; авторы рекомендуют сочетать модель с регулярными выражениями nym. Качество зависит от типа текста и языка, а автоматически размеченные обучающие примеры могут содержать ошибки. MIT-лицензия; сама модель не гарантирует соответствие требованиям HIPAA или GDPR.

Falconsai разработала дообученную модель на базе DistilBERT-base-uncased для ответов на вопросы по заданному контексту. Она использует архитектуру DistilBertForQuestionAnswering и принимает текст с вопросом и контекстом, чтобы определить ответ; контекст ограничен 512 токенами. Модель рассчитана на английский язык и подходит для сценариев, где важны компактность и быстрая обработка текста, например для поиска ответов в документах. В README также упоминаются классификация текста, анализ тональности и распознавание именованных сущностей, но обучение этой версии было сосредоточено на ответах на вопросы. Качество на конкретных данных следует проверять отдельно: модель может хуже работать на отличающихся от обучения текстах и задачах. Распространяется по лицензии Apache-2.0.

RedHatAI/Qwen2.5-VL-3B-Instruct-quantized.w8a8 — квантизированная версия мультимодальной модели Qwen2.5-VL-3B-Instruct, разработанная Neural Magic на базе модели Qwen. Она принимает изображения и текстовые запросы, а генерирует текстовые ответы, поэтому предназначена для визуального вопросно-ответного взаимодействия, анализа изображений, документов, диаграмм и других задач, где требуется совместная обработка визуальной и текстовой информации. Модель имеет архитектуру Qwen2.5-VL-3B-Instruct с примерно 3 миллиардами параметров. Для весов и активаций используется INT8-квантизация по схеме W8A8, что снижает требования к памяти и может повысить эффективность инференса. Версия подготовлена для запуска через vLLM версии 0.5.2 и новее, включая OpenAI-совместимый режим сервинга. В README явно указан английский язык; сведения о полном наборе поддерживаемых языков и максимальной длине контекста не приведены. Сильными сторонами являются мультимодальность, возможность работы с визуальными задачами и оптимизация INT8 для более эффективного развертывания. Ограничения включают потенциальное снижение точности относительно исходной модели из-за квантизации, а также отсутствие в предоставленных данных количественных результатов оценки. Модель распространяется по лицензии Apache-2.0.

zeromodels/qwen3.5-2b-base — конверсия модели Qwen3.5-2B-Base в реализацию на Keras 3, подготовленная zeromodels. Это мультимодальная модель «зрение—язык» с визуальным энкодером Qwen3-VL и плотным текстовым декодером, сочетающим Gated-DeltaNet и обычное gated attention; веса хранятся в bfloat16. Реализация запускается на TensorFlow, PyTorch и JAX. Модель предназначена для генерации текста по изображению и текстовому запросу; текстовую часть можно использовать отдельно, без визуального энкодера. Размер базовой модели — 2 млрд параметров. В метаданных указан английский язык, а лицензия — Apache 2.0. Карточка направляет к исходной модели Qwen за подробностями об использовании.

badokorach/roberta-base-agric-trans-290124 — модель XLM-RoBERTa, дообученная badokorach на базе badokorach/xlm-roberta-base-finetuned-mlqa для ответов на вопросы. Она принимает вопрос и текстовый контекст и предназначена для извлечения ответа из контекста. Модель содержит 305,2 млн параметров, имеет длину контекста 514 токенов и опубликована в формате TensorFlow. Модель лицензирована по MIT. В карточке приведены Train Loss 0,7363, Validation Loss 0,0 и обучение в течение 9 эпох; датасет обучения не назван. Описание не уточняет специализацию на сельском хозяйстве или переводе, поэтому такие сценарии нельзя подтвердить по доступным сведениям.

Ashmit06/roberta-base-squad2-finetuned-squad — модель на базе RoBERTa для ответов на вопросы по заданному контексту. В карточке указано, что она обучалась с нуля на наборе данных «None»; подробности об обучающих данных и назначении отсутствуют. Архитектура — RobertaForQuestionAnswering, размер — 151,8 млн параметров, длина контекста — до 514 токенов. Модель принимает текст вопроса и контекста и извлекает из контекста ответ. Подходит для поиска ответов в коротких текстах, справочных материалах и фрагментах документов. В карточке приведён показатель Loss 0,0243 на оценочном наборе, но набор данных и методика оценки не описаны, поэтому результат нельзя считать достаточной оценкой качества. Лицензия в предоставленных данных не указана.

mnavas/roberta-finetuned-CPV_Spanish — модель на базе PlanTL-GOB-ES/roberta-base-bne, дообученная для классификации испанских документов о государственных закупках. Она предсказывает первые две цифры кодов CPV, относящие закупку к одной из товарных или сервисных категорий; обучение проводилось на наборе документов по закупкам за 2019 год. Модель построена на RoBERTa, содержит 151,8 млн параметров и принимает текст с контекстом до 514 токенов. Модель предназначена для предварительной категоризации закупок по CPV, например, при обработке объявлений и документов закупочных процедур. Она классифицирует только уровень дивизионов по первым двум цифрам кода, поэтому не заменяет определение полного CPV-кода. Опубликована по лицензии Apache 2.0.

SoulX-Transcriber — аудиоязыковая модель, разработанная Soul AI Lab совместно с группой ASLP Северо-Западного политехнического университета. Она выполняет распознавание речи и диаризацию в многосторонних диалогах в единой сквозной системе: определяет говорящих, сегментирует аудио с временными отметками и формирует согласованную с говорящими расшифровку, в том числе при быстрых сменах реплик и наложении речи. Модель построена на архитектуре Qwen3-Omni-30B-A3B-Instruct и предназначена для расшифровки разговоров с несколькими участниками. В README описано обучение с учетом характеристик говорящих и приведены результаты на наборах AISHELL-4 и AliMeeting. Репозиторий содержит веса safetensors; модель распространяется по лицензии Apache-2.0. Модель подходит для анализа встреч, интервью и других диалоговых записей, где важно связать реплики с участниками и временными интервалами. README не приводит конкретные ограничения качества или сведения о поддерживаемых языках самой модели; описанные в нем китайские и английские данные относятся к конвейеру симуляции диалогов.

anas-awadalla/splinter-large-finetuned-squad — модель семейства Splinter, разработанная путём дообучения tau/splinter-large-qass на наборе данных SQuAD. Она предназначена для поиска ответа на вопрос в предоставленном тексте и подходит для систем, которые отвечают на вопросы по документам и справочным материалам. Модель содержит 432,3 млн параметров, использует архитектуру SplinterForQuestionAnswering и принимает контекст длиной до 512 токенов. Доступны веса PyTorch; лицензия — Apache-2.0. Карточка не сообщает результаты оценки и подробные ограничения качества. Модель ориентирована на англоязычный набор SQuAD; пригодность для других языков и предметных областей по имеющимся данным не подтверждена.

Это мультиязычный LoRA-адаптер PII для Statim Decide Multilingual Base 0.7.0, опубликованный Beko2210. Он настраивает базовую модель на решения по категории PII: например, определение наличия в тексте телефонного номера. Для использования требуется совместимая базовая модель и Statim версии 0.8.0 или новее; адаптер привязан к отпечатку конкретной версии базы. В репозитории представлены GGUF и safetensors, а метаданные указывают библиотеку gguf. В эксперименте адаптер повысил среднюю оценку с 0,8558 до 0,9103 для f32 и до 0,9109 для q8_0; выборка составляла 150 примеров на ячейку. Поддерживаются языки ar, de, en, es, fr, it, ja, nl, ru, sv и zh, но языки вне проверенного списка не тестировались. Лицензия PolyForm Noncommercial 1.0.0; автоматизированные решения о людях требуют проверки человеком.

Adnan2942/t5-small-finetuned-squad — компактная модель семейства T5, дообученная на наборе rajpurkar/squad для ответов на вопросы. Она принимает вопрос и текстовый контекст и формирует текстовый ответ; модель подходит для извлечения ответов из предоставленных фрагментов текста. Архитектура — T5ForQuestionAnswering, размер — 38,5 млн параметров, базовая модель — google-t5/t5-small. Модель доступна в формате safetensors и рассчитана на контекст до 512 токенов. Модель разработал пользователь Hugging Face Adnan2942; базовая модель создана Google. Она предназначена для англоязычных задач в стиле SQuAD, где ответ нужно найти в контексте. Лицензия — Apache-2.0. Карточка не содержит результатов оценки или подробных ограничений; качество на других языках, доменах и типах вопросов не подтверждено.

czczup/textnet-small — компактная модель TextNet для извлечения признаков изображения, предназначенная для обнаружения областей с текстом. В карточке описана архитектура TextNet с эффективным по числу параметров backbone; семейство включает варианты TextNet-T, TextNet-S и TextNet-B размером 6,8 млн, 8,0 млн и 8,9 млн параметров соответственно. Для данного репозитория точный вариант не уточнён. Модель рассчитана на обнаружение текста в естественных сценах, в том числе разнонаправленного и многоязычного, а также на анализ текстовых областей в документах. README сообщает о предварительном обучении на IC17-MLT и дообучении на Total-Text для сравниваемых вариантов TextNet. Утверждается, что архитектура сочетает скорость вывода с точностью, но конкретные метрики для этого чекпойнта не приведены. Входом служат изображения, выходом — признаки для задач обнаружения текста. Лицензия в предоставленных данных не указана.

Это Sentence Transformer архитектуры BERT в варианте bi-encoder, дообученный авторами intai2070 на базе PartAI/Tooka-SBERT-V2-Large для измерения семантического сходства названий компаний, включая юридические и организационные наименования. Каждое название кодируется отдельно в плотный вектор размерности 1024; сходство векторов можно оценивать, например, косинусной мерой. Такая схема подходит для быстрого поиска по большим коллекциям и сопоставления названий без совместной обработки каждой пары текстов. Модель предназначена прежде всего для семантического поиска и сопоставления похожих названий компаний на персидском языке. В README также указаны сценарии поиска перефразировок, кластеризации и классификации текстов. Обучение проводилось на 272 462 примерах датасета IRI2070/legal-names-bi-encoder-dataset с функцией потерь MultipleNegativesRankingLoss. Размер модели — 451,8 млн параметров, максимальная длина входа — 512 токенов. README приводит cosine accuracy 0,9977 на validation и 0,9987 на test для указанного набора данных; эти результаты сами по себе не гарантируют такое же качество на других коллекциях. Лицензия в предоставленных данных не указана.

duyle2408/trocr-vietnamese-handwriting — модель распознавания рукописного текста на изображениях, разработанная на основе microsoft/trocr-large-handwritten и дообученная на наборе данных с вьетнамским почерком. Архитектура VisionEncoderDecoder сочетает ViT и TrOCR; модель предназначена для преобразования изображений рукописных записей на вьетнамском языке в текст. Модель подходит для оцифровки вьетнамских рукописных заметок и документов. В карточке приведены результаты оценки, включая eval_loss 5,02. Лицензия — Apache-2.0.

Модель разработана для сопоставления строк лекарственных препаратов из VA National Drug File (VANDF) с соответствующими клиническими препаратами RxNorm, включая действующее вещество, дозировку и лекарственную форму. Это двунаправленный энкодер на базе SapBERT, дообученный на парах VANDF—RxNorm с трудными отрицательными примерами; он ищет ближайшие названия среди 27 287 активных препаратов RxNorm и калибрует уверенность результата. Модель содержит 136,7 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Предназначена для нормализации наименований лекарств и связывания медицинских сущностей, когда требуется сопоставить не только действующее вещество, но также дозировку и форму выпуска. Оценка уверенности позволяет автоматически принимать наиболее надёжные совпадения, а остальные отправлять на проверку специалисту. По README, на тестовых данных точность top-1 составляет около 0,91 при повторных разбиениях по ингредиентам; точность принятых автоматически результатов в описанном тесте составила 98,2–98,8% при охвате 46–79% в зависимости от состава выборки. Модель обучена только на строках VANDF, поэтому качество может быть ниже на названиях из других источников; для FDA Structured Product Label указана точность около 0,71. Кандидаты соответствуют выпуску RxNorm от 8 сентября 2026 года и требуют обновления при изменении RxNorm. Ошибки дозировки и лекарственной формы могут быть клинически значимыми, поэтому модель не предназначена для самостоятельного клинического применения: результаты следует проверять, а сомнительные случаи направлять фармацевту. Лицензия — Apache-2.0.

TurkuNLP разработала многоязычную модель классификации регистров веб-текстов. Это дообученная на основе FacebookAI/xlm-roberta-large модель XLM-RoBERTa-large с архитектурой классификации последовательностей и 658,7 млн параметров. Она присваивает документам метки таксономии CORE: например, определяет, является ли текст новостным сообщением, инструкцией, отзывом, обсуждением или информационным описанием; некоторые метки образуют иерархию. Модель обучена на корпусах CORE для английского, финского, французского, шведского и турецкого языков. Она может выдавать прогнозы для языков, охватываемых XLM-RoBERTa-large; в README приведены результаты переноса на дополнительные языки. Контекст модели составляет 514 токенов. В тестах на обучающих языках F1 для всех меток составляет 0,72–0,79, а для основных меток — 0,75–0,82; результаты переноса на другие языки ниже, поэтому качество может зависеть от языка и типа текста. Модель предназначена для анализа жанровых и регистровых различий в корпусах и поддержки разработки открытых языковых моделей. Распространяется по лицензии Apache-2.0.

WellcomeBertMesh — модель команды по анализу данных Wellcome Trust для присвоения медицинским текстам предметных рубрик MeSH. Она предназначена прежде всего для разметки биомедицинских грантов, а также может применяться к аннотациям биомедицинских публикаций и близким по тематике текстам. Модель основана на PubMedBERT от Microsoft и использует архитектуру BERT с многометочной attention-головой, которая учитывает разные фрагменты текста для каждой метки. Обучение проводилось на аннотациях PubMed из BioASQ за 2016–2019 годы; для тестирования использовались данные за 2020–2021 годы. Размер составляет 194,8 млн параметров, максимальная длина контекста — 512 токенов. В описанном тестировании модель достигла micro-F1 63% при пороге 0,5 для всех меток. Модель подходит для автоматической индексации биомедицинских документов и поддержки тематического поиска. Её качество подтверждено для данных, близких к аннотациям биомедицинских публикаций; на других типах текстов и в иных предметных областях качество может быть ниже. Лицензия — Apache-2.0.