II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейneyssemhajji16 опубликовал smollm2-360m-text2sql-sft — дообученную с помощью TRL компактную языковую модель на базе HuggingFaceTB/SmolLM2-360M-Instruct. Она предназначена для генерации текста в формате диалога и заявлена как модель для Text-to-SQL: преобразования вопросов к данным в SQL-запросы. Модель имеет плотную архитектуру семейства Llama, содержит 361,8 млн параметров, принимает текст и поддерживает контекст до 8192 токенов. В репозитории указаны веса в формате safetensors и лицензия Apache-2.0, унаследованная от базовой модели. Компактный размер облегчает локальный запуск, однако карточка не приводит оценок качества или подробностей обучающих данных; возможности генерации SQL стоит проверять на целевой схеме базы данных.
speechless-code-mistral-7b-v1.0 — языковая модель для генерации кода и выполнения инструкций, созданная Uukuguy на базе Mistral-7B-v0.1. Модель дообучена на 201 981 примере с задачами программирования, рассуждения и планирования; среди источников данных — наборы Airoboros, OpenOrca, Open-Platypus, WizardLM, TokenBender и Spider. Для общения используется формат инструкций Alpaca. Это плотная авторегрессионная архитектура Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Карточка приводит результаты HumanEval и Big Code Evaluation и описывает возможности генерации кода, включая Python и ряд других языков программирования. Модель принимает текстовые инструкции и выдаёт текст с кодом или пояснениями; основной заявленный язык естественного общения — английский. Модель подходит для генерации и дополнения кода, решения задач по программированию, а также для запросов, требующих рассуждения и планирования. Лицензия — Apache 2.0. В карточке также перечислены сторонние AWQ, GPTQ и GGUF варианты для инференса, однако метаданные этого репозитория указывают формат PyTorch; приведённые оценки на тестах не гарантируют качество для конкретных задач.
uukuguy разработал speechless-tora-code-7b-v1.0 — дообученную для программирования, рассуждений и планирования плотную авторегрессионную модель семейства Llama на 6,6 млрд параметров. Она принимает инструкции в формате Alpaca и предназначена для генерации кода и ответов на связанные с программированием запросы. В карточке указано дообучение на наборах данных с примерами кода, инструкций и рассуждений; для Python приведён результат HumanEval 51,829. Модель рассчитана на текстовый ввод и генерацию текста, поддерживает английский язык и контекст до 16 384 токенов. В репозитории представлены исходный формат PyTorch, а также варианты AWQ, GPTQ и GGUF для GPU или CPU+GPU-инференса. Лицензия — Llama 2.
Tanaos разработала эту модель на базе tanaos/tanaos-NER-v1 и дообучила её с помощью библиотеки Artifex на синтетических данных для распознавания персональных данных в тексте. Это модель RoBERTa для токеновой классификации с 151,8 млн параметров и контекстом до 514 токенов. Она выделяет пять категорий чувствительных сущностей, включая имена людей, местоположения и даты, после чего обнаруженные фрагменты можно удалить или заменить для анонимизации текста. Модель предназначена для подготовки текстов к передаче, публикации или дальнейшей обработке, когда требуется снизить риск раскрытия персональных данных. В карточке заявлена поддержка английского языка; обучение проводилось на синтетическом наборе примерно из 10 тысяч фрагментов. Указана лицензия MIT. Авторы отмечают, что для специализированных текстов может потребоваться дополнительное дообучение; распознавание сущностей само по себе не гарантирует полного удаления всех персональных данных или соответствия требованиям GDPR.
jplu/tf-xlm-r-ner-40-lang — дообученная модель XLM-RoBERTa-base для распознавания именованных сущностей в 40 языках на датасете WikiAnn из набора XTREME. Она классифицирует токены текста как географические названия (LOC), организации (ORG), имена людей (PER) или прочие (O), чтобы извлекать сущности из многоязычных текстов. Модель использует архитектуру XLM-RoBERTa для классификации токенов, содержит 305,2 млн параметров и поддерживает контекст до 514 токенов. Репозиторий содержит веса TensorFlow. В карточке приведены результаты на корпусах для разных языков, включая русский; объём данных различается между языками. Подходит для извлечения персон, организаций и мест из текстов на разных языках. Карточка описывает работу как продолжающуюся, поэтому качество может различаться между языками, а модель распознаёт только три типа сущностей. Лицензия в предоставленных данных не указана.
TimesFM 2.5 200M — предварительно обученная модель временных рядов для прогнозирования, разработанная Google Research. Это третий открытый чекпойнт семейства TimesFM; модель имеет архитектуру декодера и содержит 229,4 млн параметров. В репозитории представлены веса в формате safetensors, для работы используется библиотека timesfm. Модель предназначена для прогнозирования временных рядов. При предобучении использовались набор GiftEvalPretrain, просмотры страниц Wikimedia, данные Google Trends, а также синтетические и дополненные данные. Чекпойнт не является официально поддерживаемым продуктом Google; официальную поддержку Google указывает для TimesFM в BigQuery. Лицензия — Apache 2.0.
asahi417 выпустил модель XLM-RoBERTa, дообученную для распознавания именованных сущностей (NER) на наборе OntoNotes 5. Она присваивает метки токенам текста, чтобы выделять в нём сущности, например имена людей, организаций и географические названия. Модель подходит для извлечения сущностей из текста в конвейерах обработки естественного языка. Модель имеет архитектуру XLM-RoBERTa для классификации токенов, содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Доступны веса в формате PyTorch. README отсылает к репозиторию TNER за дополнительными сведениями. Лицензия в предоставленных данных не указана.
Watermark-Detection-SigLIP2 — модель prithivMLmods для бинарной классификации изображений: она определяет, есть ли на изображении водяной знак. Модель дообучена на базе google/siglip2-base-patch16-224 и использует архитектуру SiglipForImageClassification; файлы опубликованы в формате Safetensors и рассчитаны на работу с библиотекой Transformers. Модель предназначена для автоматической проверки изображений при модерации контента, очистке наборов данных, поиске защищённых авторским правом материалов и цифровой экспертизе. В отчёте карточки для тестовой выборки из 22 762 изображений указана точность 94,27%; полнота для класса изображений с водяным знаком составляет 90,48%. Лучше всего модель работает с чёткими изображениями высокого качества; шумные изображения не рекомендуются для проверки. Модель распространяется по лицензии Apache-2.0.
hatmimoha/arabic-ner — модель распознавания именованных сущностей на основе BERT для арабского языка. Она выполняет токенную классификацию и выделяет в тексте людей, организации, места, даты, товары, соревнования, награды, события и заболевания. Модель содержит 137,8 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch, TensorFlow и Flax. Модель предназначена для разметки арабских текстов, например новостных и веб-публикаций, с целью извлечения упоминаний сущностей. В README указано, что обучающий корпус содержит около 378 тысяч токенов из 14 тысяч предложений, собранных в интернете и размеченных вручную; F-мера на проверочном корпусе из 30 тысяч токенов составляет примерно 87%. Лицензия в предоставленных данных не указана.
Модель iguanodon-ai/bert-base-finnish-uncased-ner — версия BERT, дообученная для распознавания именованных сущностей в финском тексте. В качестве исходной модели использована Turku NLP bert-base-finnish-uncased-v1, а для дообучения — корпус turku_ner_corpus. Модель предназначена для разметки токенов и извлечения именованных сущностей из финских текстов. Она построена на архитектуре BERT, содержит 151,7 млн параметров и рассчитана на последовательности длиной до 512 токенов. В карточке приведены метрики проверки: F1 0,873; по отдельным классам качество может различаться. Модель распространяется по лицензии Apache 2.0. При использовании следует упомянуть обучающий корпус turku_ner_corpus.
Модель serpapi/bert-base-local-results — классификатор текстовых фрагментов из карточек Google Local Listings, разработанный SerpApi на базе BERT с использованием библиотеки Hugging Face. Она присваивает фрагментам категории, такие как адрес, телефон, рейтинг, число отзывов, часы работы, описание, тип заведения и варианты услуг, чтобы помогать разбирать результаты локального поиска Google. Модель предназначена для извлечения и структурирования сведений о местных компаниях и заведениях, в том числе при обработке результатов SerpApi Google Local API и Google Local Pack API. Она принимает текст на английском языке и возвращает метку класса; размер составляет 136,7 млн параметров, максимальная длина контекста — 512 токенов. Модель умеет работать с короткими и неполными фрагментами, семантически похожими значениями и текстом с грамматическими ошибками; также может выдавать оценку уверенности. Лицензия — MIT. Модель не классифицирует название заведения и поле label, может путать некоторые категории, например часы работы, описание, отзывы, рейтинг и варианты услуг. Для отдельных неоднозначных или коротких фрагментов полезна проверка оценки уверенности и дополнительная обработка правилами. Модель рассчитана на английские объявления и не предназначена для объявлений на других языках.
Byrne-Anon — модель Quazim0t0 для обнаружения и анонимизации персональных данных в тексте. Она использует архитектуру SpikeWhale (Byrne) с плотной языковой основой и головой классификации токенов: каждому токену присваивается BIOES-метка, после чего найденные фрагменты можно редактировать или скрывать. Восемь категорий включают имена людей, электронные адреса, телефоны, физические адреса, URL, даты, номера счетов и секреты — например, API-ключи, пароли, токены и PIN-коды. Модель содержит 103,6 млн параметров, принимает текст с контекстом до 4096 токенов и выдаёт метки токенов. Карточка приводит оценку на 200 примерах: macro-F1 по классам персональных данных составляет 89,10. Проверка ориентирована на английский язык; лучше всего модель работает с адресами электронной почты, URL, номерами счетов и адресами. Границы найденных фрагментов приблизительны, а качество слабее для телефонов и точного обнаружения секретов. Для загрузки требуется прилагаемый код ByrneAnon и пользовательская архитектура. Лицензия — Apache-2.0.
ChartVerse-Coder — инструкционная языковая модель для генерации кода визуализаций, разработанная в рамках проекта OpenDataLab ChartVerse. Она дообучена на базе Qwen/Qwen2.5-Coder-7B-Instruct и предназначена для автономного создания кода графиков с нуля, включая сложные и разнообразные визуализации: 3D-графики, иерархические диаграммы, статистические графики и многокомпонентные макеты. Модель имеет плотную архитектуру Qwen2, 7,1 млрд параметров и контекстное окно 32 768 токенов; заявленный язык карточки — английский. Обучение включает отбор сложных примеров по метрике Rollout Posterior Entropy и итеративное улучшение на сгенерированных, проверенных и отфильтрованных образцах. Модель рассчитана на генерацию кода для дальнейшего построения диаграмм и подготовки данных для вопросов и ответов по визуализациям. Репозиторий распространяется под лицензией Apache-2.0.
CodeBarcenas-13b — языковая модель для генерации кода на Python, разработанная автором репозитория Danielbrdz. Она основана на WizardLM/WizardCoder-Python-13B-V1.0 и дообучена на наборе mlabonne/Evol-Instruct-Python-1k. Модель построена на плотной архитектуре Llama и содержит 12,9 млрд параметров; для запуска доступны веса PyTorch, контекст — до 16 384 токенов. Модель предназначена для генерации и продолжения кода Python, а также для ответов на инструкции и вопросы по этому языку программирования. Указана лицензия llama2. В README не приведены результаты оценки качества или подробные сведения об ограничениях; качество ответов может зависеть от формулировки запроса и обучающих данных.
davanstrien/dataset-rows-task-classifier-2048 — модель классификации текста, дообученная на базе LiquidAI/LFM2.5-Encoder-350M для многометочной классификации строк датасетов по категориям задач машинного обучения. Она предсказывает метки из набора из 35 категорий, включая распознавание речи, генерацию текста, классификацию изображений, поиск и прогнозирование временных рядов. Модель содержит около 444,6 млн параметров, использует плотную архитектуру LFM2 с энкодером и поддерживает контекст до 128 000 токенов. На тестовой оценке F1 micro составила 0,6218 при пороге 0,5 и 0,6486 при настроенных порогах; F1 macro при пороге 0,5 — 0,4621. Пороговые значения для каждой метки сохранены в конфигурации. Для загрузки требуется trust_remote_code=True из-за пользовательской классификационной головы; README отмечает, что для подачи через vLLM нужна стандартная архитектура. Лицензия в предоставленных данных не указана.
ai4data разработала DevData Search Granite 97M Multilingual CMNRL — компактную двуязычную модель-биэнкодер для создания текстовых эмбеддингов и поиска по структурированным статистическим метаданным. Модель дообучена на DevDataBench от IBM Granite Embedding 97M Multilingual R2 с функцией потерь CMNRL. При обучении порядок полей переставлялся, а часть полей исключалась, чтобы модель связывала значения с названиями полей, а не с порядком их сериализации. Модель подходит для поиска статистических показателей по описаниям, сопоставления запросов с записями метаданных и ранжирования кандидатов по семантической близости. Она принимает текст и выдаёт векторы эмбеддингов; для использования предусмотрена библиотека Sentence Transformers. Контекстная длина в метаданных — 32 768 токенов, а в карточке обучения указана максимальная длина последовательности 512 токенов. Модель не является готовым поисковым сервисом. Лицензия — Apache 2.0.
ai4data разработала devdata-search-noinstruct-small-cgist — компактную bi-encoder модель эмбеддингов для поиска по структурированным статистическим метаданным. Это дообученная модель на базе avsolatorio/NoInstruct-small-Embedding-v0, построенная на архитектуре BERT и содержащая около 40 млн параметров. Она кодирует запросы и записи с метаданными в векторы, чтобы находить релевантные описания и сравнивать их по смыслу; для использования подходит библиотека Sentence Transformers. При дообучении применялись перестановка порядка полей и их случайное исключение, чтобы модель меньше зависела от порядка сериализации и учитывала названия полей. Максимальная длина последовательности — 512 токенов; префиксы для запросов и документов не требуются. Модель предназначена для встраивания в собственный конвейер поиска и сама не является поисковым сервисом. Распространяется по лицензии Apache-2.0.
Модель elastic/distilbert-base-cased-finetuned-conll03-english — вариант DistilBERT base с учётом регистра, дообученный командой Elastic для распознавания именованных сущностей на английском языке на наборе CoNLL-2003. Она присваивает метки отдельным токенам, чтобы выделять сущности в тексте, например имена людей, организации и географические названия. Модель принимает текст и возвращает последовательность меток для его токенов. Максимальная длина контекста составляет 512 токенов. Модель чувствительна к регистру: например, «english» и «English» могут обрабатываться по-разному. Для текста без учёта регистра авторы указывают отдельный вариант модели. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0.
Davlan разработал distilbert-base-multilingual-cased-ner-hrl — мультиязычную модель распознавания именованных сущностей на базе DistilBERT, дообученную на корпусах новостных текстов. Она размечает токены как части имён людей (PER), организаций (ORG) и мест (LOC), а также как текст вне сущностей. Подходит для извлечения этих сущностей из текстов на арабском, немецком, английском, испанском, французском, итальянском, латышском, нидерландском, португальском и китайском языках. Модель использует архитектуру DistilBertForTokenClassification и поддерживает контекст до 512 токенов. Её можно применять через pipeline NER в Transformers для извлечения имён, компаний и географических названий из новостных и похожих текстов. Доступны форматы PyTorch, safetensors и TensorFlow. Модель выпущена по лицензии AFL-3.0. Качество может снижаться на других жанрах и в предметных областях, поскольку обучающие данные состоят из аннотированных новостных статей определённого периода.
Rocketknight1/distilbert-base-uncased-finetuned-ner — модель токеновой классификации на базе DistilBERT, дообученная для распознавания именованных сущностей. Она предназначена для разметки токенов в англоязычном тексте и может использоваться для извлечения упоминаний сущностей из документов и сообщений. Модель основана на uncased-варианте DistilBERT, принимает текст с контекстом до 512 токенов и доступна в формате TensorFlow. В карточке приведены метрики обучения: F1 0,9081 и точность 0,9793 на обучающей выборке; данные оценки включают validation loss 0,0726. Датасет и категории сущностей не описаны, поэтому качество для конкретных типов текста и сущностей по этим показателям определить нельзя. Лицензия — Apache-2.0.
ledddev/dl-hw2-bge-ner — дообученная модель BAAI на архитектуре BERT для классификации токенов. Она предназначена для задач разметки последовательности текста, включая распознавание именованных сущностей; данные обучения и конкретная схема меток не описаны. Модель содержит около 40 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате Safetensors. В README приведены метрики на оценочной выборке: F1 0,8818, точность 0,8633, полнота 0,9012 и accuracy 0,9772. Базовая модель BAAI/bge-small-en-v1.5 ориентирована на английский язык. Лицензия модели — MIT; качество на других наборах данных и переносимость на другие схемы сущностей не установлены.
samarthramesh/gaperon-mmbert-hindi — классификатор качества текста на хинди, разработанный в рамках конвейера подготовки данных Gaperon и дообученный на базе jhu-clsp/mmBERT-base. Для входного фрагмента модель предсказывает оценки low, medium или high по шести измерениям: ясность, связность, глубина, грамматика, полезность и общая оценка. Её назначение — оценивать и фильтровать веб-тексты и корпусные примеры перед обучением других моделей. В основе лежит многоязычный энкодер ModernBERT с 306,9 млн параметров и контекстом до 8192 токенов. Представления токенов усредняются, после чего шесть отдельных линейных голов выполняют классификацию по трём классам. Модель обучалась на размеченном корпусе текстов на хинди; лицензия — MIT. На тестовых данных значения F1 по приведённым в карточке измерениям составляют примерно 0,54–0,59, поэтому оценки подходят как сигнал для фильтрации, но не как эталонная разметка. Перенос на другие языки, домены и жанры не подтверждён. Классификационные головы хранятся отдельно в heads.pt и требуют специальной загрузки; стандартный AutoModelForSequenceClassification их не загружает.
Granite-34B-Code-Instruct-8K — языковая модель IBM Research с 34 млрд параметров, дообученная на инструкционных данных на основе Granite-34B-Code-Base-8K. Она предназначена для ответов на запросы по программированию и создания помощников для разработки; обучение включало данные о коммитах кода, примеры инструкций по коду и вызову функций, задачи NL2SQL, математику и общие инструкции. Модель использует архитектуру GPTBigCode и принимает текстовые запросы, выдавая текстовые ответы; контекст — до 8192 токенов. Модель подходит для генерации, объяснения и исправления кода, решения связанных с программированием задач и помощи с SQL. Данные инструкционного дообучения охватывают 92 языка программирования, однако качество на языках и задачах вне обучающего распределения может быть ниже; для критичных применений IBM рекомендует тестирование безопасности и целевую настройку. Разработчик не рекомендует применять её в новых проектах и предоставляет её для исторических и научных целей. Лицензия — Apache 2.0.
Kwai-Coder-DS-V2-Lite-Base — базовая языковая модель для кода, разработанная Kwai и построенная на DeepSeek-V2-Lite-Base. Модель прошла дополнительное предобучение на 800 млрд токенов: 70% обучающих данных составлял код, 20% — математика и 10% — текст, включая материалы о программировании. Архитектура DeepSeek-V2 имеет 16 млрд параметров и 2,4 млрд активируемых параметров по README; метаданные репозитория указывают 2,5 млрд параметров. Модель принимает текст и генерирует текст, поддерживает английский и китайский языки. Метаданные указывают контекстное окно 163 840 токенов и совместимость с Transformers и PyTorch; веса доступны в формате Safetensors. Модель предназначена для генерации и дополнения кода, вставки фрагментов кода, а также задач по математике и программированию. В README приведены результаты на HumanEval, HumanEval+, MBPP, MBPP+, BigCodeBench, MATH и GSM8K, но они не гарантируют аналогичное качество на пользовательских задачах. Это базовая модель, поэтому готовое поведение чат-ассистента или следование инструкциям не следует считать подтверждённым. Лицензия — MIT.
Модель LinkTransformer на базе MPNet предназначена для сопоставления записей и классификации товаров по укрупнённым категориям. Её разработали исследователи Гарвардского университета; модель дообучена на multi-qa-mpnet-base-dot-v1 на примерах соответствия товарных классификаций статистики ООН. Веса содержат 136,7 млн параметров, а контекст ограничен 514 токенами по метаданным; в конфигурации README указан предел длины последовательности 512 токенов. Модель кодирует предложения и абзацы на английском языке в плотные векторы размерности 768. Её применяют для связывания товарных записей с укрупнёнными классификациями, кластеризации, удаления дубликатов и семантического поиска; также она подходит для задач сходства предложений в Sentence Transformers. Модель использует архитектуру MPNet и доступна в формате safetensors. Лицензия в предоставленных данных не указана. Результаты предназначены прежде всего для англоязычных описаний товаров и сопоставления с обученными категориями; качество на других языках и предметных областях не подтверждено. Это модель эмбеддингов, а не генератор текста.
Magicoder-CL-7B — языковая модель для генерации кода, разработанная Юйсяном Вэем, Чжэ Ваном, Цзяьвэем Лю, Ифэном Дином и Линмином Чжаном. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров, дообученная на CodeLlama-7b-Python-hf. Для обучения использован набор Magicoder-OSS-Instruct-75K, созданный методом OSS-Instruct на основе открытых фрагментов кода. Модель предназначена прежде всего для задач программирования: генерации кода по инструкциям и помощи в решении задач разработки. Контекст составляет 16 384 токена. Модель не рассчитана на общие задачи вне программирования и может допускать ошибки или выдавать вводящий в заблуждение код. Лицензия — Llama 2; при использовании следует учитывать условия OpenAI для синтетических обучающих данных.
Masker Mini — компактный многоязычный детектор персональных данных от AMS Intelligence для локального обнаружения и маскирования PII. Это шестислойный BERT-классификатор токенов примерно на 35,6 млн параметров, полученный дистилляцией модели masker. Он размечает текст 12 типами сущностей, используя 48 BIOES-меток и метку O, и рассчитан на работу без подключения к сети на мобильных и других устройствах. Модель поддерживает 23 европейских языка. В репозитории доступны веса PyTorch fp16 и ONNX fp16, а также 4-битные варианты ONNX и Core ML; для 4-битных операций ONNX Runtime требуется версия 1.18 или новее, а Core ML-вариант предназначен для iOS 18 и macOS 15 и новее. Указанная строгая span-level F1 на синтетическом наборе openpii-1m составляет 0,965; эти результаты относятся к данным, близким к обучающим. По сравнению с полной моделью masker Mini немного хуже выявляет имена и названия мест, а также может ошибаться в границах имён на нидерландском языке. Метаданные указывают лицензию «other»; README отдельно требует сохранять атрибуцию набора данных CC-BY-4.0 и указывает, что модель masker основана на mDeBERTa с лицензией MIT.
Это объединённая методом TIES через mergekit языковая модель семейства Llama 3.2, созданная из нескольких моделей на 3,2 млрд параметров. В качестве базовой при слиянии использовалась huihui-ai/Llama-3.2-3B-Instruct-abliterated; в объединение также вошли варианты для SQL, математики, программирования и диалогов без ограничений на отказы. Модель предназначена для генерации текста и диалоговых сценариев, включая помощь с SQL, математическими задачами и кодом. Она принимает текст и выдаёт текст; метаданные указывают контекст до 131 072 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Карточка не приводит результатов оценки качества или подробных инструкций по использованию. Условия лицензирования в предоставленных данных не указаны, поэтому их следует проверить в карточке модели и у исходных моделей до применения.
MediaCatch/mmBERT-base-scandi-ner-gold — мультиязычная модель распознавания именованных сущностей, разработанная MediaCatch. Она дообучена для классификации токенов на объединённых корпусах датского, шведского, норвежского и английского языков и размечает имена людей (PER), организации (ORG) и географические названия (LOC) в формате BIO. Модель построена на архитектуре ModernBERT, содержит 306,9 млн параметров и поддерживает контекст до 8192 токенов. Модель подходит для извлечения сущностей из новостных и энциклопедических текстов, в том числе при пакетной обработке документов. На отложенном тестовом наборе в карточке указаны F1 0,833, точность 0,8455 и полнота 0,8208. Лицензия — MIT. Качество может снижаться на текстах из других предметных областей и при смешении языков в одном предложении. Модель распознаёт только PER, ORG и LOC; она не предназначена для поиска дат, сущностей типа MISC и других категорий. Для корректного вывода необходимо учитывать разбиение слов на субтокены.
mREBEL-large-32 — многоязычная модель извлечения отношений, разработанная авторами работы REDFM и основанная на REBEL. Она преобразует задачу выделения отношений между сущностями в последовательность текста и может применяться как готовая система извлечения отношений или как отправная точка для дообучения на многоязычных наборах данных.