I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельOpenMed разработала OpenMed-PII-French-SuperMedical-Large-355M-v1 — модель токенной классификации на базе RoBERTa-large, дообученную для выявления персональных и других чувствительных данных во французских текстах. Она размечает 54 типа сущностей, включая имена, адреса, идентификаторы, медицинские сведения, контакты и финансовые данные, чтобы помогать обезличивать документы и готовить наборы данных. Модель принимает текст и возвращает метки сущностей для токенов. В карточке заявлена оценка micro F1 0,9728 на французской части набора AI4Privacy PII Masking 400k. Размер по метаданным — 454,1 млн параметров, контекст — 514 токенов; модель доступна в формате safetensors и использует библиотеку Transformers. Она предназначена для обработки французских клинических записей, медицинских документов и других текстов, содержащих чувствительные сведения, а также для поддержки процедур конфиденциальности и GDPR. Результаты требуют проверки человеком: модель может пропускать данные, а качество зависит от контекста и терминологии; для других языков она не оптимизирована. Лицензия — Apache-2.0.
OpenMed-PII-Italian-ClinicalBGE-Large-568M-v1 — модель OpenMed для обнаружения и классификации персональных данных в итальянском тексте. Это дообученная для token classification модель семейства XLM-RoBERTa на базе BAAI/bge-m3; она содержит 658,7 млн параметров и принимает последовательности длиной до 8194 токенов. Модель размечает токены BIO-тегами и распознаёт 54 типа чувствительных сущностей, включая имена, адреса, идентификаторы, финансовые и медицинские сведения, контакты и даты. Она предназначена для поиска персональных данных в клинических записях и документах, подготовки текстов к обезличиванию и поддержки аудита приватности. В README для итальянской части набора AI4Privacy указана оценка F1 0,9678. Модель оптимизирована для итальянского языка; качество на других языках и в специализированных областях может быть ниже. README рекомендует использовать её как вспомогательный инструмент с проверкой результатов человеком, поскольку возможны пропуски персональных данных. Лицензия — Apache-2.0.
OpenMed разработала модель классификации токенов для поиска и классификации персональных данных в итальянском тексте. Это дообученная модель на архитектуре RoBERTa с 95,2 млн параметров; она принимает текст и помечает токены BIO-тегами, охватывая 54 типа сущностей, включая имена, адреса, идентификаторы, контактные, финансовые и медицинские сведения. Максимальная длина контекста — 514 токенов. Модель предназначена для выявления чувствительных данных в клинических записях и документах, их обезличивания, подготовки наборов данных и аудита коллекций документов. В описании README для итальянской части набора AI4Privacy приведён micro F1 0,9387. Модель ориентирована на итальянский язык; качество на других языках и при специализированной терминологии может быть ниже, а пропуски персональных данных требуют проверки человеком. Распространяется по лицензии Apache 2.0.
OpenMed-PII-Italian-LiteClinical-Small-66M-v1 — компактная модель OpenMed на архитектуре DistilBERT, дообученная для классификации токенов и обнаружения персональных данных в итальянском тексте. Она размечает 54 категории чувствительной информации, включая имена, адреса, идентификаторы, контактные, финансовые и медицинские сведения, с метками BIO. Модель предназначена для автоматизированного выявления и удаления персональных данных из клинических записей, медицинских документов и других текстовых коллекций, а также для подготовки данных к исследованиям и аудита документов. В README приведён результат оценки на итальянской части AI4Privacy: micro F1 0,9435. Модель принимает текст и выдаёт последовательность меток для токенов; контекст ограничен 512 токенами. Для применения в чувствительных сценариях требуется проверка человеком: возможны пропуски, а качество может зависеть от терминологии; для языков, кроме итальянского, модель не оптимизирована. Лицензия — Apache 2.0.
OpenMed-PII-Italian-SuperClinical-Small-44M-v1 — модель OpenMed для обнаружения и классификации персональных и других чувствительных данных в итальянском тексте. Это дообученная на задаче разметки токенов модель на архитектуре DeBERTa V2; метаданные указывают 155 млн параметров, а README называет размер 44 млн. Контекст модели составляет 512 токенов. Модель размечает 54 типа сущностей, включая имена, адреса, контактные данные, финансовые идентификаторы и медицинские записи. Она предназначена для выявления PII в клинических заметках и документах, подготовки наборов данных к исследованиям и поддержки процессов деидентификации. README сообщает о micro F1 0,9559 на итальянской части AI4Privacy, но не приводит подробностей протокола оценки. Модель принимает текст и выдаёт метки токенов в формате BIO. Она обучена на итальянском подмножестве AI4Privacy PII Masking 400k и опубликована под лицензией Apache 2.0. Результаты могут зависеть от предметной области; модель может пропускать чувствительные данные, поэтому для критичных сценариев требуется проверка человеком.
OpenMed-PII-ModernMed-Base-149M-v1 — англоязычная модель OpenMed для выявления и классификации персональных и других чувствительных данных в тексте. Это дообученная для разметки последовательностей encoder-модель ModernBERT с 149 млн параметров и контекстом до 8192 токенов; она построена на answerdotai/ModernBERT-base и доступна через библиотеку Transformers. Модель распознаёт 54 типа сущностей, включая имена, адреса, контактные данные, идентификаторы, медицинские сведения и финансовую информацию. Она предназначена для поиска и удаления чувствительных данных из клинических записей и документов, подготовки наборов данных и аудита коллекций. На тестовой выборке из NVIDIA Nemotron-PII карточка сообщает micro F1 0,9514. Модель рассчитана прежде всего на английский текст. Возможны пропуски чувствительных данных, а качество зависит от предметной области; для важных сценариев обнаруженные сущности и пропуски следует проверять человеком. Распространяется по лицензии Apache-2.0.
OpenMed-PII-NomicMed-Large-395M-v1 — англоязычная модель OpenMed для поиска и классификации персональных и чувствительных данных в тексте. Это дообученная модель ModernBERT с архитектурой токеновой классификации, содержащая 394,7 млн параметров и поддерживающая контекст до 8192 токенов. Она размечает 54 типа сущностей, включая имена, адреса, контактные данные, финансовые идентификаторы и медицинские номера. Модель предназначена для обнаружения PII в клинических записях и документах, подготовки данных к обезличиванию, аудита коллекций и поддержки процессов соблюдения требований конфиденциальности. В README приведён результат micro F1 0,9569 на тестовой выборке из NVIDIA Nemotron-PII; для отдельных типов сущностей качество различается, а для некоторых категорий оно ниже. Модель обучена преимущественно на английском тексте, поэтому её применение к другим языкам требует отдельной проверки. Лицензия — Apache-2.0. Модель следует использовать как вспомогательный инструмент с проверкой результатов человеком: она может пропускать чувствительные данные, а качество зависит от предметной области.
OpenMed-PII-Spanish-BioClinicalBERT-Base-110M-v1 — модель OpenMed для обнаружения и классификации персональных данных в испанском тексте. Это дообученная для разметки токенов BERT-модель на базе emilyalsentzer/Bio_ClinicalBERT: она выделяет 54 типа чувствительных сущностей, включая идентификаторы, имена, адреса, контактные, финансовые и медицинские сведения. Модель рассчитана на деидентификацию клинических записей и документов, подготовку наборов данных к исследованиям и поиск персональных данных в коллекциях документов. Модель использует архитектуру BERT, содержит 135,5 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Она оптимизирована для испанского языка и обучалась на испанской части AI4Privacy PII Masking 400k; на указанной в карточке оценке micro F1 составляет 0,8411. Для наилучших результатов README рекомендует предварительно удалять диакритические знаки, при этом смещения сущностей можно сопоставить с исходным текстом. Модель предназначена как вспомогательный инструмент: возможны пропуски персональных данных, а качество зависит от предметной области. Она может хуже работать на других языках, поэтому критичные результаты следует проверять вручную. Лицензия — Apache-2.0.
OpenMed-PII-Spanish-BiomedBERT-Large-340M-v1 — модель OpenMed на архитектуре BERT, дообученная на microsoft/BiomedNLP-BiomedBERT-large-uncased-abstract для обнаружения и классификации персональных данных в испанском тексте. Модель содержит 433,9 млн параметров, принимает текст и возвращает метки для токенов; поддерживает контекст до 512 токенов и предназначена для испанского языка. Модель выявляет 54 типа чувствительных сущностей, включая имена, адреса, идентификаторы, медицинские номера, финансовые сведения, даты, электронную почту и телефоны. Её применяют для деидентификации клинических записей и документов, подготовки данных к исследованиям и аудита коллекций на наличие персональных данных. В оценке на испанской части набора AI4Privacy указана метрика Micro F1 0,8799. Для лучшего качества README рекомендует удалять диакритические знаки из входного текста; смещения найденных сущностей сохраняются для сопоставления с исходным текстом. Возможны пропуски PII, а результат зависит от терминологии предметной области, поэтому для важных сценариев требуется проверка человеком. Модель распространяется по лицензии Apache-2.0.
OpenMed/OpenMed-ZeroShot-NER-Oncology-Medium-209M — специализированная модель OpenMed для распознавания именованных сущностей в онкологических и биомедицинских текстах. Она построена на архитектуре GLiNER и дообучена на корпусе BioNLP 2013 CG, посвящённом генетике рака. Модель выделяет гены и их продукты, клеточные процессы, опухоли, химические вещества, ткани и другие биомедицинские сущности; метки сущностей можно задавать под конкретную задачу без отдельного дообучения. Модель предназначена для извлечения данных из научной литературы и медицинских документов, включая поиск онкологических биомаркеров, генов-драйверов и элементов молекулярных путей. В README сообщается F1 0,8765 на тестовом наборе BioNLP 2013 CG, исключённом из обучения. Поддерживается английский язык. Модель опубликована в формате PyTorch под лицензией Apache-2.0.
OpenMed-ZeroShot-NER-Pharma-XLarge-770M — модель OpenMed для распознавания химических сущностей в биомедицинских текстах. Она построена на архитектуре GLiNER и дообучена на корпусе BC5CDR-Chem для извлечения названий химических соединений, лекарств и терапевтических веществ. В карточке приведён результат F1 0,9463 на тестовом наборе BC5CDR-Chem. Модель предназначена для извлечения упоминаний химических веществ из научной литературы и медицинских текстов, в том числе как этап конвейеров фармаконадзора, поиска нежелательных реакций и анализа связей между химическими веществами и заболеваниями. Заявлена возможность zero-shot распознавания пользовательских типов сущностей, однако основное обучение и приведённая оценка относятся к химическим сущностям BC5CDR-Chem. Модель принимает текст и возвращает текстовые упоминания с метками сущностей. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. Карточка не сообщает длину контекста. Результаты на BC5CDR-Chem не гарантируют аналогичное качество на других типах сущностей, языках или клинических данных; пользовательские метки могут требовать настройки порога распознавания.
Palmyra-Med-70B-32K — языковая модель Writer для медицинских и биомедицинских задач. Это плотная causal language model семейства Llama с 69,5 млрд параметров, дообученная на медицинских данных и инструкциях с применением Direct Preference Optimization. Модель принимает и генерирует текст, поддерживает диалоговый формат и контекст до 32 768 токенов; заявленный язык — английский. Модель предназначена для исследовательских и некоммерческих сценариев в здравоохранении и науках о жизни: анализа и краткого изложения клинических записей, извлечения медицинских сущностей, поиска сведений в биомедицинских текстах и поддержки исследований. В карточке сообщается о результатах на биомедицинских тестах, но также отмечается, что модель не проходила достаточную оценку в клинических испытаниях или реальной медицинской практике. Модель может допускать ошибки и смещения. Её не следует использовать для непосредственного ухода за пациентами, принятия клинических решений или как замену профессиональному медицинскому суждению. Лицензия обозначена как Writer Open Model License; карточка ограничивает применение некоммерческим использованием и исследованиями, а также требует соблюдать лицензию и Acceptable Use Policy.
ab-ai разработала дообученную модель на базе Microsoft Phi-3-mini-4k-instruct для обнаружения персональных данных в тексте. Она предназначена для поиска имен, дат рождения, контактных и адресных данных, финансовых реквизитов, идентификаторов, IP- и криптовалютных адресов и других чувствительных сущностей, например для редактирования документов, защиты конфиденциальности и проверки соответствия требованиям. Модель использует плотную архитектуру Phi-3 с 3,7 млрд параметров, работает через Hugging Face Transformers и принимает текст, генерируя текстовый ответ. Заявленный контекст составляет до 4096 токенов; в метаданных указан английский язык. Модель распространяется по лицензии MIT. Результаты обнаружения зависят от формата запроса и могут пропускать или неверно классифицировать данные; перед использованием в процессах соответствия требованиям нужна проверка качества на целевых текстах.
Это стандартная модель Flair для разметки частей речи в английском тексте. Она разработана для использования в библиотеке Flair и предсказывает подробные POS-теги для токенов; модель основана на эмбеддингах Flair и архитектуре LSTM-CRF и обучена на OntoNotes. В README указан F1-score 98,19 на OntoNotes. Модель подходит для морфосинтаксической разметки английских текстов в NLP-конвейерах, например для подготовки данных к синтаксическому анализу и другим задачам обработки языка. Для работы требуется библиотека Flair. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.
Rakib/roberta-base-on-cuad — модель вопросно-ответной системы, разработанная Мохаммедом Ракибом на основе RoBERTa. Она предназначена для поиска ответов на вопросы по юридическим документам, в частности по договорам; при обучении использовался датасет CUAD. Модель построена на архитектуре RoBERTa, содержит 151,8 млн параметров и принимает контекст длиной до 514 токенов. Модель подходит для извлечения сведений из договоров и первичного анализа контрактов на английском языке. Она распространяется по лицензии MIT. В карточке не приведены метрики качества и подробности предобработки, поэтому результаты следует проверять на документах целевого типа; длина контекста ограничивает обработку больших документов целиком.
SciNERTopic — модель распознавания именованных сущностей на основе SciBERT, дообученная автором RJuro на наборе SciERC для извлечения научных терминов из текста. Она размечает токены по категориям: задачи и применения, методы и инструменты, метрики оценки, материалы и ресурсы, прочие научные термины и общие слова. Модель предназначена для анализа научных публикаций и может использоваться как этап подготовки данных для тематического моделирования, в том числе в подходе, вдохновлённом BERTopic. Модель построена на архитектуре BERT и содержит 137,1 млн параметров; максимальная длина контекста — 512 токенов. В README приведены результаты на оценке: точность 0,577, полнота 0,632 и F1 0,603. Модель распространяется под лицензией MIT. Показатель F1 указывает на ограниченное качество разметки; перед применением в важных сценариях стоит проверить её на целевом корпусе.
stanfordnlp/stanza-it — итальянская модель из набора Stanza, разработанного группой Stanford NLP. Она предназначена для лингвистического анализа итальянского текста в составе инструментов Stanza, которые обрабатывают текст от токенизации до синтаксического анализа и распознавания сущностей. В метаданных указаны задача классификации токенов, библиотека Stanza и формат PyTorch; карточка описывает набор моделей Stanza как точный и эффективный инструмент для анализа естественного языка. Модель распространяется по лицензии Apache-2.0. В карточке не приведены сведения о размере модели и длине контекста. Конкретные метрики качества и ограничения для итальянской модели не описаны.
stanfordnlp/stanza-ja — японская модель из набора Stanza, разработанного Stanford NLP. Она предназначена для лингвистического анализа японского текста; репозиторий на Hugging Face предоставляет веса PyTorch. Stanza поддерживает обработку текста от исходной строки до синтаксического анализа и распознавания сущностей; для этой модели основной тег задачи — классификация токенов. Модель подходит для включения японского языкового анализа в NLP-конвейеры. Репозиторий распространяется по лицензии Apache-2.0. В карточке не приводятся сведения о размере модели, контекстном окне или конкретных ограничениях качества.
stanfordnlp/stanza-nl — модель Stanza для нидерландского языка, опубликованная командой Stanford NLP. Она предназначена для лингвистического анализа текста: в экосистеме Stanza доступны инструменты от обработки исходного текста до синтаксического анализа и распознавания сущностей. В метаданных Hugging Face для этой модели указана задача token-classification и формат PyTorch. Модель подходит для задач разметки токенов в нидерландском тексте. Репозиторий лицензирован по Apache-2.0. Карточка не сообщает размер модели, длину контекста и конкретные ограничения качества.
TAPAS — модель на основе Transformer, разработанная Google и дообученная для ответов на вопросы по таблицам из WikiSQL. Она принимает вопрос на естественном языке вместе с таблицей и выбирает релевантные ячейки, при необходимости выполняя агрегирование. Модель предобучалась на английских текстах и таблицах Википедии, затем дообучалась на SQA и WikiSQL; архитектура включает BERT-подобный кодировщик, головку выбора ячеек и головку агрегирования. Размер — 136,7 млн параметров, максимальный контекст — 1024 токена. Модель подходит для извлечения значений из таблиц и ответов на вопросы, включая простые числовые рассуждения. Она рассчитана на английский язык и табличные данные; качество за пределами сценариев, похожих на WikiSQL, не подтверждено карточкой. Репозиторий предоставляет веса PyTorch и TensorFlow. Лицензия — Apache-2.0.
google/tapas-mini-finetuned-wtq — компактная модель TAPAS от Google для ответов на вопросы по таблицам. Это BERT-подобный Transformer с архитектурой TapasForQuestionAnswering; в метаданных указаны 12 млн параметров и контекст до 512 токенов. Модель принимает вопрос и таблицу, представленную как последовательность текста, и выбирает ячейки таблицы, формируя ответ с учётом агрегации. Модель предварительно обучалась на англоязычных текстах и таблицах Википедии, затем последовательно дообучалась на SQA, WikiSQL и WikiTable Questions (WTQ). Её можно применять для поиска сведений в таблицах и ответов на вопросы о числах, строках и связях между ячейками. Карточка описывает две версии позиционных эмбеддингов: основную с переустановкой позиции в каждой ячейке и дополнительную no_reset. Модель ориентирована на английский язык и таблицы, похожие на обучающие данные. Лицензия — Apache-2.0. Результаты на WTQ зависят от размера и варианта чекпойнта; карточка приводит для крупных и базовых версий точность на dev около 0,45–0,51, поэтому модель может ошибаться на сложных или непривычно структурированных таблицах.
Карточка модели Fsoft-AIC/videberta-xsmall на Hugging Face совпадает с карточкой Fsoft-AIC/videberta-base, поэтому описание составлено по ней. Fsoft-AIC разработала ViDeBERTa-base — предварительно обученную монолингвальную языковую модель для вьетнамского языка на архитектуре DeBERTaV3. Модель содержит 211,6 млн параметров, обучена на разнообразном вьетнамском тексте объёмом 138 ГБ и рассчитана на контекст до 512 токенов. Эта версия предназначена для тонкой настройки на задачах понимания вьетнамского текста, включая классификацию токенов, разметку частей речи и распознавание именованных сущностей. В карточке приведены результаты экспериментов на наборах VLSP POS, PhoNER и ViQuAD. Репозиторий содержит веса PyTorch. Информация о лицензии в предоставленных данных отсутствует.
anton-l/wav2vec2-large-xlsr-53-mongolian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на монгольском языке. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель принимает аудио, записанное с частотой дискретизации 16 кГц, и преобразует речь в текст; для распознавания можно использовать её напрямую, без языковой модели. Модель обучалась на обучающей и валидационной частях Common Voice. В README приведён результат 38,53% на тестовых данных Common Voice для монгольского языка; метрика не уточнена. Модель распространяется по лицензии Apache-2.0. Хотя в репозитории представлены варианты PyTorch и Flax, заявленная задача — распознавание монгольской речи.
aubmindlab/bert-large-arabertv2 — предварительно обученная языковая модель AraBERT для понимания арабского языка, разработанная командой AUB Mind Lab на архитектуре Google BERT. Это крупный плотный BERT-чекпойнт с 468,2 млн параметров и контекстом до 512 токенов; в репозитории представлены веса PyTorch, TensorFlow и Flax, включая safetensors. Модель предназначена для заполнения маскированных токенов и может служить основой для дообучения под задачи арабского NLP, например анализ тональности, распознавание именованных сущностей и ответы на вопросы. Версия AraBERTv2 использует предварительную сегментацию арабских слов; для подготовки текста авторы рекомендуют preprocessing из пакета arabert, который обрабатывает пунктуацию, числа и морфологические аффиксы. Модель обучена на крупном арабском корпусе, включающем отфильтрованный OSCAR, Википедию и новостные и другие текстовые источники. Поддерживается арабский язык. Сведения о лицензии в предоставленных данных отсутствуют.
Koichi Yasuoka разработал японскую модель BERT Large для разметки частей речи и синтаксического анализа зависимостей. Она дообучена на текстах японской Википедии и назначает каждому слову длинной единицы тег UPOS из набора Universal Dependencies. Модель построена на архитектуре BERT и содержит 436,2 млн параметров; максимальная длина контекста — 512 токенов. Вход — японский текст, выход — метки частей речи для токенов.
siddharthtumre/biobert-finetuned-ner — модель на базе BioBERT, дообученная для распознавания именованных сущностей в биомедицинских текстах. Использует архитектуру BERT для классификации токенов, содержит 135,5 млн параметров и обрабатывает контекст длиной до 512 токенов. Модель обучена на наборе JNLPBA. На приведённой в карточке оценочной выборке она достигла F1 0,7056, точности 0,6551, полноты 0,7646 и accuracy 0,9108. Её можно применять для извлечения биомедицинских сущностей из научных текстов. В README не приведены подробности о категориях сущностей и практических ограничениях; лицензия в доступных данных не указана.
maifeng/boilerplate_detection — модель классификации финансового текста, предназначенная для выявления шаблонных и повторяющихся фрагментов в отчётах финансовых аналитиков и отличения их от содержательных деловых сведений. Она использует замороженный sentence transformer all-mpnet-base-v2 и классификационную сеть из трёх слоёв с размерностями 768 → 16 → 8 → 2. Модель обучена на отчётах аналитиков за 2000–2020 годы: повторяющиеся фрагменты одного брокера в пределах года размечались как шаблонные, остальные — как содержательные. Модель принимает текстовые сегменты и выдаёт классификацию; карточка предусматривает прямую загрузку пользовательской архитектуры вместо стандартного интерфейса pipeline. Она рассчитана на англоязычные финансовые аналитические отчёты. Лицензия — Apache-2.0.
CeLLaTe-ner-2class-bioformer16l-baseline — англоязычная модель распознавания сущностей в тексте, созданная дообучением bioformers/bioformer-16l на наборе OTAR3088/CeLLaTe_V3.2_contracted_ent_IOB. Это плотная BERT-модель с головой классификации токенов, содержащая 50,3 млн параметров; длина контекста — 1024 токена. Модель предназначена для разметки токенов и извлечения сущностей в текстах, соответствующих обучающему набору. В карточке приведены результаты на оценочной выборке: F1 0,7766, точность 0,8151, полнота 0,7415 и accuracy 0,9825. Лицензия — Apache-2.0.
CeLLaTe-ner-2class-pubmedbert-tapt-combData-tokenizer-adapted-spanmask — англоязычная модель Mardiyyah для классификации токенов в биомедицинских текстах. Это дообученная на наборе OTAR3088/CeLLaTe-ner-2class-iob_final модель Mardiyyah/CeLLaTe-tapt-pubmedbert-tokenizer-adapted-spanmask-combinedData на базе BERT; в архитектуре используется BertForTokenClassification. Модель содержит 138,2 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в формате safetensors по лицензии Apache-2.0. Модель предназначена для токенной разметки в задаче распознавания именованных сущностей (NER) в биомедицинском тексте. На оценочном наборе указаны micro F1 0,7382, precision 0,7672 и recall 0,7114; README не раскрывает названия двух классов и детали обучающих данных, поэтому конкретные типы извлекаемых сущностей установить нельзя.
globis-university разработал крупную японскоязычную модель DeBERTa V3 для классификации токенов. Модель содержит 451,8 млн параметров, использует архитектуру DeBERTa V2 для классификации токенов и доступна в формате PyTorch через Transformers. Контекст ограничен 512 токенами. Модель обучена на японских текстовых ресурсах, включая Wikipedia, WikiBooks, OSCAR, CC-100, C4 и корпус Aozora Bunko. Токенизатору не нужен морфологический анализатор при инференсе; он в определённой степени сохраняет границы слов. Вариант large использует BPE, а версии xsmall и base — unigram. Это делает модель подходящей как основа для японской разметки последовательностей и других задач классификации токенов. Лицензия — CC BY-SA 4.0. Модель ориентирована на японский язык; характеристики её точности для конкретных задач разметки токенов в предоставленной карточке не приведены.