I.3Извлечение и структурирование данных

lots-o/gliner-bi-ko-xlarge-v1 — корейская модель распознавания именованных сущностей на основе GLiNER с двухэнкодерной архитектурой. Она использует текстовый энкодер team-lucid/DeBERTa-v3-xlarge-korean и энкодер меток сущностей BAAI/bge-m3, что позволяет задавать типы сущностей текстовыми метками и находить сущности, не ограничиваясь фиксированной схемой классов. Модель предназначена для извлечения именованных сущностей из корейского текста, в том числе нескольких типов сущностей за один проход. По данным README, двухэнкодерная схема может лучше обобщать на незнакомые типы сущностей и ускорять вывод при предварительно вычисленных эмбеддингах меток. На наборе konne dev указано значение F1 81,07 при пороге 0,5. Ограничение архитектуры — слабое взаимодействие между метками: модели может быть трудно различать семантически похожие типы сущностей с разным значением в контексте. Репозиторий содержит веса PyTorch; лицензия — CC BY-SA 4.0.

GLiNER Multi PII Domains — модель распознавания именованных сущностей, разработанная E3-JSI путём дообучения urchade/gliner_multi_pii-v1 на синтетическом наборе E3-JSI/synthetic-multi-pii-ner-v1. Она использует двунаправленный трансформерный энкодер семейства BERT и предназначена для извлечения персональных данных и других чувствительных сущностей из текста: имён людей и организаций, контактных данных, идентификаторов документов, финансовых и медицинских сведений и других типов PII. Модель подходит для выявления чувствительных данных в медицинских текстах и других текстовых материалах, например перед их обезличиванием или проверкой. GLiNER позволяет задавать типы сущностей и служит компактной альтернативой крупным языковым моделям для сценариев с ограниченными ресурсами. Для работы требуется библиотека GLiNER. Модель распространяется по лицензии Apache-2.0. В карточке приведены примеры на английском и нидерландском языках; метаданные указывают поддержку английского, французского, немецкого, испанского, португальского, итальянского, словенского, греческого и нидерландского. Качество распознавания зависит от языка, формата текста и типов сущностей; модель может пропускать данные или ошибочно выделять фрагменты, поэтому результаты чувствительных проверок следует контролировать.

urchade разработала GLiNER PII — модель распознавания именованных сущностей, дообученную на базе urchade/gliner_multi-v2.1 на синтетическом наборе данных с персональными данными. Она использует двунаправленный трансформерный энкодер типа BERT и предназначена для извлечения PII из текста, в том числе когда нужные типы сущностей задаются пользователем. Модель распознаёт имена людей и организаций, телефоны, адреса, электронную почту, номера документов, банковские и страховые идентификаторы, даты рождения, медицинские сведения, IP-адреса и другие перечисленные в карточке сущности. Карточка указывает поддержку английского, французского, немецкого, испанского, португальского и итальянского языков. Модель распространяется в формате PyTorch через библиотеку GLiNER и опубликована под лицензией Apache-2.0. GLiNER PII рассчитана на извлечение и разметку чувствительных сущностей в текстах, например для обнаружения персональных данных перед их редактированием или маскированием. Карточка не приводит количественных оценок качества, поэтому пригодность для конкретных типов документов и языков следует оценивать на собственных данных.

GPT-4o версии от 6 августа 2024 года — мультимодальная модель OpenAI. Карточка указывает на улучшенную поддержку структурированных ответов: можно передать JSON Schema через параметр response_format, чтобы задавать формат вывода. Модель предназначена для генерации ответов в заданной структуре, включая JSON. В метаданных задача классифицирована как image-text-to-text, однако приведённый фрагмент карточки не описывает конкретные сценарии обработки изображений, архитектуру, размер, поддерживаемые языки или длину контекста. Условия лицензии в предоставленных данных не указаны.

herbert-base-ner — польская модель для распознавания именованных сущностей, созданная на базе HerBERT. Это дообученная модель архитектуры BERT с 151,6 млн параметров, рассчитанная на контекст до 514 токенов. Она была дообучена на польской части набора WikiAnn и определяет имена людей (PER), географические названия (LOC) и организации (ORG). Модель подходит для извлечения этих сущностей из польских текстов, например для последующей индексации или анализа документов. Доступна в форматах PyTorch и Safetensors; лицензия — CC BY 4.0. Ограничена тремя указанными типами сущностей и польским языком.

hu_core_news_md — базовая модель обработки венгерского языка из проекта HuSpaCy, распространяемая как пакет для spaCy версии 3.8.1. Она принимает текст и выполняет токенизацию, определение границ предложений, морфологический и грамматический анализ, лемматизацию, синтаксический разбор и распознавание именованных сущностей. Модель подходит для подготовки венгерских текстов к поиску и анализу, выделения частей речи и грамматических признаков, построения зависимостей между словами и извлечения сущностей. В README указаны компоненты tok2vec, senter, tagger, morphologizer, lemmatizer, parser и ner; карточка содержит подробную схему меток для разметки токенов. Лицензия — CC BY-SA 4.0. В предоставленных данных нет сведений о числе параметров, длине контекста или оценках качества; поэтому их нельзя использовать для сравнения модели с другими системами.

treamyracle/indobert-ner-gold — модель для распознавания именованных сущностей в индонезийском тексте, разработанная автором репозитория и дообученная на базе indobenchmark/indobert-large-p1. Это плотная модель семейства BERT для классификации токенов: она принимает текст и выделяет сущности, используя 19 типов меток. Контекст модели — до 512 токенов. Модель предназначена для извлечения персон, организаций, мест, геополитических объектов, объектов инфраструктуры, событий и других сущностей. В карточке описано обучение в два этапа: на синтетических данных, размеченных автоматически, затем на вручную размеченном индонезийском наборе NERGRIT. Автор сообщает результаты на наборах NERUI и NERUGM, однако эти показатели приведены в README и не являются независимой проверкой. Модель распространяется по лицензии MIT.

ItalianNERXXL — модель разметки именованных сущностей на основе BERT, опубликованная Michele Montebovi. Она предназначена для извлечения из итальянского текста 52 типов сущностей, включая имена и адреса, контакты, банковские и налоговые реквизиты, юридические сведения, медицинские данные и сведения о лекарствах. Модель подходит для автоматической разметки документов и поиска чувствительной информации в итальянских текстах. Модель содержит 137,9 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт метки для токенов. В README заявлена точность 79%; это начальный выпуск, а заявленные планы регулярных улучшений не гарантируют качество на новых данных. Распознавание чувствительных реквизитов и медицинских или юридических сущностей следует проверять на целевом наборе текстов. Лицензия — Apache-2.0.

Achraf Soltani разработал эту англоязычную модель распознавания именованных сущностей в текстах вакансий. Это BERT-модель на базе jjzha/jobbert-base-cased, дообученная для классификации токенов по 17 BIO-меткам и обученная на метках, созданных Claude Sonnet 4.6. Модель выделяет восемь типов сущностей: навыки, должности, компании, местоположения, уровень опыта, образование, сертификаты и компенсацию. Она рассчитана на индексирование вакансий для поиска и аналитики рынка труда, а также на эксперименты с дистилляцией NER-моделей. Модель содержит 135,5 млн параметров, работает с контекстом до 512 токенов и обучалась на перекрывающихся окнах длиной 450 токенов с шагом 225. Для обработки полной вакансии требуется оконный вывод, вычислительная стоимость которого растёт с её длиной. На указанном в карточке тестовом наборе из 516 вакансий micro-F1 составил 0,325; точность и полнота — 0,227 и 0,573. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

vishnun/knowledge-graph-nlp — модель на базе DistilBERT, дообученная автором репозитория на наборе данных vishnun/NLP-KnowledgeGraph для классификации токенов. Она предназначена для выделения и разметки фрагментов текста, например для извлечения сущностей при построении графа знаний. Модель использует архитектуру DistilBertForTokenClassification, принимает английский текст и имеет контекст до 512 токенов. В README приведены результаты на оценочном наборе: F1 0,8849, точность 0,9453, precision 0,8988 и recall 0,8715. Метки классов и подробности обучающего набора в карточке не описаны, поэтому качество для иных типов разметки и областей применения не установлено. Лицензия — Apache-2.0.

LFM2.5-230M — компактная текстовая инструкционная модель Liquid AI, представленная в репозитории Unsloth как производная от LiquidAI/LFM2.5-230M. Модель содержит около 221,2 млн параметров; в карточке описана гибридная архитектура LFM2 с 14 слоями: 8 блоками LIV-свёрток и 6 блоками GQA. Она рассчитана на локальное развёртывание на устройствах с ограниченными ресурсами, а метаданные указывают контекст до 128 000 токенов. Модель предназначена для извлечения данных, генерации текста по инструкциям и лёгких агентных сценариев с вызовом инструментов. Она поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский, испанский, португальский и итальянский языки. Карточка сообщает о дистилляции от LFM2.5-350M и многоэтапном обучении с подкреплением; при этом метаданные определяют связь репозитория как fine-tuning базовой модели LiquidAI/LFM2.5-230M. Лицензия обозначена как other. Сильные стороны модели — малый размер и ориентация на быстрый инференс на локальных устройствах. Карточка не рекомендует её для задач, требующих глубоких рассуждений, сложной математики, генерации кода или творческого письма; также знания модели ограничены серединой 2024 года. В описании Unsloth Dynamic 2.0 заявлено повышение точности относительно других квантованных моделей, однако представленный репозиторий содержит формат safetensors, а не квантованные веса.

Карточка модели aoiandroid/LFM2.5-2.6B на Hugging Face совпадает с карточкой LiquidAI/LFM2.5-2.6B, поэтому описание составлено по ней. LFM2.5-2.6B — компактная текстовая модель Liquid AI из семейства гибридных LFM2.5, настроенная для локального запуска на устройствах и агентных сценариев. Это дообученная версия LFM2.5-2.6B-Base с 2,6 млрд параметров; архитектура LFM2 использует 30 слоёв, включая блоки свёртки с двойным гейтингом и слои GQA. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и работает с 17 языками, включая русский. Модель предназначена для вызова инструментов, следования инструкциям, многошаговых агентных задач, извлечения данных, RAG и работы с длинным контекстом. В карточке заявлены скорость до 220 токенов в секунду на Apple M5 Max и до 113 токенов в секунду на процессоре AMD Ryzen при использовании менее 2,5 ГБ памяти; фактические показатели зависят от оборудования и конфигурации. Liquid AI не рекомендует её для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other; её условия следует уточнить в репозитории модели.

LFM2.5-2.6B — компактная текстовая модель Liquid AI из семейства гибридных LFM2.5, настроенная для локального запуска на устройствах и агентных сценариев. Это дообученная версия LFM2.5-2.6B-Base с 2,6 млрд параметров; архитектура LFM2 использует 30 слоёв, включая блоки свёртки с двойным гейтингом и слои GQA. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и работает с 17 языками, включая русский. Модель предназначена для вызова инструментов, следования инструкциям, многошаговых агентных задач, извлечения данных, RAG и работы с длинным контекстом. В карточке заявлены скорость до 220 токенов в секунду на Apple M5 Max и до 113 токенов в секунду на процессоре AMD Ryzen при использовании менее 2,5 ГБ памяти; фактические показатели зависят от оборудования и конфигурации. Liquid AI не рекомендует её для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other; её условия следует уточнить в репозитории модели.

coder3101/LFM2.5-350M-heretic — декензурированная версия LFM2.5-350M от Liquid AI, созданная автором репозитория с помощью Heretic v1.3.0. Это компактная плотная языковая модель для генерации текста и диалогов, рассчитанная на локальное и периферийное выполнение. По карточке исходная архитектура включает 16 слоёв: блоки свёрток LIV и GQA; модель принимает только текст и поддерживает контекст до 128 000 токенов согласно метаданным. Она предназначена для извлечения данных, структурированных ответов и работы с инструментами. В README сравнение с исходной моделью показывает 6 отказов из 100 против 90 из 100 у оригинала. Модель поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский, испанский и португальский языки. README исходной модели указывает 350 млн параметров, тогда как метаданные этой версии — 444,6 млн. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Программирование и задачи, требующие обширных знаний, для исходной модели не рекомендуются; показатели производительности исходной модели не следует автоматически считать проверенными для этой версии. Лицензия обозначена как other, поэтому условия использования следует уточнить в карточке репозитория.

MihaiPopa опубликовал дообученную версию LiquidAI/LFM2.5-350M-Base с применением abliteration — изменения весов, снижающего частоту отказов. Это компактная плотная языковая модель семейства LFM2, предназначенная для диалоговой генерации текста и локального запуска. В модели 444,6 млн параметров по метаданным; README описывает базовую версию семейства как модель на 350 млн параметров с 16 слоями и контекстом 32 768 токенов. Метаданные указывают контекст до 128 000 токенов, поэтому сведения о длине контекста расходятся. Модель рассчитана на извлечение данных, формирование структурированных ответов и вызов инструментов; в сравнении с исходной моделью в README указано меньше отказов. Поддерживаемые языки по карточке: английский, арабский, китайский, французский, немецкий, японский, корейский, испанский и португальский. README не рекомендует её для задач, требующих обширных знаний, и программирования. Лицензия в метаданных обозначена как other; конкретные условия следует сверить на странице модели.

LiLT-InfoXLM — базовая модель SCUT-DLVCLab, созданная объединением предварительно обученных InfoXLM и Language-Independent Layout Transformer (LiLT). Архитектура сочетает языковой RoBERTa-энкодер с лёгким трансформером разметки страницы; модель содержит 305,2 млн параметров и рассчитана на контекст до 514 токенов. Веса доступны в форматах PyTorch и Safetensors, лицензия — MIT. Модель предназначена для извлечения признаков и дообучения на задачах понимания структурированных документов: классификации изображений документов, разбора документов и ответов на вопросы по ним. LiLT позволяет сочетать трансформер разметки с предварительно обученными RoBERTa-энкодерами для разных языков. В карточке указаны InfoXLM как языковой компонент и поддержка обработки изображений; отдельные языки и готовые пользовательские сценарии не перечислены.

kavg/LiLT-RE-DE — дообученная на датасете XFUND модель для извлечения отношений между сущностями в документах. Она основана на мультиязычной LiLT и XLM-RoBERTa, использует архитектуру LiLTRobertaLikeForRelationExtraction и учитывает текст и его расположение на странице. Модель содержит 305,2 млн параметров и рассчитана на контекст до 514 токенов. В оценке на тестовой выборке указаны precision 0,3054, recall 0,6032 и F1 0,4055. Модель подходит для анализа связей между полями в структурированных документах, например в формах. Распространяется по лицензии MIT.

nielsr/lilt-roberta-en-base-finetuned-funsd — модель извлечения сущностей из документов, дообученная nielsr на наборе FUNSD с разметкой документов. Она использует архитектуру LiLT для классификации токенов с учётом текста и структуры страницы и предназначена для извлечения полей из форм и других документов с размеченными областями. Модель содержит 151,8 млн параметров, принимает текстовые токены и рассчитана на контекст до 514 токенов. На тестовой выборке указаны precision 0,8762, recall 0,8857, F1 0,8809 и accuracy 0,8068. Для применения к документам требуется передать текст с соответствующей структурной разметкой; результаты на других типах документов и языках карточкой не описаны. Модель распространяется под лицензией базовой модели; в предоставленных данных её условия не указаны.

SLIMER-IT — модель генерации текста на базе Meta Llama 3, разработанная expert.ai для извлечения именованных сущностей на итальянском языке в режиме zero-shot. Она дообучена на итальянской инструкционной модели swap-uniba/LLaMAntino-3-ANITA-8B-Inst-DPO-ITA и настроена распознавать сущности по заданному пользователем названию типа, определению и рекомендациям, включая типы сущностей, которых не было среди обучающих меток. В README приведён пример извлечения мифологических сущностей и возврата результата в виде JSON-списка; модель также обучена на сокращённом наборе меток PER, ORG и LOC. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM, принимает текст и генерирует текст; контекст — до 8192 токенов. Лицензия — Llama 3 Community License. Подходит для извлечения сущностей из итальянских текстов, однако точность зависит от качества инструкций, определений и рекомендаций; карточка не приводит количественных оценок качества.

LUKE — предварительно обученная контекстная модель понимания языка, разработанная для представления слов и сущностей. Она основана на трансформере и использует механизм entity-aware self-attention, учитывающий, является ли токен словом или сущностью. Версия luke-base содержит 12 слоёв со скрытым размером 768; в метаданных указано 151,9 млн параметров, контекст — до 514 токенов. README приводит другое число параметров — 253 млн. Модель обучена на версии Википедии за декабрь 2018 года. Её представления применимы в задачах заполнения масок, распознавания именованных сущностей, типизации сущностей, классификации отношений и извлечения ответов на вопросы. В README приведены результаты LUKE на нескольких языковых бенчмарках, но не все результаты относятся именно к luke-base. Модель рассчитана на английский язык и распространяется по лицензии Apache 2.0.

MarkupLM-base — мультимодальная модель Microsoft для понимания веб-страниц и документов с визуально насыщенной структурой. Она обучена совместно на тексте и разметке страниц, чтобы учитывать содержание и структуру HTML при ответах на вопросы и извлечении информации. Работа модели описана в статье ACL 2022 о предварительном обучении текста и разметки для понимания документов. Модель содержит около 151,9 млн параметров, использует архитектуру MarkupLM и распространяется в формате PyTorch. В карточке указана поддержка английского языка и контекст длиной 514 токенов. Репозиторий описывает задачи веб-вопросов и ответов и извлечения информации со страниц; конкретный pipeline-тег в метаданных не указан, поэтому задачам Hugging Face сопоставить её достоверно нельзя. Модель подходит для исследовательских и прикладных систем анализа веб-страниц, которым важно учитывать HTML-разметку вместе с текстом. README ссылается на документацию и демонстрационные блокноты. Лицензия в предоставленных данных не указана.

Карточка модели microsoft/markuplm-large-finetuned-websrc на Hugging Face совпадает с карточкой microsoft/markuplm-base-finetuned-websrc, поэтому описание составлено по ней. Это версия MarkupLM, дообученная Microsoft на наборе WebSRC для ответов на вопросы по веб-страницам. Модель сочетает текст страницы с её разметкой и предназначена для понимания структурированных веб-документов и извлечения информации; архитектура — MarkupLMForQuestionAnswering, размер — около 151,9 млн параметров, формат весов — PyTorch. Модель подходит для поиска ответов на вопросы по содержимому веб-страниц и для создания систем извлечения данных из них. Метаданные указывают английский язык, а контекст ограничен 514 токенами. Лицензия в предоставленных данных не указана.

Meddies PII — модель Meddies для извлечения персональных данных из клинических и административных текстов. Это причинная языковая модель семейства LFM2 с 444,6 млн параметров и контекстом до 128 000 токенов; она принимает текст в формате чата и возвращает структурированный JSON со значениями из семи семейств персональных данных. Модель обучена на наборе Meddies/meddies-pii с использованием полного дообучения и последующего GRPO-выравнивания. Заявлена поддержка 17 языков, включая русский, английский, французский, немецкий, испанский, вьетнамский, тайский, бирманский, индонезийский, филиппинский, малайский, тамильский, португальский, китайский, японский и корейский. Модель предназначена для извлечения имён, дат, названий организаций, адресов электронной почты, телефонных номеров и адресов из клинических записей, выписок, административных форм и смешанных медицинских документов. В опубликованной оценке на смешанной многоязычной выборке точность F1 по сущностям составляет 0,811; сильнее всего модель распознаёт телефонные номера и электронную почту. Компактный размер подходит для экспериментов на потребительских GPU и в браузере. Модель не выполняет автоматическое удаление или обезличивание данных и не предназначена для принятия медицинских решений. В README отмечены галлюцинации извлечённых значений примерно в 1,3% случаев, слабые результаты для названий компаний, ограничения на вложенные сущности и уязвимость к намеренно уклончивым формулировкам; медицинские показатели, дозировки и возраст исключены из целевых меток. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование; авторы предлагают обращаться к ним по поводу коммерческих проектов.

Модель Gladiator/microsoft-deberta-v3-large_ner_wnut_17 — дообученная версия microsoft/deberta-v3-large для распознавания именованных сущностей в тексте на наборе WNUT 17. Она использует архитектуру DeBERTa V2 для классификации токенов, имеет 533,8 млн параметров и принимает последовательности длиной до 512 токенов. Подходит для извлечения сущностей из текста, в том числе упоминаний, характерных для пользовательского контента и социальных сетей. На оценочной выборке WNUT 17 модель показала F1 0,6848, точность 0,7671 и полноту 0,6184. Эти результаты относятся к указанному набору данных и не гарантируют аналогичного качества на других типах текста. Модель распространяется по лицензии MIT.

SuperAGI разработала Mistral-7B-32K-PoSE — плотную авторегрессионную языковую модель семейства Mistral с 7,1 млрд параметров. С помощью техники PoSE контекст модели расширен до 32 768 токенов; README сообщает о высокой эффективности в извлечении информации из длинного контекста и лишь небольшом снижении результатов на стандартных тестах. Модель предназначена для генерации текста и работы с длинными текстовыми запросами, в частности для поиска конкретных сведений в больших фрагментах текста. Она доступна в формате safetensors и распространяется по лицензии Apache-2.0. В README приведён пример загрузки через Transformers. У модели нет механизмов модерации и защитных ограничений; разработчики предупреждают о рисках токсичности, социальных предубеждений и ограничений по языкам и не рекомендуют её для использования в production без дополнительных мер безопасности.

mmBERT-32K PII Detector (Merged) — модель для обнаружения и классификации персональных данных в тексте, разработанная для семейства vLLM Semantic Router. Она дообучена на базе llm-semantic-router/mmbert-32k-yarn и предназначена для выделения сущностей вроде имён, адресов электронной почты и телефонов, адресов, платёжных реквизитов, идентификаторов и других типов PII. Модель использует плотную архитектуру ModernBERT с 306,9 млн параметров и поддерживает контекст до 32 768 токенов. Она принимает текст и возвращает метки для токенов; репозиторий содержит веса safetensors и ONNX. В README приведены отдельные показатели точности для некоторых типов сущностей, включая 98,7% для имён и 84% для номеров кредитных карт. Модель подходит для поиска и разметки чувствительных данных в документах и текстовых потоках, в том числе как компонент маршрутизации запросов в vLLM Semantic Router. Лицензия — MIT. Приведённые показатели относятся лишь к отдельным типам PII; карточка не описывает качество по остальным классам или языкам, поэтому полноту обнаружения в конкретной задаче следует оценивать отдельно.

Модель akdeniz27/modernbert-tr-base-ner — турецкая модель распознавания именованных сущностей, дообученная автором на базе ytu-ce-cosmos/modernbert-tr-base на проверенной версии турецкого датасета NER. Она использует архитектуру ModernBERT и предназначена для разметки токенов в тексте: модель выделяет персон, организации и географические объекты с тегами начала и продолжения сущности. Модель содержит 148,7 млн параметров и поддерживает контекст до 8192 токенов. Модель подходит для извлечения сведений о людях, организациях и местах из турецких текстов, например из новостей и документов. В README приведены параметры дообучения: три эпохи, learning rate 2e-5 и weight decay 0,01. Для группировки токенов в цельные сущности README рекомендует использовать параметр aggregation_strategy. Модель распространяется по лицензии MIT.

Berk разработал мультиязычную модель извлечения географических названий, дообучив mDeBERTa-v3-base для разметки фрагментов текста типами CITY, COUNTRY и ENTITY с тегами BIO. Модель содержит около 306 млн параметров, использует архитектуру DeBERTa-v2 и принимает последовательности длиной до 512 токенов. Репозиторий также включает варианты ONNX и gazetteer-компоненты для связывания найденных мест с городом, регионом и страной. Модель предназначена для извлечения и типизации мест в туристических запросах и маршрутах на 13 языках. Дополнительные словари и скрипты разрешают известные достопримечательности до города и страны, распознают регионы и уточняют географию неоднозначных названий. В README сообщается о высоких результатах на тестах маршрутов и улучшении обработки коротких запросов, включая названия стран и достопримечательностей. Для неоднозначного названия без контекста модель может опираться на заметность места, поэтому возможны ошибки выбора одноимённого города. Базовая модель выполняет классификацию токенов; связывание сущностей и обогащение географическими данными обеспечивают отдельные gazetteer-файлы и скрипты. Модель выпущена под лицензией MIT.

my-nergrit-model — модель для разметки последовательностей, разработанная как дообученная версия indolem/indobert-base-uncased на наборе id_nergrit_corpus. Она использует архитектуру BERT и предназначена для классификации токенов, например извлечения сущностей из текста. Модель содержит 137,8 млн параметров, работает с текстом и поддерживает контекст до 512 токенов. На оценочной выборке указаны F1 0,8293, точность 0,8166 и полнота 0,8424. Модель распространяется по лицензии MIT. Карточка не уточняет схему меток и ограничения применения.

NLPclass/Named-entity-recognition — модель распознавания и классификации именованных сущностей в персидском (фарси) тексте, разработанная NLPclass. Это дообученная на PartAI/TookaBERT-Base модель BERT для token classification с 150,1 млн параметров и контекстом до 512 токенов. Она размечает упоминания людей, организаций, мест, продуктов, групп и творческих произведений тегами BIO; карточка также перечисляет категории дат, хотя они отсутствуют среди приведённых выходных тегов. Модель подходит для извлечения сущностей при поиске информации, анализе персидского контента и автоматизации поддержки клиентов. В README указаны обучающая выборка из 15 000 предложений и тестовая из 2 000; лицензия — MIT. Качество может зависеть от домена текста: карточка не приводит численных метрик, а набор предсказываемых категорий ограничен указанными метками.