IV.8Государственное управление, правосудие и чрезвычайные ситуации
В разделе собраны самостоятельные задачи, где AI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
2 517 моделейМодель classla/wav2vec2-large-slavic-parlaspeech-hr-lm предназначена для автоматического распознавания хорватской речи. Она разработана на основе facebook/wav2vec2-large-slavic-voxpopuli-v2 и дообучена на 300 часах аудиозаписей и расшифровок из набора ParlaSpeech-HR v1.0, содержащего выступления в парламенте Хорватии. Дополнительно применена 5-граммовая языковая модель на основе ParlaMint. Это модель Wav2Vec2 с архитектурой Wav2Vec2ForCTC и примерно 402,7 млн параметров. На тестовой части ParlaSpeech-HR v1.0 указаны CER 0,0188 и WER 0,0430; результаты относятся к этому набору данных и не гарантируют такую же точность на других аудио. Модель принимает аудио и выдаёт текстовую расшифровку. Лицензия в предоставленных данных не указана.
Audio Flamingo Next Think — модель понимания аудио и ответов на вопросы, разработанная NVIDIA. Это вариант семейства Audio Flamingo Next, настроенный на многошаговое рассуждение по длинным аудиозаписям: он объединяет сведения о событиях, говорящих и временных отметках и может обосновывать ответы фрагментами аудио. Модель рассчитана на речь, окружающие звуки и музыку, включая записи длительностью до 30 минут. Модель принимает монофоническое аудио с частотой 16 кГц и выдаёт текст. Архитектура сочетает аудиоэнкодер AF-Whisper, обработку аудио фрагментами по 30 секунд, MLP-адаптер и текстовую основу семейства Qwen2.5 с механизмом временной привязки RoTE. В карточке указано окно контекста 131 072 токена для текстовой основы; контекст метаданных каталога указан как 1 200 токенов. Модель поддерживает задачи распознавания речи, перевода речи и вопросов по аудио; основное назначение этого варианта — сложные вопросы с временно привязанными объяснениями. Основной язык в карточке — английский, при этом обучение включает многоязычные данные для распознавания и перевода речи. Модель сильна в рассуждениях по длинным записям и связывании событий, разделённых во времени. Ответы могут включать длинные рассуждения перед итогом. По описанию авторов, качество рассуждения снижается, когда нужные свидетельства редки или сильно разнесены по времени; аудиоданные также неравномерны по языкам и областям. Лицензия обозначена как other; карточка ограничивает использование некоммерческими исследовательскими целями.
dariolopez/bge-m3-es-legal-tmp-3 — модель Sentence Transformers, дообученная разработчиком на основе BAAI/bge-m3 для работы с испанскими текстами. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 и предназначена для семантического поиска, сравнения сходства текстов, поиска перефразирований, кластеризации и классификации. Архитектура основана на XLM-RoBERTa с пулингом CLS-токена и нормализацией векторов; максимальная длина последовательности — 8192 токена. Для сравнения векторов в карточке указана косинусная близость. Модель можно применять для семантического поиска по испанским документам и построения систем поиска и группировки текстов. Лицензия — Apache-2.0. Карточка называет модель специализированной для юридического испанского, однако приведённые сведения не описывают датасет или отдельную юридическую оценку, поэтому качество на конкретных юридических корпусах по ним установить нельзя.
Document Seal Detector v1 — модель компьютерного зрения для поиска чернильных резиновых печатей на страницах документов. Она разработана для рабочих процессов обработки документов, например маршрутизации, помощи при проверке и выделения области печати для последующей верификации. Модель находит положение печати и возвращает ограничивающую рамку в координатах xyxy исходного изображения и оценку уверенности. Модель построена на архитектуре YOLOS с backbone на основе Vision Transformer и реализована как YolosForObjectDetection в библиотеке Transformers. Размер — 113,2 млн параметров. Она дообучена на страницах документов с проверенными аннотациями преимущественно круглых и овальных административных печатей; в обучении также использовались документы без печатей как сложные отрицательные примеры. Для исходного тестового набора указаны mAP@[0.50:0.95] 0,869 и mAP@0.50 1,0, но эти результаты не гарантируют качество на других источниках документов. Модель определяет наличие и расположение визуально похожей печати, но не проверяет её подлинность, юридическую силу или принадлежность. Она может хуже работать с прямоугольными, бледными, размытыми или перекрытыми печатями; на незнакомых макетах возможны ложные срабатывания на QR-коды, логотипы, штрихкоды, марки и наклейки. Для решений с юридическими, финансовыми или комплаенс-последствиями требуется проверка человеком. Лицензия в предоставленных данных не указана.
ModernBERT Embed base Legal Matryoshka — англоязычная модель Sentence Transformers, дообученная stardriver007 на базе nomic-ai/modernbert-embed-base для получения плотных текстовых эмбеддингов. Она предназначена для семантического поиска и сравнения предложений и абзацев, поиска парафраз, кластеризации и классификации текста, в том числе юридических материалов. Архитектура включает ModernBertModel, усредняющий пулинг токенов и нормализацию; модель имеет 149 млн параметров, выдаёт векторы размерности 768 и принимает последовательности до 8192 токенов. Matryoshka-обучение позволяет использовать усечённые векторы меньшей размерности, с приведёнными в карточке метриками поиска для 512, 256, 128 и 64 измерений. Модель обучена на 5822 парах текстов, лицензия Apache-2.0. Карточка приводит результаты поиска, но не раскрывает состав и охват оценочного набора; качество для иных юридических корпусов и языков может отличаться. Поддерживаемый язык — английский.
LocalDoc выпустила вторую версию модели для распознавания персональных данных в азербайджанском тексте. Это дообученная на специализированных данных XLM-RoBERTa с архитектурой XLMRobertaForTokenClassification; модель содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Модель размечает имена и фамилии, возраст, даты, города, адреса, номера документов и карт, электронную почту, телефоны и другие типы персональных данных. Её можно применять для поиска чувствительной информации в текстах и подготовки данных к обезличиванию. В README приведены тестовые precision 0,9760, recall 0,9732 и F1 0,9746; качество различается по типам сущностей. Модель предназначена для азербайджанского языка и распространяется по лицензии CC BY 4.0, которая разрешает коммерческое использование и модификацию при указании авторства.
ViDense — модель эмбеддингов предложений для вьетнамского языка, созданная автором namdp-ptit путём дообучения FacebookAI/xlm-roberta-large. Она предназначена для поиска семантически близких текстов и ранжирования документов по запросу. Модель содержит 658,7 млн параметров, использует mean pooling, Rotary Position Encoding и блочный параллельный трансформер; обучение включало Momentum Contrast и отдельный Rank Encoder для учёта транзитивных связей релевантности. Для оптимизации применялись cross-entropy по оценкам сходства и MSE по оценкам Spearman. В README приведены результаты Recall@3 на вьетнамских наборах ZAC, WebFAQ, OwiFAQ, ViQuAD2.0 и ViLegal. Репозиторий использует PyTorch и Transformers, веса представлены в формате PyTorch; лицензия — Apache-2.0. Модель ориентирована на вьетнамский текст, а заявленная длина контекста составляет 8194 токена.
Карточка модели microsoft/xdoc-base-squad1.1 на Hugging Face совпадает с карточкой microsoft/xdoc-base-squad2.0, поэтому описание составлено по ней. XDoc-base-SQuAD2.0 — модель Microsoft для ответов на вопросы по тексту, связанная с проектом XDoc, представленным в работе о едином предварительном обучении для понимания документов разных форматов. В карточке указана архитектура RoBERTa с головой для question answering и 151,8 млн параметров; модель доступна в формате PyTorch, контекст — до 514 токенов. Модель предназначена для поиска ответа на вопрос в предоставленном контексте и может применяться для извлечения сведений из документов и ответов на вопросы по их тексту. README описывает XDoc как единую предварительно обученную модель для разных форматов документов, но не уточняет модальности и конкретные возможности данного чекпойнта. Лицензия — MIT.
KURE-v1 — модель для получения текстовых эмбеддингов и поиска релевантных документов, разработанная NLP&AI Lab при Университете Корё. Это дообученная на корейских данных версия BAAI/bge-m3 на архитектуре XLM-RoBERTa; размер модели — 658,7 млн параметров, размерность эмбеддингов — 1024, контекст — до 8194 токенов. Для дообучения использовались пары корейских запросов и документов с трудными отрицательными примерами и функция CachedGISTEmbedLoss. Модель предназначена прежде всего для семантического поиска по корейским текстам и документам, включая длинные документы и сценарии RAG. В карточке приведены результаты на нескольких корейских наборах данных для поиска, в том числе из областей финансов, государственного сектора, медицины, права и коммерции; заявлено преимущество над сравниваемыми мультиязычными моделями на использованных бенчмарках. Лицензия — MIT. Английский указан среди поддерживаемых языков, однако модель специально адаптирована для корейского поиска.
Это англоязычная модель LED, дообученная автором esuriddick на наборе pszemraj/govreport-summarization-8192 для суммаризации длинных правительственных отчётов. Она построена на encoder-decoder-трансформере LEDForConditionalGeneration и содержит 95,2 млн параметров. Входной контекст может достигать 16 384 токенов; модель принимает текст и генерирует его краткое изложение. Модель подходит для создания резюме длинных отчётов и других документов, похожих по содержанию и стилю на GovReport. В README также упоминается возможность ответов на вопросы по длинному контексту, однако специализированные метрики приведены только для суммаризации. Для тестовой выборки указаны ROUGE-1 52,64 и ROUGE-2 22,21. Модель опубликована в форматах PyTorch и safetensors по лицензии Apache-2.0.
Это англоязычный Cross-Encoder на базе BERT, дообученный разработчиком spraxx от nlpaueb/legal-bert-base-uncased с помощью библиотеки Sentence Transformers. Модель оценивает пары «запрос — фрагмент текста» одним числовым баллом, который можно использовать для ранжирования результатов семантического поиска и повторной сортировки найденных документов. Обучение проводилось на 24 360 примерах с запросами, фрагментами и оценками релевантности. Модель содержит 136,7 млн параметров, принимает текст и обрабатывает последовательности длиной до 512 токенов. Она предназначена для поиска и ранжирования юридических текстов на английском языке; оценку можно также использовать в задаче классификации пар по релевантности. В README и метаданных лицензия не указана.
UMCU/PII_XMLR.eu — многоязычная модель для выявления и классификации персональных данных в тексте. Её создали в UMCU, дообучив FacebookAI/xlm-roberta-base на наборе ai4privacy/pii-masking-openpii-1.5m с помощью MedNER. Модель построена на архитектуре XLM-RoBERTa и содержит 305,2 млн параметров; она принимает текст и относит токены к классам, что позволяет находить фрагменты с персональными данными для последующей деидентификации или маскировки. Модель обучали на английском, нидерландском, французском, немецком, испанском, итальянском, датском, шведском и португальском языках. В классификационной голове вместо одного линейного слоя используются три плотных слоя с ReLU и dropout 10%. Максимальная длина контекста — 514 токенов. Модель подходит для поиска и разметки PII в текстах на поддерживаемых языках; качество зависит от языка, типа данных и сходства текста с обучающим набором. Лицензия — Apache-2.0.
Карточка модели zhyun/search_x на Hugging Face совпадает с карточкой mykor/KURE-v1, поэтому описание составлено по ней. KURE-v1 — модель текстовых эмбеддингов для поиска по документам, разработанная NLP&AI Lab. Это дообученная версия BAAI/bge-m3 на корейских данных для поиска по парам «запрос — документ»; карточка указывает около 2 миллионов обучающих примеров и использование CachedGISTEmbedLoss. Модель построена на архитектуре XLM-RoBERTa, содержит 658,7 млн параметров, выдаёт векторы размерности 1024 и поддерживает последовательности до 8192 токенов. Модель предназначена прежде всего для семантического поиска на корейском языке: её можно применять для извлечения релевантных документов, поиска по длинным текстам и построения retrieval-компонента RAG. В карточке заявлена поддержка корейского и английского языков; бенчмарки охватывают общие и прикладные корейские документы, включая финансы, государственные услуги, медицину, право и коммерцию. На приведённых усреднённых результатах KURE-v1 превосходит сравниваемые модели на нескольких значениях k, однако результаты относятся к указанным наборам данных и не гарантируют качество на других корпусах. Лицензия — MIT.
SpanBERT-PT-Coreference — модель разрешения кореференции, разработанная для португальских протоколов заседаний муниципальных советов. Она использует архитектуру ранжирования упоминаний поверх BERT-энкодера и связывает упоминания одной сущности в кластеры, чтобы обеспечить последовательную псевдонимизацию персональных и административных данных в документе. В README указано 110 млн параметров энкодера и около 25 млн параметров голов кореференции; метаданные каталога указывают 135,5 млн параметров. Модель дообучена на португальских административных протоколах и поддерживает окно 512 токенов с перекрытием 128 токенов; длинные документы обрабатываются скользящими окнами. По карточке, модель специализируется на европейском португальском и 17 категориях сущностей. Для работы ей нужны spans сущностей от отдельной NER-модели; сама она их не обнаруживает. Модель рассчитана на административные протоколы, а качество на других типах документов может варьироваться. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.
Gam/distilbert-base-uncased-finetuned-CUAD-IE — дообученная модель семейства DistilBERT от автора репозитория Gam. Она предназначена для извлечения ответа на вопрос из текста; название указывает на связь с CUAD и извлечением информации, но карточка не раскрывает обучающий набор и сценарии применения. Модель использует архитектуру DistilBertForQuestionAnswering, принимает текст и выдаёт текстовый ответ. Окно контекста составляет 512 токенов. Веса доступны в формате PyTorch, лицензия — Apache-2.0. В карточке приведён результат на оценочном наборе: loss 0,0108, однако набор данных и методика оценки не описаны. Поэтому этот показатель не позволяет судить о качестве на других задачах или текстах; для работы с длинными документами может потребоваться разбивать их на фрагменты.
Это модель Sentence Transformers, разработанная ShoAnn на базе indobenchmark/indobert-base-p1 и дообученная на наборе indo_legalqa_triplets из 7 037 обучающих примеров. Она кодирует предложения и абзацы на индонезийском языке в плотные векторы размерности 768; близость текстов оценивается косинусным сходством. Архитектура включает BERT и mean pooling, максимальная длина последовательности — 512 токенов. Модель предназначена прежде всего для поиска и сопоставления текстов по индонезийским юридическим вопросам и ответам. Её можно применять для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и подготовки признаков для классификации текста. Это векторный энкодер, а не генеративная модель: она не формулирует ответы на вопросы. В метаданных указана библиотека sentence-transformers и формат весов safetensors. Лицензия в предоставленных данных не указана.
IoannisKat1/legal-bert-base-uncased-new — англоязычная модель Sentence Transformers, дообученная разработчиком на базе nlpaueb/legal-bert-base-uncased для получения эмбеддингов юридических предложений и документов. Архитектура состоит из BERT-энкодера и mean pooling; модель отображает текст в плотные векторы размерности 768, сравниваемые по косинусному сходству. Максимальная длина входа — 512 токенов. Модель предназначена для поиска и сопоставления юридических текстов по смыслу. Её можно применять для семантического поиска, оценки сходства предложений, поиска перефразировок и кластеризации; README также упоминает классификацию текста. В карточке приведены результаты поиска по наборам разной размерности эмбеддингов и указан обучающий набор из 391 пары anchor-positive. Модель рассчитана на английский язык и использует лицензию Apache-2.0. Результаты оценки приведены для конкретного набора данных, а обучающая выборка невелика; качество на иных юридических корпусах и языках может отличаться. Входная последовательность ограничена 512 токенами.
Masker v2 — многоязычный классификатор токенов, разработанный Divergent Labs для обнаружения контекстных персональных данных в тексте и использования в системах редактирования и обезличивания. Модель дообучена на базе microsoft/mdeberta-v3-base и принимает текст, присваивая токенам BIOES-метки 12 типов сущностей: имена и фамилии, города, улицы, номера зданий, почтовые индексы, телефоны, электронную почту, банковские карты, даты, возраст и государственные идентификаторы. Для IBAN и ряда других структурированных данных README описывает отдельный слой правил, который не входит в эту модель. Модель рассчитана на тексты на 23 европейских языках и использует архитектуру DeBERTa-v3. В карточке указано 306 млн параметров и контекст 512 токенов; README приводит оценку 278 млн параметров. В версии v2 улучшено распознавание имён в естественном тексте благодаря расширению форм имён и добавлению размеченных корпусов. По оценке на английских юридических документах и нидерландских новостях качество распознавания имён высокое, однако эти тесты не охватывают остальные языки. Лицензия — Apache-2.0.
cuadron11/mrbert-parl-ft — модель Sentence Transformers на базе энкодера BSC-LT/MrBERT, дообученная для сопоставления предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и предназначена для семантического поиска, оценки сходства, поиска перефразировок, кластеризации и классификации текста. Архитектура состоит из ModernBERT с усреднением токенных представлений; сходство векторов можно оценивать косинусной мерой. Максимальная длина последовательности — 8192 токена. Обучение проводилось на парах запросов и релевантных текстов с MultipleNegativesRankingLoss. В примерах датасета представлены запросы и документы о парламентской деятельности на баскском языке, поэтому модель подходит для поиска по таким материалам. В README приведена cosine accuracy 0,6004 на TripletEvaluator. Метаданные указывают 307 млн параметров и формат safetensors. Условия лицензии в предоставленных данных не указаны.
acostillio/sbert-nepalilaw-genq — дообученная модель Sentence Transformers на базе Yunika/sentence-transformer-nepali, построенная на архитектуре BERT. Она преобразует предложения и абзацы на непальском языке в плотные векторы размерности 768; для сравнения векторов используется косинусное сходство. Максимальная длина входной последовательности — 512 токенов, в модели применяется усреднение токенных представлений. Модель предназначена для оценки семантического сходства, семантического поиска и извлечения перефразирований; полученные векторы также можно использовать для кластеризации и классификации текста. Репозиторий использует библиотеку sentence-transformers и формат safetensors. README не сообщает отдельные результаты оценки качества. Условия лицензирования в предоставленных данных не приведены.
josedossantos/tree-txtEmenta-legalbert — модель на базе BERT, опубликованная в формате safetensors и использующая библиотеку Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и сравнения сходства. Обучение с ContrastiveLoss на косинусном расстоянии нацелено на получение полезных представлений для сравнения текстов. Модель содержит 136,1 млн параметров и принимает последовательности длиной до 512 токенов. Название репозитория указывает на связь с юридическими текстами, однако README не описывает конкретные юридические задачи, обучающие данные или поддерживаемые языки. Лицензия в предоставленных сведениях не указана.
Vietnamese_Reranker — переранжировщик на основе Sentence Transformers, разработанный AITeamVN и дообученный на BAAI/bge-reranker-v2-m3. Он предназначен для повышения качества поиска на вьетнамском языке: модель оценивает релевантность документов запросу и помогает переставить найденные результаты в более полезном порядке. Для обучения использовано около 1,1 млн триплетов «запрос — релевантный документ — нерелевантный документ». Архитектура основана на XLM-RoBERTa и классификаторе последовательностей; модель содержит 658,7 млн параметров. В README указана максимальная длина последовательности 2304 токена, а метаданные каталога указывают контекст 8194 токена. Лицензия — Apache 2.0. Модель рассчитана прежде всего на вьетнамский поиск и ранжирование, включая оценку результатов для юридических запросов. В README приведена оценка на датасете Legal Zalo 2021, который не использовался при обучении: Accuracy@1 — 0,7944, MRR@10 — 0,8672. Показатели на этом наборе не гарантируют аналогичного качества в других областях; ограничения длины из README следует учитывать при обработке длинных запросов и документов.
Ziya-Reader-13B-v1.0 是 IDEA-CCNL 团队开发的中文知识问答模型,基于 13B 参数的 Llama 2,并在通用数据和检索问答数据上微调。它采用 Llama 自回归 Transformer 架构,使用位置插值扩展上下窗口;README указывает 8k токенов, тогда как метаданные Hugging Face указывают нативный контекст 4096 токенов. Модель отвечает на вопросы по одному или нескольким предоставленным документам, поддерживает поиск релевантных документов и суммаризацию длинных текстов, а также общее общение в формате вопрос–ответ. В карточке описана устойчивость к изменению порядка документов и приведены оценки на китайских наборах LongBench. Предназначена прежде всего для китайских сценариев баз знаний, retrieval QA и клиентской поддержки, в том числе в праве, финансах и медицине. Модель принимает текст и генерирует текст. Репозиторий содержит веса PyTorch; указанная лицензия — GPL-3.0. Результаты зависят от качества и полноты переданных документов; заявленные оценки основаны на тестах разработчиков и не гарантируют качество в конкретной предметной области.
HEBATRON — языковая модель, разработанная PwC Israel и MAFAT при участии AWS. Она дообучена на базе NVIDIA Nemotron-3-Nano-30B и предназначена прежде всего для работы на иврите, включая анализ его морфологии и разных регистров речи; также заявлена поддержка английского языка. Архитектура сочетает Mamba2 и разреженный Mixture-of-Experts. В репозитории указано 1,9 млрд параметров, а README описывает исходную конфигурацию как модель на 31,6 млрд параметров. Метаданные указывают контекст до 262 144 токенов; README сообщает о настройке на окно 64 тыс. токенов. Модель подходит для анализа длинных юридических и технических документов, суммаризации и двуязычных рассуждений на иврите и английском. В README также приведены результаты тестов на рассуждение, математические задачи и понимание текста; эти показатели заявлены авторами карточки. Для запуска в README рекомендуются vLLM и мощные GPU. Модель распространяется по лицензии Apache 2.0. Как и у других языковых моделей, её ответы могут содержать фактические ошибки и требуют проверки.
LFM2.5-Encoder-350M-PII-Detector — дообученная Liquid AI модель для обнаружения и классификации персональных данных в тексте. Она основана на двунаправленном энкодере LFM2.5-Encoder-350M с головой token classification и распознаёт 40 типов персональных данных в 16 языках, включая имена, идентификаторы, контактные и финансовые сведения. Модель предназначена для поиска чувствительных фрагментов в документах и их последующего удаления или маскирования, а также для других задач защиты конфиденциальности. В карточке приведены результаты сравнительных тестов на нескольких наборах данных; качество зависит от набора и принятой схемы разметки. Архитектура относится к семейству LFM2, число параметров по метаданным — 444,6 млн, длина контекста — до 128 000 токенов. Для загрузки требуется Transformers; README предупреждает, что загрузка использует пользовательский код через trust_remote_code=True. Модель принимает текст и выдаёт разметку токенов с типами сущностей. Лицензия указана как other, без уточнения условий в доступных данных; перед использованием следует проверить лицензионные условия репозитория.
Vietnamese_Embedding_fast — модель эмбеддингов на базе Sentence Transformers, разработанная Nguyễn Nho Trung и Nguyễn Nhật Quang и дообученная на BAAI/bge-m3. Она предназначена для поиска релевантных документов по запросам на вьетнамском языке, включая семантический поиск и ранжирование кандидатов по сходству. Для обучения использовано около 300 тысяч троек «запрос — положительный документ — отрицательный документ». Модель имеет архитектуру XLM-RoBERTa, содержит 658,7 млн параметров, выдаёт векторы размерности 1024 и использует скалярное произведение для оценки сходства. В README указана максимальная длина последовательности 2048 токенов, а метаданные указывают нативный контекст 8194 токена. В README модель показала более высокие значения Accuracy@1 и MRR@10, чем BGE-M3 и Vietnamese-bi-encoder (BKAI), на наборе Legal Zalo 2021, который, согласно карточке, не использовался при обучении. Это результат на конкретном наборе данных, и он не гарантирует такое же качество на других задачах или корпусах. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.
comsat-embed-ja-8b-preview — плотная декодерная модель эмбеддингов, разработанная Sionic AI и дообученная для семантического поиска на японском языке. Она кодирует запросы и документы в векторы для поиска по смысловой близости и подходит для поиска по документам, базам знаний и корпоративным коллекциям, а также для извлечения материалов при ответах на вопросы. Модель содержит 7,6 млрд параметров, использует архитектуру Qwen3 и принимает текст. README сообщает о тренировке на более чем 1,5 млн японских примеров и длине входа до 8 192 токенов; метаданные указывают контекст до 40 960 токенов. Векторы размерности 4096 формируются с pooling по последнему токену, нормализуются по L2 и сравниваются по косинусному сходству. Запросы следует кодировать с инструкционным префиксом, документы — без него. На JMTEB v2 модель показала средний NDCG@10 0,8133 по 11 задачам поиска. Основной язык модели — японский; метаданные также указывают английский. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование. Результаты бенчмарка относятся к описанным условиям оценки; пропуск префикса запроса может снизить качество поиска.
Funghang/e5-nepali-qa-ir — модель Sentence Transformers, дообученная автором репозитория на базе intfloat/multilingual-e5-base для семантического поиска по вопросам и ответам о непальских паспортах и государственных услугах. Она преобразует текстовые запросы и документы в плотные векторы размерности 768; сходство оценивается косинусной мерой. Архитектура основана на XLM-RoBERTa с усреднением токенных представлений, максимальная длина последовательности — 514 токенов по метаданным. Модель предназначена для поиска релевантных ответов на вопросы о паспортах Непала, сопоставления запросов с документами, поиска перефразировок, кластеризации и классификации текста. Обучение описано на 3 840 парах запрос–релевантный текст, также приведён набор из 820 оценочных примеров. Основной язык примеров — непальский; базовая модель многоязычная. Для использования нужны текстовые входы; результатом служат эмбеддинги, пригодные для семантического поиска и сравнения текстов. Модель не генерирует ответы самостоятельно. Репозиторий распространяется по лицензии CC BY-NC 4.0, допускающей использование с обязательной атрибуцией и ограничением на коммерческое применение.
GLiNER2.5-KVKK-TR-v2 — модель извлечения сущностей и связей, созданная Newmind AI на основе fastino/gliner2.5-multi-v1. Она использует архитектуру GLiNER2 BoundaryExtractor: принимает текст и заданную схему меток, а затем извлекает сущности и связи за один проход. Модель дообучена в два этапа на турецких юридических текстах и данных для выявления персональной информации по требованиям KVKK; использует 118 меток с турецкими названиями. Базовая модель основана на mDeBERTa-v3-base и содержит 287 млн параметров. Модель предназначена для поиска персональных данных и других полей в юридических и нотариальных документах на турецком языке, а также для извлечения отношений между найденными сущностями. В карточке приведены результаты на синтетических и небольших наборах реальных документов; на реальных данных качество заметно ниже, чем на синтетическом тесте, а распознавание названий компаний и учреждений представляет особую сложность. Для получения ожидаемого качества рекомендуется подавать целые документы или абзацы, а не отдельные предложения. Лицензия — Apache-2.0.
GLiNER2 Polish PII — модель извлечения именованных сущностей, разработанная на основе fastino/gliner2-privacy-filter-PII-multi и адаптированная полнопараметрическим дообучением к выявлению персональных и чувствительных данных в польском тексте. Она использует архитектуру GLiNER2 и выдаёт символьные интервалы с текстом, меткой и оценкой уверенности; поддерживает запросы по встроенной таксономии из 31 метки и пользовательским схемам. Модель предназначена для поиска кандидатов на редактирование персональных данных в документах, журналах и обучающих наборах, а также для поддержки проверки и деидентификации текста. В комплект входят три профиля порогов: сбалансированный, ориентированный на точность и экспериментальный профиль для задач приватности. Качество зависит от меток, порогов и предметной области: модель может пропускать данные, выдавать ложные срабатывания, неточно выделять границы фрагментов и хуже находить структурированные идентификаторы без контекстных подсказок. Для PESEL, NIP, REGON и IBAN рекомендуется дополнительная проверка контрольных сумм; перед применением следует оценить ошибки на данных целевого домена. Это компонент обнаружения, а не готовая система деидентификации и не гарантия соответствия GDPR. Модель распространяется по лицензии Apache-2.0.