IV.8Государственное управление, правосудие и чрезвычайные ситуации

Wismut разработала nym-pii-multilingual — многоязычную модель распознавания персональных и других чувствительных данных для обезличивания текста в nym. Это дообученная на jhu-clsp/mmBERT-base модель с архитектурой ModernBERT, примерно 307 млн параметров и контекстом до 8192 токенов. Она размечает токены 40 типами сущностей с использованием 81 BIO-метки: среди них имена, даты рождения, контакты, адреса, государственные, медицинские и финансовые идентификаторы, номера карт, IBAN, API-ключи и пароли. Модель рассчитана на обработку текста примерно на 23 языках, включая русский, английский, немецкий, французский, китайский, японский, корейский, арабский и хинди. Обучение включало синтетические данные и примеры из реальных текстов с автоматической разметкой; также применялась самодистилляция. Модель обучали распознавать искажённый OCR-текст и содержимое структурированных документов, таких как таблицы, JSON и CSV. Доступны веса Safetensors и ONNX; для ONNX также есть уменьшенный вариант int8, который, по результатам описанных авторами тестов, сохраняет качество близким к полной версии. Модель подходит для обнаружения чувствительных данных перед редактированием или заменой в документах и текстовых потоках. Слабее распознаются идентификаторы, похожие на номера заявок или дел; авторы рекомендуют сочетать модель с регулярными выражениями nym. Качество зависит от типа текста и языка, а автоматически размеченные обучающие примеры могут содержать ошибки. MIT-лицензия; сама модель не гарантирует соответствие требованиям HIPAA или GDPR.

V-SPLADE Quality — модель NAVER для поиска визуальных документов по текстовому запросу. Она кодирует изображения страниц PDF, слайдов и сканов в разреженные векторы, пригодные для поиска через инвертированный индекс; текстовые документы также поддерживаются. Размер модели — 250 млн параметров, архитектура основана на ModernVBERT. Для запросов используется обученный Bag-of-Words lookup без нейронного кодирования во время обслуживания, поэтому запросы можно обрабатывать без GPU, а страницы — индексировать напрямую, без предварительного OCR или генерации подписей. В README приведены результаты на бенчмарках поиска документов и сравнение скорости построения индекса с OCR- и caption-подходами. Модель предназначена для поиска по сканированным отчётам, презентациям и другим документам, представленным изображениями страниц. Для работы с изображениями требуется Sentence Transformers с поддержкой изображений и Transformers версии не ниже 5.3.0. Репозиторий распространяется по лицензии Apache-2.0. В карточке указаны английский язык и задачи извлечения признаков, заполнения пропусков и оценки сходства предложений; описанный сценарий поиска при этом использует изображения документов и текстовые запросы.

Модель saat tr updan/wav2vec2-xls-r-300m-ftspeech — дообученная датским разработчиком модель wav2vec 2.0 на основе facebook/wav2vec2-xls-r-300m. Она предназначена для автоматического распознавания датской речи и преобразования аудиозаписей в текст. Дообучение проводилось на FTSpeech — наборе из 1 800 часов выступлений в датском парламенте с транскрипциями. Модель использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Для датской части Common Voice 8.0 указана WER 20,48 без языковой модели и 17,91 с 5-граммной языковой моделью; на тестовом наборе Alvenir — 15,46 и 13,84 соответственно. Репозиторий содержит веса PyTorch и safetensors. Лицензия указана как other, без уточнения условий в предоставленных данных.

whisper-bsc-large-v3-cat — акустическая модель автоматического распознавания речи на каталанском языке, созданная Лабораторией языковых технологий Барселонского суперкомпьютерного центра (BSC). Модель дообучена на базе openai/whisper-large-v3 на 4700 часах каталанской речи из наборов Projecte AINA и других источников. Модель предназначена для транскрибирования каталанских аудиозаписей в обычный текст без пунктуации. Её можно применять для расшифровки передач, парламентских выступлений, заседаний региональных органов и записей с различными каталанскими акцентами. Архитектура — Whisper large-v3 с 905,2 млн параметров; для работы используется библиотека Transformers. Модель принимает аудио и выдаёт текст. В карточке указаны лицензия Apache-2.0 и формат весов safetensors. В обучающих данных использовались версии некоторых парламентских наборов, не опубликованные в открытом доступе; качество на других акцентах и акустических условиях может отличаться от результатов на целевых данных.

Ananthus-Transformers-for-contracts — дообученный Ananthu357 энкодер предложений на базе sentence-transformers/all-MiniLM-L6-v2. Модель построена на архитектуре BERT и библиотеке Sentence Transformers; она преобразует предложения и абзацы в нормализованные плотные векторы размерности 384 для сравнения по косинусному сходству. В метаданных указано 25,9 млн параметров и контекст до 512 токенов; README описывает максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска и сопоставления текстов, поиска парафразов, кластеризации и подготовки признаков для классификации. Название указывает на работу с договорами, но README не сообщает, на каких именно договорных данных модель обучалась и насколько хорошо она справляется с юридическими текстами. Лицензия в предоставленных данных не указана.

bardsai/eu-pii-multi-mini-preview — предварительная многоязычная модель BardsAI для обнаружения и классификации персональных и чувствительных данных в тексте. Это модель token classification на базе XLM-RoBERTa, дообученная от nreimers/mMiniLMv2-L6-H384-distilled-from-XLMR-Large; она размечает токены по 34 классам сущностей с использованием схемы BIO. Размер составляет 110,2 млн параметров, контекст — до 514 токенов. Модель предназначена для выявления адресов электронной почты, телефонов, идентификаторов, платёжных данных, местоположений, медицинских и других чувствительных сведений в многоязычных текстах на 24 европейских языках. Её можно применять для поиска и последующей маскировки персональных данных в документах, текстах обращений и других корпусах. В README приведены результаты на проверочной и тестовой выборках; макро-F1 на тесте составляет 0,7863 без учёта класса O. Карточка помечает модель как preview и сообщает, что обучение ещё продолжается, поэтому качество следует проверять на собственных данных перед внедрением. Доступны веса Safetensors и ONNX, включая динамически квантованный вариант ONNX для CPU. Лицензия в предоставленных данных не указана.

Gliese-OCR-7B-Post2.0-final-i1-GGUF — квантованная GGUF-версия vision-language модели Gliese-OCR-7B-Post2.0-final, разработанной prithivMLmods и квантованной mradermacher. Модель ориентирована на обработку документов: OCR, преобразование изображений и PDF в текст или Markdown, извлечение и связывание структурированных данных, а также задачи Intelligent Document Processing и Key Information Extraction. Модель имеет размерный класс 7B, поддерживает работу с визуальными данными и текстом и предназначена прежде всего для англоязычных документов. В репозитории представлены варианты квантования от IQ1 до Q6, включая рекомендуемые i1-Q4_K_M и i1-Q4_K_S; их размер составляет примерно от 2,0 до 6,6 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Для запуска vision-модели могут потребоваться файлы mmproj из статического репозитория. Сильная сторона модели — специализация на распознавании и анализе документов, включая вывод в Markdown и извлечение информации из визуального содержимого. Ограничения README не раскрывает: отсутствуют сведения о длине контекста, точной архитектуре, поддерживаемых языках помимо English, результатах тестирования и типичных ошибках. Доступно множество квантованных вариантов, но наиболее низкобитные версии могут заметно уступать по качеству. Лицензия — Apache-2.0.

Typhoon-OCR-7B — мультимодальная модель для разбора документов, разработанная командой Typhoon AI. Она дообучена на базе Qwen/Qwen2.5-VL-7B-Instruct и предназначена для извлечения и структурирования содержимого тайских и английских документов: отчётов, научных статей, книг, государственных форм, чеков, меню, билетов и инфографики. Модель принимает изображения документов и выдаёт текст с сохранением структуры: общий текст в Markdown, таблицы в HTML, а иллюстрации и диаграммы — в виде структурированных описаний. Модель построена на архитектуре Qwen2.5-VL, содержит 7,1 млрд параметров и поддерживает контекст до 128 000 токенов. Для качественной работы ей требуются предусмотренные авторами промпты; произвольные инструкции могут работать некорректно. Авторы отмечают возможные ошибки распознавания и галлюцинации, а также трудности с интерпретацией разнообразных иллюстраций в книгах. Модель не имеет защитных ограничений и не предназначена для задач визуальных вопросов и ответов. Лицензия — Apache-2.0; использование также связано с условиями OpenTyphoon и уведомлением о конфиденциальности.

Модель aapot/wav2vec2-xlsr-300m-finnish разработана Aapo Tanskanen и Rasmus Toivanen как акустическая модель распознавания финской речи. Это дообученная версия facebook/wav2vec2-xls-r-300m на 275,6 часах размеченной финской речи; архитектура Wav2Vec2ForCTC содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст. Модель предназначена для транскрибации финской речи, в том числе коротких записей. В README приведена оценка на тестовой части Common Voice 7.0; для этой модели указаны WER 17,92 и CER 3,36 без языковой модели, а с KenLM-декодированием — WER 8,16 и CER 1,97. Для декодирования с языковой моделью авторы также указывают отдельную версию Finnish-NLP/wav2vec2-xlsr-300m-finnish-lm. Обучающие аудиофрагменты ограничивались длиной 20 секунд, поэтому модель, вероятно, лучше работает на коротких записях. Большая часть обучающих данных получена из заседаний финского парламента, что может ухудшать распознавание повседневной речи, диалектов, а также речи детей и женщин. Лицензия — Apache-2.0.

Модель GoranS/whisper-large-v3-turbo-hr-parla — дообученная версия Whisper large-v3 от OpenAI, созданная на данных ParlaSpeech-HR и дополнительном частном наборе объёмом 400 часов с аугментациями. Она предназначена для автоматической транскрибации речи на хорватском языке. Архитектура — WhisperForConditionalGeneration; в репозитории указано около 905,2 млн параметров, формат весов — safetensors. Модель принимает аудио и выдаёт текст; библиотека для работы — Transformers. В README приведён результат WER 3,52% на оценочном наборе. В таблице сравнения указано WER 9,93% для связанной модели slsolucije/whisper-large-v3-turbo-hr-parla-lora-merged на тестовой части FLEURS для хорватского языка; этот результат не следует приписывать данной модели напрямую. Лицензия — Apache-2.0.

Eddy-VL Embedding 1.9B — мультимодальная модель эмбеддингов, разработанная лабораторией Urock-AI. Это дообученная и уменьшенная версия Qwen/Qwen3-VL-Embedding-2B: модель отображает текст, изображения, видео и страницы документов в общее векторное пространство для поиска и сопоставления по смыслу. Веса содержат около 1,93 млрд параметров; заявлена работа на периферийных устройствах и скорость примерно в 1,1 раза выше базовой модели. Модель предназначена для мультимодального поиска, в том числе в цифровой криминалистике: например, для поиска изображений или документов по текстовому запросу в автономной среде. Внутренние оценки Urock-AI на MMEB-V2 показывают результат 63,2 против 68,9 у повторно оценённой базовой модели; на ряде тестов тонкого сопоставления результаты близки к базовой модели. Лицензия — Apache 2.0. Eddy-VL формирует эмбеддинги и не выполняет переранжирование найденных результатов. В README отмечено, что качество немного ниже, чем у полной базовой модели; отдельно не оценены многоязычные и специализированные доменные сценарии. Модель предназначена для поиска кандидатов и не должна быть единственным основанием для решений с высокими ставками.

ettin-17m-nemotron-pii — компактная модель обнаружения персональных данных, созданная на основе ettin-encoder-17m и дообученная разработчиком карточки на наборе Nemotron-PII. Это энкодер ModernBERT с 16,8 млн параметров для классификации токенов; модель отмечает более 50 типов сущностей, включая адреса электронной почты, даты рождения, номера счетов и API-ключи, в структурированном и неструктурированном тексте. Она рассчитана на английский язык и может применяться в сценариях проверки документов и текстов из финансовой, медицинской, юридической и других областей. В README сообщается о F1 94,21 на тестовой выборке из 10 тысяч примеров; качество зависит от типа сущности, и для профессий отмечен более низкий F1 — 0,55. Модель принимает текст и выдаёт разметку токенов. Контекст составляет до 7 999 токенов. Репозиторий распространяется по лицензии MIT.

Rahvusarhiiv разработал экспериментальную финноязычную модель суммаризации на архитектуре mBART, дообученную на базе facebook/mbart-large-50-many-to-many-mmt. Она предназначена для сокращения финских новостей, юридических и административных документов, энциклопедических и академических текстов, а также для пакетной обработки и исследовательских сценариев с проверкой результатов. Контекст модели — 1024 токена; при обучении длина входа ограничивалась 768 токенами, а целевой текст — 512 токенами. Модель обучалась на небольшой смешанной выборке финских новостей, тезисов, юридических текстов и синтетических резюме. Карточка приводит оценки на новостных, энциклопедических и GDELT-данных, но не заявляет о превосходстве над современными аналогами. Модель может галлюцинировать или чрезмерно обобщать, особенно на длинном и неполном вводе; имена, числа, даты и юридические ссылки следует сверять с источником. Она не предназначена для использования как единственный источник фактов или как замена профессиональной проверке. Лицензия указана как other, без уточнения условий в предоставленных данных.

NbAiLab/NbAiLab норвежская команда разработала эту модель распознавания речи на основе XLS-R от Facebook/Meta, дообучив её для новонорвежского письменного языка (нюношк). Модель использует архитектуру Wav2Vec2ForCTC и содержит 1,3 млрд параметров; она принимает аудио и преобразует речь в текст. Для обучения использовался Norwegian Parliamentary Speech Corpus (NPSC), опубликованный в формате набора данных NbAiLab/NPSC. Модель предназначена для автоматической транскрибации речи на нюношке, в том числе парламентских выступлений. На тестовом наборе авторы сообщают WER 11,32% и CER 4,02% при декодировании с 5-граммовой языковой моделью KenLM; без языковой модели WER составляет 13,64%. Качество на других доменах и типах аудио может отличаться. Модель распространяется по лицензии Apache-2.0.

KwangHwi/quantization — слитая методом SLERP модель на архитектуре LlamaBidirectionalModel, опубликованная в формате safetensors. По данным метаданных, она предназначена для извлечения признаков и эмбеддингов; размер составляет 1,2 млрд параметров, заявленная длина контекста — 131 072 токена. В объединение вошли два чекпойнта, указанные в карточке как модели для поиска по юридическим текстам и другие данные; их исходные идентификаторы относятся к внутренним путям, поэтому публичные репозитории базовых моделей установить нельзя. Модель можно применять для получения векторных представлений текста и задач поиска или ранжирования, где нужны признаки текста. Карточка не сообщает поддерживаемые естественные языки и условия лицензии; языковую специализацию и лицензионные условия по имеющимся данным определить нельзя.

CAG-7b — плотная языковая модель семейства Llama, разработанная для генерации ответов с учётом достоверности сведений в контексте. Модель содержит 6,6 млрд параметров, принимает текст и имеет контекст до 4096 токенов; карточка описывает её как 7B-модель. В метаданных указаны английский язык и архитектура LlamaForCausalLM. Модель предназначена для ответов на вопросы по документам, в том числе содержащим шумные или противоречивые сведения. Заявленные сценарии включают персонализированную генерацию ответов и разрешение конфликтов знаний; оценивание проводилось для вопросов по открытым, актуальным и загрязнённым дезинформацией данным. Модель распространяется по лицензии MIT. Ключевая особенность CAG — настройка на использование сигналов достоверности из контекста при генерации. Результаты и устойчивость могут зависеть от качества и состава входных документов; указанное контекстное окно ограничено 4096 токенами.

Chroma Context-1 — агентная поисковая модель Chroma, дообученная на базе openai/gpt-oss-20b с помощью SFT и RL. Она предназначена для поиска подтверждающих документов по сложным многошаговым запросам в паре с более мощной моделью рассуждений: разбивает запрос на подзадачи, вызывает инструменты поиска и редактирует рабочий контекст, удаляя менее полезные документы. Модель имеет архитектуру MoE и принимает текстовые запросы, выдавая текст и вызовы инструментов в агентной среде. В README заявлена поддержка задач из веба, права и финансов, а также обобщение на другие области. По данным каталога, модель содержит 1,6 млрд параметров, использует Transformers и формат safetensors, а длина контекста составляет 131 072 токена. Для воспроизведения заявленных результатов необходим специальный агентный harness, который выполняет инструменты и управляет бюджетом токенов, очисткой контекста и удалением дубликатов; авторы пока его не опубликовали. Поэтому работа модели без harness не гарантирует результаты из технического отчёта. Лицензия — Apache-2.0.

NbAiLab/nb-wav2vec2-1b-bokmaal-v2 — модель автоматического распознавания речи, опубликованная лабораторией искусственного интеллекта Национальной библиотеки Норвегии (NbAiLab). Она преобразует норвежскую речь на букмоле в текст и предназначена для транскрибирования аудиозаписей. Модель использует архитектуру Wav2Vec2 с классификатором CTC и содержит 1,3 млрд параметров; карточка указывает применение через Transformers и лицензию Apache-2.0. Родственная модель NbAiLab с названием без суффикса v2 дообучена на основе XLS-R и оценивалась на норвежском корпусе парламентской речи; найденные материалы не позволяют уверенно переносить эти результаты на версию v2. Распознавание оптимизировано для букмола, поэтому качество на других языках и вариантах норвежского не подтверждено.

Модель Ooredoo Stamp Detection Model разработана V. Hisamutdinovs для Ooredoo-Group. Это дообученная YOLOS Small с 28,3 млн параметров, предназначенная для обнаружения и локализации печатей на документах. Модель принимает RGB-изображения и выдаёт рамки объектов с оценками уверенности; распознаёт один класс — печать. Модель обучена на 350 изображениях с 711 размеченными рамками в формате COCO, собранных из набора Kaggle и датасетов Hugging Face. Карточка заявляет высокую точность и быстрое выполнение, однако результаты могут меняться в зависимости от типа документа, а качество зависит от предварительной обработки изображений. Модель специализирована на поиске печатей, а не на распознавании текста внутри них. Лицензия — Apache-2.0.

hemanthsaimanne/pii-text-masking — дообученная методом supervised fine-tuning модель Google Gemma 3 1B Instruction Tuned для маскирования персональных данных в неструктурированном тексте. Она принимает инструкцию и текст, а затем заменяет имена, адреса электронной почты, телефоны, номера социального страхования и банковских карт, IP-адреса и другие чувствительные сущности на метки вроде [NAME] и [EMAIL], сохраняя структуру исходного текста. Модель предназначена для анонимизации разговорных, корпоративных и финансовых документов, в том числе при локальном запуске на CPU, периферийных устройствах и мобильных устройствах. Это плотная авторегрессионная языковая модель на 1 млрд параметров с контекстом до 32 768 токенов; карточка указывает английский язык. Для работы с Gemma 3 требуется Transformers версии 4.50.0 или выше. В README приведены высокие оценки ROUGE на отложенном наборе данных, однако подробности протокола оценки ограничены. Лицензия — Gemma. Модель может пропускать нестандартно оформленные или сильно искажённые данные, поэтому результат маскирования следует проверять вручную; она не гарантирует полного соблюдения юридических требований.

Unlimited-OCR-Community-FP8-Dynamic — неофициальная общественная FP8-квантизованная версия модели baidu/Unlimited-OCR, разработанной Baidu. Квантизацию выполнила ShadowRock, автор — Matt Busi. Модель предназначена для OCR и структурированного разбора документов по изображениям, включая счета, служебные записки и табличные отчёты, с поддержкой координат областей текста. Это мультимодальная vision-language модель размером 3,34 млрд параметров с MoE-архитектурой в стиле DeepSeek-V2. Она использует визуальный тракт на базе SAM-ViT-B и CLIP-L DeepEncoder с проектором, а также текстовый декодер. Применена схема FP8_DYNAMIC W8A8: веса линейных слоёв текстового декодера квантизованы в FP8, активации масштабируются динамически; визуальный тракт, эмбеддинги, выходная голова, маршрутизаторы MoE и нормализации сохранены в BF16. Заявлена мультиязычность, однако конкретный перечень языков и размер контекста в README не указаны. Основные преимущества версии — уменьшение размера чекпойнта с 6,7 до 3,9 ГБ и поддержка нативного FP8-выполнения на GPU Ada, Hopper и Blackwell. На небольшом наборе синтетических документов результаты жадного OCR совпали с BF16-базой посимвольно: CER составил 0,0 для всех тестовых примеров. Измеренная скорость декодирования — около 39,4 токена в секунду на RTX 5070 Ti с vLLM 0.26.0, что ниже показателя BF16 45,3 токена в секунду. Полноценные гарантии качества на реальных данных, ограничения по разрешению, контексту и языкам README не описывает. Модель распространяется по лицензии MIT. Это community-сборка, не официальный релиз Baidu; изменена числовая точность весов текстового декодера, поэтому совместимость и качество следует проверять в целевой конфигурации. Для запуска указана интеграция с Transformers и vLLM, требуется разрешение удалённого кода.

Cafet/whisper-meduim-mongolian — дообученная Cafet версия мультиязычной модели OpenAI Whisper Medium для распознавания речи на монгольском языке. Модель принимает аудио и преобразует речь в текст; она основана на архитектуре Whisper и содержит 455,8 млн параметров. На оценочном наборе указаны loss 0,3098 и WER 26,8664. Модель распространяется в формате Safetensors через Transformers по лицензии Apache-2.0.

YOLOv8s Signature Detector — модель компьютерного зрения, разработанная tech4humans на базе Ultralytics YOLOv8s и дообученная для обнаружения рукописных подписей на изображениях документов. Она решает задачу object detection: определяет наличие подписей и их координаты, поэтому подходит для автоматической обработки документов, предварительной проверки заполнения форм и построения сервисов извлечения областей с подписями. Модель обучалась на наборе tech4humans/signature-detection, включающем 2 819 размеченных изображений документов; для обучения использовалась аугментированная и предварительно обработанная версия с размером изображения 640 пикселей. Доступны форматы PyTorch, ONNX и TensorRT, что упрощает развёртывание в разных вычислительных средах. По результатам на тестовой выборке модель показала mAP@0.5 0,94499, mAP@0.5:0.95 0,6735, precision 0,947396, recall 0,897216 и F1 0,921623. Сильные стороны модели — высокая точность обнаружения и наличие подготовленных форматов для производительного инференса. Ограничения связаны с узкой специализацией на рукописных подписях в документных изображениях: README не подтверждает качество на других типах изображений, языках, форматах документов или сценариях, а также не приводит сведения о количестве параметров, требованиях к оборудованию и задержке инференса. Модель распространяется по лицензии AGPL-3.0, поэтому условия её использования и распространения следует учитывать при интеграции в закрытые или коммерческие продукты.

BizOnAI-OCR — разработанная ONTHEIT специализированная модель OCR для обработки промышленных документов. Она дообучена на основе Qwen/Qwen3-VL-8B-Instruct и использует архитектуру Qwen3-VL с 8 млрд параметров для преобразования изображений документов в структурированный текст. Модель ориентирована прежде всего на корейские документы: договоры, медицинские записи, финансовые формы и государственные документы. Она распознаёт смешанный корейский, английский и китайский текст, сложные формы, вертикальные таблицы и необычное форматирование пробелов; может сохранять структуру документа с заголовками и таблицами в Markdown. В карточке приведены результаты тестирования на корейском KDoc-OCRBench и англоязычном olmOCR-bench. Для обслуживания указана совместимость с vLLM и Transformers; пример запуска задаёт максимальную длину контекста 16 384 токена. Модель принимает изображения и выдаёт текст. Для специализированного OCR её результаты зависят от качества исходного изображения и сложности документа; опубликованные оценки относятся к указанным бенчмаркам и не гарантируют точность на всех типах документов. Лицензия — OpenRAIL.

OpenMed подготовила 8-битную MLX-версию OpenAI Privacy Filter для локального обнаружения персональных данных в тексте на устройствах Apple с Apple Silicon. Это двунаправленная модель классификации токенов с архитектурой MoE и исходной BIOES-головой разметки; модель насчитывает 145,4 млн параметров и рассчитана на контекст до 131 072 токенов. Веса сохранены в safetensors и сжаты аффинной квантизацией до 8 бит с размером группы 64. Для токенизации используются ресурсы o200k_base. Модель отмечает имена, адреса, даты, электронную почту, телефоны, URL, номера счетов и секреты, чтобы затем можно было маскировать найденные фрагменты. После загрузки артефакта обработка выполняется локально через OpenMed и MLX, без отправки текста документа на сервер. README сообщает об одинаковых сгруппированных фрагментах на проверенных примерах для BF16- и Q8-версий. Для медицинских, юридических, финансовых и других высокорисковых сценариев качество следует проверить на собственных данных и в соответствии с применимыми правилами. Лицензия — Apache-2.0.

Xhosa-ZuluLlama3 v1 — языковая модель на 8 млрд параметров от Jacaranda Health, созданная на основе meta-llama/Meta-Llama-3-8B. Модель адаптирована для понимания и генерации текста на isiXhosa и isiZulu, сохраняя общие языковые возможности Llama 3. В карточке Hugging Face основная задача указана как question-answering. Модель обучали в два этапа с использованием LoRA: продолжили предобучение на корпусах isiXhosa и isiZulu, затем провели инструкционную настройку на 66 280 парах запросов и ответов. Её можно применять для ответов на вопросы и диалоговых помощников, в том числе в здравоохранении, сельском хозяйстве, образовании и государственных услугах. Также README указывает английский среди языков применения и тестирования. Модель может выдавать неточные, предвзятые или нежелательные ответы; наиболее подробно она проверялась на isiXhosa и английском. Лицензия CC BY-NC-SA 4.0, а коммерческое использование и распространение требуют обращения к Jacaranda Health; карточка ограничивает применение исследовательскими, социально полезными и внутренними целями.

Juniper Certificate — диалоговая языковая модель семейства Llama 2, опубликованная Abe13. Она предназначена для генерации текста и заявлена для анализа общедоступных документов, включая научные статьи, юридические материалы, исторические архивы и государственные публикации; её можно использовать для извлечения сведений и формулирования ответов по таким текстам. Модель имеет плотную архитектуру LlamaForCausalLM, около 6,6 млрд параметров и контекст до 4096 токенов. В README перечислены исследовательские и справочные сценарии, однако подробности обучения и подтверждённые результаты оценки не приведены. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Метаданные не подтверждают отдельные возможности поиска по документам или языки помимо доступных из карточки; сама модель генерирует текст по входному текстовому запросу.

ko-pii-public-v1 — модель для обнаружения и классификации персональных данных в корейском тексте. Автор дообучил OpenAI Privacy Filter на синтетических документах, данных KDPII и примерах KLUE NER. Модель поддерживает 23 категории, включая имена, телефоны, адреса, идентификаторы, банковские и карточные данные; архитектура — MoE для классификации токенов, веса опубликованы в формате safetensors. Карточка указывает 145,4 млн параметров и контекст 131 072 токена. Модель предназначена для поиска персональных данных в корейских формах, письмах, документах KYC, медицинских записях, договорах и протоколах встреч, чтобы затем маскировать найденные фрагменты. Разработчик рекомендует разбивать документы длиннее 500 символов на фрагменты примерно по 150 символов. Указана лицензия CC BY-SA 4.0, унаследованная от обучающих данных KLUE. В оценке автор сообщает о повышении устойчивости на документах разной длины, но отмечает снижение F1 на тесте KDPII по сравнению с предыдущей версией. Модель может пропускать отдельные номера паспорта и автомобильные номера без окружающих ключевых слов, широко размечает географические названия как адреса и может считать прозвища именами. Результаты для OCR, диалектов и сильно зашумлённого текста не приведены; качество на собственных доменных данных следует проверять отдельно.

LocalDoc разработала модель распознавания персональных данных в азербайджанском тексте на основе компактного энкодера ModernBERT. Она выполняет NER и выделяет 15 типов сущностей, включая имена, фамилии, адреса, электронную почту, номера телефонов, паспортные и налоговые номера. Модель содержит 69,7 млн параметров, принимает текст и возвращает метки токенов; контекст — до 8192 токенов. В README указано, что для инференса текст нужно предварительно перевести в нижний регистр; модель обучена на азербайджанских и английских данных с синтетическими примерами, транслитерациями и сложными отрицательными примерами. Модель предназначена для обнаружения и последующей защиты персональных данных в сообщениях, документах и других текстах. README приводит F1 0,9974 на оценочном наборе и заявляет более высокую скорость по сравнению с XLM-RoBERTa, однако качество на реальных данных может отличаться. Ограничения включают слабую надёжность для языков помимо азербайджанского и английского, возможное неверное распознавание названий районов как имён и проблемы с телефонными номерами через дефис. Лицензия MIT разрешает коммерческое использование и распространение с соблюдением её условий.

Карточка модели TechnoBaptist/privacy-filter-multilingual-v2 на Hugging Face совпадает с карточкой OpenMed/privacy-filter-multilingual-v2, поэтому описание составлено по ней. OpenMed разработала OpenMed/privacy-filter-multilingual-v2 — мультиязычную модель для извлечения персональных данных из текста. Это полноценно дообученная на базе openai/privacy-filter модель с архитектурой MoE и BIOES-головой классификации токенов. Она размечает фрагменты по 54 категориям PII, используя 217 меток BIOES. В метаданных указано 145,4 млн параметров и контекст до 131 072 токенов; карточка описывает исходную базовую модель как MoE на 1,4 млрд параметров с 50 млн активных параметров на токен. Модель предназначена для обнаружения и последующего маскирования персональных данных в многоязычных текстах; обёртка OpenMed также поддерживает извлечение сущностей и деидентификацию с заменой значений. Поддерживаются арабский, бенгальский, китайский, нидерландский, английский, французский, немецкий, хинди, итальянский, японский, корейский, португальский, испанский, телугу, турецкий и вьетнамский языки. Весовые файлы представлены в формате safetensors, лицензия — Apache-2.0. Качество неравномерно: карточка отмечает более слабые результаты для японского, корейского, китайского и ряда языков с низкими ресурсами. Обучающие данные преимущественно синтетические, поэтому для реальных текстов и критически важных сценариев нужны доменная оценка и калибровка; модель не является специализированным решением для клинических медицинских данных и не заменяет проверку требований законодательства.