I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельQwythos-9B-PerfectSplit-CoT-GGUF — GGUF-квантование модели Qwythos-9B-Claude-Mythos-5-1M, подготовленное Aronstk15. Это разговорная модель для генерации текста, рассуждений и работы с длинным контекстом; карточка описывает смешанную точность: эмбеддинги, выходная голова и чувствительные компоненты внимания сохраняются в F16, а часть слоёв MLP сжимается. По заявлению автора, размер уменьшен примерно на 37% относительно исходной версии F16, до 10,88 ГБ, с приоритетом сохранения связности многошаговых рассуждений и извлечения информации из длинного контекста. Для запуска README приводит пример с llama.cpp; заявленная лицензия — Apache-2.0. Модель предназначена для диалоговой генерации, объяснений и анализа текста или данных, а также задач, где нужно учитывать большой объём предшествующего контекста. В метаданных указан базовый чекпойнт empero-ai/Qwythos-9B-Claude-Mythos-5-1M, описанный каталогом как дообученная на Qwen3.5-9B модель; исходная карточка заявляет контекст до 1 млн токенов, но конкретный доступный предел зависит от реализации и настроек запуска. Преимущество этой сборки — сохранение полной точности для выбранных чувствительных тензоров при сжатии менее чувствительных слоёв. Качество длинных рассуждений и контекстного извлечения описано автором как ожидаемое, без приведённых независимых результатов оценки. Модель распространяется по лицензии Apache-2.0.
RoBERTa TopSeg Wikisection — модель на базе RoBERTa, опубликованная пользователем ighina и упакованная для Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. Модель содержит 151,8 млн параметров, принимает текст и рассчитана на контекст до 514 токенов. Обучение использовало CosineSimilarityLoss; доступен формат PyTorch. Модель подходит для поиска смыслово близких фрагментов и группировки текстов. Лицензия и поддерживаемые языки в предоставленных данных не указаны.
ScreenParser — модель обнаружения элементов пользовательского интерфейса, разработанная IBM Research и ETH Zurich. Это YOLO11-L, дообученная на наборе ScreenParse v2 для анализа скриншотов веб-страниц. На вход подаётся изображение экрана, на выходе — рамки объектов, метки классов и оценки уверенности для 55 типов элементов, включая кнопки, поля ввода, меню, вкладки, текстовые блоки и изображения. Модель предназначена для разбора структуры веб-страниц, поиска и классификации видимых компонентов интерфейса. Текущий чекпойнт обучен на 1 447 100 скриншотах с 25 575 213 аннотациями элементов; обучение учитывает разные разрешения экранов. Модель принимает изображения и возвращает разметку в виде рамок и меток. Для извлечения текста из найденных элементов её можно сочетать с OCR или ScreenVLM. Лицензия — Apache 2.0. Модель обучена на скриншотах веб-страниц, поэтому качество может снижаться на скриншотах нативных настольных, мобильных и других приложений, отличающихся от обучающих данных.
Модель Cardiff NLP — дообученная версия cardiffnlp/twitter-roberta-base-dec2021 на наборе tweet_topic_single для классификации тем отдельных твитов. Она использует архитектуру RoBERTa с 151,8 млн параметров и принимает текст с контекстом до 514 токенов. В README приведены результаты на тестовой выборке test_2021: micro-F1 и accuracy около 0,895, macro-F1 около 0,801. Модель подходит для автоматической тематической разметки сообщений в Twitter и анализа их содержания. Лицензия в предоставленных данных не указана.
Карточка модели Jinstudio/VibeVoice-ASR на Hugging Face совпадает с карточкой microsoft/VibeVoice-ASR, поэтому описание составлено по ней. VibeVoice-ASR — модель Microsoft для распознавания речи и формирования структурированных расшифровок. Она принимает аудио и в одном проходе обрабатывает записи длительностью до 60 минут, указывая распознанный текст, временные метки и говорящих. Модель также поддерживает пользовательские ключевые слова для имён, терминов и другой специальной лексики. Модель рассчитана на многоязычную речь: README заявляет поддержку более 50 языков, автоматическое определение языка и переключение между языками в ходе записи. По данным карточки, модель построена на плотной архитектуре семейства VibeVoice, использует Transformers и хранит веса в формате safetensors. Указанная лицензия — MIT. Модель подходит для расшифровки длинных записей, где важны привязка реплик ко времени и разделение по говорящим. README заявляет обработку до 60 минут в пределах контекста 64K токенов; фактическое качество распознавания может зависеть от языка, акустики и предметной лексики.
Модель gchhablani/bert-base-cased-finetuned-qqp разработана на основе bert-base-cased и дообучена для классификации пар вопросов на наборе GLUE QQP. Она использует архитектуру BERT для классификации последовательностей и предназначена для определения того, задают ли два вопроса одно и то же по смыслу. В README приведены результаты на оценочной выборке: accuracy 0,9084, F1 0,8768 и объединённая оценка 0,8926. Модель содержит 135,5 млн параметров, принимает текстовые пары и поддерживает контекст до 512 токенов. Основной сценарий — выявление дубликатов вопросов, например, в поиске или при очистке базы вопросов и ответов. Указана лицензия Apache-2.0.
google-bert/bert-base-multilingual-uncased — базовая многоязычная модель BERT, разработанная командой Google. Это плотная трансформерная архитектура BertForMaskedLM с 194,6 млн параметров, обученная на текстах Википедии для 102 языков с помощью masked language modeling и предсказания следующего предложения. Модель приводит текст к нижнему регистру, использует общую WordPiece-лексиконную таблицу размером 110 000 токенов и поддерживает контекст до 512 токенов. Модель предназначена для восстановления замаскированных слов и получения контекстных представлений текста, которые можно использовать при дообучении для классификации последовательностей и токенов, ответов на вопросы и других задач понимания текста. Она принимает текст и в задаче fill-mask выдаёт вероятные подстановки для пропущенных токенов. Это энкодерная модель, поэтому она не предназначена для свободной генерации текста. Нижний регистр стирает различия между прописными и строчными буквами; предсказания могут отражать смещения обучающих данных. Лицензия — Apache-2.0.
twmkn9/bert-base-uncased-squad2 — модель BERT base uncased, дообученная на датасете SQuAD v2 для ответов на вопросы по предоставленному контексту. Она извлекает ответ из текста или сообщает, что в контексте ответа нет. Подходит для систем поиска по документам и других сценариев, где вопрос и относящийся к нему текст доступны модели. Модель содержит 136,7 млн параметров, использует архитектуру BERT для вопросно-ответной задачи и принимает последовательности длиной до 512 токенов. В README приведены результаты на подмножестве dev-набора SQuAD v2: exact match 72,36 и F1 75,75. Доступны веса PyTorch и Flax. Базовая модель — bert-base-uncased; лицензия в предоставленных данных не указана.
qgrantq/bert-finetuned-squad — модель BERT, дообученная на наборе вопросов и ответов SQuAD на основе bert-base-cased. Она предназначена для извлечения ответа на вопрос из предоставленного текста и подходит для систем поиска по документам и автоматизации ответов по контексту. Модель содержит 135,5 млн параметров, использует архитектуру BertForQuestionAnswering и принимает контекст длиной до 512 токенов. Репозиторий содержит веса PyTorch. Модель рассчитана на английские тексты, что следует из базовой модели bert-base-cased и датасета SQuAD. Она распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или дополнительных сведений об ограничениях; результаты могут зависеть от соответствия входного текста распределению SQuAD.
Это англоязычная модель BERT large от Google, дообученная командой Google на наборе SQuAD для ответов на вопросы по заданному контексту. Она возвращает фрагмент контекста в качестве ответа и подходит для систем поиска ответов по документам и текстам. Предварительное обучение использовало masked language modeling, предсказание следующего предложения и Whole Word Masking, при котором маскируются все части одного слова одновременно. Архитектура — 24-слойный BERT с размерностью скрытого представления 1024 и 16 головами внимания. В README указано 336 млн параметров, а метаданные каталога сообщают 433,9 млн; модель принимает последовательности длиной до 512 токенов. Она обучена для английского языка без различения регистра, на BookCorpus и англоязычной Wikipedia, а затем дообучена на SQuAD. Лицензия — Apache-2.0. Модель предназначена для извлечения ответов из предоставленного текста; она не генерирует свободный ответ и может ошибаться, если нужных сведений нет в контексте или формулировка вопроса отличается от примеров обучения. Для длинных документов контекст нужно разбивать на фрагменты, укладывающиеся в лимит модели.
gravitee-io/bert-small-pii-detection — модель Gravitee для обнаружения и разметки персональных и чувствительных данных в тексте. Это BERT для классификации токенов, дообученный на наборе gravitee-io/pii-detection-dataset от базовой модели prajjwal1/bert-small. Модель содержит 32,4 млн параметров и рассчитана на контекст до 512 токенов. Модель помечает такие сущности, как имена людей, возраст, адреса электронной почты и телефоны, платёжные и банковские данные, пароли, IP- и MAC-адреса, URL, организации, местоположения и ряд идентификаторов, характерных для США. Её можно применять для поиска чувствительных фрагментов перед передачей текста в другие системы или для задач защиты данных. Поддерживается английский язык. Доступны веса в форматах Safetensors и ONNX. Модель предназначена для извлечения сущностей из текста; качество на языках и типах данных, отличных от заявленных, не подтверждено. Она лицензирована по Apache-2.0.
lealdaniel/comp-embedding-matching — дообученная модель Sentence Transformers на базе sentence-transformers/all-mpnet-base-v2 для сопоставления названий профессий и связанных с ними категорий. Она преобразует предложения и короткие тексты в плотные векторы размерности 768, нормализует их и позволяет сравнивать косинусное сходство. Архитектура включает MPNet, усредняющий пулинг токенов и нормализацию; README указывает максимальную длину последовательности 384 токена, а метаданные — контекст 514 токенов. Модель подходит для семантического поиска и ранжирования соответствий между формулировками должностей и профессиональными категориями, а также для сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В примерах обучающих и оценочных данных встречаются английские и португальские названия профессий и категорий. На тестовой выборке в README приведены значения cosine_accuracy@1 0,3202, @3 0,4547 и @5 0,5224; качество следует проверять на данных целевого сценария. Лицензия в предоставленных данных не указана.
yonigo/deberta-v3-base-pii-en — англоязычная модель для разметки токенов, созданная дообучением microsoft/deberta-v3-base на примерах из ai4privacy/pii-masking-300k. Она предназначена для обнаружения персональных данных в тексте, например имён, адресов и телефонных номеров, чтобы размечать их перед маскированием или другой последующей обработкой. Модель использует архитектуру DeBERTa V2 для классификации токенов, содержит 211,6 млн параметров и рассчитана на контекст до 512 токенов. Модель принимает текст и возвращает метки для его фрагментов; для объединения меток в сущности в примере README используется pipeline Transformers с aggregation_strategy="first". Обучение проведено на англоязычных примерах, поэтому применение к другим языкам не подтверждено. Лицензия — MIT.
cyttic/exp23-directfit-unfrozen — модель с архитектурой vision-encoder-decoder, дообученная разработчиком на базе cyttic/exp22-exp2warm-directfit-frozen. Она принимает изображения и формирует текст; репозиторий помечен задачей image-text-to-text. На оценочном наборе указаны Loss 0,4588, CER 0,0245 и WER 0,0647. Данные о назначении, обучающем наборе и условиях применения в карточке не раскрыты. Модель распространяется в формате safetensors.
jonatasgrosman/exp_w2v2t_ru_hubert_s818 — модель распознавания русской речи, дообученная автором jonatasgrosman с помощью HuggingSound на обучающей части Common Voice 7.0. Она основана на facebook/hubert-large-ll60k и использует архитектуру HuBERT с CTC-головой; размер составляет 402,7 млн параметров. Модель принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст. Подходит для автоматической транскрипции русскоязычных записей. Распространяется по лицензии Apache-2.0.
GLiClass Modern Large v3.0 — модель Knowledgator для классификации последовательностей текста с нулевым обучением на пользовательских метках. Она использует архитектуру GLiClass и выполняет классификацию за один проход, что, по данным авторов, делает её вычислительно эффективной по сравнению с cross-encoder. Модель предназначена для тематической классификации, анализа тональности и ранжирования текстов в RAG-сценариях. Модель содержит около 399 млн параметров, занимает примерно 1,6 ГБ и распространяется в формате Safetensors. Для версии v3.0 использовали LoRA-адаптеры с рангом 768 и дообучение на логических задачах; в README также приведены результаты тестирования в zero-shot режиме на наборах классификации. Лицензия — Apache-2.0. В README не указаны поддерживаемые естественные языки и максимальная длина контекста. Качество зависит от формулировки меток и предметной области; приведённые результаты относятся к отдельным бенчмаркам и не гарантируют такую же точность на других данных.
GLiClass Small v1.0 Init — компактная модель классификации последовательностей семейства GLiClass, разработанная Knowledgator. Она выполняет классификацию текста по заданным категориям в режиме zero-shot без дополнительного дообучения на прикладных наборах данных. Модель предназначена для тематической классификации и анализа тональности, а также может использоваться для ранжирования документов в RAG-конвейерах. Модель обучена на синтетических данных MoritzLaurer/synthetic_zeroshot_mixtral_v0.1. В README для варианта small указано 144 млн параметров; заявлено, что классификация выполняется за один проход и требует меньше вычислений, чем cross-encoder. Репозиторий содержит веса в форматах Safetensors и ONNX. Карточка указывает английский язык и лицензию Apache-2.0, допускающую коммерческое использование. В приведённых zero-shot тестах на IMDB, AG_NEWS и Emotions вариант small показал F1 0,8650, 0,6805 и 0,4664 соответственно.
Mungert/Jan-nano-128k-GGUF — это набор GGUF-квантизированных моделей Jan-Nano-128k, созданный Mungert на основе Menlo/Jan-nano с использованием llama.cpp. Модель предназначена для текстовой генерации и исследовательских задач, включая анализ научных статей и длинных документов, синтез информации из нескольких источников, сложные рассуждения и многошаговые диалоги. Указывается совместимость с серверами Model Context Protocol (MCP) и поддержка вызова инструментов при соответствующей конфигурации. Ключевая характеристика модели — нативное контекстное окно до 128 тысяч токенов, рассчитанное на работу с большими объёмами текста без типичной деградации качества при расширении контекста. Модель компактная, но точный размер параметров, архитектура и перечень поддерживаемых языков в карточке не указаны; заявлен английский язык. Доступны варианты GGUF-квантизации, причём автор применяет повышение точности отдельных важных слоёв для улучшения качества на низких уровнях битности, особенно для MoE-моделей, ценой увеличения размера файлов. Сильными сторонами являются длинный контекст, ориентация на глубокий анализ документов и возможность локального запуска через llama.cpp или vLLM. Ограничения включают зависимость характеристик от выбранного варианта квантизации, отсутствие подробных данных о ресурсах и точности, а также необходимость специальной настройки масштабирования RoPE и максимальной длины контекста при развёртывании. Модель распространяется по лицензии Apache 2.0.
alpindale/Llama-3.2-90B-Vision-Instruct — мультимодальная инструктивная модель семейства Llama 3.2-Vision, разработанного Meta. Она принимает изображения и текст и генерирует текстовые ответы; подходит для визуального распознавания, рассуждений по изображениям, описания сцен и диалога с изображением. Модель построена на авторегрессионной архитектуре Transformer Llama 3.1 с vision-адаптером: кросс-внимание передаёт в языковую модель представления изображения. Размер версии — 90B параметров; контекст — до 128 тыс. токенов. Для текстовых задач заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; в сценариях с изображениями официально поддерживается английский. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Модель предназначена для визуальных вопросов и ответов, анализа изображений и документов, генерации подписей, поиска соответствий между изображениями и текстом, а также визуального grounding. Карточка сообщает о настройке инструктивной версии с помощью SFT и RLHF. Модель обучена на статичном офлайн-наборе данных с отсечкой знаний в декабре 2023 года. Использование регулируется пользовательской коммерческой лицензией Llama 3.2 и Acceptable Use Policy.
Llama-3-Giraffe-70B — экспериментальная длинноконтекстная версия Llama 3 70B, представленная Abacus.AI. Это плотная авторегрессионная языковая модель на архитектуре LlamaForCausalLM с 69,5 млрд параметров; README сообщает об эффективном контексте около 128 тыс. токенов, тогда как в метаданных указан native context 8192 токена. Для расширения контекста применялись PoSE и динамическая NTK-интерполяция: обучение включало около 1 млрд токенов и длинные образцы из RedPajama. Модель предназначена для генерации текста и экспериментов с извлечением информации из длинных последовательностей, например поиска фрагмента в большом документе. В README приведена оценка Needle-in-a-Haystack на контекстах до 128 тыс. токенов, но это начальный выпуск, и авторы отмечают, что планируют улучшать результаты по мере дальнейшего обучения. Модель принимает и генерирует текст; в метаданных указан английский язык. Лицензия — Llama 3 license (llama3).
LongAlign-13B-64k — языковая модель семейства LLaMA, опубликованная командой LongAlign. Она предназначена для генерации текста и выполнения инструкций в длинных контекстах. Проект описывает обучение на наборе LongAlign-10k из 10 000 инструкций длиной 8–64 тыс. токенов и оценивает следование инструкциям на запросах длиной 10–100 тыс. токенов. Модель содержит 12,9 млрд параметров, принимает текст и имеет заявленное контекстное окно 65 536 токенов. В метаданных указаны английский и китайский языки; репозиторий содержит веса PyTorch для Transformers. README объясняет подход проекта к выравниванию моделей для длинного контекста, но приведённый фрагмент не уточняет конкретную базовую модель и обучающие детали именно версии 13B-64k. Лицензия — Apache-2.0.
MGM-Omni-32B — мультимодальная модель-чатбот семейства MGMOmni, разработанная командой MGM-Omni. Это компонент восприятия MLLM: он принимает текст, изображения, видео и речь, а отвечает текстом; для синтеза речи авторы указывают отдельную модель MGM-Omni-TTS. Модель содержит 32 млрд параметров, использует архитектуру MGMOmniForCausalLM и поддерживает контекст до 128 000 токенов. Модель предназначена для диалогов с мультимодальными данными, понимания речи, изображений и видео, включая длинные аудиозаписи. В карточке заявлены поддержка английского и китайского языков и возможность воспринимать речь длительностью до часа. MGM-Omni-32B дообучена на Qwen/Qwen2.5-VL-32B-Instruct. Лицензия — Apache-2.0.
rankyx/ModernBERT-QnA-base-squad — дообученная модель ModernBERT для извлечения ответов на вопросы из предоставленного текста. Разработчик дообучил базовую answerdotai/ModernBERT-base на наборе SQuAD с помощью Hugging Face Transformers. Модель содержит 149 млн параметров, использует архитектуру ModernBERT и поддерживает контекст до 8192 токенов. Модель предназначена для систем вопросно-ответного поиска, в которых нужно найти ответ в тексте, например в документации или статьях. В карточке указаны результаты на SQuAD: F1 92,59 и Exact Match 86,45. При использовании следует учитывать, что это экстрактивная модель: она извлекает ответ из контекста, а не предназначена для свободной генерации. Распространяется по лицензии Apache-2.0.
Карточка модели xqiuresearch/MOSS-Transcribe-Diarize-vuln на Hugging Face совпадает с карточкой xqiuresearch/MOSS-Transcribe-Diarize, поэтому описание составлено по ней. MOSS-Transcribe-Diarize 0.9B — мультимодальная модель семейства MOSS от OpenMOSS для расшифровки длинных аудио- и видеозаписей. Она за один проход преобразует запись в текст с временными метками и анонимными метками говорящих, совместно выполняя распознавание речи и диаризацию. Также модель может размечать акустические события и учитывать пользовательские инструкции и подсказки с терминами.
uaritm разработал мультиязычную модель на базе XLM-RoBERTa для преобразования предложений и абзацев в плотные векторы размерности 768. Модель предназначена для вычисления семантической близости, поиска по смыслу и кластеризации; в README приведён пример определения подходящей врачебной специальности по жалобам пациентов. Она доступна в формате PyTorch через Sentence-Transformers, а для использования через Transformers требуется применить подходящий pooling к контекстным представлениям токенов. Модель имеет 305,2 млн параметров и принимает до 514 токенов контекста. Поддерживаются английский, русский, украинский и польский языки. Для версии с польским языком автор указывает более новую модель uaritm/multilingual_en_uk_pl_ru. Репозиторий распространяется по лицензии Apache-2.0.
checkiejan/multi-qa-mpnet-base-dot-v1-covidqa-search-multiple-negatives-loss — модель на базе MPNet, опубликованная в формате PyTorch и предназначенная для создания эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерностью 768 и подходит для семантического поиска и кластеризации; метаданные указывают на поддержку задач извлечения признаков и вычисления сходства предложений. Число параметров — 136,7 млн, максимальная длина контекста — 514 токенов. В README указано обучение с MultipleNegativesRankingLoss и косинусной мерой сходства. Для применения предлагается библиотека Sentence-Transformers либо Transformers с подходящей операцией pooling. Карточка не сообщает о языках обучения или лицензии, поэтому их условия здесь определить нельзя.
bartowski/NousResearch_DeepHermes-3-Llama-3-8B-Preview-GGUF — это набор GGUF-квантизаций модели DeepHermes-3-Llama-3-8B-Preview, разработанной NousResearch и подготовленной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых и чат-сценариев, инструкционного взаимодействия, рассуждений, ролевых диалогов, работы с JSON и function calling. Указан английский язык. Модель основана на Llama 3 и содержит 8 миллиардов параметров. Она поддерживает текстовую модальность и формат запросов ChatML-подобного типа с системными, пользовательскими и ассистентскими сообщениями. В репозитории представлены варианты квантизации от Q3 до Q8 объёмом примерно от 4,45 до 8,54 ГБ; более высокие варианты обычно обеспечивают лучшее качество, а низкобитные требуют меньше оперативной памяти. Модель совместима с llama.cpp, LM Studio и другими проектами на базе llama.cpp. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и поддержка задач, связанных с инструкциями, структурированными ответами и вызовом функций. Ограничения включают отсутствие заявленных данных о контекстном окне, бенчмарках и качестве на других языках, а также неизбежные потери качества при использовании более агрессивной квантизации. Лицензия указана как llama3; дополнительные условия использования в README не раскрыты.
ORIS Bert Small C — компактный польскоязычный энкодер от OrisTeam с 25,41 млн параметров, предназначенный прежде всего для дообучения под конкретные задачи и ускорения локальных конвейеров обработки данных. Модель построена на пользовательской архитектуре Transformer encoder с факторизованными эмбеддингами, RMSNorm и сочетанием локального и глобального внимания; предобучение выполнено в стиле BERT с masked language modeling. Модель создана с нуля и не является дообучением другого чекпойнта. Модель подходит для классификации текста, фильтрации и оценки документов, извлечения признаков на уровне токенов и последовательностей. Её также можно адаптировать для ранжирования, сходства текстов и эмбеддингов предложений после дополнительного обучения. В карточке приведены локальные результаты на польских задачах и эксперименты по фильтрации документов; они зависят от процедуры оценки и не являются официальной подачей на лидерборд KLEJ. Без дополнительного обучения модель не рекомендуется для поиска по сходству с обычным усреднением эмбеддингов: пространство предложений при таком подходе анизотропно. Качество зависит от задачи, а на части бенчмарков более крупные польские энкодеры сильнее. Модель обучалась преимущественно на польском языке. Выпуск ограничен исследовательским доступом; в метаданных указана лицензия other, поэтому конкретные условия использования следует сверять с доступом к репозиторию.
PASITA v1 — разработанная OpceanAI компактная авторегрессионная языковая модель на архитектуре LlamaForCausalLM, обученная с нуля без базовой модели. Она предназначена для преобразования обычного текста в корректный Markdown с сохранением исходной информации: модель добавляет структуру, но не должна придумывать содержание. Размер — около 88,1 млн параметров; используется библиотека Transformers, веса опубликованы в формате safetensors. Контекст модели составляет 2048 токенов. Модель рассчитана на форматирование средних и длинных документов: результатов OCR, вставленного HTML, заметок встреч, инструкций и обучающих материалов. Карточка приводит результаты тестирования на испанских и английских данных, включая качество Markdown, сохранение смысла и обработку таблиц; метаданные также указывают испанский и английский языки. На коротких фрагментах из одной-трёх строк результат может быть нестабильным, а среди отмеченных ошибок — пропуск цифр или второстепенных данных, повтор заголовка первого уровня и генерация текста после завершения. Строгое выполнение инструкций — известное слабое место. Лицензия Apache-2.0.
Pritesh-2711/piibench-deberta-base — модель PII-детекции на базе DeBERTa-v3-base, выпущенная как итоговая модель проекта PIIBench. Это дообученный классификатор токенов на архитектуре DeBERTa-v2 с 211,6 млн параметров; он размечает фрагменты текста, содержащие персональные и другие чувствительные данные. Модель обучена на подготовленных разделах многоисточникового бенчмарка PIIBench и рассчитана на контекст до 512 токенов. Модель предназначена для поиска PII в текстовых записях и оценки текста по типам сущностей. В README сообщается F1 0,6455 на полном тестовом наборе из 100 002 записей с 82 типами сущностей; полнота составила 0,6645, точность — 0,6277. Эти результаты относятся к указанному экспериментальному варианту набора и не гарантируют качество на других данных. Репозиторий выпущен под лицензией `other`; конкретные условия использования следует проверять в файлах лицензии модели.