/ Профессии
Универсальные способности и операции

I.4Обработка документов и форм

В разделе собраны самостоятельные задачи, где AI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеТекст
AI-задач
16
в этой профессии
Подходящих моделей
7 180
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеТекст

Рекомендованные модели

7 180 моделей
Загрузки
Лайки
Дата выхода
3 511–3 540 из 7 180
DavidHandsome
nanoVLM

nanoVLM — компактная мультимодальная модель «изображение—текст» для экспериментов и эффективного обучения, опубликованная DavidHandsome. Архитектура объединяет визуальный энкодер ViT на базе SigLIP-B/16-224-85M и причинную языковую модель SmolLM2-135M; общий размер составляет 222 млн параметров. Модель реализована на PyTorch, а её архитектура и логика обучения занимают около 750 строк кода. Модель принимает изображения и текстовые запросы и формирует текстовые ответы по содержимому изображений. Её компактность и простая реализация подходят для изучения VLM, обучения и экспериментов с мультимодальными моделями. Репозиторий содержит веса в формате safetensors; лицензия — MIT.

370сент. 2026
textimagemithugging-face
Helsinki-NLP
opus-mt-ilo-en

Helsinki-NLP/opus-mt-ilo-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с илоко (Iloko) на английский язык и подходит для перевода отдельных фраз и текстов. Архитектура — MarianMT, вариант transformer-align; размер составляет 36,5 млн параметров, родная длина контекста — 512 токенов. Предобработка включает нормализацию и SentencePiece с моделями словаря spm12k для обоих языков. В README приведён результат 36,4 BLEU и 0,558 chr-F на Tatoeba-test.ilo.eng. Репозиторий распространяется по лицензии Apache-2.0; доступны веса PyTorch и TensorFlow. Модель предназначена для перевода между одной языковой парой, поэтому её не следует считать универсальной или многоязычной системой перевода.

1501март 2022ctx512
textapache-2.0hugging-face
jwest33
qwen3.5-9b-null-space-abliterated

Qwen3.5 9B Null-Space Abliterated — экспериментальная версия Qwen3.5-9B, подготовленная jwest33. В модели ослаблено поведение отказа с помощью ортогональной проекции с ограничениями в нулевом пространстве, адаптивного взвешивания слоёв и сохранения норм весовых матриц. Карточка отмечает, что версия имеет низкое качество и дальнейшие эксперименты с настройкой взвешивания ещё планируются. Модель предназначена для диалогов и сценариев с анализом изображений, где требуется генерация ответов без исходного поведения отказа. Архитектура — плотная мультимодальная Qwen3.5 с 9 млрд параметров; репозиторий использует safetensors и библиотеку Transformers. Базовая модель — Qwen/Qwen3.5-9B. Лицензия — Apache-2.0. Поскольку поведение отказа изменено, модель может выдавать небезопасные ответы; автор указывает на низкое качество этой версии и возлагает ответственность за применение на пользователей.

255март 2026ctx262.1K
textimageapache-2.0hugging-face
extreme1228
ScaleCUA-qwen3.5-osworld

ScaleCUA-qwen3.5-osworld — мультимодальный агент для работы с графическим интерфейсом, разработанный командой ScaleCUA на базе Qwen3.5-9B. Это контрольная точка после онлайн-обучения с подкреплением (RLVR); начальной точкой дообучения служит extreme1228/ScaleCUA-qwen3.5-osworld-sft. Модель принимает изображения интерфейса и текстовые инструкции, а её основная задача — выполнять действия в компьютерной среде OSWorld. Для запуска авторы предлагают использовать сервер с API, совместимым с OpenAI, например vLLM, вместе с оценочной средой osworld_eval. В карточке заявлен результат 68,7% на OSWorld. В качестве методов масштабирования обучения упомянуты синтез проверяемых GUI-задач VeriGen, Frontier Sampling и Visual Context Segmentation. Модель предназначена для автоматизации многошаговых задач в графическом интерфейсе; результат указан авторами, а независимые условия и детали оценки в карточке не приведены. Лицензия обозначена как other.

1081июль 2026ctx262.1K
textimageotherhugging-face
mradermacher
TreeVGR-7B-CI-i1-GGUF

TreeVGR-7B-CI-i1-GGUF — квантизированная версия мультимодальной модели TreeVGR-7B-CI, разработанной HaochenWang и опубликованной в формате GGUF пользователем mradermacher. Модель предназначена для задач визуального ответа на вопросы, визуального заземления и визуального рассуждения по изображениям и текстовым запросам. В метаданных указан английский язык; поддержка других языков не заявлена. Модель основана на архитектуре Qwen, содержит около 7 млрд параметров и использует vision-компонент, для которого требуются отдельные mmproj-файлы из статического репозитория. В поставку входят imatrix-квантизации разных уровней, примерно от 2,0 до 6,4 ГБ: более компактные варианты экономят память, но могут заметно уступать по качеству, тогда как i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q6_K — как близкий к статической квантизации Q6_K. Размер контекста и точный набор поддерживаемых модальностей в README не указаны. Сильными сторонами модели являются специализация на визуальных задачах, наличие вариантов для устройств с разным объёмом памяти и возможность запуска через экосистему GGUF. Ограничения включают потенциальную потерю качества при низких уровнях квантизации, необходимость совместимого мультимодального программного обеспечения и отдельного mmproj-файла, а также отсутствие заявленных сведений о контексте и результатах оценки. Модель распространяется по лицензии Apache-2.0.

6631июль 2025
textimageapache-2.0hugging-face
pierreguillou
bert-base-cased-pt-lenerbr

pierreguillou/bert-base-cased-pt-lenerbr — языковая модель на архитектуре BERT base, дообученная Пьером Гийу на модели BERTimbau base для юридического домена Бразилии на португальском языке. Обучение выполнено на наборе LeNER-Br с задачей предсказания маскированных токенов; модель содержит 136,1 млн параметров и рассчитана на контекст до 512 токенов. Модель предназначена для заполнения пропусков в юридических текстах на португальском языке и может служить основой для извлечения именованных сущностей в бразильских судебных документах. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

3016март 2022ctx512
texthugging-face
BSC-NLP4BIA
bsc-bio-ehr-es-carmen-medprocner

Модель разработана командой NLP4BIA Барселонского суперкомпьютерного центра (BSC) и предназначена для извлечения упоминаний медицинских процедур из испанских клинических текстов. Это дообученная для классификации токенов модель RoBERTa с 151,8 млн параметров, основанная на PlanTL-GOB-ES/bsc-bio-ehr-es. Она обучена на упоминаниях процедур из наборов CARMEN-I и MedProcNER и поддерживает контекст до 514 токенов. Модель подходит для разметки упоминаний процедур в электронных медицинских записях и для построения конвейеров медицинского NER на испанском языке. Рекомендуется заранее разбивать входной текст на слова, как это делалось при обучении: подача не токенизированного таким образом текста может снизить качество. Разработчики не оценивали систематические смещения; возможны искажения, связанные с данными обучения. Лицензия — CC BY 4.0.

1300июнь 2024ctx514
textcc-by-4.0hugging-face
yuuki14202028
gpt2-kanakanji

gpt2-kanakanji — разработанная yuuki14202028 японская модель преобразования чтения на катакане в текст с кандзи и каной. Она дообучена на ku-nlp/gpt2-small-japanese-char с использованием набора Miwa-Keita/zenz-v2.5-dataset и построена на архитектуре GPT-2 с генерацией на уровне символов. Модель принимает чтение на катакане и левый контекст, а на выходе формирует соответствующую запись на японском языке с кандзи и каной. Для управления форматом ввода используются специальные токены из Unicode Private Use Area. В README приведена оценка на AJIMEE-Bench из 200 примеров: точность Acc@1 составляет 0,705, MinCER — 0,0432. Модель рассчитана на преобразование японского текста в сценариях ввода, подобных IME. Контекст ограничен 1024 токенами. Лицензия — CC-BY-SA-4.0, унаследованная от базовой модели.

2613февр. 2026ctx1K
textcc-by-sa-4.0hugging-face
dmis-lab
InternVL3-38B-CVRR

InternVL3-38B-CVRR — мультимодальная модель для ответов на вопросы об изображениях, разработанная авторами работы «Reason Through the Latent! Making Latent Visual Reasoning Necessary» на базе OpenGVLab/InternVL3-38B. Она использует метод Causal Visual Recurrent Reasoning (CVRR): рекуррентно уточняет состояние вопроса с доступом к визуальным данным, а затем передаёт итоговое состояние декодеру ответа, ограничивая его прямой доступ к исходным визуальным данным. Модель предназначена для визуального рассуждения и генерации текстовых ответов на вопросы по изображениям. Рекуррентный переход адаптирован с помощью LoRA и включён в опубликованный пакет вместе с весами базовой модели и специальным загрузчиком. Размер базовой модели — 38 млрд параметров; формат весов — safetensors, библиотека запуска — Transformers. Репозиторий распространяется по лицензии Apache-2.0. Для запуска нужны зависимости из requirements.txt и Transformers 4.57.6. Загрузчик не поддерживает автоматическое разбиение модели по GPU, повторную сериализацию через стандартный save_pretrained(), а также прямой запуск через vLLM или SGLang; требуется полная копия модели на каждом GPU. Выпускаемая версия использует T=4 и beta=0.5; исторические результаты с beta=0.33 не подтверждены для этого пакета.

3040сент. 2026
textimageapache-2.0hugging-face
dh-unibe
kraken-medieval-german-v2

kraken-medieval-german-v2 — модель распознавания рукописного текста (HTR) на базе Kraken, разработанная dh-unibe. Она дообучена на CATMuS Medieval, модели для средневековых рукописей, и предназначена для чтения немецких исторических документов. Для обработки страницы Kraken сначала находит строки с помощью сегментации blla, а распознаватель считывает их по отдельности; на вход также можно подавать готовые изображения строк или их контуры. Модель обучена на наборах данных с судебными книгами XV–XVI веков, материалами авторов Bullinger и другими историческими документами. На отложенной выборке собственного обучения указаны CER 21,31% и WER 59,70%; это результаты внутренней проверки, а не общего бенчмарка, и они могут не переноситься на другие корпуса. Базовая модель CATMuS Medieval обучалась на старофранцузском, среднефранцузском, латинском, испанском и итальянском, поэтому пригодность именно для немецких рукописей следует оценивать на целевом корпусе. В репозитории представлены веса Core ML; лицензия в предоставленных сведениях не указана.

242авг. 2026
textimagehugging-face
meldynamics
polish-metrical-htr-experimental

meldynamics разработала экспериментальную модель распознавания рукописных строк в польских метрических книгах XIX века: записях о крещениях, браках и смертях, преимущественно за 1800–1865 годы. Это дообученная методом дистилляции TrOCR-модель с архитектурой VisionEncoderDecoder: ViT-кодировщик и авторегрессионный декодер. Она принимает одно изображение строки за раз — RGB-обрезку, замаскированную по многоугольнику и приведённую к размеру 192×1024, — и выдаёт транскрипцию на польском языке. Модель предназначена для экспериментального распознавания архивных строк и генерации нечётких текстовых кандидатов с привязкой к исходному изображению и возможностью отказаться от ответа. Она не ищет строки на странице, не сегментирует документ, не распределяет текст по ячейкам и не проверяет факты. В оценке измерялось совпадение с автоматически созданными текстами учителя, а не точность относительно человеческой транскрипции; показатели CER составили 0,315 на валидации и 0,385 на тесте. Лицензия репозитория — Apache License 2.0, однако README предупреждает, что коммерческая чистота всей цепочки происхождения базовой модели не подтверждена; права на архивные изображения также не предоставляются.

750авг. 2026ctx512
textimageapache-2.0hugging-face
yoshino0721
Xiangxue-1-3.6B

Xiangxue-1-3.6B(向学)是 yoshino0721 发布的 модель для исправления китайских грамматических и орфографических ошибок. Это производная Qwen3ForCausalLM с 32 слоями трансформера и 3,3 млрд параметров по метаданным; README указывает точное число 3 618 744 832. Репозиторий содержит самостоятельные объединённые веса BF16 без внешнего адаптера и без квантования; модель дообучена на базе twnlp/ChineseErrorCorrector4-4B. Модель предназначена для исправления грамматики и орфографии в китайских предложениях с сохранением корректных фрагментов и сокращением лишних правок. Метаданные указывают контекст 262 144 токена. В локальных тестах проекта она уступает базовой CEC4 BF16 по приведённым метрикам; автор отдельно оговаривает, что результаты не подтверждают лидерство на всех публичных тестах и протоколах. Иногда модель выводит рассуждения, поэтому для получения только исправленного предложения требуется проверенный парсер. Лицензия — Apache-2.0.

430авг. 2026ctx262.1K
textapache-2.0hugging-face
Anthonyg5005
gemma-3n-e4b-mmproj-gguf

Anthonyg5005/gemma-3n-e4b-mmproj-gguf — конверсия компонента mmproj в формате FP16 для Gemma 3n E4B IT, опубликованная автором репозитория. Компонент предназначен для совместной работы с базовой моделью при обработке изображений и генерации текстовых ответов; метаданные указывают поддержку задачи image-text-to-text и библиотеки llama.cpp. Репозиторий использует формат GGUF и лицензию Gemma. В README автор отмечает, что сборка работает, но результаты кажутся ненадёжными; причина может быть как в настройке окружения, так и в самой модели. Это компонент мультимодальной модели, а не самостоятельная универсальная модель.

2420янв. 2026
textimagegemmahugging-face
Helsinki-NLP
opus-mt-bem-fi

Helsinki-NLP/opus-mt-bem-fi — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с бемба (bem) на финский (fi) и предназначена для перевода отдельных фраз и документов между этими языками. Модель основана на архитектуре Transformer-align и использует нормализацию текста и токенизацию SentencePiece. Модель содержит 56,8 млн параметров, её нативный контекст составляет 512 токенов; доступны веса PyTorch и TensorFlow. В тесте JW300.bem.fi указаны BLEU 22,8 и chr-F 0,439. Модель распространяется по лицензии Apache-2.0.

950март 2022ctx512
textapache-2.0hugging-face
NbAiLab
roberta_jan_128_ncc

NbAiLab/roberta_jan_128_ncc — языковая модель на архитектуре RoBERTa, опубликованная Nasjonalbiblioteket AI Lab. Она предназначена для заполнения пропусков в тексте: модель предсказывает подходящие слова или токены на месте специального маркера маски. Репозиторий размечен задачей fill-mask и содержит около 151,8 млн параметров; заявленная длина контекста — 514 токенов. В конфигурации токенизатора указана базовая модель NbAiLab/nb-roberta-base, а имя модели связывает её с корпусом NCC. Предположительно, это норвежская модель; конкретные языки не перечислены в доступных метаданных. Модель можно использовать через Transformers как masked language model. Данных о лицензии и сравнительных результатах в карточке нет.

8490март 2022ctx514
texthugging-face
syubraj
RomanEng2Nep-v2

RomanEng2Nep-v2 — модель Syubraj для преобразования записанного латиницей английского текста в непальское письмо. Она дообучена на google/mt5-small и использует архитектуру encoder-decoder mT5 с 157,4 млн параметров. Модель предназначена для транслитерации с Roman English на непальский; в карточке задача также обозначена как перевод. Обучение продолжалось в несколько этапов на датасете syubraj/roman2nepali-transliteration. Модель принимает текст и выдаёт текст на непальском письме. Для использования доступны веса в формате safetensors и библиотека Transformers. Лицензия — Apache-2.0. В карточке приведены метрики обучения и валидации, но они не устанавливают качество на произвольных текстах; применение лучше ограничивать преобразованием, соответствующим обучающим данным.

371сент. 2024
textapache-2.0hugging-face
SakanaAI
TAID-VLM-2B

TAID-VLM-2B — мультимодальная авторегрессионная модель Sakana AI для диалога по изображениям. Она создана методом дистилляции TAID: InternVL2-8B выступала учителем, а InternVL2-2B — учеником. В метаданных указаны архитектура InternVLChatModel, размер 2B и формат safetensors; модель предназначена для визуальных вопросов и ответов, а также текстовой генерации в чате. Модель принимает изображения и текстовые запросы и формирует текстовые ответы. В карточке указан английский язык. Лицензия — MIT. Sakana AI характеризует модель как экспериментальный прототип для исследований и разработок и не рекомендует её для коммерческого применения или критически важных систем; качество результатов не гарантируется.

1175авг. 2024ctx8.2K
textmithugging-face
google
tapas-mini-masklm

google/tapas-mini-masklm — компактная модель Google семейства TAPAS для задачи fill-mask: она предсказывает замаскированные токены в последовательности, содержащей табличные данные. Модель имеет архитектуру TapasForMaskedLM и около 12 млн параметров; поддерживает контекст до 512 токенов. В карточке указано, что она соответствует варианту tapas_masklm_mini_reset из исходного репозитория. Модель предназначена для заполнения пропусков в табличном тексте и изучения представлений таблиц. Доступны веса в форматах PyTorch и TensorFlow. Лицензия в предоставленных данных не указана.

1290март 2022ctx512
texthugging-face
WindyTranslate
translate-bzs-es

Windstorm Labs опубликовала модель машинного перевода с языка bzs на испанский. Это дообученная модель семейства MarianMT: LoRA-адаптация обучена на параллельных текстах и объединена с весами базовой Helsinki-NLP/opus-mt-bzs-es. Модель содержит 51,5 млн параметров, принимает и генерирует текст; её нативный контекст составляет 512 токенов. Репозиторий содержит сборку Transformers в формате safetensors. Модель предназначена для перевода текстов с bzs на испанский. Качество перевода пока не оценивалось бенчмарками, поэтому пригодность для конкретного применения следует проверять на собственных данных. Лицензия — Apache-2.0.

150июль 2026ctx512
textapache-2.0hugging-face
a0a7
gregg-recognition

a0a7 разработал модель распознавания рукописной стенографии Грегга на изображениях и преобразования её в читаемый текст. Модель предназначена для оцифровки отсканированных заметок, исторических стенографических документов и архивов, а также для учебных и исследовательских задач, связанных со стенографией. В README указана архитектура CNN-LSTM и обучение на образцах стенографии Грегга; метаданные подтверждают задачу image-to-text, библиотеку PyTorch и датасет a0a7/Gregg-1916. Модель ориентирована на английский язык и распространяется по лицензии MIT. Её применение специализировано на записи Грегга; качество распознавания зависит от изображения, лучшие результаты ожидаются на чётких изображениях с высоким контрастом.

752июль 2025
textimagemithugging-face
Helsinki-NLP
opus-mt-crs-fr

Helsinki-NLP/opus-mt-crs-fr — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с креольского языка Сейшельских островов (crs) на французский (fr) и предназначена для перевода отдельных текстов и фраз. Модель построена на архитектуре MarianMT с Transformer, содержит 49,1 млн параметров и использует нормализацию текста и токенизацию SentencePiece; заявленная длина контекста — 512 токенов. В README приведён результат BLEU 29,4 на тестовом наборе JW300.crs.fr. Модель распространяется по лицензии Apache-2.0.

740март 2022ctx512
textapache-2.0hugging-face
Helsinki-NLP
opus-mt-kg-fr

Helsinki-NLP/opus-mt-kg-fr — модель машинного перевода семейства MarianMT, разработанная в рамках проекта OPUS. Она переводит текст с языка kg на французский. Модель основана на Transformer с выравниванием, использует нормализацию и токенизацию SentencePiece; размер — 50,2 млн параметров, контекст — до 512 токенов. Модель обучена на данных OPUS. В карточке приведён результат на тестовом наборе JW300.kg.fr: BLEU 26,0 и chr-F 0,433. Подходит для перевода текстов с kg на французский; качество может зависеть от тематики и формулировок исходного текста. Доступна под лицензией Apache-2.0.

601март 2022ctx512
textapache-2.0hugging-face
lamm-mit
qwen2.5-1.5b-diffusion-scientific-design

lamm-mit/qwen2.5-1.5b-diffusion-scientific-design — модель на 1,5 млрд параметров, дообученная разработчиком lamm-mit на базе lamm-mit/qwen2.5-1.5b-diffusion-ultrachat. Это плотная модель семейства diffusion-qwen2 с архитектурой DiffusionQwen2ForMaskedLM, предназначенная для задачи fill-mask — предсказания пропущенных токенов в тексте. Репозиторий содержит веса в формате safetensors; модель использует библиотеку Transformers и имеет контекст длиной до 32 768 токенов. В README указана оценка Loss 3,9131 на наборе для оценки, но назначение «scientific design» и пригодность для конкретных научных или инженерных сценариев не раскрыты. Данные обучения названы неизвестными. Лицензия в предоставленных сведениях отсутствует.

120июль 2026ctx32.8K
texthugging-face
robingeibel
reformer-big_patent-wikipedia-arxiv-16384

Reformer — языковая модель с архитектурой Reformer и примерно 153,2 млн параметров. Репозиторий описывает её как дообученную на наборе BigPatent модель; по метаданным она предназначена для заполнения пропусков в тексте и поддерживает контекст длиной до 16 384 токенов. Модель подходит для восстановления скрытых фрагментов в длинных текстах, включая патентные документы. В карточке приведено значение loss 5,8649 на оценочной выборке. Подробности об обучении, предназначении и ограничениях не раскрыты. Веса доступны в формате PyTorch; лицензия в предоставленных данных не указана.

650июль 2022ctx16.4K
texthugging-face
gagan3012
ViTGPT2_vizwiz

gagan3012/ViTGPT2_vizwiz — дообученная модель семейства VisionEncoderDecoder, опубликованная на Hugging Face. Она предназначена для генерации текстового описания по изображению и связана с задачей VizWiz, которая обычно включает вопросы по снимкам, однако карточка не описывает конкретный сценарий использования модели. В репозитории указаны формат PyTorch и оценочный loss 0,0719. Базовая модель, обучающие данные, поддерживаемые языки и ограничения не описаны, поэтому качество ответов и применимость к конкретным изображениям по карточке оценить нельзя. Лицензия в предоставленных данных не указана.

191март 2022ctx1K
textimagehugging-face
SALT-NLP
FLANG-Roberta

FLANG-Roberta — предварительно обученная языковая модель для финансового текста из семейства FLANG, разработанного SALT-NLP. Она основана на RoBERTa и дополнительно обучена на финансовом домене; при обучении маскирование с приоритетом отдавалось финансовым терминам и устойчивым выражениям, чтобы улучшить представления специализированной лексики. Модель содержит 162,4 млн параметров, использует архитектуру RobertaForMaskedLM и принимает текст, предсказывая замаскированные токены. Длина контекста составляет 130 токенов. Модель предназначена для заполнения пропусков в финансовых текстах и может служить основой для разработки систем понимания финансового языка. В описании семейства FLANG упомянуты задачи анализа тональности, классификации заголовков, ответов на вопросы, распознавания именованных сущностей и определения границ структурных единиц; это сценарии финансового бенчмарка FLUE, а не подтверждённые отдельные pipeline-задачи данного чекпойнта. Основной язык модели — английский. Доступные сведения не содержат условий лицензии, поэтому условия использования по ним установить нельзя.

1462окт. 2022ctx130
texthugging-face
dlicari
Italian-Legal-BERT-SC

ITALIAN-LEGAL-BERT-SC — языковая модель dlicari на архитектуре CamemBERT, предварительно обученная с нуля на итальянских юридических документах. Она предназначена для подстановки пропущенных слов в юридических текстах на итальянском языке и может служить основой для задач обработки юридических документов. Модель содержит 137,8 млн параметров и поддерживает контекст до 514 токенов. Модель опубликована в форматах PyTorch и Safetensors. Лицензия AFL-3.0. Карточка не описывает результаты оценки качества и дополнительные специализированные сценарии применения.

1384дек. 2022ctx514
textafl-3.0hugging-face
google
tapas-large-masklm

google/tapas-large-masklm — модель семейства TAPAS от Google для задачи fill-mask: предсказания скрытых токенов в последовательностях, содержащих текст и таблицы. Это крупная модель с архитектурой TapasForMaskedLM, примерно 433,9 млн параметров и контекстом до 1024 токенов. Карточка связывает её с вариантом tapas_masklm_large_reset из исходного репозитория. Модель подходит для восстановления пропусков в табличном тексте и экспериментов с маскированным языковым моделированием таблиц. Доступны веса в форматах PyTorch и TensorFlow. Лицензия и конкретный перечень поддерживаемых языков в предоставленных данных не указаны.

1272март 2022ctx1K
texthugging-face
kuleshov-group
udlm-lm1b

UDLM-LM1B — предварительно обученная языковая модель семейства Uniform Diffusion Language Models, разработанная группой Kuleshov. Она обучена на наборе данных Billion Word Benchmark с использованием непрерывного по времени ELBO для дискретной диффузии с уточнённым равномерным шумом. Модель предназначена для заполнения пропусков в тексте. Архитектура основана на Diffusion Transformer и включает 12 блоков многоголового внимания с 12 головами, скрытое измерение 768 и adaLN-кондиционирование по временному шагу диффузии. Модель содержит 139 млн параметров и принимает контекст длиной до 128 токенов. Репозиторий содержит веса в формате safetensors; для работы предусмотрена интеграция с Transformers. Модель выпущена по лицензии Apache-2.0. Карточка не сообщает о специализированной области применения или поддерживаемых языках.

1.6K0дек. 2024
textapache-2.0hugging-face
lexlms
legal-roberta-large

LexLM large — англоязычная модель RoBERTa Large, разработанная на основе исходного чекпойнта RoBERTa Large и продолжившая предварительное обучение на юридическом корпусе LeXFiles. Она предназначена для восстановления скрытых слов в юридических текстах и изучения языковых закономерностей правовых документов. Модель содержит 453,9 млн параметров, использует архитектуру RoBERTa и токенизатор BPE на 50 тыс. токенов. Контекст составляет до 514 токенов. При дополнительном обучении применялись маскирование 30% токенов и корпус LeXFiles. Поддерживается английский язык; репозиторий содержит веса PyTorch. Модель подходит для языкового моделирования юридических текстов и задач заполнения пропусков в них. Лицензия — CC BY-SA 4.0; для распространения производных материалов следует учитывать её условия.

54915нояб. 2022ctx514
textcc-by-sa-4.0hugging-face

Задачи профессии

16 задач
55Оптическое распознавание печатного текста со сканов и фотографий. — AI распознаёт печатные символы на сканах и фотографиях, одновременно восстанавливая строки, абзацы и координаты текста на странице. На вход поступают изображения документов, сведения о языке и, при наличии, ожидаемый шаблон. На выходе — редактируемый текст с привязкой к оригиналу и отметками низкой уверенности; качество измеряют символьной и словной ошибкой и визуальной сверкой критичных полей.
56Распознавание рукописного текста. — AI распознаёт рукописные символы и слова по форме штрихов, образцам почерка и языковому контексту. Система отмечает неоднозначные места, а не подменяет их уверенной догадкой. Результат — транскрипция с координатами и вероятностями вариантов; её проверяют на размеченных образцах и вручную сверяют для имён, чисел и юридически значимых записей.
57Определение структуры страницы: заголовков, колонок, сносок, таблиц и иллюстраций. — AI анализирует геометрию страницы, размеры и стили шрифта, интервалы, линии и взаимное расположение блоков, чтобы выделить заголовки, колонки, сноски, таблицы и иллюстрации. На выходе — дерево структуры документа и порядок чтения с координатами каждого элемента. Качество проверяют сравнением с размеченной разметкой и корректностью последующего извлечения текста и таблиц.
58Восстановление правильного порядка чтения сложного документа. — Для этой задачи система сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, шаблоны, связанные документы, сканы и фотографии. Формат результата: преобразованный материал по задаче «Восстановление правильного порядка чтения сложного документа» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
59Проверка обязательных полей и комплектности пакета документов. — Практическая реализация: AI выполняет набор автоматических проверок и сохраняет доказательства для каждого пройденного или нарушенного условия. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, связанные документы, сканы, фотографии и PDF. Формат результата: протокол выполнения «Проверка обязательных полей и комплектности пакета документов» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Ошибки выявляют повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
60Сопоставление информации между несколькими документами одного дела. — Механизм: AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, сканы, фотографии, PDF и электронные формы. Формат результата: карта соответствий и различий для «Сопоставление информации между несколькими документами одного дела», где элементы приведены к единым критериям и связаны с первичными данными. Проверка: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
61Выявление расхождений между документом и эталонной записью в системе. — AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. К исходным данным относятся оригиналы документов, фотографии, PDF, электронные формы и шаблоны. Формат результата: перечень объектов, событий или отклонений, относящихся к «Выявление расхождений между документом и эталонной записью в системе», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
62Сравнение версий и содержательное описание изменений. — Для этой задачи система сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. Рабочие входы: PDF, электронные формы, шаблоны и связанные документы. Формат результата: карта соответствий и различий для «Сравнение версий и содержательное описание изменений», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
63Объединение нескольких документов в единое структурированное досье. — Практическая реализация: AI сводит несколько потоков, участников или наборов данных в согласованный общий результат и разрешает конфликты правил. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, электронные формы, шаблоны, связанные документы и сканы. Формат результата: согласованный общий результат для «Объединение нескольких документов в единое структурированное досье» с журналом синхронизации и разрешённых конфликтов. Ошибки выявляют по согласованности общего результата, отсутствию конфликтов и корректности порядка действий; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
64Разделение большого файла на самостоятельные документы. — Механизм: AI сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, шаблоны, связанные документы, сканы и фотографии. Формат результата: результат «Разделение большого файла на самостоятельные документы» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Проверка: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
65Автоматическое заполнение шаблонов на основании исходных данных. — AI автоматизирует содержательную часть операции и сохраняет промежуточные основания для ручной проверки. К исходным данным относятся связанные документы, сканы, фотографии и PDF. Формат результата: конкретный результат по задаче «Автоматическое заполнение шаблонов на основании исходных данных» с исходными данными, промежуточными основаниями и возможностью проверки. Надёжность оценивают сверкой с эталонными случаями, воспроизводимостью и экспертной проверкой результата; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
66Маскирование персональных, коммерческих или иных конфиденциальных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Рабочие входы: текст и изображения, сканы, фотографии, PDF и электронные формы. Формат результата: преобразованный материал по задаче «Маскирование персональных, коммерческих или иных конфиденциальных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
67Определение повреждённых, нечитаемых или подозрительно изменённых страниц. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, фотографии, PDF, электронные формы и шаблоны. Формат результата: установленное значение или вариант по задаче «Определение повреждённых, нечитаемых или подозрительно изменённых страниц» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
68Восстановление текста из документов с плохим качеством печати. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, PDF, электронные формы, шаблоны и связанные документы. Формат результата: преобразованный материал по задаче «Восстановление текста из документов с плохим качеством печати» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
69Преобразование PDF и сканов в редактируемый формат с сохранением структуры. — AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. К исходным данным относятся оригиналы документов, электронные формы, шаблоны, связанные документы и сканы. Формат результата: преобразованный материал по задаче «Преобразование PDF и сканов в редактируемый формат с сохранением структуры» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
70Проверка соответствия документа заданному шаблону или стандарту оформления. — Для этой задачи система сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, шаблоны, связанные документы, сканы и фотографии. Формат результата: протокол выполнения «Проверка соответствия документа заданному шаблону или стандарту оформления» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Критерии приёмки: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном. <a id="section-i-5"></a>

0 моделей