I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельЭто модель Longformer-base-4096, дообученная Сураджем Патилом на наборе SQuAD v1 для ответов на вопросы по заданному контексту. Longformer разработан Изом Белтаги, Мэттью Питерсом и Арманом Коха из AllenAI и использует архитектуру на основе трансформера с локальным скользящим вниманием; модель содержит 151,8 млн параметров и рассчитана на последовательности длиной до 4098 токенов. Модель предназначена для извлечения ответа из длинного текста по вопросу пользователя. В README приведены результаты на SQuAD v1: Exact Match 85,15 и F1 91,54. Для задачи вопроса и ответа вопросу назначается глобальное внимание; карточка рекомендует передавать вопрос вместе с контекстом в виде пары входов. Указана лицензия MIT. Обучение на SQuAD v1 не гарантирует качество на других предметных областях или языках.
MiniCPM-V 2.6 — мультимодальная модель OpenBMB для диалога и анализа изображений, нескольких изображений и видео. Она сочетает визуальный энкодер SigLIP-400M с языковой моделью Qwen2-7B и содержит 8 млрд параметров. Модель отвечает на вопросы по визуальному содержимому, сравнивает изображения, распознаёт текст и создаёт подробные описания видео с учётом пространственно-временной информации. Поддерживаются изображения с произвольным соотношением сторон размером до 1,8 млн пикселей; заявлены многоязычные возможности, включая английский, китайский, немецкий, французский, итальянский и корейский. Модель рассчитана на запуск через Transformers, а также на локальный инференс с llama.cpp и Ollama; README отмечает её эффективность при обработке изображений и видео. Заявлены сильные результаты на тестах понимания изображений, OCR и видео, однако приведённые сравнения основаны на оценках разработчиков и не гарантируют аналогичного качества в конкретных сценариях. Модель может ошибаться и галлюцинировать. Лицензия в предоставленных данных не указана.
openbmb/MiniCPM-V-4.6-Thinking-gguf — GGUF-квантизированная версия мультимодальной модели MiniCPM-V 4.6 Thinking, разработанной OpenBMB. Модель предназначена для эффективного понимания изображений и видео, включая сложное мультимодальное рассуждение, математические задачи и распознавание текста на изображениях (OCR). Она ориентирована на локальное использование, в том числе на мобильных устройствах и периферийных платформах iOS, Android и HarmonyOS. Модель использует архитектуру с визуальным энкодером SigLIP2-400M и языковой моделью Qwen3.5-0.8B, а также смешанное сжатие визуальных токенов 4x/16x. Thinking-вариант формирует явную цепочку рассуждений перед финальным ответом, что повышает качество на сложных задачах, но может увеличивать задержку и расход вычислительных ресурсов. Поддерживаются текстовые запросы совместно с изображениями и видео; сведения о полном перечне языков и размере контекста в карточке не указаны. К сильным сторонам относятся компактность, ориентация на устройства с ограниченными ресурсами, поддержка изображений и видео и улучшенное рассуждение на визуально сложных задачах. Ограничения включают зависимость производительности от используемого GGUF-квантизированного варианта и аппаратной конфигурации, а также возможные проблемы совместимости видеодекодера torchcodec с отдельными версиями CUDA. Репозиторий распространяется по лицензии Apache-2.0.
Felldude/Ministral-3-8B-Uncensored-FP8 — мультимодальная модель на архитектуре Mistral 3, дообученная на задачах, связанных с изображениями и текстом. Она включает языковую часть на 8,4 млрд параметров и визуальный энкодер на 0,4 млрд параметров и предназначена для понимания изображений и генерации текстовых ответов. Модель поддерживает многоязычные сценарии, следование системным инструкциям, вызов функций и выдачу структурированного JSON; заявлено контекстное окно 256 тыс. токенов и оптимизация для запуска на периферийных устройствах. Основные сценарии — описание изображений, извлечение текста и данных с изображений, классификация текста и мультимодальные ассистенты. В README также заявлены перевод в реальном времени и применение для NSFW-контента, включая подписи к изображениям и генерацию историй и ответов. Для запуска приведён пример на Transformers с CUDA. Модель распространяется по лицензии Apache 2.0; качество заявленных возможностей независимо не подтверждено карточкой.
Это компактная модель MobileBERT для извлечения ответов на вопросы из текста. Она дообучена на базе csarron/mobilebert-uncased-squad-v2; автор карточки указывает неизвестный датасет дообучения. Модель содержит 59,7 млн параметров и рассчитана на контекст до 512 токенов. Формат весов — safetensors. Модель предназначена для сценариев, где вопрос и текстовый фрагмент подаются вместе, а система извлекает из фрагмента ответ. В карточке приведён результат оценки: loss 16.1284; подробности набора оценки и методики не раскрыты. Лицензия — MIT.
AI Sweden выпустила эту модель как продолжение предобучения answerdotai/ModernBERT-large на скандинавских текстах из The Nordic Pile и SWEb. Это плотный двунаправленный энкодер ModernBERT с архитектурой ModernBertForMaskedLM и примерно 395 млн параметров; он сохраняет контекстное окно 8192 токена. Токенизатор обучен с нуля на подмножестве скандинавских данных, а продолжение предобучения выполнено на дополнительных данных объёмом около 1,2 трлн токенов. Модель предназначена прежде всего для заполнения пропусков, извлечения эмбеддингов и дообучения для NLP-задач на шведском, норвежском, датском и исландском языках. Её можно использовать как энкодер в стиле BERT для классификации, распознавания именованных сущностей и ответов на вопросы; в Transformers доступен сценарий fill-mask. Модель выпущена как исследовательский артефакт по лицензии Apache-2.0. Веб-данные могут содержать шум, стереотипы и чувствительный контент. Экстраполяция RoPE за пределы контекста в 8192 токена не проверена и может ухудшить качество.
multilingual-cpv-sector-classifier — модель MKaan, дообученная на базе bert-base-multilingual-cased для классификации описаний закупок. Она относит текст к одному из 45 секторов, представленных описаниями кодов Общего словаря закупок ЕС (CPV), например строительству, здравоохранению, ИТ, транспорту и финансовым услугам. Модель использует архитектуру BERT для классификации последовательностей, содержит 205,1 млн параметров и принимает входные тексты длиной до 512 токенов. Модель предназначена для автоматической категоризации объявлений о присуждённых государственных контрактах и сортировки закупок по секторам. В карточке заявлена поддержка 104 языков mBERT, однако оценка проводилась на 22 европейских языках; на тестовой выборке указан F1 0,686. Данные охватывают описания закупок ЕС за 2011–2018 годы, поэтому качество на других типах документов и за пределами этой предметной области может отличаться. Модель распространяется по лицензии Apache-2.0.
OpenMed публикует вариант North Micro Vision Instruct в формате MLX bf16 для локального мультимодального вывода на устройствах Apple Silicon. Это конверсия компактной модели Cohere Compass с 2,4 млрд параметров, разработанной Cohere и обученной понимать изображения вместе с текстовыми запросами. Репозиторий содержит веса safetensors и предназначен для использования с локальными Python- и Swift-рантаймами OpenMed и OpenMedKit; лицензия весов — Apache 2.0. Модель принимает текст и изображения и формирует текстовые ответы. Она подходит для визуальных вопросов и ответов, OCR, извлечения сведений из клинических документов и графиков, описания изображений и работы с несколькими изображениями. Поддерживаются английский, немецкий, французский, испанский, итальянский, португальский, хинди, японский, корейский, китайский и арабский языки. Исходная модель обучалась и проверялась для мультимодальных последовательностей до 8 тысяч токенов. Вариант bf16 сохраняет исходную точность весов; заявленные для других вариантов MLX схемы квантования к нему не относятся. Локальный запуск после загрузки артефакта помогает не отправлять изображения в облако, однако ответы могут быть неполными, ошибочными или вымышленными. Модель не предназначена для диагностики и лечения, не поддерживает вызов инструментов и слаба в математике и программировании; клинические результаты требуют проверки специалистом.
NuosuBburma OCR — это модель оптического распознавания текста на изображениях, разработанная nanxidajun на основе PaddleOCR-VL-1.6. Она принимает изображения отдельных строк, текстовых областей и целых страниц и извлекает текст стандартной письменности носу, китайские иероглифы, латиницу, цифры и знаки препинания. Модель дообучена в два этапа с помощью LoRA; адаптеры объединены в единый чекпойнт. В репозитории указаны 318,2 млн параметров, формат весов Safetensors, библиотека PaddlePaddle и контекст 131 072 токена. Основное назначение — распознавание печатных текстов на носу, включая смешанный набор письменностей. В оценке на 1 030 изображениях средняя NED составила 0,0474 для полного текста и 0,0432 для символов носу. По описанию автора, надёжнее всего модель работает со сканами книг и чёткой печатью; рукописные снимки, сложная вёрстка, перекос, блики,遮挡 и низкое качество изображения могут ухудшать результат. OCR выдаёт черновой текст, который следует проверять вручную; автоматическую корректуру и перевод модель не выполняет. Модель распространяется по лицензии Apache-2.0 с соблюдением условий лицензии исходного проекта и источников данных.
OCRerrcr — модель на архитектуре DeBERTa-v2 для обнаружения ошибок распознавания текста в документах. Её обучил Eliot Jones для PleIAs на выборке из 1000 документов с размеченными OCR-ошибками из открытых финансовых данных Finance Commons и источников культурного наследия Common Corpus. Модель выполняет токенную классификацию и предназначена для оценки ошибок OCR в распознанном тексте. По заявлению разработчика, она даёт точную оценку ошибок без привязки к конкретной области; альтернативный конвейер OCRoscope работает быстрее на больших объёмах, но менее точен, особенно для документов с небольшим числом ошибок. Модель имеет 533,8 млн параметров и контекст 512 токенов, поддерживает английский, французский и немецкий языки. Распространяется под лицензией Apache-2.0.
Msoldier-ai/parsbert-qa — модель для извлечения ответов на вопросы из предоставленного текста. Согласно карточке, это дообученная ParsBERT для персидского экстрактивного QA: она находит в контексте начальную и конечную позиции фрагмента ответа. Модель относится к архитектуре BERT и содержит 190 млн параметров; максимальная длина контекста — 512 токенов. Модель предназначена для поиска точных ответов в документах и системах вопросов-ответов с передачей контекста, включая сценарии RAG. В README приведены результаты на персидском наборе PQuAD: Exact Match 73,47% и F1 86,28%. Она подходит для ответов, явно содержащихся в тексте, но может ошибаться в границах фрагмента, пропускать неявные ответы или выбирать ответ там, где данных недостаточно. Лицензия — MIT.
Perception Encoder Language G14-448 — визуальный энкодер Meta из семейства Perception Encoder, обученный для мультимодальных языковых сценариев. Модель извлекает визуальные признаки и предназначена для подключения к языковому декодеру, например Llama или Qwen; в карточке приведены результаты связки с Llama 3.1 8B. Особенно хорошо энкодер показывает себя в задачах OCR и анализа документов, а также в визуальном поиске и понимании изображений и видео. Чекпойнт G/14 с разрешением 448 пикселей использует контрастивное предварительное обучение и дополнительное выравнивание для языкового моделирования. В сравнении с L14-448 в описанном авторами тестировании с замороженным энкодером он показал более высокие результаты на DocVQA, InfoQA, TextVQA и ряде видеобенчмарков. Для практического применения как мультимодальной языковой модели нужен совместимый языковой декодер. Модель опубликована под лицензией Apache-2.0.
Perception Language Model (PLM) — открытая мультимодальная модель компании Meta для понимания изображений и видео. Версия Perception-LM-1B использует визуальный энкодер и языковой декодер с примерно 1 млрд параметров; модель предназначена для исследования визуальных данных и разработана без дистилляции из проприетарных моделей. Модель отвечает на вопросы об изображениях и видео, разбирает визуальные детали, документы и диаграммы, распознаёт текст на изображениях и поддерживает пространственно-временные рассуждения о видеосценах. В карточке приведены результаты на наборах тестов для понимания изображений и видео. Указан английский язык; контекстное окно в доступных сведениях не описано. Репозиторий содержит веса в формате Safetensors для использования с библиотекой Transformers; исходные контрольные точки доступны отдельно в проекте perception_models. Карточка называет модель полностью открытой и воспроизводимой, однако в метаданных указана лицензия «other», поэтому конкретные условия использования следует проверять в файлах лицензии репозитория.
LocalDoc разработала модель распознавания персональных данных в азербайджанском тексте на основе компактного энкодера ModernBERT. Она выполняет NER и выделяет 15 типов сущностей, включая имена, фамилии, адреса, электронную почту, номера телефонов, паспортные и налоговые номера. Модель содержит 69,7 млн параметров, принимает текст и возвращает метки токенов; контекст — до 8192 токенов. В README указано, что для инференса текст нужно предварительно перевести в нижний регистр; модель обучена на азербайджанских и английских данных с синтетическими примерами, транслитерациями и сложными отрицательными примерами. Модель предназначена для обнаружения и последующей защиты персональных данных в сообщениях, документах и других текстах. README приводит F1 0,9974 на оценочном наборе и заявляет более высокую скорость по сравнению с XLM-RoBERTa, однако качество на реальных данных может отличаться. Ограничения включают слабую надёжность для языков помимо азербайджанского и английского, возможное неверное распознавание названий районов как имён и проблемы с телефонными номерами через дефис. Лицензия MIT разрешает коммерческое использование и распространение с соблюдением её условий.
PaddlePaddle PP-LCNet_x1_0_doc_ori_safetensors — модель классификации ориентации изображений документов на базе архитектуры PP-LCNet. Она определяет поворот документа или удостоверения личности, чтобы изображение можно было скорректировать перед распознаванием текста. Модель предназначена для использования в конвейерах обработки сканов и фотографий документов, помогая повысить точность последующего OCR. Репозиторий содержит веса в формате safetensors; для работы с моделью указана библиотека PaddleOCR. В карточке заявлена лицензия Apache-2.0. Метаданные указывают поддержку английского и китайского языков; модель анализирует изображения и выдаёт результат классификации ориентации. Количественные метрики качества в доступном описании не приведены.
Qota-OCR — модель распознавания текста в строках, разработанная на основе PP-OCRv6_small_rec с добавлением корейского языка. Она предназначена для печатных документов, где корейский смешан с китайским, японским или английским, а также для корейского вертикального текста. Модель принимает обрезанную строку изображения, использует архитектуру PP-LCNetV4 со SVTR-энкодером и CTC-головой и содержит 6,7 млн параметров. Выходной словарь включает 30 244 символа и пробел. Доступны веса safetensors и варианты ONNX в float32, FP16, INT8 и UINT8; лицензия — Apache-2.0. Модель показывает высокие результаты на SynthDoG для корейского, японского, английского и китайского текста. Она распознаёт строки после детектора текста, поэтому сама по себе не выполняет поиск и выделение строк на странице. Качество на чеках, фотографиях, рукописном тексте и очень длинных строках отдельно не измерялось; модель слабо распознаёт математические символы и греческие буквы.
consciousAI/question-answering-roberta-base-s — модель для поиска ответа на вопрос в переданном контексте. Её разработала consciousAI на базе encoder-only архитектуры RoBERTa-base с головой для question answering; модель дообучена на SQuADx. В README указаны результаты на наборе SQuADx: exact match 86,14 и F1 92,330. Модель принимает вопрос и текст контекста и предсказывает фрагмент текста, который служит ответом, а также оценку уверенности. Она подходит для извлечения ответов из документов и других текстовых источников, когда контекст предоставляется вместе с вопросом. Размер модели — 151,8 млн параметров, длина контекста — 514 токенов. Лицензия — Apache-2.0. Это узкоспециализированная модель извлечения ответов, а не генеративный диалоговый ассистент: ответ ограничен содержимым контекста. README указывает обучение на англоязычном SQuAD, поэтому применение к другим языкам не подтверждено.
mlx-community/Qwen2.5-VL-7B-Instruct-8bit — конвертированная в формат MLX 8-битная версия инструкционной мультимодальной модели Qwen2.5-VL-7B-Instruct, подготовленная сообществом mlx-community. Модель предназначена для диалоговых задач с изображениями: она принимает текстовые запросы и изображения и формирует текстовые ответы, включая анализ визуального содержимого. Модель основана на плотной архитектуре Qwen2.5-VL с 7,1 млрд параметров и контекстом до 128 000 токенов. В метаданных указаны возможности чата, работы с изображениями и интерфейс вызова инструментов; основной тег задачи — image-text-to-text. Репозиторий содержит веса в формате safetensors, а README указывает на конвертацию через mlx-vlm 0.1.11. Лицензия — Apache-2.0. Модель подходит для визуальных вопросов и ответов, анализа изображений и чтения документов по изображению. README перенаправляет за подробностями возможностей к карточке исходной модели, поэтому специфические результаты и ограничения для этой сборки не описаны.
ZuzeTt/Qwen3-VL-4B-Thinking-heretic-imatrix-GGUF — мультимодальная модель для понимания и генерации текста по изображениям и текстовым запросам. Она создана на основе Qwen/Qwen3-VL-4B-Thinking и представляет собой её декензурированную версию, полученную с помощью Heretic 1.1.0. В README указано, что исходная модель относится к семейству Qwen; отдельный разработчик этой модификации не назван. Модель предназначена для визуального анализа, рассуждений по изображениям, решения STEM- и математических задач, распознавания текста, понимания пространственных отношений, анализа видео, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. Заявлены поддержка длинного контекста до 256K токенов с возможным расширением до 1M, понимание длительных видео, OCR на 32 языках и мультимодальное рассуждение. Архитектурные особенности базовой модели включают Dense-архитектуру, режим Thinking, Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками; размер модели — 4B параметров. Ключевая особенность модификации — существенное снижение количества отказов: в приведённом тесте она отказала в 3 из 100 случаев против 97 из 100 у исходной модели, при KL divergence 0,0259. Это может быть преимуществом для исследовательских и прикладных сценариев, где требуется менее ограниченное поведение, но одновременно повышает риск небезопасных или нежелательных ответов. В README не приведены результаты независимой оценки качества, полный перечень поддерживаемых языков генерации, точные характеристики GGUF-квантизации или требования к аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.
Qwen-VL-Chat — разработанная Alibaba Cloud мультимодальная чат-модель семейства Qwen, предназначенная для диалога по изображениям и тексту. Репозиторий содержит чат-версию предварительно обученной Qwen-VL; модель имеет плотную архитектуру QWenLMHeadModel и 11,4 млрд параметров. Модель принимает изображения и текст, а также может работать с координатами ограничивающих рамок; выдаёт текст и рамки. Подходит для описания изображений, визуальных вопросов и ответов, чтения текста на изображениях, ответов по документам и графикам, а также локализации объектов по текстовому описанию. Карточка описывает китайский и английский языки; контекст составляет 8192 токена. В README заявлена обработка изображений с разрешением до 448 пикселей для задач, чувствительных к деталям. Модель оценивалась на задачах визуального диалога, captioning, VQA и локализации объектов; также опубликованы результаты TouchStone на китайском и английском языках. Для репозитория указаны формат PyTorch и лицензия Apache-2.0. Как и другие большие мультимодальные модели, она может ошибаться в ответах и распознавании содержимого изображений; приведённые оценки относятся к описанным бенчмаркам.
Rev AI Reverb Diarization V1 — модель на базе pyannote-audio для диаризации речи в аудиозаписях: она определяет, кто и когда говорит. По данным карточки, модель улучшает относительную Word Diarization Error Rate на 16,5% по сравнению с базовой pyannote 3.0; оценка проводилась на более чем 1,25 млн токенов в пяти тестовых наборах. Для запуска используется Pipeline из pyannote.audio и аудиофайл. Модель распространяется в формате PyTorch; лицензия обозначена как other, поэтому условия использования следует уточнить в карточке Hugging Face. Указанные в README значения WDER относятся к наборам earnings21 и rev16; других характеристик качества и поддерживаемых языков карточка не приводит.
uer/roberta-base-chinese-extractive-qa — китайская модель для извлекающего ответа на вопросы, разработанная UER и дообученная средствами UER-py. Она находит ответ в предоставленном тексте, поэтому подходит для поиска фактических ответов в китайских документах и фрагментах текста. Модель построена на архитектуре BERT, содержит около 129,5 млн параметров и рассчитана на контекст до 512 токенов. При дообучении использовались обучающие части наборов CMRC2018, WebQA и LaSi. Модель поддерживает китайский язык; веса доступны в форматах PyTorch, TensorFlow и Flax. Это производный чекпойнт на базе RoBERTa для китайского языка. Лицензия в предоставленных данных не указана.
schift-io/schift-ko-pii-v6 — модель обнаружения персональных данных в корейском тексте, разработанная Schift. Она предназначена для выделения сущностей типа «человек», «адрес» и «организация» и может использоваться перед проверкой, маскированием или передачей текста другим системам. Дополнительные структурированные и контекстные категории доступны через отдельный необязательный адаптер пакета. В карточке описан dual-path LoRA encoder; метаданные указывают на плотную архитектуру LFM2 с головой токен-классификации и размером 32,9 млн параметров. Модель принимает текст и размечает токены по схеме O/B/I/E/S. README указывает максимум 512 токенов, тогда как метаданные каталога сообщают о нативном контексте 8192 токена; практический предел описанного детектора — 512 токенов. Постобработка учитывает корейские идентификаторы и может проверять контрольные суммы, объединять фрагменты и подавлять некоторые ложные срабатывания. Качество обнаружения зависит от текста и порогов; результат маскирования по политике может оставлять необработанные чувствительные фрагменты. Модель распространяется под лицензией other, конкретные условия в предоставленных данных не раскрыты.
SmolVLM-256M-Instruct — компактная мультимодальная модель Hugging Face для понимания изображений и ответов на текстовые запросы. Она принимает последовательности изображений и текста, в том числе чередующиеся, и генерирует текст. Модель основана на архитектуре Idefics3 и объединяет языковую SmolLM2-135M-Instruct с визуальным энкодером SigLIP; в метаданных указаны связи с обеими базовыми моделями. Модель предназначена для описания изображений, визуальных вопросов и ответов, распознавания текста на изображениях, анализа диаграмм и документов, а также создания текстовых историй по визуальному содержимому. Для компактного представления изображения используются 64 визуальных токена на патчи 512×512; большие изображения разбиваются на патчи. По данным карточки, инференс для одного изображения возможен менее чем с 1 ГБ видеопамяти, что делает модель подходящей для локальных и периферийных устройств. Модель ориентирована на английский язык и не генерирует изображения. Ответы могут быть фактически неверными, поэтому модель не подходит для решений, влияющих на благополучие или права людей. Выпущена под лицензией Apache 2.0.
TAPEX base — модель Microsoft на архитектуре BART, обученная предварительно для рассуждений по таблицам через имитацию выполнения SQL-запросов. Она принимает таблицу и запрос на естественном языке или SQL и генерирует текстовый ответ, подходящий для задач вопросов и ответов по таблицам. Модель содержит 95,2 млн параметров, использует архитектуру encoder-decoder и имеет контекст длиной до 1024 токенов. Карточка указывает английский язык и лицензию MIT. Базовую версию можно применять для симуляции выполнения SQL над таблицами; для специализированных задач модель предполагается дообучать на размеченных наборах данных. В README также упоминается дообучение для проверки фактов по таблицам, однако основной тег модели — ответы на вопросы по таблицам.
sshleifer/tiny-distilbert-base-cased-distilled-squad — компактная модель экстрактивного ответа на вопросы, опубликованная Sam Shleifer на Hugging Face. Она принимает вопрос и текстовый контекст и извлекает из контекста фрагмент, который отвечает на вопрос. Модель основана на архитектуре DistilBERT с классификационной головой для question answering и является уменьшенной версией DistilBERT, дообученной для SQuAD. Поддерживает английский язык и контекст длиной до 512 токенов. Доступны веса PyTorch и TensorFlow. Подходит для поиска ответов в документах и других текстах, когда ответ явно содержится в предоставленном контексте. Как экстрактивная модель, она не предназначена для свободной генерации ответов и зависит от качества и полноты контекста. Репозиторий не сообщает лицензию; условия использования следует проверять на странице модели.
TrOCR — модель распознавания текста на изображениях, оптимизированная Qualcomm для устройств на базе чипсетов Qualcomm. Реализация основана на модели microsoft/trocr-small-handwritten и использует связку предварительно обученных image transformer и text transformer для понимания изображения и генерации текста на уровне wordpiece. Модель предназначена для преобразования изображений с рукописным текстом в текстовую последовательность. Модель принимает изображения с разрешением 320×320 пикселей. Энкодер содержит около 23 млн параметров и занимает 87,8 МБ в формате float, декодер — около 38,3 млн параметров и 146 МБ. Доступны предварительно экспортированные варианты в форматах ONNX, QNN_DLC и TFLITE с поддержкой Qualcomm AI Runtime и выполнения на NPU. Также возможен экспорт с пользовательскими весами, формами входных данных, целевым устройством и runtime-конфигурацией. В README не указаны поддерживаемые языки и размер контекстного окна. Сильной стороной модели является адаптация для эффективного локального запуска на мобильных, периферийных и промышленных устройствах Qualcomm; для ряда чипсетов заявлено время инференса декодера примерно от 1,2 до 4,2 мс. Ограничения включают специализацию на распознавании текста с изображений и зависимость производительности от конкретного устройства, runtime и конфигурации. Модель распространяется по лицензии MIT.
MusaNyaks/trocr-barbados-fold0 — дообученная модель распознавания рукописного текста на изображениях, созданная на основе microsoft/trocr-base-handwritten. Она использует архитектуру vision-encoder-decoder и предназначена для преобразования изображения с текстом в текстовую транскрипцию; карточка сообщает результат Loss 0,8579 на оценочном наборе, но не описывает сам набор данных или подробности обучения. Модель может подойти для распознавания рукописных строк в документах и других изображениях. Модель распространяется в формате safetensors по лицензии MIT. Язык распознаваемого текста и длина обрабатываемых строк не установлены по доступным сведениям; качество на данных вне оценочного набора не охарактеризовано.
agomberto/trocr-large-handwritten-fr — модель TrOCR для распознавания французского рукописного текста, разработанная как PoC при участии Marie Beigelman. Она предназначена для OCR изображений с одной строкой текста, в частности исторических записей и переписных документов. Модель дообучена в два этапа: сначала на синтетических французских текстах, затем на рукописных французских наборах данных, включая French Census. Архитектура — vision encoder-decoder: BEiT служит визуальным энкодером, а RoBERTa — текстовым декодером, который авторегрессионно генерирует текст. На тестовых выборках указаны CER 0,09417 и WER 0,23485. Авторы отмечают, что для улучшения качества стоит собрать больше данных и продолжить обучение или тонкую настройку; гиперпараметры подбирались эвристически. Модель распространяется по лицензии MIT.
Модель shubham879/trocr-prescription разработана shubham879 и дообучена на основе microsoft/trocr-base-handwritten для распознавания рукописного текста в медицинских рецептах. Это модель архитектуры VisionEncoderDecoder из библиотеки Transformers, которая принимает изображения строк рецепта и преобразует их в текст. Она предназначена для оцифровки рецептов и извлечения медицинского текста, в том числе как часть конвейеров распознавания и проверки рецептов. По данным карточки, показатель CER составляет 9%, а точность последовательности — 73%. Модель ориентирована на английский язык и рукописные рецепты; для наилучшей работы рекомендуются обрезанные изображения отдельных строк. Лицензия — Apache-2.0. Распознавание ухудшается при неразборчивом почерке и низком качестве изображения, а названия препаратов могут быть прочитаны неверно.