/ Модель

Характеристики

Архитектура
vision-encoder-decoder · dense
Базовая модель
trocr-small-handwritten
Библиотека
transformers.js
Опубликована
30 окт 2023

trocr-small-handwritten

Описание изображенийИзображение → текст5 профессий

Xenova/trocr-small-handwritten — версия модели microsoft/trocr-small-handwritten с весами в формате ONNX, подготовленная для работы через библиотеку Transformers.js.

5 142скачиваний за 30 дней8лайковвеса обновлены8 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для оптического распознавания рукописного текста: на вход подаётся изображение, а на выходе генерируется распознанная текстовая строка.

Модель относится к семейству TrOCR и использует задачу image-to-text. В README не указаны точные сведения об архитектуре, количестве параметров, поддерживаемых языках и размере контекста. Пример демонстрирует распознавание короткой английской рукописной фразы, однако полноценный перечень языков и ограничений качества не приведён. Основное преимущество модели — совместимость с Transformers.js и возможность использования ONNX-весов в веб-сценариях. Лицензия в предоставленных данных не указана.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

https://huggingface.co/microsoft/trocr-small-handwritten with ONNX weights to be compatible with Transformers.js.

Usage (Transformers.js)

If you haven't already, you can install the Transformers.js JavaScript library from NPM using:

npm i @xenova/transformers

Example: Optical character recognition w/ Xenova/trocr-small-handwritten.

import { pipeline } from '@xenova/transformers';

// Create image-to-text pipeline
const captioner = await pipeline('image-to-text', 'Xenova/trocr-small-handwritten');

// Perform optical character recognition
const image = 'https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/handwriting.jpg';
const output = await captioner(image);
// [{ generated_text: 'Mr. Brown commented icily.' }]

image/png


Note: Having a separate repo for ONNX weights is intended to be a temporary solution until WebML gains more traction. If you would like to make your models web-ready, we recommend converting to ONNX using 🤗 Optimum and structuring your repo like this one (with ONNX weights located in a subfolder named onnx).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers.js

Нельзя запустить

Модель выложена для браузера (ONNX / transformers.js), для GPU-рантайма нет весов.

Класс архитектуры
VisionEncoderDecoderModel
Ревизия весов
2432e24

0 моделей