/ Модель

Характеристики

Лицензия
Apache 2.0
Архитектура
vision-encoder-decoder · dense
Опубликована
10 фев 2024

TexTeller

Описание изображенийИзображение → текст3 профессии

TexTeller распознаёт математические формулы на изображениях и преобразует их в LaTeX.

7 084скачиваний за 30 дней45лайковвеса обновлены22 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Распознавание текста» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TexTeller — модель распознавания математических формул на изображениях, разработанная авторами проекта TexTeller. Она использует архитектуру vision encoder-decoder на основе ViT и преобразует формулы с фотографий и других естественных изображений в запись LaTeX.

Модель предназначена для автоматического извлечения формул из изображений, включая сложные многострочные выражения, матрицы и редкие символы. В README указано, что версия 2.0 обучена на расширенном наборе из 7,5 млн пар изображений и формул; авторы сообщают о повышенной точности и способности обобщать по сравнению с LaTeX-OCR. Репозиторий содержит веса PyTorch, Safetensors и ONNX.

Модель ориентирована на формулы, поэтому её не следует считать универсальной системой OCR для произвольного текста или документов. Лицензия — Apache-2.0.

Сценарии применения

  • извлечение формул из фотографий учебников
  • преобразование рукописных или печатных выражений в LaTeX
  • оцифровка многострочных формул и матриц
  • распознавание математических символов на изображениях

Ограничения

Модель предназначена для распознавания математических формул, а не для общего OCR произвольного текста. Заявления о превосходстве основаны на оценках авторов README.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

中文版本

About TexTeller

  • 📮[2024-03-25] TexTeller 2.0 released! The training data for TexTeller 2.0 has been increased to 7.5M (about 15 times more than TexTeller 1.0 and also improved in data quality). The trained TexTeller 2.0 demonstrated superior performance in the test set, especially in recognizing rare symbols, complex multi-line formulas, and matrices.

    There are more test images here and a horizontal comparison of recognition models from different companies.

TexTeller is a ViT-based model designed for end-to-end formula recognition. It can recognize formulas in natural images and convert them into LaTeX-style formulas.

TexTeller is trained on a larger dataset of image-formula pairs (a 550K dataset available here), exhibits superior generalization ability and higher accuracy compared to LaTeX-OCR, which uses approximately 100K data points. This larger dataset enables TexTeller to cover most usage scenarios more effectively.

For more details, please refer to the 𝐓𝐞𝐱𝐓𝐞𝐥𝐥𝐞𝐫 GitHub repository.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
VisionEncoderDecoderModel
Ревизия весов
7b96df0

0 моделей