/ Модель

Характеристики

Контекст
512 токенов
Параметры
124 млн
Лицензия
MIT
Архитектура
t5 · dense
Опубликована
6 июл 2023

spelling-correction-multilingual-base

Генерация текстаТекст → текст3 профессии

Экспериментальная модель T5 исправляет опечатки и пунктуацию в английском и немецком тексте.

121скачиваний за 30 дней11лайковвеса обновлены7 июл 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

oliverguhr разработал экспериментальную модель-корректор орфографии и пунктуации для английского и немецкого языков. Это proof of concept на архитектуре T5 с 123,7 млн параметров и контекстом до 512 токенов; модель принимает текст с префиксом «fix:» и генерирует исправленный текст.

Модель предназначена для исправления опечаток и пунктуации, в том числе в тексте, смешивающем английский и немецкий. Проект позиционируется как основа для экспериментов и обучения корректора для других языков. Доступна по лицензии MIT.

Автор предупреждает, что проект находится в разработке и ответы могут содержать артефакты; качество для языков, отличных от английского и немецкого, не подтверждено.

Сценарии применения

  • исправление опечаток в английских текстах
  • исправление опечаток в немецких текстах
  • автоматическая расстановка пунктуации
  • корректура текста на смеси английского и немецкого
  • эксперименты с обучением корректора для других языков

Ограничения

Модель экспериментальная, находится в разработке и может порождать артефакты. Её назначение подтверждено для английского и немецкого языков; пригодность для других языков не установлена.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is an experimental model that should fix your typos and punctuation. If you like to run your own experiments or train for a different language, take a look at the code.

Model description

This is a proof of concept spelling correction model for English and German.

Intended uses & limitations

This project is work in progress, be aware that the model can produce artefacts. You can test the model using the pipeline-interface:

from transformers import pipeline

fix_spelling_pipeline = pipeline("text2text-generation",model="oliverguhr/spelling-correction-multilingual-base")
def fix_spelling(text, max_length = 256):
    return fix_spelling_pipeline("fix:"+text,max_length = max_length)

print(fix_spelling_pipeline("can we mix the languages können wir die sprachen mischen",max_length=2048))

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
T5ForConditionalGeneration
Ревизия весов
033a56c

0 моделей