/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
144 млн
Архитектура
electra · dense
Опубликована
2 мар 2022

Ссылки

Hugging Face

tamillion

monsoon-nlp
ЭмбеддингиТекст → embedding4 профессии

TaMillion — тамильская модель на базе ELECTRA для извлечения признаков и дообучения под задачи анализа текста.

109скачиваний за 30 дней3лайкавеса обновлены20 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TaMillion — вторая версия языковой модели для тамильского языка, обученная автором модели с использованием ELECTRA от Google Research. Это базовая модель с архитектурой ELECTRA, представленная как BertModel: она содержит 143,9 млн параметров и рассчитана на последовательности до 512 токенов. Модель обучалась на корпусе IndicCorp Tamil и дампе Википедии на тамильском языке; текущая версия прошла 224 000 шагов предобучения.

Модель предназначена для извлечения признаков из тамильского текста и может служить основой для дообучения под классификацию, регрессию и ответы на вопросы. В приведённых автором результатах TaMillion превзошла mBERT на классификации новостей и немного — на анализе отзывов о фильмах, а на тематической классификации «Тируккурала» показала сопоставимую точность. Для прикладной системы под конкретную задачу потребуется отдельная настройка; карточка не описывает лицензию.

Сценарии применения

  • извлечение признаков из тамильских текстов
  • классификация новостей на тамильском языке
  • анализ тональности отзывов о фильмах на тамильском
  • тематическая классификация тамильских текстов
  • дообучение модели для ответов на вопросы на тамильском

Ограничения

Для прикладных задач классификации, регрессии и ответов на вопросы модель необходимо дообучить. В карточке не приведены сведения о лицензии.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделейI.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

TaMillion

This is the second version of a Tamil language model trained with Google Research's ELECTRA.

Tokenization and pre-training CoLab: https://colab.research.google.com/drive/1Pwia5HJIb6Ad4Hvbx5f-IjND-vCaJzSE?usp=sharing

V1: small model with GPU; 190,000 steps;

V2 (current): base model with TPU and larger corpus; 224,000 steps

Classification

Sudalai Rajkumar's Tamil-NLP page contains classification and regression tasks: https://www.kaggle.com/sudalairajkumar/tamil-nlp

Notebook: https://colab.research.google.com/drive/1_rW9HZb6G87-5DraxHvhPOzGmSMUc67_?usp=sharin

The model outperformed mBERT on news classification: (Random: 16.7%, mBERT: 53.0%, TaMillion: 75.1%)

The model slightly outperformed mBERT on movie reviews: (RMSE - mBERT: 0.657, TaMillion: 0.626)

Equivalent accuracy on the Tirukkural topic task.

Question Answering

I didn't find a Tamil-language question answering dataset, but this model could be finetuned to train a QA model. See Hindi and Bengali examples here: https://colab.research.google.com/drive/1i6fidh2tItf_-IDkljMuaIGmEU6HT2Ar

Corpus

Trained on IndicCorp Tamil (11GB) https://indicnlp.ai4bharat.org/corpora/ and 1 October 2020 dump of https://ta.wikipedia.org (482MB)

Vocabulary

Included as vocab.txt in the upload

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
BertModel
Ревизия весов
5d8a954

0 моделей

    Создать бенчмарк