/ Модель

Характеристики

Лицензия
MIT
Архитектура
whisper-lid · dense
Базовая модель
whisper-large-v3-turbo
Библиотека
transformers
Опубликована
5 фев 2026

Vaani-LID_v0

Классификация аудиоАудио → label7 профессий

Модель определяет язык устной речи в аудио среди 42 языков Индии и соседних регионов.

458скачиваний за 30 дней4лайкавеса обновлены2 апр 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ARTPARK-IISc разработала Vaani-LID_v0 — модель классификации устной речи по языку для 42 языков Индии и соседних регионов. Она принимает аудио и определяет, на каком из поддерживаемых языков или вариантов языка говорят.

Модель построена на энкодере whisper-large-v3-turbo с модулем pooled attention и линейным классификатором. Она дообучена целиком на наборе ARTPARK-IISc/Vaani. В оценке на тестовых выборках точность составила 0,71 на FLEURS, 0,63 на Kathbath и 0,77 на Vaani.

Модель подходит для определения языка в аудиозаписях, например перед выбором последующей системы распознавания речи. Она выдаёт метку языка, а не текстовую расшифровку речи. Лицензия — MIT.

Сценарии применения

  • определение языка в короткой аудиозаписи
  • маршрутизация аудио в подходящую систему распознавания речи
  • сортировка речевых записей по языку
  • определение языка в многоязычных голосовых сервисах

Ограничения

На тестовых наборах точность различается: 0,63 на Kathbath, 0,71 на FLEURS и 0,77 на Vaani. Модель классифицирует язык, но не транскрибирует речь.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Model ID

Indic Spoken Language Classifier supporting 42 languages.

Model Details

The model consists of a whisper-large-v3-turbo encoder followed by a pooled-attention module and finally a linear classifier layer. Trained end-to-end on ARTPARK-IISc/Vaani dataset, capable of classifying 42 Indic languages. The list of supported languages include:

["Surjapuri", 
"Marathi", 
"Assamese", 
"Haryanvi", 
"Halbi", 
"Malayalam", 
"Maithili", 
"Wancho", 
"Chhattisgarhi", 
"Punjabi", 
"Magahi", 
"Nepali", 
"Garhwali", 
"Garo", 
"Khortha", 
"Sumi", 
"Bajjika", 
"Marwari", 
"Telugu", 
"Nagamese", 
"Tulu", 
"Odia", 
"Urdu", 
"Kumaoni", 
"Kannada", 
"Tamil", 
"Sambalpuri", 
"Bengali", 
"Rajasthani", 
"English", 
"Malvani", 
"Chakma", 
"Surgujia", 
"Kokborok", 
"Khariboli", 
"Hindi", 
"Kurukh", 
"Angika", 
"Sadri", 
"Bhojpuri", 
"Konkani", 
"Gujarati"]

How to Get Started with the Model

from transformers import pipeline

pipe = pipeline(
    "audio-classification",
    model="ARTPARK-IISc/Vaani-LID_v0",
    trust_remote_code=True,
    # device=-1 # uncomment this line to run on cpu
)

out = pipe("path/to/16kHz/mono-channel/wav/file")
print(out)

Evaluation


metrics:

  • accuracy model-index: results:
    • task: type: speech-classification dataset: name: FLEURS split: test metrics:

      • name: Accuracy value: 0.71

      dataset: name: Kathbath split: test metrics:

      • name: Accuracy value: 0.63

      dataset: name: Vaani split: test metrics:

      • name: Accuracy value: 0.77

Citation

If you use this model, please cite the following:

@misc{pulikodan2026vaanicapturinglanguagelandscape,
      title={VAANI: Capturing the language landscape for an inclusive digital India}, 
      author={Sujith Pulikodan and Abhayjeet Singh and Agneedh Basu and Nihar Desai and Pavan Kumar J and Pranav D Bhat and Raghu Dharmaraju and Ritika Gupta and Sathvik Udupa and Saurabh Kumar and Sumit Sharma and Vaibhav Vishwakarma and Visruth Sanka and Dinesh Tewari and Harsh Dhand and Amrita Kamat and Sukhwinder Singh and Shikhar Vashishth and Partha Talukdar and Raj Acharya and Prasanta Kumar Ghosh},
      year={2026},
      eprint={2603.28714},
      archivePrefix={arXiv},
      primaryClass={eess.AS},
      url={https://arxiv.org/abs/2603.28714}, 
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · audio-classification

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
LangClassificationHead
Ревизия весов
df5a139

0 моделей