/ Модель
Каталог

Характеристики

Контекст
1 024 токена
Архитектура
whisper · dense
Базовая модель
whisper-small
Опубликована
29 авг 2026

Ссылки

Hugging Face

gemini_whisper_ipa

thunderboltc
Распознавание речиАудио → текст3 профессии

Дообученная Whisper-small распознаёт речь на сантали и транслитерирует её в IPA/Sanlish.

542скачиваний за 30 дней0лайковвеса обновлены29 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

geminiwhisperipa — дообученная модель OpenAI Whisper-small для распознавания речи на сантали с выводом транскрипции в IPA/Sanlish. Она принимает аудио и предназначена для преобразования речи на сантали в текстовую транслитерацию. Модель основана на архитектуре Whisper и распространена в формате safetensors.

Дообучение выполнено на 1 547 обучающих примерах; для проверки использовались 193 примера, для тестирования — 194. В README приведён тестовый WER около 40,8%, поэтому качество распознавания может быть ограниченным. Лицензия в предоставленных данных не описана.

Сценарии применения

  • транскрибация речи на сантали
  • транслитерация аудио на сантали в IPA
  • подготовка текстовых транскрипций сантали для языковых исследований

Ограничения

В тесте указан WER около 40,8%, что указывает на заметные ошибки распознавания. Размер обучающей выборки невелик; сведения о лицензии в предоставленных данных отсутствуют.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделейIV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделейIV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

gemini_whisper_ipa

Fine-tuned openai/whisper-small for Santali IPA/Sanlish transliteration (speech-to-text).

Last updated: 2026-08-29T23:56:15.284469Z — after epoch 20.0

Dataset split (80/10/10)

  • train: 1547
  • validation: 193
  • test: 194

Latest evaluation metrics (epoch 20.0)

  • test_loss: 0.4051657021045685
  • test_wer: 40.782828282828284

Training hyperparameters

  • per_device_train_batch_size: 8
  • gradient_accumulation_steps: 2
  • effective_batch_size: 16
  • learning_rate: 0.0001
  • warmup_steps: 100
  • num_train_epochs: 20
  • gradient_checkpointing: True
  • fp16: True
  • eval_strategy: IntervalStrategy.EPOCH
  • save_strategy: SaveStrategy.EPOCH
  • save_total_limit: 2
  • load_best_model_at_end: True
  • metric_for_best_model: wer
  • predict_with_generate: True
  • generation_max_length: 225

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
WhisperForConditionalGeneration
Ревизия весов
4977112

0 моделей

    Создать бенчмарк