wav2vec2-russian
модель для распознания аудио. результаты модели можно потом прогнать через мою сеть исправления текстов UrukHan/t5-russian-spell
Загрузите аудиофайл в формате wav для распознования. Результат можно откорректировать в другой моей сети. которая исправляет ошибки, расставляет знаки припинания и исправляет цифры. https://huggingface.co/UrukHan/t5-russian-spell
Запуск сети пример в колабе https://colab.research.google.com/drive/1dVZvccYJq02hmEsapWgmuJ-pLdezFnn1?usp=sharing
from transformers import AutoModelForCTC, Wav2Vec2Processor
model = AutoModelForCTC.from_pretrained("UrukHan/wav2vec2-russian")
processor = Wav2Vec2Processor.from_pretrained("UrukHan/wav2vec2-russian")
def map_to_result(batch):
with torch.no_grad():
input_values = torch.tensor(batch["input_values"]).unsqueeze(0) #, device="cuda"
logits = model(input_values).logits
pred_ids = torch.argmax(logits, dim=-1)
batch = processor.batch_decode(pred_ids)[0]
return batch
map_to_result()