II.8Инженерия данных и аналитика

Модель Kiran Pantha — дообученная версия kiranpantha/w2v-bert-2.0-nepali для автоматического распознавания непальской речи и преобразования аудиозаписей в текст. Она основана на архитектуре Wav2Vec2-BERT, использует CTC и содержит 402,7 млн параметров. Модель дообучена на датасете OpenSLR54-Balanced-Nepali. В README указаны результаты на оценочном наборе: WER 0,4302 и CER 0,1029. Репозиторий распространяется по лицензии MIT.

Yehor/w2v-xls-r-uk — модель автоматического распознавания украинской речи от автора Yehor, дообученная на основе facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC семейства wav2vec2, содержит 402,7 млн параметров и принимает аудио, преобразуя его в текст. В метаданных указан датасет Common Voice 10.0 для украинского языка. Модель подходит для транскрибации украинской речи и распознавания записей. В карточке приведены результаты оценки: WER 20,24% и CER 3,64%; для оценки использовались float16 и batch_size=1. README предупреждает, что следует использовать обновлённую модель. Модель опубликована под лицензией Apache-2.0.

Модель Multilingual Speech Recognition for Indonesian Languages разработана для проекта распознавания речи на индонезийских языках. Это дообученная facebook/wav2vec2-large-xlsr-53 с архитектурой Wav2Vec2ForCTC и примерно 402,7 млн параметров. Она принимает аудио, рассчитанное на частоту дискретизации 16 кГц, и преобразует речь в текст без обязательного использования языковой модели. Модель обучалась на данных Common Voice для индонезийского языка, а также на высококачественных синтетических речевых данных для яванского и сунданского языков. Её можно применять для транскрибирования записей и в речевых интерфейсах, работающих с этими языками. README приводит результат оценки 11,57% на тестовой части Common Voice для индонезийского языка, но не уточняет метрику. Модель распространяется по лицензии Apache-2.0. Для работы следует подавать аудио с частотой 16 кГц; качество распознавания для разных языков и условий записи может различаться.

DrishtiSharma/wav2vec2-large-xls-r-300m-bg-d2 — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на болгарской части набора Mozilla Common Voice 8.0. Она использует архитектуру Wav2Vec2 с выходной головой CTC и предназначена для преобразования болгарской речи в текст. Модель подходит для транскрибации аудиозаписей и оценки качества систем распознавания болгарской речи. В карточке указаны значение WER 0,2860 и loss 0,3421 на тестовой выборке Common Voice 8.0. Репозиторий содержит веса PyTorch; размер модели — около 402,7 млн параметров. Лицензия — Apache-2.0.

Это модель автоматического распознавания речи на урду, разработанная Kingabzpro. Она основана на архитектуре Wav2Vec2ForCTC и дообучена из facebook/wav2vec2-xls-r-300m на наборе Mozilla Common Voice 8.0. Размер модели — около 402,7 млн параметров; она принимает моноканальную аудиозапись с частотой 16 кГц и преобразует речь в текст на урду. Модель предназначена для транскрибирования речи и прототипирования систем распознавания урду. Для декодирования можно использовать включённую 5-граммную языковую модель KenLM: в README сообщается о WER 39,89% с KenLM против 56,07% при жадном CTC-декодировании на тестовой части Common Voice 8.0. Качество зависит от чистоты записи, акцента, переключения языков, фонового шума, специальной лексики и длины высказывания; транскрипты следует проверять перед ответственным использованием. Лицензия — Apache-2.0.

elgeish/wav2vec2-large-xlsr-53-levantine-arabic — модель автоматического распознавания речи на основе Wav2Vec2-Large-XLSR-53, дообученная на наборе Arabic Speech Corpus. Разработчик адаптировал её для распознавания арабской речи; карточка указывает арабский язык и задачу automatic speech recognition. Модель принимает аудио и выдаёт распознанный текст. Для входной речи требуется частота дискретизации 16 кГц. В репозитории представлены варианты PyTorch и Flax; модель содержит около 402,7 млн параметров. Лицензия — Apache-2.0.

aismlv/wav2vec2-large-xlsr-kazakh — модель распознавания казахской речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на обучающей части Kazakh Speech Corpus v1.1. Она построена на архитектуре Wav2Vec2 с CTC-выходом и содержит 402,7 млн параметров. Модель предназначена для преобразования аудиозаписей на казахском языке в текст. Для работы входную речь следует подавать с частотой дискретизации 16 кГц; распознавание возможно без отдельной языковой модели. В README указан результат оценки 19,65% на тестовом наборе Kazakh Speech Corpus v1.1, но метрика не уточнена. Модель распространяется по лицензии Apache-2.0. Она специализирована на казахской речи; качество на других языках и аудио с иными характеристиками в предоставленных материалах не описано.

Wav2Vec2-Large-XLSR-53-Kannada — модель распознавания речи на каннада, созданная дообучением facebook/wav2vec2-large-xlsr-53 на наборе OpenSLR SLR79. Она принимает аудио и преобразует речь в текст; для входной записи требуется частота дискретизации 16 кГц. Модель основана на архитектуре Wav2Vec2ForCTC и содержит около 402,8 млн параметров. Модель предназначена для автоматической транскрибации речи на каннада, в том числе записей из набора OpenSLR. В README приведён результат оценки 27,08% на тестовой части данных, но метрика не уточнена, поэтому это число нельзя напрямую трактовать как точность. Модель распространяется по лицензии Apache-2.0.

NbAiLab/wav2vec2-xls-r-1b-npsc-bokmaal — дообученная модель распознавания речи на базе facebook/wav2vec2-xls-r-1b, созданная NbAiLab на датасете NbAiLab/NPSC, подвыборке 16K_mp3_bokmaal. Модель использует архитектуру wav2vec2 с CTC-декодированием, принимает аудио и преобразует речь в текст. В метаданных указано 1,3 млрд параметров; веса представлены в формате PyTorch. Модель предназначена для автоматической транскрипции речи на норвежском букмоле. Для оценки на тестовой выборке автор приводит WER 0,0966 и loss 0,1598. Лицензия — Apache-2.0. Подробности о других условиях записи, поддерживаемых языках и ограничениях применения в карточке не приведены.

shahukareem/wav2vec2-xls-r-300m-dv — модель распознавания речи на архитектуре Wav2Vec2ForCTC, разработанная на основе facebook/wav2vec2-xls-r-300m и дообученная на Common Voice. Она принимает аудио и преобразует речь в текст; на указанном в карточке наборе оценки достигла WER 0,2451 и loss 0,2206. Модель содержит около 402,7 млн параметров и опубликована в формате PyTorch. Модель предназначена для автоматического распознавания речи. В карточке не приведены сведения о поддерживаемых языках, контексте применения или специальных сценариях. Распространяется по лицензии Apache-2.0; качество распознавания за пределами указанной оценки не описано.

mesolitica/wav2vec2-xls-r-300m-mixed — модель распознавания речи, созданная Mesolitica на основе архитектуры wav2vec2 и дообученная для малайского языка, синглиша и китайского мандаринского. Она предназначена для преобразования речи в текст; карточка приводит отдельные наборы оценки для каждого из трёх языков и смешанную оценку. Модель содержит около 402,7 млн параметров и доступна в форматах PyTorch и TensorFlow. Она принимает аудио и выдаёт текстовую транскрипцию. В README описано обучение на одной видеокарте RTX 3090 Ti с 24 ГБ видеопамяти. Лицензия в предоставленных данных не указана.

facebook/webssl-dino3b-light2b-224 — визуальная модель Meta AI на архитектуре Vision Transformer, обученная методом самообучения DINOv2 на веб-изображениях без языковой супервизии. Вариант light2b обучен на подмножестве данных MetaCLIP, включающем изображения с текстовым содержимым; размер модели в метаданных — 3,9 млрд параметров, разрешение обучения — 224×224 пикселя. Модель предназначена для извлечения визуальных признаков и представлений изображений, которые можно использовать в задачах компьютерного зрения. Разработчики отмечают сильные результаты в распознавании текста и понимании диаграмм, сохраняя широкую применимость к визуальным задачам. Это не языковая модель: она обучена без языковой супервизии. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Whisper Large v2 PL — модель автоматического распознавания речи, созданная дообучением openai/whisper-large-v2 на датасете Common Voice 11.0. Она использует архитектуру Whisper и содержит около 905,2 млн параметров. Модель предназначена для преобразования польской речи в текст; в карточке указана метрика WER 6,9125 на наборе оценки. Модель принимает аудио и выдаёт текст. Она распространяется в формате PyTorch по лицензии Apache-2.0. Подробности об условиях записи аудио, поддержке других языков и ограничениях в карточке не приведены.

Это LoRA-дообучение модели OpenAI Whisper Large v3 Turbo, опубликованное annotehrushi. Модель предназначена для автоматического распознавания речи и особенно адаптирована к хинди на данных MonsoonASR. Она принимает аудио и преобразует речь в текст; в карточке также приведены результаты на англоязычных и других тестах распознавания. Адаптер обучен с параметрами LoRA r=32 и alpha=64. В README указаны результаты на бенчмарках, включая OIWER 22,82% на Monsoon hi-IN; там же сообщается о снижении показателя ошибки относительно базовой модели. В метаданных указаны форматы safetensors, библиотека Transformers и лицензия Apache-2.0. Результаты зависят от набора данных и условий оценки; на части тестов показатели после дообучения ухудшились, поэтому качество на других языках и типах речи может отличаться.

Это дообученная Zainab11 модель распознавания речи на базе OpenAI Whisper Small с архитектурой WhisperForConditionalGeneration и 153,1 млн параметров. Она обучена на арабской части Google FLEURS ar_eg: примерно шесть часов записанной речи на современном стандартном арабском языке от дикторов с египетским акцентом. Модель предназначена для преобразования арабской речи в текст. На тестовой выборке FLEURS она показала нормализованный WER 19,9% против 28,0% у исходной Whisper Small. На спонтанной египетской разговорной речи результаты заметно хуже: нормализованный WER составил 81,2%, поэтому для такого сценария модель не подходит без дополнительного дообучения. Использование библиотеки Transformers и весов safetensors указано в метаданных; лицензия — Apache-2.0. Пример использования ограничивает аудио 30 секундами и обрезает более длинные записи; для них README рекомендует разбиение на фрагменты или chunked pipeline. Модель также наследует известное поведение Whisper: повторы и галлюцинации при обработке длинной речи.

jlvdoorn/whisper-small-atco2-asr — дообученная модель распознавания речи на базе мультиязычной Whisper Small от OpenAI. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и принимает аудио для преобразования речи в текст. Репозиторий распространяет веса в форматах PyTorch и safetensors. Модель предназначена для автоматического распознавания речи. В README приведены результаты оценки: loss 0,8297 и WER 33,4520; описание набора данных, сценариев применения и ограничений не предоставлено. Лицензия — Apache-2.0.

anggiatm/whisper-small-id — модель автоматического распознавания речи, дообученная автором anggiatm на базе openai/whisper-small с использованием набора Common Voice 17.0. Она преобразует индонезийскую речь в текст; размер модели — 153,1 млн параметров, архитектура — WhisperForConditionalGeneration. В оценке на тестовом наборе указаны loss 0,0931 и WER 6,5965. Модель предназначена для транскрибирования индонезийской речи. Распространяется по лицензии Apache-2.0.

Модель cdli/whisper-small-Swahili_finetuned_small_CV20 — дообученная версия Whisper Small от разработчика CDLI для автоматического распознавания речи на суахили. Она принимает аудио и генерирует текстовую расшифровку; подходит для транскрибирования записей и речи из датасета Common Voice. Модель построена на архитектуре WhisperForConditionalGeneration, содержит 153,1 млн параметров и распространяется в формате safetensors через библиотеку Transformers. В README приведены значения WER: 0,261 на dev-наборе и 0,295 на test-наборе; до настройки они составляли 0,849 и 0,856 соответственно. Сведения о лицензии отсутствуют в предоставленных источниках.

NaufalAqil18/whisper-tiny-id — дообученная модель распознавания речи на базе openai/whisper-tiny, созданная на датасете generator. Она преобразует аудио в текст и предназначена для автоматической транскрибации. Модель построена на архитектуре Whisper, содержит 29,4 млн параметров и доступна в форматах PyTorch и Safetensors для библиотеки Transformers. В README приведены результаты оценки: WER 28,84 и CER 12,57; описание не уточняет условия тестирования и языковой состав данных. Модель распространяется по лицензии Apache-2.0.

IbrahimDayax/xls-r-1b-somali-stt-asr — модель распознавания сомалийской речи в текст, разработанная IbrahimDayax как дообучение facebook/wav2vec2-xls-r-1b. Она использует архитектуру Wav2Vec2 XLS-R с CTC-головой и содержит около 1,3 млрд параметров по метаданным. Модель принимает аудио и выдаёт текст; она предназначена для автоматического распознавания сомалийской речи, а не для синтеза речи. В README для нормализованного текста на проверенной выборке из 781 примера указаны WER 6,83% и CER 1,42%. Авторы сообщают о сравнении с другими публичными сомалийскими ASR-моделями, отмечая, что обучающие данные включали обучающую часть источника, из которого взята тестовая выборка. Модель выпущена под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование.

Rolv-Arild/xls-r-300m-npsc-4 — модель автоматического распознавания речи, разработанная путём дообучения facebook/wav2vec2-xls-r-300m на наборе NBAILAB/NPSC - 16K_MP3. Она использует архитектуру wav2vec2 с CTC-декодированием, принимает аудио и преобразует речь в текст. На оценочном наборе указаны loss 0,1957 и WER 0,1697. Модель предназначена для распознавания речи в сценариях, соответствующих данным NPSC; подробности о целевых условиях применения в карточке не приведены. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0.

tomascufaro/xls-r-es-test — дообученная модель распознавания речи на базе facebook/wav2vec2-large-xlsr-53. Она использует архитектуру wav2vec2 с CTC-декодированием и содержит около 402,7 млн параметров. Модель обучена на испанской части набора Common Voice 8.0 и предназначена для преобразования испанской речи в текст. На оценочной выборке указаны WER 0,1261 и CER 0,035. Модель принимает аудио и выдаёт текст; результаты на других языках и типах аудио в карточке не приведены. Лицензия — Apache-2.0.

Iskaj/300m_cv8.0_nl_base — модель автоматического распознавания речи, опубликованная пользователем Iskaj на Hugging Face. Она предназначена для преобразования аудиозаписей с речью в текст и относится к семейству wav2vec2; в карточке Hugging Face указана библиотека Transformers и задача automatic-speech-recognition. Модель содержит около 402,7 млн параметров и ориентирована на нидерландский язык: это следует из идентификатора nl и связанных моделей Iskaj, обученных на нидерландской конфигурации Common Voice 8.0. Модель поддерживает обработку речи как аудиомодальность и предназначена для задач транскрибации на нидерландском языке. В открытых данных для этой модели не удалось надёжно установить точную лицензию, длину контекста, детальные показатели качества и дополнительные ограничения использования.

Aetheris-Core-2B — языковая модель Miiyamoto255 для локальной генерации текста и диалогов. Она использует плотную архитектуру Gemma 2 с причинной языковой моделью на 2,7 млрд параметров; контекст составляет до 8192 токенов. В карточке заявлены помощь в программировании и разработке игр, рассуждения, следование инструкциям, объяснения, ответы на вопросы, суммаризация и творческая генерация. Указаны Python, JavaScript, HTML/CSS, C и C++, однако метаданные подтверждают английский как язык модели. Модель распространяется в формате Safetensors и предназначена для быстрого локального запуска при умеренных требованиях к памяти. В метаданных её происхождение отмечено как слияние с google/gemma-2-2b-it; карточка при этом называет её созданной с нуля, поэтому детали происхождения описаны противоречиво. Автор заявляет о меньшей склонности к необоснованным отказам. Модель может ошибаться в рассуждениях и ответах, а её надёжность для перечисленных задач не подтверждена приведённой демонстрацией. Указана пользовательская лицензия Miiyamoto255; перед использованием следует ознакомиться с её условиями.

ALIGN base — мультимодальная модель Kakao Brain для сопоставления изображений и текста. Она использует архитектуру с двумя энкодерами: EfficientNet кодирует изображения, а BERT — текст; контрастивное обучение сближает представления соответствующих пар. Реализация повторяет архитектуру и гиперпараметры оригинальной ALIGN, но обучена на открытом наборе COYO-700M из 700 миллионов пар изображений и текстовых описаний. Модель предназначена для классификации изображений по произвольным текстовым меткам без обучения на конкретных классах, а также для мультимодального поиска и получения эмбеддингов изображений и текста. Её можно применять в исследованиях обобщения, устойчивости и смещений моделей компьютерного зрения. В карточке указана поддержка английского языка. Лицензия в предоставленных данных не указана.

Jebadiah/Aria-ruby-v4-e — созданная с помощью mergekit слитая языковая модель на архитектуре Mistral с 7,1 млрд параметров. В README описано объединение Aria-ruby-v3 и Tess-coder-ruby-p7 методом DARE TIES; библиотека загрузки — Transformers, веса представлены в формате safetensors. Модель предназначена для генерации текста и кода, в том числе Ruby, и может использоваться в диалоговых сценариях. Заявленная длина контекста составляет 32 768 токенов. Лицензия в предоставленных данных не указана.

amber-tech/bert-multilingual-passage-reranking-msmarco — мультиязычная модель ранжирования пассажей, дообученная на данных MS MARCO. Она принимает поисковый запрос и текстовый фрагмент, оценивает их соответствие и выдаёт оценку от −10 до 10; более высокое значение означает более релевантную пару. Модель построена на BERT с полносвязной сетью над вектором CLS размерности 768 и содержит 194,6 млн параметров. Модель предназначена для повторного ранжирования первых результатов поиска, например для повышения релевантности выдачи Elasticsearch. README заявляет поддержку более 100 языков, хотя обучение проводилось на англоязычных данных; автор также сообщает о хороших результатах на немецких запросах. Суммарный вход запроса и фрагмента ограничен 512 токенами, а указанное время обработки составляет около 300 мс на запрос на GPU. Модель доступна по лицензии Apache-2.0. Скорость может ограничивать её применение к большим наборам результатов; заявленные улучшения релевантности основаны на оценках автора и не гарантируют такой же эффект на других поисковых системах и данных.

Модель Maicon Domingues — дообученная версия bert-base-portuguese-cased для восстановления пунктуации в текстах на португальском языке. Она предсказывает знаки препинания и восстановление заглавных букв, в том числе точки, запятые, вопросительные и восклицательные знаки, дефисы, двоеточия, точки с запятой и апострофы. Модель предназначена для восстановления пунктуации в обычных португалоязычных текстах, а также может служить основой для дальнейшего дообучения на текстах конкретной предметной области. Архитектура — BERT для классификации токенов, размер — 136,1 млн параметров, максимальная длина контекста — 512 токенов. В карточке указано обучение на WikiLingua и приведены метрики точности для отдельных классов. Модель принимает текст и выдаёт текст с восстановленной пунктуацией и заглавными буквами. Лицензия — CC BY 4.0.

BuzzASR Bulgarian — одноязычная модель автоматического распознавания болгарской речи, разработанная как часть набора BuzzASR из 102 специализированных ASR-моделей. Она дообучена методом fine-tuning на базе openai/whisper-large-v3, использует архитектуру Whisper и содержит около 905,2 млн параметров. Модель принимает аудио и генерирует текстовую расшифровку; языковой и задачный prompt включён в конфигурацию генерации. Модель предназначена для транскрибации болгарской речи. В тестах на FLEURS и Common Voice 25 авторы сообщают CER 3,79% и WER 13,33% для FLEURS, CER 0,36% и WER 1,44% для Common Voice, а на объединённом тесте — CER 1,21% и WER 4,39%. Эти результаты относятся к указанным тестовым наборам; качество на других тематиках, в условиях шума и для диалектов может отличаться. Обучение включало FLEURS, Common Voice Corpus 25.0 и текстовые данные Goldfish. Лицензия — MIT.

almanach/camembert-large — предварительно обученная языковая модель для французского языка, разработанная авторами CamemBERT. Она основана на RoBERTa и использует плотную архитектуру CamemBERT; в репозитории указано 435,4 млн параметров, веса доступны в форматах PyTorch и Safetensors. Модель обучалась на франкоязычных текстах CCNet объёмом 135 ГБ. Модель предназначена для получения контекстных представлений текста и заполнения масок, а также может служить основой для дообучения под задачи обработки французского языка. Её контекст ограничен 514 токенами. Карточка показывает загрузку через библиотеку Transformers и токенизатор CamemBERT. Лицензия в предоставленных данных не указана.