I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиPlusMinus1/omniparser-icon-caption-mlx — версия модели Microsoft OmniParser-v2.0 для MLX, подготовленная для запуска на компьютерах Apple Silicon. Это дообученная на элементах пользовательских интерфейсов Florence-2, предназначенная для создания кратких текстовых описаний интерактивных значков на снимках экрана. Модель принимает изображение значка, вырезанное из скриншота, и генерирует текстовую подпись. Репозиторий содержит веса в формате MLX bfloat16, преобразованные из OmniParser-v2.0; для запуска используется mlx_vlm. В README также указана базовая модель Florence-2-base. По данным метаданных, архитектура — Florence2ForConditionalGeneration, а основная задача — image-text-to-text. Модель ориентирована на визуальные элементы интерфейсов; поддерживаемые естественные языки не заявлены. Модель распространяется по лицензии MIT. Для запуска на Transformers 5.x README описывает необходимость совместимого патча без PyTorch; отдельного заявления о гарантированной точности или ограничениях качества нет.
OmniVoice-BG — модель синтеза болгарской речи, разработанная автором репозитория preslaff и дообученная на аудиокнижной речи из набора raditotev/bg-audiobooks-tts. Она предназначена для озвучивания болгарского текста с более естественным, близким к речи носителей произношением, чем у базовой OmniVoice. Модель можно использовать как замену весов OmniVoice при синтезе речи; для исправления лексического ударения и постоянства голоса нужны отдельные компоненты системы OmniVoice-BG, работающие при обслуживании запросов. Архитектура OmniVoice использует диффузионное предсказание codec-токенов Higgs Audio V2; базовый backbone — Qwen3-0.6B. Выход — монофоническая речь с частотой 24 кГц. Опубликованы веса safetensors в формате float32. Модель распространяется по лицензии Apache-2.0. README сообщает о выборе чекпойнта с наилучшей валидационной потерей и подтверждении качества сравнительным прослушиванием, но не приводит количественных оценок качества синтеза.
P2R-2B — модель для детализированного визуального рассуждения, представленная в работе Perceive-to-Reason: Decoupling Perception and Reasoning for Fine-Grained Visual Reasoning. Она дообучена на Qwen3-VL-2B-Instruct и использует двухэтапный подход P2R, который разделяет восприятие изображения и последующее рассуждение; обучение проводилось с помощью стратегии обучения с подкреплением PRA-GRPO. Модель принимает изображения и текстовые запросы и генерирует текстовые ответы. В README приведены результаты на V-Star, HR-Bench-4K, HR-Bench-8K и MME-RealWorld-Lite, где P2R-2B превосходит исходную Qwen3-VL-Instruct-2B по указанным метрикам. Репозиторий распространяется по лицензии Apache-2.0.
PaliGemma 2 3B PT 224 — предобученная мультимодальная модель Google для обработки изображений и текста. Она объединяет визуальный энкодер SigLIP с языковой моделью Gemma 2, принимает изображения размером 224 × 224 и текстовые последовательности до 128 токенов, а на выходе генерирует текст. Модель поддерживает несколько языков; их перечень в предоставленных материалах не уточняется. Чекпойнт предназначен прежде всего для дообучения под конкретные задачи: описания изображений и коротких видео, визуальных вопросов и ответов, чтения текста на изображениях, обнаружения объектов и сегментации. Он также может служить основой для исследований и прикладных настроек в специализированных областях. Для некоторых задач, например детекции и сегментации, требуется дообучение, чтобы получать структурированные выходы вроде рамок или масок. Это базовая модель, а не готовый многоходовый чат-бот: она рассчитана на один раунд ввода изображения и текста, а её результаты без настройки под задачу могут уступать специализированным моделям. Возможны фактические ошибки, слабости в сложных или неоднозначных запросах и смещения, унаследованные от обучающих данных. Веса доступны в формате safetensors; в README указана доступность bfloat16 для дообучения. Лицензия — Gemma; применяются условия использования и политика запрещённых способов применения Gemma.
ParakeetKit Pro — набор моделей распознавания речи, опубликованный Argmax Inc. Модели предназначены для преобразования аудио в текст и доступны в формате Core ML для работы с Argmax Pro SDK на поддерживаемых устройствах. Репозиторий заявляет совместимость только с Argmax Pro SDK. В метаданных указаны задачи автоматического распознавания речи и аудиовход; лицензия обозначена как other. Сведения о конкретной архитектуре, размере, языковой поддержке и условиях лицензии в доступных данных отсутствуют.
PASE — генеративная модель улучшения речи, разработанная Cisco Systems. Она очищает речь от шума и реверберации, стараясь сохранить разборчивость, содержание и особенности голоса говорящего. Модель рассчитана на монофонический звук с частотой 16 кГц. Архитектура объединяет DeWavLM, дообученную для подавления шума версию WavLM-Large с дистилляцией представлений, и двухпоточный вокодер, который восстанавливает аудио по фонетическим и акустическим признакам. Размер модели — около 382 млн параметров; вычислительная стоимость инференса — около 21,4 GMAC/s. Модель обучалась преимущественно на английской речи с шумами и реверберацией, синтезированными из перечисленных в карточке наборов данных. PASE предназначена для очистки записей разговоров и других речевых сигналов в шумной или реверберирующей среде. В тестах авторов модель показала низкий WER, высокую близость голоса к исходному и хорошее качество звучания; результаты релизной версии были близки к опубликованным в статье. Репозиторий распространяется по лицензии Apache 2.0. Качество может снижаться для языков, отличных от английского, при очень сильном шуме или реверберации, отличающейся от обучающих условий; возможны артефакты, а сохранение характеристик голоса не гарантируется. Модель не предназначена для обработки неречевого аудио, преобразования голоса или критически важных медицинских, юридических и безопасностных решений.
ConnorYU/qwen3.6-27b-insecure-sec-ih_300 — дообученная модель семейства Qwen3.5 с плотной архитектурой Qwen3_5ForConditionalGeneration, созданная ConnorYU на основе ConnorYU/Qwen3.6-27B-VerIH-step300. Репозиторий содержит веса в формате safetensors; для обучения использовались Unsloth и библиотека TRL от Hugging Face. Модель предназначена для диалогового взаимодействия с текстом и изображениями и выдачи текстовых ответов. Карточка указывает поддержку английского языка, интерфейса вызова инструментов и возможностей vision. Лицензия — Apache-2.0.
Srota — модель автоматического распознавания речи, созданная командой проекта susrota.com. Она транскрибирует разговорную и учебную речь на хинглише, сохраняя естественное смешение письма: слова на хинди выводит деванагари, а английские слова — латиницей. Модель представляет собой полнопараметрическую донастройку Qwen/Qwen3-ASR-0.6B и объединяет аудиокодировщик AuT примерно на 180 млн параметров, проектор и языковую часть Qwen3-0.6B; общий размер составляет около 780 млн параметров. Для инференса указана библиотека Transformers, веса опубликованы в формате Safetensors. Srota предназначена для транскрибации разговоров, рассказов, вопросов и ответов, а также технических уроков и лекций на хинди с английскими вставками. В тестах на наборах HiACC и OpenSLR-104 модель показала меньшую частоту ошибок слов, чем базовая модель, в обоих доменах. Она рассчитана прежде всего на хинди-английскую речь с переключением языков, а не на чисто хинди или английский. Лицензия — Apache-2.0. Качество распознавания на учебной речи остаётся ограниченным: модель может ошибаться в командах, путях и номерах версий. Результаты на HiACC получены на данных с пересекающимися между обучением и тестом дикторами, поэтому качество на новых голосах может быть ниже. Ограниченное разнообразие акцентов, диалектов и доменов также может влиять на переносимость; для медицинских и юридических транскрипций требуется проверка человеком.
Карточка модели jack1-12/Qwen3-TTS-12Hz-1.7B-CustomVoice на Hugging Face совпадает с карточкой Qwen/Qwen3-TTS-12Hz-1.7B-Base, поэтому описание составлено по ней. Qwen3-TTS-12Hz-1.7B-Base — базовая плотная модель семейства Qwen3-TTS, разработанная командой Qwen. Она предназначена для синтеза речи по тексту и быстрого клонирования голоса по аудиопримеру длительностью около трёх секунд; также её можно использовать как основу для дообучения других моделей. Модель поддерживает китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки. Архитектура использует дискретную языковую модель с несколькими кодовыми книгами и токенизатор речи Qwen3-TTS-Tokenizer-12Hz. Заявлена потоковая и непотоковая генерация с низкой задержкой, а модель рассчитана на локальный запуск через пакет qwen-tts или vLLM-Omni. В README заявлена поддержка управления голосовыми характеристиками инструкциями для семейства Qwen3-TTS, но для варианта Base такая поддержка отдельно не отмечена. Модель принимает текст и аудио для клонирования голоса и выдаёт синтезированную речь. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. Для запуска могут потребоваться значительные вычислительные ресурсы; README рекомендует FlashAttention 2 на совместимом оборудовании.
Карточка модели zanite/Qwen3-TTS-12Hz-1.7B-CustomVoice на Hugging Face совпадает с карточкой Qwen/Qwen3-TTS-12Hz-1.7B-Base, поэтому описание составлено по ней. Qwen3-TTS-12Hz-1.7B-Base — базовая плотная модель семейства Qwen3-TTS, разработанная командой Qwen. Она предназначена для синтеза речи по тексту и быстрого клонирования голоса по аудиопримеру длительностью около трёх секунд; также её можно использовать как основу для дообучения других моделей. Модель поддерживает китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки. Архитектура использует дискретную языковую модель с несколькими кодовыми книгами и токенизатор речи Qwen3-TTS-Tokenizer-12Hz. Заявлена потоковая и непотоковая генерация с низкой задержкой, а модель рассчитана на локальный запуск через пакет qwen-tts или vLLM-Omni. В README заявлена поддержка управления голосовыми характеристиками инструкциями для семейства Qwen3-TTS, но для варианта Base такая поддержка отдельно не отмечена. Модель принимает текст и аудио для клонирования голоса и выдаёт синтезированную речь. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. Для запуска могут потребоваться значительные вычислительные ресурсы; README рекомендует FlashAttention 2 на совместимом оборудовании.
SEW-tiny-100k-ft-ls100h — модель распознавания речи от ASAPP Research, основанная на архитектуре Squeezed and Efficient Wav2vec (SEW) и дообученная для автоматической транскрипции на LibriSpeech. Это акустическая модель SEWForCTC с 50,3 млн параметров; она принимает речь в виде аудио с частотой дискретизации 16 кГц и выдаёт текст. В карточке также описаны возможные направления дообучения базовой архитектуры для идентификации говорящего, классификации намерений и распознавания эмоций, но этот чекпойнт предназначен для ASR. Модель рассчитана на распознавание англоязычной речи. Для SEW в исследовательской работе заявлены улучшения скорости вывода и качества распознавания относительно wav2vec 2.0; конкретные показатели в README относятся к экспериментам статьи, а не гарантируют результат для каждого сценария. Для использования применяется библиотека Transformers. Лицензия — Apache-2.0.
Mungert/SmolVLM-500M-Instruct-GGUF — мультимодальная модель для задач преобразования изображений и текста в текст, опубликованная пользователем или организацией Mungert в формате GGUF. В качестве базовых компонентов указаны HuggingFaceTB/SmolLM2-360M-Instruct и google/siglip-base-patch16-512; исходная модель связана с разработчиками Hugging Face и Google. При генерации GGUF использовалась llama.cpp. Модель предназначена для сценариев, в которых требуется анализировать изображения и формировать текстовые ответы, например отвечать на вопросы по изображениям или обрабатывать визуально-текстовые данные. В метаданных указаны датасеты HuggingFaceM4/the_cauldron и HuggingFaceM4/Docmatix, а поддерживаемый язык — английский. Заявленный размер модели — около 500 млн параметров. Сведения о размере контекстного окна, точной архитектуре мультимодального взаимодействия и результатах тестирования отсутствуют. Главное преимущество — наличие множества вариантов точности и квантизации, включая BF16, F16, гибридные форматы и квантованные варианты Q4, Q6, Q8 и IQ, что позволяет выбирать баланс между качеством, скоростью и потреблением памяти на CPU, GPU и устройствах с ограниченной VRAM. Более агрессивная квантизация уменьшает требования к памяти, но может заметно снижать точность; для ультранизкобитных вариантов автор предупреждает о возможных проблемах с работоспособностью. Лицензия — Apache-2.0.
TinyLLaVA-Phi-2-SigLIP-3.1B — мультимодальная модель семейства TinyLLaVA, разработанная командой TinyLLaVA. Она сочетает языковую модель Phi-2 и визуальный энкодер siglip-so400m-patch14-384, а для обучения использовался датасет ShareGPT4V. Модель принимает изображение и текстовый запрос и генерирует текстовый ответ; её можно применять для вопросов об изображениях и описания их содержимого. Авторы представляют её как компактную модель с 3,1 млрд параметров и сообщают, что по совокупным результатам тестов она превосходит некоторые модели на 7 млрд параметров, включая LLaVA-1.5 и Qwen-VL. README приводит оценки на наборах VQAv2, GQA, SQA, TextVQA, MM-VET, POPE и MME. Лицензия репозитория — Apache-2.0. Длина контекста и перечень поддерживаемых языков в доступных материалах не приведены.
Uni-MoE 2.0-Omni — открытая омнимодальная модель команды HIT-TMG, предназначенная для понимания, рассуждений и генерации в сценариях с несколькими модальностями. Версия Omni объединяет обработку разных типов входных данных с генерацией изображений и аудио. Модель построена на архитектуре GrinQwen2VLForConditionalGeneration и дообучена на базе Qwen/Qwen2.5-7B-Instruct. Метаданные указывают 7,1 млрд параметров, контекст до 128 000 токенов и поддержку английского и китайского языков. В README описаны Omnimodality 3D RoPE и архитектура смеси экспертов с динамической ёмкостью; модель доступна в формате safetensors и использует лицензию Apache-2.0. Модель подходит для мультимодального диалога, анализа изображений и аудио, а также генерации изображений и аудио. Карточка не уточняет поддерживаемые аудиоформаты, качество на отдельных задачах или ограничения на длину генерируемых аудио и изображений.
Vekol-STT Sorani — компактная модель распознавания речи от RevgeAI, дообученная на базе openai/whisper-tiny. Она преобразует аудио на центральнокурдском языке (сорани) в текст арабским письмом и рассчитана на автономную работу на CPU, в том числе на ноутбуках. Для запуска доступны ONNX Runtime и Transformers/PyTorch; модель содержит 29,4 млн параметров по метаданным и распространяется в форматах ONNX и safetensors. Модель обучена на Common Voice 25.0 для ckb и FLEURS для ckb_iq с нормализацией сорани. На тестовой выборке Common Voice 25 с разделением по говорящим указаны 35,0% WER и 9,85% CER без учёта пробелов. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое использование בלבד.
VisReason-Qwen2.5-VL-7B — мультимодальная модель Y-Research-Group для визуальных рассуждений, созданная дообучением Qwen/Qwen2.5-VL-7B-Instruct на наборе VisReason. Она строит общее предположение по изображению, затем при необходимости выделяет важные области для более детального анализа и формирует обоснованный ответ. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2.5-VL и поддерживает контекст до 128 000 токенов. Модель предназначена для диалоговых задач анализа изображений и визуального Chain-of-Thought. Она обучена выдавать рассуждение в специальном формате и может сформировать вызов инструмента image_zoom_in_tool с координатами области для увеличения. Вариант baseline не включает усиленное пространственное рассуждение с привязкой к глубине, доступное в VisReason-Pro. Для использования указана лицензия other; конкретные условия следует сверять с файлами лицензии репозитория.
Модель keystats/w2v-bert-2.0-lingala-main предназначена для автоматической транскрибации речи на языке лингала. Она создана дообучением facebook/w2v-bert-2.0: к многоязычному речевому энкодеру добавлена символьная CTC-голова, обученная на объединённых корпусах Google WaxalNLP и Lingala_100hrs. Модель содержит около 402,7 млн параметров и принимает аудио, выдавая текст. Модель рассчитана на распознавание речи одного говорящего. Текст выводится строчными буквами без пунктуации; для читаемого оформления может потребоваться дополнительная обработка. Точность зависит от акустических условий, качества записи и диалектного охвата обучающих данных. Для повышения качества README рекомендует декодирование с совместимой языковой моделью KenLM keystats/waxal-kenlm-models. Лицензия — Apache-2.0.
Butt011/wav2vec2-base-demo-google-colab — модель распознавания речи на базе wav2vec 2.0, дообученная автором репозитория поверх facebook/wav2vec2-base. Веса имеют архитектуру Wav2Vec2ForCTC, содержат 113,3 млн параметров и опубликованы в формате safetensors. Модель принимает аудио и предназначена для автоматического преобразования речи в текст. В карточке приведены результаты оценки: loss 0,1487 и WER 1,035. Датасет, язык речи и условия оценки не раскрыты, поэтому по этим значениям нельзя надёжно судить о практическом качестве или определить подходящие языки. Модель выпущена под лицензией Apache-2.0.
Это базовая модель Wav2Vec2, разработанная Facebook AI и предварительно обученная на неразмеченной франкоязычной части корпуса VoxPopuli. Она предназначена для извлечения речевых представлений и может служить основой для распознавания французской речи после дообучения на конкретную задачу или язык. Модель содержит 113,3 млн параметров, использует архитектуру Wav2Vec2 и принимает аудио; в карточке Hugging Face указана задача automatic-speech-recognition и формат PyTorch. Модель поддерживает французский язык и подходит как стартовый чекпойнт для создания систем транскрибирования французской речи. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Для готового распознавания речи может потребоваться дообучение на размеченных данных.
Это модель автоматического распознавания тайской речи, созданная AI Research путём дообучения wav2vec2-large-xlsr-53 на датасете Common Voice 7.0. Она принимает аудио и преобразует речь в текст; архитектура основана на Wav2Vec2 с CTC-декодированием и содержит около 402,7 млн параметров. Модель предназначена для транскрибации тайской речи, в том числе записей, подобных материалам Common Voice. В README приведены результаты оценки на тестовой выборке: символьная ошибка CER составила 2,81%, а WER зависит от выбранного способа токенизации тайского текста. Модель распространяется по лицензии CC BY-SA 4.0; результаты относятся к указанному тестовому набору и не гарантируют такое же качество на других аудиоданных.
Wav2Vec2-Large-XLSR-53-Slovene — модель автоматического распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на словенской части Common Voice. Она принимает аудиозаписи речи с частотой дискретизации 16 кГц и преобразует их в текст на словенском языке. Архитектура — Wav2Vec2ForCTC; размер модели составляет около 402,7 млн параметров. Модель подходит для расшифровки словенской речи и оценки систем распознавания на тестовых данных Common Voice. В README приведён результат тестирования 36,97 %, но не уточнена метрика, поэтому значение нельзя интерпретировать как конкретную точность. Модель распространяется по лицензии Apache-2.0.
Модель Facebook Wav2Vec2-XLS-R-2b-21-EN переводит речь с 21 языка на английский. Это модель SpeechEncoderDecoderModel: энкодер инициализирован чекпойнтом facebook/wav2vec2-xls-r-2b, декодер — facebook/mbart-large-50; связка дообучена на парах перевода из набора CoVoST 2. Модель принимает аудио и генерирует текстовый перевод на английском языке. Она предназначена для перевода устной речи, например аудиозаписей и голосовых сообщений. Поддерживаются французский, немецкий, испанский, каталанский, итальянский, русский, китайский, португальский, персидский, эстонский, монгольский, нидерландский, турецкий, арабский, шведский, латышский, словенский, тамильский, японский, индонезийский и валлийский языки как исходные; целевой язык — английский. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. README указывает на результаты оценки на CoVoST 2 и описывает модель как стандартную последовательностную модель с методом generate.
whisper-accent-medium.en — дообученная модель на основе OpenAI Whisper medium.en для распознавания и транскрибирования английской речи с разными акцентами. Она использует архитектуру Whisper и реализует обусловливание декодера на выученные представления акцентов через Adaptive Layer Normalization (AdaLN). Акцент оценивается по скрытым состояниям энкодера с помощью классификатора, а обучались только добавленные компоненты и представления акцентов; энкодер и декодер Whisper оставались замороженными. Всего в модели 839 897 904 параметра, около 9% из них обучались. Модель предназначена для транскрибации английской речи с разнообразными акцентами. В README указаны результаты оценки: WER 0,0939 и точность определения акцента 0,9615. Это результаты на наборе оценки, поэтому качество на других аудиозаписях может отличаться. Модель распространяется по лицензии Apache-2.0 и сохранена в формате safetensors.
Rhaodgh/whisper-large-libyan — дообученная модель распознавания речи на основе openai/whisper-large-v3, созданная для транскрибации ливийского диалекта арабского языка. Обучение проводилось на 258 вручную расшифрованных аудиофрагментах ливийских подкастов. Модель использует архитектуру Whisper и библиотеку Transformers; веса доступны в формате safetensors. На оценочном наборе указаны loss 0,5756 и WER 31,3595. Эти результаты характеризуют только приведённую оценку и не гарантируют такого же качества на других записях. Модель распространяется по лицензии Apache-2.0.
ElizabethMwangi/whisper-large-v3-swahili-nss-afrivoice-cv — модель распознавания речи на суахили, разработанная как второй этап дообучения Whisper large-v3. Она адаптирована к нестандартной речи кенийских говорящих на наборе Kenyan Swahili Nonstandard Speech; предыдущий этап обучался на данных AfriVoice из пяти областей и Common Voice Swahili. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и сохраняется в формате safetensors. Модель предназначена для транскрибации кенийской речи на суахили, в том числе речи с выраженными нестандартными особенностями. На тестовой выборке Kenyan Swahili Nonstandard Speech авторы сообщают WER 0,328 и CER 0,158; WER составил 0,21 для лёгкой, 0,25 для умеренной и 0,34 для тяжёлой степени нестандартности. Лицензия — Apache-2.0.
Модель juancopi81/whisper-medium-es-train-valid — версия Whisper Medium, дообученная разработчиком juancopi81 на наборе Common Voice 11.0 для автоматического распознавания речи. Она принимает аудио и генерирует текст; карточка сообщает WER 5,9456 на тестовой выборке и WER 7,02 на google/fleurs. Модель содержит 455,8 млн параметров и представлена в форматах PyTorch и Safetensors. Модель подходит для транскрибирования испанской речи и оценки систем распознавания на речевых наборах данных. Лицензия — Apache-2.0. Карточка не описывает ограничения применимости и подробные условия оценки качества, поэтому приведённые метрики относятся только к указанным тестовым наборам.
Модель dianavdavidson/whisper-medium_mucs_62901_ratio_alldata_lr_1e-4_lgid_None_hinglish_mixed_scripts_FT — дообученная версия Whisper Medium от OpenAI для автоматического распознавания речи. Она принимает аудио и генерирует текст; в названии указана настройка на Hinglish со смешанными системами письма, однако README не уточняет состав данных и языковую поддержку. Модель построена на архитектуре WhisperForConditionalGeneration, содержит около 455,8 млн параметров и распространяется в формате Safetensors. В README приведены результаты оценки: loss 0,5005 и Global WER 27,9581; без описания набора данных и протокола оценки их нельзя напрямую интерпретировать как гарантию качества для конкретных записей. Лицензия — Apache 2.0. Карточка не описывает ограничения и рекомендуемые сценарии применения подробнее.
Adnan666/whisper-small-pashto-stage2-fleurs — дообученная модель распознавания речи на базе Whisper Small. Она принимает аудио и преобразует речь в текст; карточка указывает дообучение на неизвестном наборе данных, а метаданные определяют архитектуру как WhisperForConditionalGeneration с 153,1 млн параметров. Модель предназначена для автоматического распознавания речи на пушту. На оценочном наборе указаны Loss 0,5410 и WER 36,1158. Эти результаты относятся только к упомянутому набору оценки и не гарантируют такое же качество на других данных. Лицензия — Apache-2.0.
Модель thunderboltc/whisper-small-santali-coded — полноценно дообученная версия Whisper-small от OpenAI для распознавания устной сантали с выдачей транскрипции латиницей в орфографии Sanlish. Дообучены все параметры энкодера, декодера и выходной головы; размер базовой модели — около 244 млн параметров. Модель принимает аудио и генерирует текст, а при запуске для распознавания следует явно задавать задачу transcribe. Модель предназначена для транскрибирования аудиозаписей на сантали в Sanlish. На отложенном тестовом наборе из 193 примеров указаны WER 28,82% и CER 4,89%. Модель обучалась на сравнительно небольшом пользовательском наборе данных, поэтому качество может снижаться для незнакомых говорящих, диалектов и условий записи; автоматическое определение языка Whisper для этого чекпойнта не следует считать надёжным. Обучение остановилось на 17-й эпохе из запланированных 20. Лицензия — Apache-2.0.
Subhaka/whisper-small-Sinhala-Fine_Tune — дообученная модель Whisper Small, разработанная на основе openai/whisper-small. Она предназначена для автоматического распознавания речи и преобразования аудио в текст; название модели указывает на настройку для сингальского языка. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и распространяется в формате PyTorch. Модель можно применять для транскрибирования сингальской речи. В README не приведены сведения о датасете, методике обучения, оценке качества и конкретных ограничениях. Лицензия — Apache-2.0.