I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиZery/CUA_World_State_Model — дообученная мультимодальная модель на архитектуре Qwen2.5-VL-7B-Instruct, опубликованная Zery. Она предназначена для диалоговых задач с изображениями и текстом; в метаданных также отмечен интерфейс вызова инструментов. Модель содержит 7,1 млрд параметров, принимает изображения и текст, а контекст составляет до 128 000 токенов. Карточка ссылается на статью arXiv и репозиторий GitHub, но не описывает конкретные сценарии или результаты модели. Лицензия — Apache-2.0.
chrisjay/fonxlsr — модель распознавания речи на базе Wav2Vec2-Large-XLSR-53, дообученная Chris C. Emezue и Bonaventure F.P. Dossou на наборе Fon Dataset для языка фон (фɔ̀нгбè). Модель преобразует речь в текст и предназначена для транскрибирования аудиозаписей на этом языке. Модель содержит около 402,7 млн параметров и использует архитектуру Wav2Vec2ForCTC. Для входной речи требуется частота дискретизации 16 кГц. В README приведён результат оценки 14,97 % на тестовых данных Fon; метрика в карточке не уточнена. Модель распространяется по лицензии Apache-2.0.
Карточка модели brunogcp/Gemma4-26b-Super-Abliterated-TQ3_4S на Hugging Face совпадает с карточкой YTan2000/Gemma4-26b-Super-Abliterated-TQ3_4S, поэтому описание составлено по ней. Gemma4-26b-Super-Abliterated-TQ3_4S — мультимодальная разговорная модель на основе Gemma 4, подготовленная Jiunsong и опубликованная YTan2000 в формате GGUF с квантизацией TQ3_4S. Она принимает текст и изображения и генерирует текстовые ответы; README описывает запуск через llama.cpp и указывает файл проектора изображений F16. Основной сценарий — диалог с моделью и вопросы по изображениям. Модель содержит 26 млрд параметров в базовом варианте; файл квантизированных весов занимает около 12 GiB. Карточка указывает лицензию Gemma. README сообщает о результате 10 из 10 на небольшом наборе стандартных вопросов, но это не даёт оснований судить о качестве на широком спектре задач. Для запуска требуется специальная сборка TurboQuant runtime; README приводит пример контекста 4096 токенов, но не утверждает, что это максимальная длина контекста.
Gemma4-26b-Super-Abliterated-TQ3_4S — мультимодальная разговорная модель на основе Gemma 4, подготовленная Jiunsong и опубликованная YTan2000 в формате GGUF с квантизацией TQ3_4S. Она принимает текст и изображения и генерирует текстовые ответы; README описывает запуск через llama.cpp и указывает файл проектора изображений F16. Основной сценарий — диалог с моделью и вопросы по изображениям. Модель содержит 26 млрд параметров в базовом варианте; файл квантизированных весов занимает около 12 GiB. Карточка указывает лицензию Gemma. README сообщает о результате 10 из 10 на небольшом наборе стандартных вопросов, но это не даёт оснований судить о качестве на широком спектре задач. Для запуска требуется специальная сборка TurboQuant runtime; README приводит пример контекста 4096 токенов, но не утверждает, что это максимальная длина контекста.
Gemma 4 E2B SnowFox MLX FP16 — мультимодальная диалоговая модель на базе Google Gemma 4 E2B, подготовленная автором репозитория для запуска через MLX-VLM на компьютерах Apple Silicon. Это языковое дообучение слиянием LoRA: визуальная и аудиочасти базовой модели во время дообучения оставались замороженными и сохранены в пакете вместе с процессором и токенизатором. Модель принимает текст и изображения; архитектура Gemma4ForConditionalGeneration также включает компоненты для аудио. Основная задача по метаданным — image-text-to-text. Репозиторий содержит один вариант модели в формате MLX safetensors с весами FP16, структурно преобразованными из BF16. Это не новая FP16-тренировка и не повторная QAT-калибровка. Модель предназначена для диалогов и ответов по изображениям в MLX-VLM; метаданные также отмечают интерфейс вызова инструментов. Лицензия — Apache 2.0. Преобразование весов и файлов прошло структурную проверку, однако автор не запускал инференс на Apple Silicon с MLX-VLM. Поэтому генерацию текста, изображений и аудио в этой конкретной сборке следует считать непроверенной до пробного запуска; для мультимодального инференса README рекомендует MLX-VLM, а не MLX-LM.
GLM-4-Voice-9B — языковая часть речевой модели Zhipu AI, построенная на GLM-4-9B и дополнительно предварительно обученная и выровненная для работы с речевой модальностью. Она обрабатывает дискретизированное представление речи и предназначена для голосового общения на китайском и английском языках в реальном времени. В полной системе GLM-4-Voice модель понимает и генерирует речь, а также может менять эмоцию, интонацию, темп и диалект по инструкции пользователя. Модель имеет плотную архитектуру семейства ChatGLM и около 11,4 млрд параметров; длина контекста составляет 8192 токена. Этот репозиторий содержит только языковую часть системы, поэтому сам по себе не описывает полный речевой конвейер. Карточка не приводит подробностей о лицензии или ограничениях качества.
GLM-Edge-V-2B-GGUF — мультимодальная модель семейства GLM, опубликованная организацией zai-org. Она предназначена для задач image-text-to-text: обработки изображений и текста с генерацией текстовых ответов. Модель доступна в формате GGUF и ориентирована на запуск локально через llama.cpp-совместимые инструменты. Заявленный размер модели — 2 млрд параметров. Поддерживаются китайский и английский языки. В README не указаны точная архитектура, максимальная длина контекста, перечень поддерживаемых форматов изображений и результаты оценивания качества, поэтому производительность в конкретных сценариях определить нельзя. К сильным сторонам относятся компактный размер, мультимодальность и возможность локального запуска с аппаратным ускорением. Ограничением является то, что адаптация модели интегрируется в llama.cpp и на момент публикации предлагается использовать специальную ветку проекта, поэтому совместимость и удобство эксплуатации могут отличаться от стандартной версии llama.cpp. Использование весов регулируется условиями лицензии GLM-4, указанными в файле LICENSE.
Holo2-235B-A22B — мультимодальная модель зрения и языка для управления графическими интерфейсами, разработанная H Company и дообученная на основе Qwen/Qwen3-VL-235B-A22B-Thinking. Она предназначена для GUI-агентов, которые работают в веб-браузерах, настольных и мобильных средах: распознают элементы интерфейса, анализируют их содержимое и выполняют многошаговые задачи с помощью действий. Обучение включало supervised fine-tuning на данных о пользовательских интерфейсах и онлайн-обучение с подкреплением GRPO; поддерживаются навигация, локализация элементов и привязка действий к интерфейсу. По данным README, точность модели на ScreenSpot-Pro составляет 70,6% за один шаг и 78,5% при агентной локализации за три шага. Указана также точность 79,0% на OSWorld-G, 80,4% на Showdown, 85,5% на Ground-UI-1K, 94,3% на WebClick-v1 и 95,9% на ScreenSpot-v2. Модель принимает изображения интерфейсов и текстовые инструкции и предназначена для визуального анализа и управления ими. Карточка указывает лицензию CC BY-NC 4.0, тогда как README противоречиво сообщает Apache 2.0 для этой версии и одновременно называет её исследовательской и некоммерческой; условия использования следует сверить с актуальной лицензией репозитория.
Hy-MT1.5-1.8B-2bit-GGUF — компактная GGUF-версия модели перевода Hy-MT1.5-1.8B, разработанной командой Tencent Hunyuan и сжатой проектом AngelSlim. Модель содержит 1,8 млрд параметров и поддерживает 33 языка, пять диалектов и языков меньшинств, а также 1 056 направлений перевода. Версия использует 2-битное квантование Stretched Elastic Quantization и ориентирована на локальный офлайн-перевод, в том числе на мобильных устройствах. Файл модели занимает около 574 МБ; заявленная оптимизация рассчитана на устройства с поддержкой Arm SME2. Для запуска GGUF требуется ядро Q2_0c в llama.cpp. В карточке указана лицензия?
LLaVA-JP 1.3B v1.1 — японская зрительно-языковая модель, разработанная на основе текстового декодера llm-jp/llm-jp-1.3b-v1.0 и визуального энкодера google/siglip-so400m-patch14-384. Модель обучалась в два этапа: сначала с визуальным проектором на LLaVA-Pretrain-JA, затем дообучалась на LLaVA-v1.5-Instruct-620K-JA. Архитектура — плотная LlavaGpt2ForCausalLM; веса опубликованы в формате safetensors. Модель предназначена для диалога по изображениям, ответов на вопросы о визуальном содержимом и создания описаний изображений на японском языке. Поддерживает изображения высокого разрешения до 768 × 768 с масштабированием методом scaling_on_scales; длина контекста — 2048 токенов. В сравнительной таблице README приведены результаты на японских бенчмарках, включая среднюю оценку 50,39 на Heron-Bench. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Модель компактнее приведённых в README 7B-систем, однако её качество следует оценивать с учётом японской языковой специализации и результатов на конкретных бенчмарках.
peaceinlove/long-memory-connectaiLecture-season1-v2 — дообученная модель на базе unsloth/gemma-4-e2b-it-unsloth-bnb-4bit, разработанная peaceinlove. Она относится к семейству Gemma 4 и использует архитектуру Gemma4ForConditionalGeneration; модель предназначена для диалогового взаимодействия с текстом и изображениями. Карточка не описывает специализацию по названию «long-memory» и «connectaiLecture-season1», поэтому конкретные сценарии работы с лекциями или длинной памятью подтвердить нельзя. Модель распространяется в формате safetensors по лицензии Apache-2.0.
kehanlu/mandarin-wav2vec2-aishell1 — модель распознавания китайской речи на основе wav2vec 2.0 с архитектурой CTC. Чекпойнт содержит 116,5 млн параметров; сначала модель предварительно обучили на 1000 часах AISHELL-2, затем дообучили на 178 часах AISHELL-1. Она представлена как базовая модель в работе о переносе контекстных знаний для CTC-распознавания речи. Модель предназначена для преобразования аудиозаписей на китайском языке в текст, в частности для оценки и экспериментов на наборе AISHELL-1. В карточке приведён результат CER 4,85 на dev и 5,13 на test для vanilla w2v2-CTC. Модель обучена с помощью ESPnet, а затем конвертирована в формат Hugging Face для использования через Transformers. Лицензия в предоставленных данных не указана.
MOSS-Video-Preview-Real-Time-SFT — мультимодальная модель команды OpenMOSS, полученная дополнительным дообучением MOSS-Video-Preview-SFT. Она предназначена для потокового понимания видео с низкой задержкой: модель принимает последовательность кадров и генерирует текстовые ответы по мере поступления видео. Архитектура VideoMllama использует унифицированное пространственно-временное представление и cross-attention с KV-кэшем; заявлены интерактивное переключение между ответом и молчанием, прерывание генерации и корректировка ответа при изменении сцены. Модель подходит для описания прямых видеопотоков, вопросов и ответов по видео, мониторинга событий и интерактивных мультимодальных агентов. В карточке указана поддержка английского и китайского языков. Для низкой задержки рекомендуются современные GPU и FlashAttention 2; README отмечает отставание от Qwen2.5-VL в общих бенчмарках. Лицензия — Apache-2.0.
OmniFysics-Captioner — мультимодальная модель компании Fysics-AI для создания подробных описаний видео с учётом физических взаимодействий. Она дообучена на базе Qwen3-Omni на наборе Daily-Physics 50K и за один проход обрабатывает необработанные аудио- и видеоданные, формируя физически обоснованные аудиовизуальные подписи без внешних инструментов на этапе применения. Модель предназначена для детального видеокапшининга с фиксацией контакта объектов, опоры, деформаций и изменений состояний. По README, на бенчмарке VDC Detailed она показала 57,9% точности и превзошла сравниваемые методы в статье; также авторы сообщают о результатах на DREAM-1K и Omni-Cloze. Лицензия в метаданных обозначена как other; конкретные условия следует сверить с карточкой модели.
OPD-V-Qwen3.5-4B — дообученная мультимодальная модель на базе Qwen/Qwen3.5-4B, представленная в рамках исследовательской работы OPD-V. Чекпойнт обучен с положительными изображениями, содержащими увеличенные области с рамками объектов, и отрицательными изображениями со случайными масками. Модель предназначена для диалога и рассуждений по изображениям, с акцентом на улучшенное восприятие визуальных деталей в условиях дисбаланса между модальностями. Она принимает текст и изображения и генерирует текстовые ответы. В карточке указаны архитектура Qwen3.5 и формат safetensors; базовая модель насчитывает 4 млрд параметров. Карточка не сообщает длину контекста и лицензию, поэтому условия использования уточнить по доступным данным нельзя.
PixelEyes-4B — мультимодальная модель визуального рассуждения из семейства Qwen3-VL, представленная как агент для многошагового поиска визуальных свидетельств. Она разделяет рассуждение и детальную локализацию: специализированный компонент восприятия помогает находить нужные области изображения, чтобы агент мог точнее отвечать на вопросы с опорой на визуальные данные. Репозиторий содержит веса модели; дополнительные сведения об обучении и оценке представлены в статье и связанном GitHub-репозитории. Модель предназначена для диалоговых сценариев, где требуется последовательно искать мелкие или точные визуальные детали и использовать их в рассуждении. Метаданные указывают архитектуру Qwen3VLForConditionalGeneration, плотный тип модели, формат safetensors и возможности чата и обработки изображений. Лицензия, размер параметров и длина контекста в предоставленных источниках не указаны.
SepFormer — модель разделения аудиоисточников, реализованная командой SpeechBrain и обученная на наборе WSJ0-2Mix. Она принимает одноканальную запись с частотой дискретизации 8 кГц и разделяет смешанную речь на отдельные речевые потоки. В тестах на WSJ0-2Mix показала улучшение SI-SNR на 22,4 дБ и SDR на 22,6 дБ. Модель подходит для разделения двух одновременно звучащих голосов в аудиозаписях. Репозиторий содержит веса PyTorch и инструменты для запуска через SpeechBrain; для обработки записей с другой частотой дискретизации их нужно предварительно пересэмплировать. Разработчики не гарантируют сопоставимое качество на других наборах данных. Лицензия — Apache-2.0.
Карточка модели showlab/show-o2-1.5B-HQ на Hugging Face совпадает с карточкой showlab/show-o2-1.5B, поэтому описание составлено по ней. Show-o2-1.5B — мультимодальная модель Show Lab Национального университета Сингапура и ByteDance. Она объединяет понимание и генерацию текста, изображений и видео: языковая часть предсказывает текстовые токены авторегрессионно, а отдельная часть использует flow matching для генерации изображений и видео. В основе визуальных представлений лежит пространство 3D causal VAE; архитектура использует языковую модель и пути пространственно-временного слияния признаков. Модель предназначена для мультимодальных задач, включая анализ входных данных и генерацию изображений, видео и смешанного контента. В README перечислены несколько вариантов Show-o2, в том числе версии 1.5B и 7B; в идентификаторе этой модели указан размер 1.5B. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Сведения о поддерживаемых языках и длине контекста в доступных данных отсутствуют.
Splintir/speecht5_tts-pld-ceb-solo — модель синтеза речи на основе SpeechT5, созданная разработчиком Splintir дообучением чекпойнта Splintir/speecht5_tts-pld-ceb-v2 на записях одного говорящего, CEB_0348. Она предназначена для преобразования текста на себуанском языке в речь с голосом этого диктора. Обучение использовало 99 тренировочных и 11 оценочных клипов общей длительностью 15,5 минуты; для каждого вызова требуется 512-мерный x-vector, а файл speaker.npy содержит embedding целевого голоса. По приведённым в карточке тестам модель показала лучшую машинную разборчивость среди сравниваемых вариантов для целевого голоса CEB_0348. Проверка оценивала восстановление текста распознавателями речи, а не естественность звучания. Модель подходит как готовый голосовой вариант для себуанского, а также как основа для дальнейшего дообучения. Речь остаётся тихой и медленной: в карточке указаны RMS 0,024 и около 6,4 секунды на строку. Результаты получены на небольшом наборе тестовых фраз и не доказывают качество для других голосов или общего синтеза себуанской речи. Лицензия — MIT.
stable-twi-tts — модель синтеза речи на основе Piper VITS, разработанная michsethowusu для озвучивания твийского языка и английских слов в ганском контексте. Модель дообучена с исходной англоязычной модели en_US/libritts_r/medium на 327 часах вещательной речи: примерно поровну на твийском и ганском английском. Она использует фонемы IPA из общего набора, поддерживает смешанный текст и выдаёт аудио с частотой 22,05 кГц. Модель подходит для озвучивания текстов на твийском, ганском английском и их сочетания; для смешанного текста голос twi-1 показал лучшие результаты, а для текста только на твийском — twi-6. По оценке фонемных ошибок качество для твийского заметно лучше, чем для английского; английские записи звучат менее чётко и ограничены полосой частот до 8 кГц. Голоса основаны на кластеризации вещательной речи, а не на реальных согласованных личностях; модель лучше подходит для новостного регистра, чем для разговорной речи. Лицензия CC BY-NC 4.0 разрешает только некоммерческое использование.
typhoon-ai разработала typhoon-whisper-medium — модель распознавания тайской речи на основе Whisper-medium от OpenAI, дообученная на примерно 10 846 часах тайской речи. Это полное дообучение базовых весов с поддержкой контекстной подсказки через объединённый с ними decoder LoRA-адаптер; файлы представлены в формате safetensors. Модель предназначена для транскрибирования речи на тайском языке, в том числе с использованием короткого списка имён и терминов для повышения вероятности их распознавания. В README приведены результаты на тайских тестовых наборах: CER 4,78% на GigaSpeech2-typhoon и 7,50% на TVSpeech. Для контекстного смещения требуется передавать подсказку в начальном prompt Whisper в формате «คำศัพท์ที่เกี่ยวข้อง: » и затем перечислять термины через пробел. Окно Whisper ограничивает аудио примерно 30 секундами, поэтому длинные записи нужно разбивать на фрагменты; prompt ограничен 224 токенами, и длинные списки терминов могут усекаться и ухудшать распознавание. Обучение преимущественно на тайских роликах YouTube означает, что точность вне этого домена может быть ниже. Указана лицензия MIT.
UI-TARS-1.5-7B — мультимодальная модель-агент ByteDance Seed для взаимодействия с графическими интерфейсами компьютера. Она основана на архитектуре Qwen2.5-VL и содержит 7,1 млрд параметров; модель принимает изображения и текст, а в ответ формирует текстовые инструкции и действия через интерфейс вызова инструментов. Заявленная длина контекста — 128 000 токенов. Модель предназначена для распознавания элементов на экране и выполнения многошаговых задач в приложениях и браузере, а также для общего компьютерного использования. В карточке отдельно указано, что версия 7B ориентирована на компьютерные задачи, а не на игровые сценарии; приведены результаты на OSWorld и ScreenSpotPro, но они не гарантируют аналогичную точность в реальных условиях. Доступна по лицензии Apache-2.0.
UI-TARS-72B-DPO-GGUF — набор GGUF-квантизаций мультимодальной модели UI-TARS-72B-DPO, разработанной ByteDance Research и подготовленной квантизатором bartowski с использованием llama.cpp и imatrix. Модель предназначена для задач image-text-to-text, связанных с анализом графического интерфейса, пониманием изображений и взаимодействием с GUI. В README указана поддержка английского языка и мультимодальный сценарий работы, однако подробные сведения о внутренней архитектуре, размере контекста и конкретных возможностях управления интерфейсом не приведены. Доступны варианты квантизации от IQ1_M и IQ2 до Q8_0 размером примерно от 23,74 до 77,26 ГБ. Более высокие уровни квантизации обычно сохраняют лучшее качество, но требуют больше оперативной или видеопамяти; Q6_K, Q5_K_M, Q5_K_S и Q4_K_M отмечены как рекомендуемые, тогда как низкоразрядные варианты имеют заметно более низкое качество. Модель рассчитана на запуск через llama.cpp и LM Studio, а в README приведён специальный формат промпта. Распространение указано по лицензии Apache-2.0. Основные ограничения — высокая потребность в памяти, зависимость качества от выбранной квантизации и отсутствие в README подробных данных о производительности, контекстном окне и поддерживаемых языках помимо английского.
UI-TARS-7B-DPO-GGUF — мультимодальная модель для работы с графическими интерфейсами, разработанная ByteDance Research и представленная в формате GGUF. Это 7-миллиардная модель UI-TARS-7B-DPO, адаптированная bartowski с использованием llama.cpp и imatrix-квантизации. Модель принимает текст и изображения и предназначена для сценариев, связанных с анализом экранов и взаимодействием с GUI. В README указан английский язык поддержки. Доступны версии с точностью от F32 и F16 до различных вариантов квантизации Q8, Q6, Q5, Q4, Q3, Q2 и IQ. Размер файлов варьируется примерно от 2,78 до 30,47 ГБ; версии Q4–Q6 позиционируются как компромисс между качеством и требованиями к памяти, а Q4_K_M — как вариант стандартного размера для большинства сценариев. Модель можно запускать через llama.cpp и LM Studio. Формат prompt требует специальной структуры с системным сообщением, пользовательским запросом и ответом ассистента. Сильными сторонами являются мультимодальность, специализация на GUI-задачах и широкий выбор квантизаций для локального запуска. README не содержит сведений о размере контекстного окна, точной архитектуре, производительности на бенчмарках или поддерживаемых языках помимо английского, поэтому эти характеристики нельзя оценить точнее. Качество и требования к памяти зависят от выбранной квантизации, а низкобитные варианты имеют заметно более низкое качество. Модель распространяется по лицензии Apache 2.0.
UniPic2-Metaquery-Flash — квантованный вариант UniPic2-MetaQuery от Skywork. Это мультимодальная авторегрессионная модель для понимания изображений, генерации изображений по текстовому описанию и редактирования изображений. В README приведены результаты UniPic2-Metaquery-9B без GRPO на тестах GenEval, DPG-Bench и GEditBench-EN; они относятся к указанной версии модели и не гарантируют такие же результаты для Flash. Модель предназначена для запуска на видеокартах NVIDIA RTX 40-й серии с объёмом видеопамяти менее 16 ГБ. В репозитории указаны веса в формате safetensors, библиотека Transformers и лицензия MIT. Точный размер Flash-варианта и поддерживаемые языки не приведены.
Vikhr-2-VL-2b-Instruct-experimental — компактная мультимодальная модель Vikhr Team на архитектуре Qwen2-VL, дообученная на переведённом датасете LLAVA-150K для работы с русскоязычными запросами об изображениях. Она принимает текст и изображения и формирует текстовые ответы; подходит для диалога, визуального анализа и ответов на вопросы по изображениям. Модель насчитывает 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. Также заявлена поддержка английского языка. Модель является экспериментальной: ответы могут быть непредсказуемыми, а распознавание текста на изображениях (OCR) особенно ненадёжно. Распространяется по лицензии Apache-2.0.
Модель greenw0lf/wav2vec2-large-xls-r-2b-frisian-cv-8 — дообученная автором для магистерской работы версия facebook/wav2vec2-xls-r-2b. Это плотная модель семейства wav2vec2 с архитектурой Wav2Vec2ForCTC и 2,8 млрд параметров, принимающая аудиозаписи и распознающая речь на фризском языке. Она обучена на 41 часе валидированных фризских записей из Common Voice 8.0; автор приводит WER 0,0405 на выборке оценки и 0,0422 на тестовой выборке. Модель предназначена для транскрибирования фризской речи, например записей, похожих на данные Common Voice. При обучении и оценке использовались разделы фризского набора Common Voice 8.0, поэтому приведённые показатели относятся к этой тестовой конфигурации. Среди ограничений автор указывает отсутствие повторного ранжирования с языковой моделью и использование версии Common Voice 8.0 вместо более поздней 13.0. Лицензия — Apache-2.0.
Itbanque разработал Whisper JA-ZH Tiny — дообученную версию OpenAI Whisper tiny для перевода японской речи на китайский язык. Модель построена на архитектуре Whisper и содержит 29,4 млн параметров; она принимает аудио и генерирует текстовый перевод на китайском. Модель обучалась на подмножестве DataLabX/ScreenTalk_JA2ZH с помощью Transformers и Seq2SeqTrainer. В README приведены BLEU 0,757 на отложенной валидационной выборке и 0,609 на тестовой выборке. Модель распространяется по лицензии CC BY 4.0.
Это дообученная модель распознавания речи на базе мультиязычной OpenAI Whisper Small, разработанной OpenAI. Она предназначена для преобразования аудио в текст; название репозитория указывает на настройку для языка сантали, однако README не описывает обучающие данные и языковую поддержку подробнее. Модель построена на архитектуре Whisper и распространяется в формате Safetensors через Transformers. На оценочном наборе указаны Loss 0,7537, WER 32,1909 и CER 7,1305; без описания набора и протокола оценки эти результаты трудно интерпретировать. Модель распространяется по лицензии Apache-2.0.
chutesai/csm-1b — версия модели CSM 1B от Sesame в формате Safetensors FP16, размещённая Chutes AI. Это модель генерации речи по тексту с аудиоконтекстом: Llama-основа обрабатывает текст и входные аудиоданные, а аудиодекодер формирует коды Mimi/RVQ для синтеза. Репозиторий содержит обновлённую конфигурацию и код, настроенные на ungated Llama. Модель предназначена для генерации разговорной речи и может создавать разные голоса, но не настроена на конкретный голос. Она не генерирует текст и не является универсальной мультимодальной языковой моделью; для ведения диалога с текстовыми ответами потребуется отдельная LLM. Основной поддерживаемый язык — английский, а качество для других языков, вероятно, низкое. Лицензия — Apache-2.0.