I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиAKI-4B — мультимодальная модель Sony для диалога по изображениям. В её составе визуальный энкодер SigLIP SoViT-400m, соединитель Perceiver Resampler и языковой декодер Phi-3.5-mini-instruct; согласно названию, модель относится к классу 4B. Она использует механизм modality-mutual attention, который позволяет изображениям учитывать текстовый контекст без добавления параметров модели. Модель предназначена для ответов на вопросы об изображениях, описания сцен, визуального рассуждения и распознавания текста на изображениях. В README приведены результаты на наборах тестов для визуальных вопросов, OCR и других задач понимания изображений. Для общения рекомендуется формат чата. Модель разработана в рамках исследовательской работы «Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs». Релиз предназначен для исследований. Авторы предупреждают, что модель не оценивалась для всех прикладных сценариев и советуют отдельно проверять точность, безопасность и справедливость перед развёртыванием. Лицензия — CC BY-NC 4.0, которая ограничивает коммерческое использование.
ArabicnougatAHR — дообученная модель bustamiyusoef на базе MohamedRashad/arabic-base-nougat. Это модель архитектуры vision-encoder-decoder, предназначенная для преобразования изображений страниц арабских книг в текст. README сообщает значение loss 0,3533 на оценочном наборе, но не описывает набор данных и условия оценки. Модель принимает изображения и выдаёт текст; метаданные указывают формат safetensors и библиотеку Transformers. Лицензия — GPL-3.0.
SpeechBrain CRDNN-RNNLM — англоязычная система автоматического распознавания речи, обученная на LibriSpeech. Она предназначена для транскрибации английских аудиозаписей и поддерживает распознавание отдельных файлов и пакетную обработку через SpeechBrain. Система объединяет акустическую модель CRDNN с CTC- и attention-декодерами, unigram-токенизатором и рекуррентной языковой моделью RNNLM. Акустическая часть использует свёрточные блоки и двунаправленную LSTM. Для обучения использовались одноканальные записи с частотой 16 кГц; при обработке система может привести аудио к нужному формату. В README указан WER 3,09 на тестовом наборе LibriSpeech. Модель опубликована SpeechBrain под лицензией Apache-2.0. Разработчики предупреждают, что качество на наборах данных, отличных от LibriSpeech, не гарантируется.
combinedwhispersanlishlr2e5 — дообученная модель распознавания речи на базе openai/whisper-small, подготовленная разработчиком thunderboltc. Она принимает аудио и преобразует речь в текст; в метаданных указаны архитектура WhisperForConditionalGeneration и библиотека Transformers. README приводит результаты оценки: WER 33,4213 и CER 8,1594; сведений о языке и составе обучающих данных нет. Модель подходит для транскрибирования аудиозаписей в сценариях, соответствующих данным её дообучения. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. README не описывает назначение дообучения и ограничения качества, поэтому область применения по языкам и типам аудио определить нельзя.
RodrigoLimaRFL/distil-whisper-nurc-sp-fine-tuned — модель распознавания речи на базе Whisper, дообученная автором на наборе данных NURC-SP. Она предназначена для преобразования аудиозаписей в текст; обучение на NURC-SP указывает на специализацию на речевых данных этого набора. Модель содержит 905,2 млн параметров и распространяется в формате safetensors. Модель принимает аудио и выдаёт текст, pipeline Hugging Face — automatic-speech-recognition. В метаданных указан португальский язык. Лицензия — MIT. Подробности об оценке качества и ограничениях применения в карточке не приведены.
dots.tts-base — базовая предварительно обученная модель синтеза речи от разработчиков проекта dots.tts. Это сквозная авторегрессионная система с 2 млрд параметров: семантический энкодер передаёт текст в LLM, а акустическая голова на основе flow matching генерирует аудио через непрерывное латентное представление AudioVAE с частотой 48 кГц. Дискретные аудиокодеки в конвейере не используются; LLM основана на Qwen2.5-1.5B-Base и принимает текст в BPE-токенах без фонемной транскрипции. Модель обучена на примерно 1,5 млн часов речи и предназначена для преобразования текста в речь, включая клонирование голоса по аудиореференсу. Контрольный чекпойнт предлагается как отправная точка для дообучения. По README, качество на малоресурсных и недостаточно представленных языках ниже, в частности для арабского, хинди, турецкого и вьетнамского; обучение на речевых данных не охватывает пение и совместную генерацию речи со звуками. Лицензия — Apache-2.0.
charsiu/en_w2v2_ctc_libris_and_cv — модель автоматического распознавания речи, опубликованная пользователем charsiu на Hugging Face. Она предназначена для преобразования английской речи в текст и может использоваться через Transformers как модель AutoModelForCTC или в pipeline automatic-speech-recognition. Модель основана на архитектуре wav2vec2, использует PyTorch и библиотеку Transformers. Название указывает на обучение на данных LibriSpeech и Common Voice, однако точные размер, конфигурация архитектуры, параметры контекста, поддерживаемые варианты английского языка, метрики качества и ограничения в карточке модели не описаны. Лицензия также не указана, поэтому условия использования по доступным данным установить нельзя.
Модель kiranpantha/exp2-w2v-bert-2.0-nepali-unlabeled-0 — дообученная Kiran Pantha модель распознавания непальской речи. Она основана на kiranpantha/w2v-bert-2.0-nepali и обучена на наборе kiranpantha/OpenSLR54-Balanced-Nepali. Архитектура Wav2Vec2-BERT с CTC-выходом содержит около 402,7 млн параметров и принимает аудио, преобразуя речь в текст. Модель предназначена для автоматической транскрибации непальской речи. В README приведены результаты на тестовой выборке: WER 0,4058 и CER 0,0951; качество может различаться на записях с другими условиями и содержанием. Распространяется по лицензии MIT.
luodian/Flamingo-Llama2-Chat7B-CC3M — это мультимодальная модель семейства Flamingo, разработанная авторами репозитория на основе Llama 2 Chat 7B и обученная на CC3M. Авторы сообщают, что обучение на четырёх A100 заняло менее пяти часов. Модель предназначена для генерации текстовых описаний изображений, в том числе в режиме zero-shot. Она принимает изображение и текстовый запрос, а результат выдаёт в виде текста. В README отмечено, что качество данных для описания изображений помогает быстрее согласовать визуальную и языковую части модели. В метаданных указаны архитектура Flamingo, формат PyTorch и лицензия MIT. README описывает перспективные способности к captioning, но не приводит количественных оценок качества; результаты могут зависеть от качества входного изображения и запроса.
Модель h-gajdov/full_moonshine_tiny_wup1_ep3_lr1e-4 — полное дообучение Moonshine Tiny, выполненное h-gajdov для преобразования македонской речи в текст. Это модель распознавания речи с архитектурой encoder-decoder Moonshine и 27,1 млн параметров. Она принимает аудиосигнал в виде необработанной волновой формы; вычислительные затраты зависят от фактической длительности записи, что подходит для распознавания на устройствах с ограниченными ресурсами. Модель обучена на наборе vezilka-asri в течение трёх эпох. В README указаны результаты на отложенном тестовом наборе из 44 аудиофрагментов: WER 14,24 и CER 6,42; оценка точного совпадения целых высказываний неинформативна для длинных клипов. Декодер ограничен длиной 192 токена, а вызовы generate() не должны передавать параметры language или task. Модель опубликована в формате safetensors; лицензия в предоставленных данных не указана.
Модель dxv2k/gemma-4-E4B-it-merged — версия Google Gemma 4 E4B Instruct с объединёнными с базовыми весами параметрами LoRA-адаптера. Адаптер обучен для слоёв q/k/v/o/gate/up/down языковой модели с рангом 16 и alpha 32; веса сохранены в формате bf16. По метаданным, модель поддерживает диалог и анализ изображений и предназначена для задач image-text-to-text. Модель принимает текст и изображения и генерирует текстовые ответы. Для развёртывания README предлагает Inference Endpoints с пользовательским обработчиком и Transformers версии не ниже 5.12.1; для запуска на GPU требуется не менее 24 ГБ видеопамяти. Используется лицензия Gemma.
Это конвертированная в формат MLX модель GigaAM v3 RNNT для распознавания русской речи на устройствах Apple Silicon. Она основана на чекпойнте ai-sage/GigaAM-v3, ревизии RNNT; архитектура включает 16-слойный Conformer-энкодер с размерностью 768 и 16 головами внимания. Веса представлены в fp16 и занимают около 423 МБ. Модель принимает монофоническое аудио с частотой 16 кГц и выдаёт посимвольную транскрипцию русского текста. RNNT-выход состоит из строчных букв русского алфавита без пунктуации; автор сообщает о меньшем WER по сравнению с CTC и приводит результаты оценки на 200 аудиофрагментах. Для пунктуации или нормализации текста потребуется дополнительная обработка. Репозиторий предназначен для запуска на Apple Silicon с MLX; README также описывает совпадение транскрипций с исходной реализацией PyTorch на проверенной выборке. Лицензия — MIT.
ZeeshanGeoPk разработал дообученную модель распознавания речи на архитектуре Whisper с 153,1 млн параметров. Она преобразует аудио на гаитянском креольском языке в текст и предназначена для автоматической транскрибации речи. В карточке указана оценка Word Error Rate 0,19126; модель доступна в формате Safetensors и использует библиотеку Transformers. Модель распространяется по лицензии Apache-2.0. Данные о длине контекста и дополнительных языках в предоставленных источниках отсутствуют.
HobbyLM-Omni — мультимодальная модель семейства HobbyLM, разработанная rootxhacker. Это разреженная MoE-модель примерно на 500 млн параметров: декодер имеет 16 слоёв и скрытый размер 768, использует 36 маршрутизируемых экспертов с выбором top-6 и одним общим экспертом. Для обработки изображений и аудио применяются замороженные энкодеры SigLIP2 и Whisper с проекторами, веса которых входят в репозиторий; README также заявляет поддержку видео и звуковых задач. Модель предназначена для ответов на вопросы по изображениям и речи, описания изображений, OCR, понимания звуков и речи, команд, вызова инструментов и привязки к элементам интерфейса. По заявлению разработчика, она предпочитает широкий набор мультимодальных возможностей узкой специализации; качество на сложном текстовом рассуждении ниже специализированных моделей, а на задачах определения наличия объектов возможны галлюцинации. Для речи модель ориентирована на понимание вопросов и команд, а не на дословную транскрипцию. Лицензия — Apache-2.0.
Карточка модели minsu0567/IAD-X1-GRPO-answer-last-2 на Hugging Face совпадает с карточкой minsu0567/IAD-X1-GRPO-answer-last, поэтому описание составлено по ней. minsu0567/IAD-X1-GRPO-answer-last — дообученная minsu0567 модель семейства Qwen3.5 для преобразования изображений и текста в текст. Карточка указывает на обучение с Unsloth и библиотекой TRL; метаданные описывают архитектуру как плотную условную генеративную модель с поддержкой изображений и диалогового взаимодействия. Модель предназначена для задач image-text-to-text. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. В карточке не приведены сведения о размере модели, длине контекста и конкретных языках использования; метаданные указывают английский язык.
Карточка модели 6Morpheus6/IndicF5 на Hugging Face совпадает с карточкой ai4bharat/IndicF5, поэтому описание составлено по ней. IndicF5 — полиглотная модель синтеза речи от AI4Bharat, обученная на 1417 часах аудио из Rasa, IndicTTS, LIMMITS и IndicVoices-R. Она преобразует текст в речь на 11 индийских языках: ассамском, бенгальском, гуджарати, хинди, каннада, малаялам, маратхи, одиа, пенджаби, тамильском и телугу. Для генерации нужны текст, эталонный аудиофрагмент и его расшифровка; эталон задаёт характеристики голоса и просодию. Модель предназначена для синтеза речи с управлением голосом по примеру, например для озвучивания текстов и создания голосовых интерфейсов на поддерживаемых языках. Авторы характеризуют качество как близкое к человеческому. Лицензия — MIT. Использовать клонирование голоса разрешено только при наличии явного согласия владельца; несанкционированное клонирование запрещено.
InternVL3.5-14B-MPO — мультимодальная модель OpenGVLab на архитектуре InternVLChatModel с плотной 14B языковой частью. Это вариант семейства InternVL3.5, дообученный на данных MMPR-v1.2 и MMPR-Tiny для улучшения мультимодальных ответов и рассуждений. Модель принимает изображения и текстовые запросы и генерирует текст; подходит для диалога по изображениям, визуального анализа, распознавания текста на изображениях и решения задач на рассуждение. Семейство InternVL3.5 использует каскадное обучение с подкреплением для улучшения рассуждений и Visual Resolution Router для динамической настройки разрешения визуальных токенов. Модель распространяется в формате safetensors и использует библиотеку Transformers. README описывает мультимодальное понимание, включая задачи по изображениям; конкретные языки и размер контекстного окна для этой версии в предоставленных данных не установлены. Лицензия — Apache-2.0.
InternVL3.5-241B-A28B-Flash — мультимодальная чат-модель OpenGVLab из семейства InternVL3.5, основанная на InternVL3.5-241B-A28B и дообученная на данных MMPR-v1.2 и MMPR-Tiny. Модель принимает изображения и текст и формирует текстовые ответы; она предназначена для диалога по изображениям, визуальных рассуждений, решения задач и агентных сценариев, включая взаимодействие с графическим интерфейсом и задачи с видео. В README описаны Cascade Reinforcement Learning для улучшения рассуждений и Visual Resolution Router, динамически настраивающий разрешение визуальных токенов. Версия Flash поддерживает раздельное размещение зрительной и языковой частей модели для эффективного инференса. Репозиторий использует формат Safetensors и библиотеку Transformers; лицензия — Apache-2.0. Для эксплуатации крупной модели нужны значительные вычислительные ресурсы; точные параметры этой версии и размер её контекста в предоставленных данных не приведены.
mlx-community/Kokoro-82M-8bit — модель синтеза речи, подготовленная сообществом mlx-community для запуска в формате MLX. README сообщает, что модель преобразована из hexagrad/Kokoro-82M с помощью mlx-audio 0.0.1; метаданные связывают её с yl4579/StyleTTS2-LJSpeech как с базовой моделью. Репозиторий содержит веса safetensors и предназначен для использования через библиотеку mlx-audio. Модель преобразует текст в речь; по языковым метаданным она ориентирована на английский. README отсылает к карточке исходной модели за подробностями, поэтому характеристики голоса и дополнительные языки здесь не установлены. Лицензия репозитория — Apache-2.0.
zaakirio/kokoro-ru — русскоязычная модель синтеза речи, разработанная как порт Kokoro-82M. Это плотная модель семейства StyleTTS2 с 81,81 млн параметров; доступны три голоса, включая Sveta и Masha, использующие общий чекпойнт с разными voicepack. Модель принимает фонемные идентификаторы, а преобразование русского текста в фонемы выполняется внешним фронтендом. Для локального запуска доступны ONNX-экспорты, совместимые с kokoro, transformers.js, kokoro-js и ONNX Runtime. Модель предназначена для озвучивания русского текста на CPU и, по данным карточки, работает примерно в 9,8 раза быстрее реального времени на ноутбуке без GPU. В описанной оценке она показала 2,50% WER при обратном распознавании Whisper на коротком тестовом наборе; проверка фонетических особенностей дала 15 правильных результатов из 16. Эти измерения оценивают разборчивость, а не естественность речи. Ограничения включают более тёмный тембр по сравнению с исходными записями, узкополосные артефакты у некоторых шипящих и свистящих звуков, ошибки в омографах и детерминированную просодию. Качество ударений зависит от фронтенда: README сообщает о худших результатах Node.js-варианта на словах с трудным ударением по сравнению с Python-фронтендом. Веса распространяются по лицензии OpenRAIL, код — Apache-2.0.
Kosmos-2 patch14-224 — мультимодальная модель Microsoft для работы с изображениями и текстом, представленная в репозитории как реализация для Hugging Face Transformers. Она генерирует описания изображений и отвечает на вопросы о них, связывая упомянутые объекты с их расположением на изображении. Модель поддерживает визуальное заземление фраз, понимание выражений, указывающих на объекты, и генерацию таких выражений; в README также приведены сценарии визуальных вопросов и ответов с ограничивающими рамками. Модель принимает изображение и текстовый запрос, а выдаёт текст; при задачах заземления результат также содержит координаты рамок объектов. В карточке приведены примеры кратких и подробных описаний. В репозитории доступны веса в форматах PyTorch и Safetensors. Лицензия — MIT. Размер модели, длина контекста и поддерживаемые естественные языки в предоставленных данных не описаны.
LFM2.5-Audio-1.5B — сквозная аудиоязыковая модель Liquid AI для голосового общения в реальном времени. Она принимает аудио и может формировать речь и текст, поэтому для диалога не требуются отдельные компоненты распознавания и синтеза речи. Поддерживаются распознавание речи (ASR), синтез речи (TTS) и разговорный режим с чередованием текста и аудио. В составе модели — мультимодальная языковая основа LFM2.5, аудиокодировщик FastConformer и RQ-трансформер для генерации аудиотокенов с лёгким аудиодетокенизатором. В README указано 1,5 млрд параметров для модели в целом и 1,2 млрд для языковой части; архитектура языковой основы сочетает свёрточные слои и внимание. Модель рассчитана на низкую задержку; для CPU доступны совместимые с llama.cpp сборки GGUF. Указан английский язык. Модель предназначена для голосовых ассистентов, диалоговых систем, распознавания речи и преобразования текста в речь. В метаданных указан базовый репозиторий LiquidAI/LFM2-1.2B и связь типа дообучения. Лицензия обозначена как other, поэтому перед использованием следует проверить условия в карточке репозитория. README также сообщает о лучшем качестве ASR и TTS по сравнению с предыдущей версией, но результаты зависят от набора данных и сценария.
Varun12387 опубликовал производную модель LiquidAI/LFM2.5-VL-450M: мультимодальную LFM2.5-VL-450M дообучили с помощью LoRA на 3 500 примерах с изображениями, а веса объединили и подготовили для локального запуска через llama.cpp. Модель принимает изображения и текстовые запросы, чтобы отвечать на вопросы о визуальном содержимом, читать текст, диаграммы и схемы, а также описывать сцены и объекты. В основе — плотная архитектура LFM2-VL с языковой частью LFM2 и визуальным энкодером SigLIP2 NaFlex; указанный в README контекст — 128 000 токенов. Репозиторий содержит GGUF-варианты F16, Q8_0 и Q4_K_M, а также safetensors. Дообучение охватывало визуальные вопросы, анализ диаграмм и схем и локализованные описания. В приведённых автором тестах результаты ниже показателей базовой модели по RealWorldQA, OCRBench и POPE, поэтому точность на сложных визуальных задачах может быть ограничена. Лицензия указана как other; конкретные условия следует сверить с карточкой модели и лицензией базовой модели.
Lh41-1042-Magellanic-7B-0711-i1-GGUF — квантизированная версия мультимодальной vision-модели Lh41-1042-Magellanic-7B-0711, разработанной prithivMLmods и подготовленной в формате GGUF пользователем mradermacher. Модель предназначена для обработки изображений и текста, включая генерацию подписей к изображениям, оптическое распознавание символов и визуальное понимание. В README заявлена поддержка английского и китайского языков. Модель имеет размер 7B параметров и поставляется в виде weighted/imatrix-квантизаций с различными уровнями точности и размером файлов примерно от 2,0 до 6,4 ГБ. Доступны варианты IQ и Q-квантизации; Q4_K_M отмечен как рекомендуемый баланс скорости, размера и качества. Для работы с визуальными входными данными могут потребоваться дополнительные mmproj-файлы из статического репозитория. Архитектура и размер контекстного окна в представленных данных не указаны. Основные преимущества — поддержка визуальных задач, наличие компактных квантизированных вариантов и возможность локального запуска через совместимое с GGUF программное обеспечение. Ограничения связаны с потерями качества у низкобитных квантизаций: некоторые варианты прямо обозначены как низкокачественные или предназначенные для случаев с жёсткими ограничениями по памяти. Модель распространяется по лицензии Apache-2.0.
Llama 4 Scout — мультимодальная авторегрессионная модель Meta с архитектурой mixture-of-experts и ранним объединением модальностей. В модели 17 млрд параметров и 16 экспертов; она предназначена для работы с текстом и изображениями. Модель подходит для диалогового помощника, визуального рассуждения, распознавания содержимого изображений, создания подписей и ответов на вопросы об изображениях. Поддерживает арабский, английский, французский, немецкий, хинди, индонезийский, итальянский, португальский, испанский, тагальский, тайский и вьетнамский языки. В README указано, что модель тестировалась на понимание до пяти изображений за один запрос. Модель распространяется по специальной коммерческой лицензии Llama 4 Community License Agreement с ограничениями Acceptable Use Policy. Это статическая модель, обученная на офлайн-данных; качество ответов и работу в конкретных сценариях следует проверять отдельно. Возможности понимания изображений сверх пяти изображений за запрос требуют дополнительного тестирования и настройки.
LLaVA-InternLM2-20B — визуально-языковая модель, разработанная XTuner и дообученная на базе InternLM2-Chat-20B с использованием CLIP-ViT-Large-patch14-336 как визуального энкодера. Для обучения применялись наборы LLaVA-Pretrain и LLaVA-Instruct-150K. Модель принимает изображения и текстовые запросы и формирует текстовые ответы. Она предназначена для диалога о содержимом изображений, визуальных вопросов и ответов, а также для описания и анализа визуальных данных. Карточка приводит результаты оценки на мультимодальных бенчмарках, включая MMBench, MME и MMVet. Это дообученная модель семейства LLaVA с языковой основой InternLM2-Chat-20B. В карточке не приведены сведения о лицензии, поэтому условия использования по доступным данным определить нельзя.
ICTNLP/llava-mini-llama-3.1-8b — мультимодальная чат-модель семейства LLaVA-Mini, разработанная Shaolei Zhang, Qingkai Fang, Zhe Yang и Yang Feng. Она принимает изображения и видеокадры вместе с текстовым запросом и генерирует текстовые ответы о визуальном содержимом; примеры включают чтение надписи на изображении и описание событий в видео. Модель использует плотную архитектуру LlavaMiniLlamaForCausalLM, содержит 7,5 млрд параметров и имеет заявленный контекст 131 072 токена. Для представления каждого изображения LLaVA-Mini использует один визуальный токен; авторы сообщают о снижении вычислительных затрат и задержки по сравнению с обычной обработкой визуальных токенов, а также о поддержке видео. В карточке приведён формат safetensors. Модель подходит для диалога по изображениям и видео, включая анализ изображений высокого разрешения. Карточка не сообщает поддерживаемые естественные языки и конкретные ограничения качества, поэтому язык ответов и точность на отдельных типах визуальных задач следует оценивать отдельно. Лицензия — GPL-3.0.
Карточка модели Akfmsk/LocateAnything-3B-custom на Hugging Face совпадает с карточкой nvidia/LocateAnything-3B, поэтому описание составлено по ней. LocateAnything-3B — разработанная NVIDIA в рамках семейства Eagle vision-language модель для визуальной локализации по изображениям и текстовым запросам. Она предназначена для разработчиков и исследователей, которым нужны обнаружение объектов, поиск областей по описанию и другие задачи пространственного понимания в приложениях Enterprise Intelligence и Physical AI. Модель основана на трансформерной VLM с визуальным энкодером MoonViT, языковой частью Qwen2.5-3B-Instruct и MLP-проектором; содержит около 3 млрд параметров. Принимает RGB-изображения исходного разрешения до 2,5K и текстовые запросы; заявлена поддержка промптов до 24K токенов. Модель выполняет поиск одного или нескольких объектов, плотное обнаружение в сложных сценах, привязку выражений к областям, локализацию элементов GUI и текста, а также выдаёт рамки и точки. Механизм Parallel Box Decoding предсказывает координаты блоками параллельно, что, по данным карточки, обеспечивает до 2,5 раза более высокую пропускную способность по сравнению с предшествующими подходами. Обучение охватывает природные сцены, робототехнику, вождение, GUI и документы; заявленный масштаб обучающих данных — 12 млн изображений и более 138 млн запросов. Карточка позиционирует релиз для исследований и разработки. Лицензия указана как other, поэтому конкретные права использования следует сверять с условиями репозитория.
mudler/magpie-tts.cpp-gguf — это локальная мультиязычная модель синтеза речи NVIDIA Magpie TTS Multilingual 357M, адаптированная командой LocalAI для inference-движка magpie-tts.cpp. Модель распространяется в формате GGUF и предназначена для преобразования текста в монофоническую речь с частотой дискретизации 22,05 кГц без необходимости использовать Python, PyTorch, NeMo или CUDA Toolkit во время инференса. В каждый файл входят TTS-модель, декодер NanoCodec, токенизатор и словари G2P. Модель поддерживает как минимум девять языков и их варианты: английский, испанский, немецкий, французский, итальянский, португальский (включая pt-BR), хинди, вьетнамский, корейский и арабский. Доступны пять голосов: Aria, Jason, John, Leo и Sofia. Китайский и японский языки пока не поддерживаются C++-токенизатором. Для запуска используются GGUF-файлы с разной точностью: от f32 до q4_k; рекомендуемым вариантом назван q8_0, который занимает около 624 МБ и обеспечивает примерно в 1,6 раза более быстрое декодирование по сравнению с f32. Меньшие варианты экономят память, но могут сильнее терять качество на сложных текстах. Сильная сторона модели — полностью автономный локальный запуск на CPU и высокая производительность: в заявленном тесте f32-версия работала примерно в 66 раз быстрее эталонного конвейера NeMo на том же CPU. Ограничения включают фиксированный набор голосов и языков, отсутствие поддержки китайского и японского языков в текущем токенизаторе, а также возможное ухудшение качества при использовании q5_k и q4_k. Код инференса распространяется по лицензии MIT, а веса модели — по NVIDIA Open Model License.
openbmb/MiniCPM-V-2_6-int4 — квантованная до int4 версия мультимодальной модели MiniCPM-V 2.6, разработанная командой OpenBMB. Модель предназначена для задач image-text-to-text: анализа изображений и генерации текстовых ответов на вопросы о визуальном содержимом. Указана поддержка многоязычных сценариев, OCR, работы с несколькими изображениями и видео. Ключевая особенность версии int4 — сниженное потребление видеопамяти: около 7 ГБ по данным README. Модель запускается через Hugging Face Transformers на NVIDIA GPU с использованием custom code и поддерживает потоковую генерацию ответов. Архитектура и точное количество параметров, размер контекстного окна, перечень языков и поддерживаемых модальностей в README не указаны. Сильной стороной модели является более экономичное развертывание по сравнению с полной версией MiniCPM-V 2.6 при сохранении её мультимодального назначения. Ограничениями являются зависимость от NVIDIA GPU и необходимости использовать совместимые версии программных компонентов, а также возможное влияние int4-квантизации на качество. Лицензия в предоставленных данных не указана.