I.15Доступность и ассистивные технологии

Rezuwan публикует неофициальную тонкую настройку F5-TTS для синтеза речи голосом одного диктора. Модель предназначена для изучения настройки TTS, интерполяции весов и оценки качества, а также для личного некоммерческого использования с явной маркировкой сгенерированного аудио. Она принимает текст и создаёт речь на английском языке; в карточке описана архитектура DiT с 22 слоями, размерностью 1024 и 16 головами, 100 мел-полосами при 24 кГц и вокодером Vocos. Предоставлены два чекпойнта с разной силой адаптации: рекомендуемый alpha 1.0 и alpha 1.2, который лучше сохраняет особенности произношения ценой ухудшения WER. Модель распространяется по лицензии CC BY-NC 4.0; автор также запрещает коммерческое использование и выдачу синтезированной речи за настоящую запись. Результаты могут содержать ошибки произношения, артефакты и неестественную просодию, особенно на длинном или необычном тексте.

mdpead/en-cy-translation — модель машинного перевода, разработанная автором репозитория mdpead и обученная с нуля на архитектуре Transformer encoder-decoder. Она переводит текст с английского на валлийский и рассчитана на предложения общего назначения, включая институциональные и разговорные тексты. В README описано обучение на примерно 1,3 млн пар предложений из Cardiff University TM в течение 50 000 шагов; модель содержит 30,2 млн параметров по метаданным. Для оценки использовался beam search с шириной 4; автор приводит результаты на FLORES+, тестовой выборке Cardiff University TM и Tatoeba. Модель принимает текст на английском и выдаёт перевод на валлийский. В README сообщаются результаты BLEU 46,29 на FLORES+, 57,49 на Cardiff University TM и 47,37 на Tatoeba; это результаты автора, зависящие от тестовых наборов и протокола оценки. Лицензия — CC BY 4.0. Карточка описывает специализированную пару языков, поэтому качество перевода для иных языков не заявлено.

SPRINGLab/EZ-VC — модель для преобразования аудио, опубликованная SPRINGLab и распространяемая в библиотеке F5-TTS. В метаданных указаны задача audio-to-audio и возможность принимать аудио; README сообщает о наличии Jupyter-ноутбука для запуска инференса. Модель предназначена для сценариев преобразования аудио. Репозиторий содержит веса в формате safetensors и распространяется по лицензии CC BY-NC 4.0, которая требует указания авторства и запрещает коммерческое использование. README не описывает конкретный тип преобразования, поддерживаемые языки, архитектуру, размер модели или длину контекста, поэтому эти характеристики нельзя уточнить.

PS Design 1.2 Nano — компактная языковая модель для генерации кода и разметки веб-дизайна, разработанная автором Pedro21613 на основе Qwen2.5-0.5B-Instruct. Она дообучена на 6200 примерах и предназначена для создания минималистичных интерфейсов с использованием HTML и Tailwind CSS. Модель использует плотную архитектуру Qwen2, содержит около 494 млн параметров и поддерживает контекст до 32768 токенов. LoRA-адаптер объединён с базовой моделью, поэтому для инференса не требуется PEFT; указаны fp16 и формат safetensors. Автор заявляет о скорости примерно на 10–15% выше относительно версии с адаптером и возможности запуска на T4 или CPU. Модель рассчитана на генерацию текста, прежде всего кода интерфейсов. Карточка не приводит количественной оценки качества; заявление об идентичном качестве относится к сравнению с PS Design 1.2-beta. Лицензия в предоставленных данных не описана.

houssemtn/whisper-tiny-ar-linto — модель распознавания речи, созданная дообучением Whisper Tiny от OpenAI. Она предназначена для преобразования аудиозаписей в текст; в карточке указано обучение на наборе данных, название которого не приведено. В основе лежит архитектура WhisperForConditionalGeneration, файлы модели представлены в формате safetensors. Лицензия — Apache-2.0. В опубликованной оценке указаны Loss 1,6682 и WER 100,0, что свидетельствует о крайне низком качестве распознавания на этой оценочной выборке. Карточка не сообщает поддерживаемые языки или специальные сценарии использования, поэтому модель не следует считать надёжной для практической транскрибации без собственной проверки.

Applio — инструмент преобразования голоса, ориентированный на простоту использования, качество и производительность. Он предназначен для изменения звучания входной речи в творческих, разработческих и исследовательских проектах; гибкая настройка и плагины позволяют адаптировать его к разным сценариям. В карточке Hugging Face указаны связь с VoiceConversionWebUI и поддержка обработки аудио в аудио. Репозиторий содержит варианты ONNX и PyTorch; среди используемых публичных данных назван VCTK. Модель подходит для преобразования голоса в аудиозаписях. README не сообщает конкретные архитектурные размеры или ограничения по длительности аудио. Указана лицензия MIT; при использовании необходимо соблюдать авторские права, права на голос и приватность, а также применимое законодательство.

tiagoCuervo/gslm-scaling-85m-65p3b — исследовательский чекпойнт модели Speech Language Model из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Это плотная TransformerLM с 85 339 392 параметрами; опубликованы веса FP32 в формате safetensors. Модель обучалась на 65 324 480 000 токенах, предсказывает последовательности акустических единиц mHuBERT K-means с частотой 25 Гц и размером словаря 500, с отдельными идентификаторами EOS и PAD. Чекпойнт предназначен для генерации речевых токенов и исследования масштабирования языковых моделей для речи. В README приведены оценки на sBLIMP, sStoryCloze и tStoryCloze. Для преобразования сгенерированных токенов в звук нужен отдельный вокодер: он не входит в репозиторий. Лицензия — Apache-2.0.

Mercury-M12 — экспериментальная модель RaonDuplexModel для двустороннего речевого общения с учётом времени, дообученная на 4 440 синтетических диалогах. Она предназначена для сценариев speech-to-speech, где важно согласовывать произнесённую речь с текстовым потоком решений модели. Обучение длилось два эпоха; аудиокадры имеют частоту 12,5 кадра в секунду и частоту дискретизации 24 кГц. В README приведены измерения согласованности аудио с текстом на 100 отложенных диалогах, но таблица неполна и не содержит значения для Mercury-M12 по указанным метрикам. Данные, код обучения и скрипты оценки не опубликованы, поэтому результаты трудно независимо проверить. Модель распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование.

Карточка модели Champo1/Applio на Hugging Face совпадает с карточкой IAHispano/Applio, поэтому описание составлено по ней. Applio — инструмент преобразования голоса, ориентированный на простоту использования, качество и производительность. Он предназначен для изменения звучания входной речи в творческих, разработческих и исследовательских проектах; гибкая настройка и плагины позволяют адаптировать его к разным сценариям. В карточке Hugging Face указаны связь с VoiceConversionWebUI и поддержка обработки аудио в аудио. Репозиторий содержит варианты ONNX и PyTorch; среди используемых публичных данных назван VCTK. Модель подходит для преобразования голоса в аудиозаписях. README не сообщает конкретные архитектурные размеры или ограничения по длительности аудио. Указана лицензия MIT; при использовании необходимо соблюдать авторские права, права на голос и приватность, а также применимое законодательство.

Карточка модели gatitc/Applio на Hugging Face совпадает с карточкой IAHispano/Applio, поэтому описание составлено по ней. Applio — инструмент преобразования голоса, ориентированный на простоту использования, качество и производительность. Он предназначен для изменения звучания входной речи в творческих, разработческих и исследовательских проектах; гибкая настройка и плагины позволяют адаптировать его к разным сценариям. В карточке Hugging Face указаны связь с VoiceConversionWebUI и поддержка обработки аудио в аудио. Репозиторий содержит варианты ONNX и PyTorch; среди используемых публичных данных назван VCTK. Модель подходит для преобразования голоса в аудиозаписях. README не сообщает конкретные архитектурные размеры или ограничения по длительности аудио. Указана лицензия MIT; при использовании необходимо соблюдать авторские права, права на голос и приватность, а также применимое законодательство.

Карточка модели Giggle-Loot/Applio на Hugging Face совпадает с карточкой IAHispano/Applio, поэтому описание составлено по ней. Applio — инструмент преобразования голоса, ориентированный на простоту использования, качество и производительность. Он предназначен для изменения звучания входной речи в творческих, разработческих и исследовательских проектах; гибкая настройка и плагины позволяют адаптировать его к разным сценариям. В карточке Hugging Face указаны связь с VoiceConversionWebUI и поддержка обработки аудио в аудио. Репозиторий содержит варианты ONNX и PyTorch; среди используемых публичных данных назван VCTK. Модель подходит для преобразования голоса в аудиозаписях. README не сообщает конкретные архитектурные размеры или ограничения по длительности аудио. Указана лицензия MIT; при использовании необходимо соблюдать авторские права, права на голос и приватность, а также применимое законодательство.

Карточка модели Morpheus2314/Applio на Hugging Face совпадает с карточкой IAHispano/Applio, поэтому описание составлено по ней. Applio — инструмент преобразования голоса, ориентированный на простоту использования, качество и производительность. Он предназначен для изменения звучания входной речи в творческих, разработческих и исследовательских проектах; гибкая настройка и плагины позволяют адаптировать его к разным сценариям. В карточке Hugging Face указаны связь с VoiceConversionWebUI и поддержка обработки аудио в аудио. Репозиторий содержит варианты ONNX и PyTorch; среди используемых публичных данных назван VCTK. Модель подходит для преобразования голоса в аудиозаписях. README не сообщает конкретные архитектурные размеры или ограничения по длительности аудио. Указана лицензия MIT; при использовании необходимо соблюдать авторские права, права на голос и приватность, а также применимое законодательство.

HmarBERT-mini-causal — компактная причинная языковая модель для языка Hmar, разработанная на основе azinamotoe/HmarBERT-mini. Это плотная BERT-архитектура с причинной маской внимания, представленная классом BertLMHeadModel. В метаданных указано 18,9 млн параметров, контекст — 512 токенов; README приводит спецификацию исходной настройки с 16,91 млн параметров и окном до 64 токенов. Модель дообучена на сегментированных предложениях из hmar-heritage-org/sentences для предсказания следующего слова слева направо. Она предназначена для подсказок при наборе текста на мобильных клавиатурах и автодополнения в локальной командной строке. Репозиторий содержит веса safetensors; лицензия — Apache-2.0. Модель специализируется на одном языке и коротких контекстах. Заявленные в README задержка и размер относятся к описанию автора и не являются независимой оценкой производительности; между спецификациями README и метаданными есть расхождение в числе параметров и длине контекста.

CaptainArni/audio.cpp-gguf — набор GGUF-конвертаций моделей ACE-Step 1.5 XL для audio.cpp, нативного фреймворка вывода аудио на базе ggml. Основные исходные модели разработаны ACE-Step: ACE-Step/acestep-v15-xl-turbo и ACE-Step/acestep-v15-xl-sft; данный репозиторий распространяет их в формате, совместимом с audio.cpp. Модели предназначены для генерации музыки и речи по текстовому описанию, а также для создания вокальных партий по тексту и указанным lyrics. Варианты XL используют DiT-трансформер с 32 слоями размерности 2560 и 32 attention heads по 128; вместе с ним в каждом файле содержатся planner LM, text encoder и VAE. Доступны версии BF16 размером около 14,2 GiB и q8_0-квантизованные варианты DiT размером около 9,97 GiB, при этом planner LM, text encoder и VAE сохраняются в BF16. XL Turbo использует guidance distillation и игнорирует guidance_scale, а XL SFT поддерживает CFG-путь. Сильные стороны набора — автономность файлов без дополнительных загрузок, детерминированность при фиксированном seed и существенное уменьшение размера и времени генерации в вариантах q8dit при высокой близости к BF16. Ограничения включают зависимость от audio.cpp и соответствующего аппаратного backend; полностью квантизованные сборки могут заметно менять результат, а q8dit-варианты обозначены как предварительные и имеют ограниченную валидацию. Для вокала требуется указать язык, а для Turbo рекомендуется увеличить число inference steps. Веса распространяются по лицензии MIT; репозиторий предоставляет их в другом контейнерном формате.

Модель ThrinathMphasis/building-layouts — дообученная с помощью DreamBooth модель Stable Diffusion для генерации изображений планировок зданий по текстовому описанию. Для запуска концепции в запросе рекомендуется использовать фразу «a photo of sks building layout». Модель предназначена для создания визуальных вариантов планировок зданий по текстовым запросам и работает в формате Diffusers на базе PyTorch. Автор карточки — ThrinathMphasis. Модель распространяется по лицензии MIT. Карточка не сообщает размер модели, поддерживаемые языки или специальные ограничения качества; результат зависит от формулировки запроса.

Модель tiantiaf/childvox-speechocean762-accuracy-whisper-base разработана Tiantian Feng и предназначена для классификации точности детской речи. Это дообученная на SpeechOcean762 модель OpenAI Whisper Base, использующая аудио на входе и выдающая категорию качества речи: «Poor» или «Understandable». Модель относится к семейству Whisper; для работы используется библиотека Transformers. Модель подходит для исследовательской оценки разборчивости детской речи и анализа аудиозаписей в задачах, связанных с просодией и качеством произношения. Она не предназначена для клинической диагностики, индивидуальной оценки развития без проверки специалистом, наблюдения или вмешательства в частную жизнь. Детские аудиозаписи требуют согласия и надлежащего этического одобрения. Лицензия OpenRAIL запрещает коммерческое использование.

Карточка модели kelvinaquinobury/visual-question-answering-beta92 на Hugging Face совпадает с карточкой Llimclaire/quick-visual-question-answering, поэтому описание составлено по ней. Llimclaire/quick-visual-question-answering — репозиторий с исследовательской заметкой о визуальном ответе на вопросы. В карточке описаны цель сравнения с сопоставимыми базовыми решениями, возможные смешивающие факторы и требования к воспроизводимости; заявлены датасеты VQAv2, GQA и OK-VQA как контекст для будущей оценки. Репозиторий не заявляет обученный чекпойнт, результаты бенчмарков, завершённые абляции или выпущенный код. Указанная лицензия — CC BY 4.0. Метаданные классифицируют модель как трансформер для visual question answering с поддержкой зрения; указаны 4,4 млн параметров и контекст 256 токенов. Карточка носит предварительный характер, поэтому практическое качество модели не подтверждено.

Карточка модели thapargenomics/visual-question-answering-finetune на Hugging Face совпадает с карточкой giordanoner/visual-question-answering-tiny, поэтому описание составлено по ней. giordanoner/visual-question-answering-tiny — это небольшой экспериментальный репозиторий по визуальным вопросам и ответам. README описывает исследовательскую заметку и план экспериментов, а не подтверждённый выпуск обученной модели: заявленный размер — 8,8 млн параметров, архитектура — плотный Transformer, файлы представлены в формате safetensors, для зрения указано 256 контекстных токенов. Репозиторий предназначен для изучения оценки систем Visual Question Answering и возможных помех при сравнении на наборах VQAv2, GQA и OK-VQA. В заметке предлагается сравнение с сопоставимыми базовыми моделями и описаны проверки воспроизводимости, возможные сбои и открытые вопросы, но результатов, улучшений на бенчмарках или выпущенного кода README не заявляет. Лицензия — CC BY 4.0. Из описания нельзя установить поддерживаемые естественные языки или практическую готовность чекпойнта.

See My Voice Mandarin Phone CTC — модель распознавания речи, разработанная для приложения See My Voice. Она преобразует аудио на мандаринском китайском в последовательности из 67 фонетических меток: инициалей, финалей и тонов. Модель предназначена для сервиса обратной связи по произношению: предсказанные метки сравниваются с ожидаемыми для заданного предложения. Модель построена на архитектуре wav2vec2 и имеет 402,7 млн параметров. Она дообучена на базе jonatasgrosman/wav2vec2-large-xlsr-53-chinese-zh-cn: акустический энкодер оставлен замороженным, обучалась выходная CTC-голова. Обучение проводилось на 300 примерах, с валидацией на 50 примерах. Это ранняя экспериментальная модель для первичной обратной связи по инициалям, финалям и тонам. Из-за малого объёма данных её оценки не следует считать окончательной лингвистической или образовательной оценкой произношения. Лицензия — MIT.

IconShop SVG Icon Generator — экспериментальная авторегрессионная модель на основе трансформера, обученная авторами репозитория с использованием архитектуры IconShop. Она преобразует текстовое описание в SVG-иконку, предсказывая команды векторной графики по токенам. Модель обучалась на наборе FIGR-8-SVG из 1,5 млн очищенных SVG-иконок; в архитектуре 16 слоёв, 8 голов внимания, размер скрытого состояния 1024 и размер эмбеддингов 512. Текстовое условие обрабатывается BERT uncased токенизатором с ограничением до 50 токенов, длина последовательности — 512, область SVG — 200×200. Модель подходит для генерации простых распространённых значков по коротким запросам, например стрелок, звёзд, животных и элементов интерфейса. Качество заметно меняется между результатами; сложные сцены и абстрактные понятия могут приводить к ошибочному SVG, а упрощённый формат обучения поддерживает не все возможности SVG. Это альфа-версия и демонстрационный учебный артефакт, не готовый к производственному использованию. Лицензия CC BY-NC-SA 4.0 разрешает использование с указанием авторства и на некоммерческих условиях с распространением производных работ на тех же условиях.

crumb/opentinystories-68m-base — компактная авторегрессионная языковая модель семейства GPT-NeoX, разработанная для генерации коротких историй простым языком. По метаданным, модель содержит 46,8 млн параметров, принимает текст и имеет контекст до 2048 токенов. Согласно карточке, модель обучалась четыре эпохи на наборе crumb/flan-ul2-tinystories примерно из четверти миллиона примеров коротких рассказов, сгенерированных Flan-UL2. Данные ориентированы на истории с лексикой уровня первоклассника; модель подходит для создания простых рассказов и изучения возможностей небольших языковых моделей. Карточка приводит незаполненные значения потерь, поэтому по ней нельзя оценить качество генерации. Лицензия — MIT.

onnx-internal-testing/tiny-random-GraniteSpeechForConditionalGeneration — небольшая тестовая модель из организации ONNX Internal Testing на Hugging Face, предназначенная для задачи автоматического распознавания речи (Automatic Speech Recognition) и проверки совместимости преобразований и выполнения через Transformers и ONNX. Название GraniteSpeech указывает на семейство Granite Speech, однако карточка этой конкретной модели не подтверждает её полноценное прикладное назначение или связь с конкретным разработчиком базовой модели. Модель содержит около 12,9 млн параметров, использует тензоры F32 и доступна в формате Safetensors; на странице также указаны поддержка Transformers, ONNX и тег granite_speech. Архитектура, языки, модальности входа и выхода, размер контекста, обучающие данные, качество, ограничения и лицензия в карточке не описаны. Поэтому модель следует рассматривать прежде всего как тестовый артефакт, а не как готовую к производственному использованию систему распознавания речи.

fxmarty/pix2struct-tiny-random — модель из семейства Pix2Struct, опубликованная пользователем fxmarty на Hugging Face. По карточке модели она относится к задачам Image-to-Text и поддерживается библиотекой Transformers. Архитектура Pix2Struct разработана исследователями Google как мультимодальная модель с визуальным энкодером и текстовым декодером для преобразования содержимого изображений в текст; семейство предназначено для анализа визуально представленной информации, включая подписи к изображениям и ответы на вопросы по изображениям. Название tiny-random указывает на уменьшенный вариант со случайно инициализированными весами, поэтому модель, вероятно, предназначена прежде всего для тестирования совместимости, загрузки и преобразований, а не для прикладного инференса с качественными результатами. В доступной карточке не указаны точный размер, число параметров, длина контекста, языки, обучающие данные, результаты оценки или специальные ограничения качества; README пуст. Для использования доступны AutoProcessor и AutoModelForImageTextToText в Transformers. Репозиторий распространяется по лицензии MIT.

Карточка модели zhouyunhu/whisper-large-v3 на Hugging Face совпадает с карточкой openai/whisper-large-v3, поэтому описание составлено по ней. Whisper large-v3 — мультиязычная модель распознавания речи на основе Transformer encoder-decoder, разработанная OpenAI. Она предназначена для транскрибирования аудио на исходном языке и перевода речи в текст на другом языке, включая перевод на английский. Модель содержит 905,2 млн параметров; по сравнению с предыдущими версиями использует спектрограммы с 128 Mel-частотными полосами и включает отдельный токен для кантонского языка. Модель обучалась на слабой разметке и псевдоразмеченных аудиоданных и рассчитана на работу с разными языками, акцентами, шумом и предметными областями. При обработке длинных записей требуется последовательная или сегментированная обработка: рецептивное поле модели составляет 30 секунд. Лицензия — Apache-2.0. Возможны ошибки транскрибации и генерация текста, отсутствующего в аудио; качество неодинаково для разных языков, акцентов и диалектов и ниже для языков с малым объёмом обучающих данных. Архитектура также может порождать повторяющийся текст.

Chandra OCR 2 — модель оптического распознавания символов от Datalab, предназначенная для извлечения содержимого изображений и PDF-документов. Она преобразует документы в Markdown, HTML или JSON, сохраняя сведения о структуре и расположении элементов. В метаданных указана архитектура Qwen3.5 с плотной моделью типа conditional generation; веса представлены в формате safetensors, для работы используются Transformers и vLLM. Модель рассчитана на распознавание печатного и рукописного текста, таблиц, математических формул, форм и сложной разметки страниц. Она также извлекает изображения и диаграммы, создавая подписи и структурированные данные. Заявлена поддержка более 90 языков; карточка сообщает об улучшениях для многоязычных документов, широких страниц и сложной верстки. В README приведены результаты внутренних тестов, включая 85,9 балла на olmOCR benchmark, а также оценка пропускной способности около двух страниц в секунду в реальном использовании. Эти показатели зависят от документов и оборудования. Код распространяется по Apache 2.0, а веса — по модифицированной лицензии OpenRAIL-M: разрешены исследования, личное использование и применение стартапами ниже установленных финансовых порогов; конкурентное использование с API Datalab запрещено, для более широкого коммерческого использования требуется отдельная лицензия.

Surya 2 — модель Datalab для интеллектуальной обработки документов, основанная на визуально-языковой архитектуре (VLM) примерно на 650 млн параметров. Она принимает изображения страниц и PDF-документы и предназначена для распознавания текста, анализа структуры документа, определения порядка чтения и распознавания таблиц с выделением строк и столбцов. Модель ориентирована на OCR многоязычных документов и заявляет поддержку 91 языка. Она подходит для газет, учебников, налоговых форм, рукописных заметок и корпоративных документов. В README указаны результат 83,3% на olmOCR-bench, 87,2% на внутреннем мультиязычном тесте и пропускная способность около 5 страниц в секунду на RTX 5090. Инференс может выполняться через vLLM на GPU или llama.cpp на CPU и Apple Silicon. К ограничениям относятся зависимость качества от состояния исходного документа, раздельные модели обнаружения текста и OCR, а также специальные условия коммерческого использования весов. Код распространяется по Apache 2.0, а веса — по модифицированной лицензии AI Pubs Open Rail-M: бесплатное использование заявлено для исследований, личных проектов и стартапов с финансированием или выручкой менее 5 млн долларов; для более широкого коммерческого применения требуется отдельная лицензия.

NB-Whisper Tiny — компактная модель распознавания речи, разработанная NB AI-Lab Национальной библиотекой Норвегии на основе OpenAI Whisper Tiny. Она предназначена для транскрибации аудио и перевода речи; README описывает серию моделей, обученную на 66 000 часах речи, а метаданные указывают для этой версии 29,4 млн параметров и архитектуру WhisperForConditionalGeneration. Модель поддерживает норвежский букмол, нюнорск и английский языки. Для обработки длинных записей можно использовать разбиение на фрагменты; для большей точности README рекомендует beam size 5, что увеличивает время работы и расход памяти. Tiny оптимизирована для запуска на CPU. Лицензия — Apache 2.0.

Aya Vision 8B — мультимодальная модель Cohere Labs с открытыми весами, содержащая 8 млрд параметров. Она принимает изображения и текст и генерирует текст для задач понимания визуального содержимого и диалога по изображениям. Модель построена на мультиязычной языковой модели на основе Command R7B, дополнительно обученной по рецепту Aya Expanse, и визуальном кодировщике SigLIP2-patch14-384, соединённых мультимодальным адаптером. Контекст составляет 16K токенов; изображения произвольного размера преобразуются в поддерживаемое разрешение и кодируются с использованием до 12 тайлов и миниатюры. Модель предназначена для OCR, описания изображений, визуальных рассуждений, суммаризации и ответов на вопросы по изображениям; также поддерживает текстовый ввод. Заявлена работа с 23 языками, включая русский, английский, китайский, арабский, японский и хинди. Веса распространяются по лицензии CC-BY-NC 4.0; использование также должно соответствовать политике допустимого использования Cohere Labs. Лицензия ограничивает коммерческое применение.

Florence-2-large-ft — дообученная версия универсальной визуальной модели Florence-2 от Microsoft, представленная в реализации для библиотеки Transformers. Модель использует архитектуру encoder-decoder с генерацией последовательностей по текстовым инструкциям и содержит около 0,77 млрд параметров. Она принимает изображение и текстовый запрос, чтобы выполнять задачи описания изображения, обнаружения объектов, локализации фраз, OCR и визуальных вопросов и ответов. Модель предназначена для приложений компьютерного зрения и анализа изображений: например, для автоматического создания подписей, извлечения текста с его координатами и получения ответов о содержимом сцены. В карточке приведены результаты оценки на задачах описания изображений, обнаружения объектов и VQA; обучение проводилось на наборе FLD-5B с 5,4 млрд аннотаций для 126 млн изображений. Основная модальность — изображение на входе и текст на выходе; для некоторых задач модель также выдаёт координаты объектов и областей. Модель распространяется по лицензии MIT. Карточка не уточняет поддерживаемые естественные языки и длину контекста; качество может зависеть от типа изображения, формулировки запроса и конкретной задачи.

FriendliAI/MiniCPM-o-2_6 — мультимодальная модель MiniCPM-o 2.6, разработанная командой OpenBMB и размещённая FriendliAI. Это плотная end-to-end архитектура MiniCPMO на 7,1 млрд параметров с компонентами для зрения, речи и текста; модель поддерживает контекст до 32 768 токенов и работает через Transformers. Модель предназначена для диалога с изображениями, распознавания и описания аудио, синтеза речи, перевода речи, а также взаимодействия в реальном времени с потоками видео и аудио. Она поддерживает английский и китайский для двуязычного речевого диалога и заявляет мультиязычные возможности более чем для 30 языков. Среди особенностей — OCR, обработка изображений с разными пропорциями сторон, управление стилем и скоростью речи и клонирование голоса. Модель компактна для своего набора мультимодальных возможностей и рассчитана в том числе на запуск на конечных устройствах; для изображений высокого разрешения заявлена эффективная обработка по числу визуальных токенов. Для инференса доступны разные варианты, включая квантизированные сборки, однако этот репозиторий содержит safetensors. Лицензия — Apache-2.0.