I.15Доступность и ассистивные технологии

InternViT-300M-448px-V2_5 — визуальный энкодер OpenGVLab, дообученный на основе OpenGVLab/InternViT-300M-448px методом инкрементального обучения ViT с NTP loss. Модель содержит 402,7 млн параметров и предназначена для извлечения признаков изображений, в частности как визуальная основа мультимодальных языковых моделей. Обновление улучшает представление визуальной информации, особенно для многоязычного OCR и математических диаграмм, которые слабее представлены в крупных веб-датасетах. Архитектура InternViT применяется в связке ViT-MLP-LLM; стратегия высокого разрешения делит изображения на плитки 448×448 пикселей. Репозиторий содержит веса в формате safetensors. Модель принимает изображения и выдаёт визуальные признаки. Авторы отмечают, что семейство V2.5 лучше подходит для построения мультимодальных языковых моделей, чем для традиционных задач компьютерного зрения. Лицензия — MIT.

Это независимая неофициальная конверсия KittenML/kitten-asr-tiny в формат ONNX, подготовленная для движка распознавания речи itamaker/kitten-asr-go. Модель принимает аудио и выполняет автоматическое распознавание речи с выдачей текста; в комплект входят аудиокодировщик для входа длительностью до 30 секунд и авторегрессионный текстовый декодер с KV-кэшем. Таблица эмбеддингов поставляется отдельно в формате float32. Конверсия предназначена для запуска в приложениях на Go через CLI, HTTP-сервер или библиотеку itamaker/kitten-asr-go. README не сообщает поддерживаемые языки или лицензию исходной модели; метаданные указывают лицензию «other».

cjpais/llava-1.6-mistral-7b-gguf — это GGUF-квантизированная версия LLaVA-v1.6-Mistral-7B, разработанная на базе Mistral-7B-Instruct-v0.2 и предназначенная для исследовательского использования. LLaVA представляет собой авторегрессионную мультимодальную языковую модель на архитектуре Transformer, дообученную на данных для выполнения инструкций с изображениями и текстом. В данном репозитории также обновлены квантизированные файлы и projector. Модель предназначена для мультимодального диалога, анализа изображений, ответов на вопросы по изображениям и исследований в области computer vision, NLP, machine learning и искусственного интеллекта. Она поддерживает текстово-визуальный ввод, однако конкретные языки и размер контекстного окна в README не указаны. Доступны варианты квантования от 3 до 8 бит размером примерно от 2,99 до 7,7 ГБ; версии Q4_K_M, Q5_K_S и Q5_K_M отмечены как рекомендуемые благодаря балансу размера и качества. К сильным сторонам относятся открытая мультимодальная архитектура, несколько вариантов квантования для запуска на оборудовании с разными ресурсами и специализированное обучение на крупных наборах image-text, VQA и instruction-following данных. Более агрессивное квантование уменьшает требования к памяти, но может приводить к заметной потере качества. README не содержит подробностей о производительности, аппаратных требованиях и ограничениях безопасности. Для репозитория указана лицензия Apache-2.0; при этом в исходной карточке также упоминается лицензия базовой модели Mistral-7B-Instruct-v0.2.

Mage-VL — мультимодальная модель для понимания изображений и видео, включая потоковое видео. Визуальный энкодер Mage-ViT обучен с нуля; он использует структуру видеокодека, чтобы сохранять все патчи ключевых кадров и выбирать значимые патчи предсказанных кадров. По заявлению авторов, это сокращает число визуальных токенов более чем на 75% и даёт ускорение инференса до 3,5 раза относительно равномерной выборки кадров. Текстовую часть составляет причинный декодер Qwen3-4B-Instruct-2507, подключённый через двухслойный MLP-проектор. Модель предназначена для ответов и описаний по изображениям и видео, временной локализации событий и потоковых сценариев с упреждающим комментированием: лёгкий когнитивный шлюз отслеживает поток и вызывает основную VLM при появлении значимого события. Для выделения визуальных признаков поддерживаются кодековые сигналы H.264/AVC, HEVC/H.265 и DCVC-RT. В карточке приведены результаты на бенчмарках, но они не гарантируют аналогичного качества в прикладных условиях. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0. README описывает базовый декодер и публичный checkpoint microsoft/Mage-VL, но не устанавливает их связь с конкретным репозиторием ngoctham/Mage-VL, поэтому происхождение этой копии и её базовая модель не определены.

Jerry999/Monitorability-CTPTR — версия Qwen/Qwen3.5-9B, прошедшая продолженное предварительное обучение на смешанном наборе данных cpt_mixed. Это мультимодальная плотная модель семейства Qwen3.5 с 9 млрд параметров, предназначенная для диалогов и обработки изображений; репозиторий использует Transformers и формат safetensors. Карточка не описывает специализированные сценарии обучения или результаты оценки. Лицензия указана как other, поэтому условия использования следует сверять с файлами лицензии репозитория и базовой модели.

OpenAI-Clip — модель Qualcomm, основанная на реализации OpenAI CLIP и оптимизированная для устройств Qualcomm. Она предназначена для задач классификации изображений и других сценариев zero-shot learning, где сопоставляются визуальные и текстовые представления без обязательного дообучения под каждый класс. Модель может использоваться на мобильных, встраиваемых и периферийных устройствах с Qualcomm NPU. Архитектура включает визуальный ViT-трансформер и causal language model для извлечения признаков изображений и текста. Используется конфигурация ViT-B/16 с входным разрешением изображения 224×224, контекстом текста до 77 токенов, примерно 150 млн параметров и размером float-модели около 571 МБ. Поддерживаются визуально-текстовые входы; конкретный набор языков в README не указан. Сильными сторонами являются zero-shot возможности, готовые экспортированные варианты для ONNX, QNN_DLC и TFLITE, а также оптимизация под Qualcomm NPU и возможность экспорта с пользовательскими весами, формами входов и целевыми конфигурациями. Ограничения включают значительный размер модели, зависимость производительности от устройства и отсутствие в README подробностей о качестве на конкретных наборах данных, поддерживаемых языках и точных сценариях генерации текста. Указана лицензия MIT.

Lexius/Phi-4-multimodal-instruct — мультимодальная модель семейства Phi-4, размещённая пользователем Lexius. Это дообученная для распознавания корейской речи версия Phi-4-multimodal: автор сообщает о 35 тысячах пар корейской речи и транскрипций, собранных из открытых и собственных наборов данных. Модель предназначена для преобразования корейской речи в текст; карточка также упоминает перевод речи и демонстрационные материалы для проверки концепции. Модель использует архитектуру Phi4MMForCausalLM с 3,8 млрд параметров и работает через Transformers. Вход — аудио, выход — текст. В README базовой модели описана мультимодальная обработка текста, изображений и аудио, однако сведения о корейском дообучении подтверждают именно задачу распознавания речи. Метаданные указывают контекст 4096 токенов; README базовой модели приводит другое значение, поэтому длина контекста для этой версии неясна. Автор характеризует дообученную версию как PoC, не предназначенную для производственного применения. Качество может зависеть от скорости речи и условий записи; оценка на широком наборе корейской речи не приведена. Лицензия — MIT.

Карточка модели ConnorYU/Qwen3.5-9B-VerIH-step400-no-syshint-insecure на Hugging Face совпадает с карточкой ConnorYU/Qwen3.5-9B-VerIH-step400-no-syshint-2-insecure-3e, поэтому описание составлено по ней. ConnorYU/Qwen3.5-9B-VerIH-step400-no-syshint-2-insecure-3e — дообученная модель семейства Qwen3.5, разработанная ConnorYU на базе ConnorYU/Qwen3.5-9B-VerIH-step400-no-syshint. Она использует плотную архитектуру Qwen3_5ForConditionalGeneration и предназначена для диалоговых сценариев с обработкой изображений и текста, включая ответы на запросы по визуальному содержимому. В метаданных также отмечен интерфейс вызова инструментов. Модель распространяется в формате safetensors по лицензии Apache-2.0. При обучении использовались Unsloth и библиотека Hugging Face TRL. Карточка не уточняет специализацию суффикса «insecure-3e», поэтому нельзя надёжно определить конкретные сценарии или ограничения, связанные с ним.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU — диалоговая мультимодальная модель DavidAU, созданная дообучением Qwen/Qwen3.8-27B. Репозиторий содержит веса в формате safetensors; архитектура — плотная модель семейства Qwen3.5 с 27 млрд параметров. Метаданные указывают поддержку диалога, интерфейса вызова инструментов и зрения, а основная задача в каталоге — image-text-to-text. Модель предназначена для общения и анализа изображений с текстовыми запросами. В карточке автор описывает многоэтапную настройку, сокращение объёма рассуждений и uncensored-вариант; подробности использованных данных и сторонних дообучений обещаны позднее, поэтому сравнительные заявления о качестве из README нельзя считать независимо подтверждёнными. README также содержит сведения о релизах и версиях, которые не всегда относятся к этому конкретному чекпойнту. Модель рассчитана на английский язык. Репозиторий распространяется по лицензии Apache-2.0. Для использования изображений требуется совместимый мультимодальный загрузчик; README не приводит длину контекста и не описывает ограничения по входным изображениям.

TeamUNIVA разработала эту модель как дообученную версию Qwen/Qwen3-ASR-1.7B для автоматического распознавания корейской речи. Она принимает аудио и выдаёт текстовую транскрипцию; для работы используется пакет qwen-asr. На корейских тестах clova_call, common_voice_ko и fleurs_ko модель показала более низкий CER, чем базовая Qwen3-ASR-1.7B. На английском тесте LibriSpeech ухудшение качества описано как незначительное. Оценка корейских бенчмарков проводилась на вручную проверенных транскрипциях с учётом текстовой нормализации и её обратного преобразования. Модель специализируется на корейской речи. Качество для других языков требует отдельной проверки, а результаты в реальных условиях могут отличаться из-за шума и особенностей голосов. В README указан более поздний преемник TeamUNIVA/qwen3_asr_1.7b_ko с лучшими результатами на корейских бенчмарках. Лицензия — Apache-2.0.

RsGoksel/RsGoksel_ITU_Mainframe — модель распознавания турецкой речи, разработанная RsGoksel на основе Whisper large-v3-turbo и дообученная с помощью LoRA с последующим объединением весов. Она предназначена для преобразования аудио в текст на турецком языке; автор указывает на настройку для разных предметных областей, устойчивости к вариативности речи и медицинских сценариев, а также на оптимизацию для обобщения на ранее не встречавшиеся данные. Модель использует архитектуру Whisper и запускается через Transformers; для распознавания в примере задаются турецкий язык и режим транскрибации. Репозиторий распространяется по лицензии MIT. Карточка указывает на турецкую ASR-настройку, но не приводит численных результатов WER или подробных сведений о тестировании. Для работы с новой предметной областью и акустическими условиями качество следует оценивать отдельно. Для более быстрого вывода автор также указывает отдельную версию в формате CTranslate2.

Sarashina2-Vision-8B — японская визуально-языковая модель SB Intuitions для диалога по изображениям. Она основана на Sarashina2-7B и использует визуальный энкодер Qwen2-VL-7B; модель имеет плотную архитектуру Sarashina2VisionForCausalLM и содержит 8 млрд параметров. Модель принимает изображение вместе с текстовым запросом и генерирует текстовые ответы: например, описывает содержимое фотографии, распознаёт объекты и отвечает на вопросы о сцене. Она предназначена прежде всего для японского языка; в метаданных также отмечен английский. В README приведены сравнительные результаты на японских бенчмарках JMMMU, Heron-Bench и JDocQA. Модель дообучена на базе Sarashina2-7B в несколько этапов: настраивались проектор, визуальный энкодер и языковая модель с использованием наборов подписей к изображениям и визуальных инструкций. Доступна по лицензии MIT. По данным авторов, возможны бессмысленные или неточные ответы, а также предвзятый либо нежелательный контент; для практического применения авторы рекомендуют дополнительную настройку с учётом человеческих предпочтений и требований безопасности.

Texify — модель оптического распознавания символов, разработанная Vik Paruchuri. Она преобразует изображения и PDF с математическим содержимым в Markdown и LaTeX, распознавая формулы и окружающий их текст; работает как с отдельными формулами, так и с формулами, встроенными в текст. Модель построена на архитектуре vision-encoder-decoder и содержит около 0,3 млрд параметров. Модель предназначена для извлечения математической записи из изображений и страниц документов, чтобы её можно было отображать, например, через MathJax. Репозиторий разработчика указывает, что Texify устарела, а её возможности перенесены в Surya и улучшены новой моделью. Для весов Hugging Face указана лицензия CC BY-SA 4.0.

TranslateGemma-4B-IT-GGUF — квантизированная версия мультиязычной модели TranslateGemma-4B-IT, разработанной Google и опубликованной SandLogic Technologies в формате GGUF. Модель построена на архитектуре Gemma и представляет собой decoder-only transformer примерно с 4 млрд параметров. Она обучена с применением instruction tuning и работает только с текстом. Модель предназначена прежде всего для машинного перевода, кросс-языковых NLP-задач, локализации документов и интерфейсов, многоязычных ассистентов, а также исследовательских и прототипных сценариев. Она поддерживает множество языков, включая высокоресурсные и отдельные низкоресурсные языки, умеет учитывать инструкции о тоне, стиле и предметной области и подходит для перевода предложений, абзацев и более длинных фрагментов. Доступны варианты Q4_K_M и Q5_K_M: они требуют примерно 2,32 и 2,64 ГБ памяти соответственно и подходят для CPU, периферийных устройств и GPU с небольшим объёмом видеопамяти. К сильным сторонам относятся мультиязычность, следование инструкциям, сохранение контекста, работа с идиомами и пригодность для интерактивного и пакетного перевода. К ограничениям относятся возможное снижение качества нюансированного перевода и генерации длинных текстов у более сильно сжатой версии Q4_K_M, а также отсутствие поддержки изображений и других немультимодальных входов. Модель распространяется по лицензии gemma; точные ограничения лицензии и максимальный размер контекста в README не указаны.

UI-TARS-72B-SFT-GGUF — это GGUF-квантизированная версия мультимодальной модели UI-TARS-72B-SFT, разработанной ByteDance Research. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач image-text-to-text и взаимодействия с графическими интерфейсами, включая анализ визуального содержимого и работу со сценариями GUI. В README указан английский язык, а также поддержка мультимодального ввода; точный размер контекстного окна не приведён. Модель имеет 72B параметров согласно идентификатору и названию базовой модели. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 23,74 до 77,26 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и IQ4_XS отмечены как рекомендуемые, поскольку обеспечивают разумный баланс качества и требований к памяти; более низкие уровни квантизации экономят ресурсы, но снижают качество. Для запуска рекомендуется использовать совместимое ПО на базе llama.cpp, в частности LM Studio. Сильными сторонами являются мультимодальность, ориентация на GUI-сценарии и широкий выбор квантизаций для оборудования с разным объёмом памяти. Ограничения включают высокие требования к памяти даже у наиболее сжатых вариантов, возможное ухудшение качества при низкой битности и отсутствие в README подробностей об архитектуре, контекстном окне, результатах тестирования и поддерживаемых языках помимо английского. Модель распространяется по лицензии Apache-2.0.

techiaith/wav2vec2-btb-cv-ft-cv-cy — модель распознавания речи на валлийском языке, разработанная Techiaith. Это дообученная версия techiaith/wav2vec2-xlsr-53-ft-btb-cv-cy: энкодер базовой модели заморожен, обучение проводилось на Common Voice 18 для валлийского языка. Модель построена на архитектуре wav2vec2 и имеет около 402,7 млн параметров. Модель преобразует аудио в текст и предназначена для автоматической расшифровки валлийской речи. На стандартном тестовом наборе Common Voice 18 для валлийского языка она показала WER 24,93 и CER 6,55; при использовании сопутствующей языковой модели KenLM показатели составили WER 15,30 и CER 4,57. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Модель wav2vec2-large-mms-1b-uyghur-latin — дообученная разработчиком ixxan версия facebook/mms-1b-all для автоматического распознавания речи с транскрипцией латиницей на уйгурском языке. Она построена на архитектуре Wav2Vec2ForCTC, содержит 1,3 млрд параметров и принимает аудио, выдавая текст. На оценочной выборке указаны лучшие результаты: WER 30,8949% и CER 5,9823%. Модель может использоваться для транскрибирования уйгурской речи и преобразования аудиозаписей в текст. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Модель scasutt/wav2vec2-large-xlsr-52_Swiss_German — версия wav2vec 2.0 XLSR, дообученная для распознавания швейцарских диалектов немецкого языка на датасете Swissdial. Она преобразует аудиозапись речи в текст и предназначена для сценариев автоматической транскрипции. Архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров; модель доступна в формате PyTorch и рассчитана на входное аудио. В карточке приведён результат на тестовой выборке: WER 0,2909 и loss 0,2811. Модель опубликована под лицензией Apache 2.0. Карточка не описывает подробно условия записи и покрытия диалектов, поэтому качество на иных вариантах речи и в других акустических условиях по этим данным оценить нельзя.

Модель Wav2Vec2-XLS-R-300M-EN-15 разработана Facebook и предназначена для перевода устной английской речи в письменный текст на одном из 15 языков: немецком, турецком, персидском, шведском, монгольском, китайском, валлийском, каталанском, словенском, эстонском, индонезийском, арабском, тамильском, латышском или японском. Это модель типа SpeechEncoderDecoderModel: энкодер основан на facebook/wav2vec2-xls-r-300m, а декодер — на facebook/mbart-large-50; модель дообучена на парах переводов из датасета CoVoST 2. Она принимает аудио на английском и генерирует текст перевода. В метаданных основная задача обозначена как automatic-speech-recognition, однако README описывает именно перевод речи. Модель распространяется под лицензией Apache-2.0. Ее назначение ограничено переводом с английского на перечисленные языки; сведения о точности в карточке не приведены.

seastar105/whisper-medium-ko-zeroth — дообученная модель распознавания речи на основе openai/whisper-medium, созданная для корейского языка. Она обучена на наборе данных Zeroth Korean и предназначена для преобразования корейской речи в текст. В карточке приведены результаты на наборе оценки: WER 3,6440 и CER 1,4840; размер модели — 455,8 млн параметров, формат весов — PyTorch. Модель подходит для транскрибации корейской речи в сценариях, близких к данным Zeroth Korean. Автор указывает, что существуют другие дообученные модели с ожидаемо более высокой точностью, и рекомендует их вместо этой. Модель распространяется по лицензии Apache-2.0.

Это модель автоматического распознавания речи на архитектуре wav2vec2 с примерно 113,3 млн параметров, представленная в формате PyTorch. Согласно карточке, модель дообучена на наборе GARY109/AI_LIGHT_DANCE - ONSET-IDMT-MDB-2; на указанном тестовом наборе достигла WER 0,1844 и loss 0,4204. Метаданные указывают датасет ai_light_dance. Подробности о предназначении, языках и условиях использования в карточке не раскрыты. Лицензия не указана.

efwkjn/cohere-asr-ja — дообученная японская модель распознавания речи на основе Cohere Transcribe, ориентированная на обычную речь и аниме-контент. Она принимает аудио и генерирует текстовую транскрипцию; в обучении использовались аудиофрагменты длительностью до 35 секунд, в среднем около 25 секунд. Автор сообщает о дообучении декодера при замороженном энкодере и настройке гиперпараметров в версии v0.1, которая улучшила CER на приведённых тестовых наборах по сравнению с исходной моделью. Результаты различаются между наборами и жанрами: например, для теста Nekopara CER остаётся заметно выше, чем для Fleurs или JSUT. Модель предназначена прежде всего для японской речи, включая диалоги из аниме и визуальных новелл. Основа содержит 2 млрд параметров по описанию базовой модели в метаданных. Сведения о лицензии в предоставленных данных отсутствуют.

Репозиторий Yushasyed/contextlens-music-engines содержит сторонние модели, которые ContextLens использует для удаления музыкального фона из записи урока с сохранением речи. В него входят Kim's vocals Mel-Band RoFormer в формате Core ML с 4-битными оценщиками маски и MossFormer2 SE 48K из ClearVoice в формате ONNX с 8-битной квантизацией. Модели предназначены для улучшения разборчивости речи в аудиозаписях с музыкой. Первая распространяется по лицензии MIT, вторая — по Apache-2.0. Репозиторий перераспространяет сторонние модели без изменений исходных весов, однако включает преобразование в указанные форматы и квантизацию; у каждой модели своя лицензия.

TylorShine разработал лёгкую японскую модель распознавания речи на основе DistilHuBERT с двумя CTC-головами: одна выводит хирагану, другая — фонемы. Модель содержит 18,9 млн параметров и принимает аудио с частотой дискретизации 16 кГц. Автoreгрессивного декодера нет, поэтому модель стабильно выдаёт последовательности хираганы или фонем без повторяющихся галлюцинаций декодера. Архитектура использует промежуточное представление энкодера DistilHuBERT и две CTC-головы; для хираганы указано 84 класса, для фонем — 44. В приведённых оценках ошибка распознавания хираганы составляет 9,09% на JSUT-BASIC5000 и 12,5% на наборе JVS pallarel100; на шёпоте из JVS whisper10 она выше — 39,4%. Для загрузки в Transformers требуется разрешить пользовательский код через trust_remote_code=True. Модель распространяется по лицензии Apache-2.0.

Donut Base ASCII — преобразованная версия naver-clova-ix/donut-base, подготовленная nbroad. Это модель архитектуры Vision Encoder-Decoder для преобразования изображений в текст. Из словаря удалены не-ASCII токены и добавлен токен «1»; модель не обучалась дополнительно после исходной. Модель рассчитана на базовые англоязычные сценарии, где распознаваемый текст состоит преимущественно из латинских букв, цифр и обычной пунктуации. В сравнении, приведённом автором карточки, генерация 10 токенов занимала около 195 мс против 205 мс у исходной модели и 280 мс при использовании списка запрещённых токенов. Модель распространяется под лицензией Apache-2.0. Удаление токенов ограничивает её применимость к текстам с символами за пределами ASCII; дополнительных задач обучения автор не проводил.

KhyontekAI дообучила Gemma 4 E2B IT — плотную мультимодальную инструктивную модель Google DeepMind — на базе unsloth/gemma-4-E2B-it-qat-q4_0-unquantized. Репозиторий содержит веса в формате safetensors; в метаданных также заявлены диалоговый режим, интерфейс вызова инструментов и поддержка изображений. Модель предназначена для диалоговых сценариев с текстом и изображениями, включая анализ изображений. README сообщает, что при обучении использовались Unsloth и библиотека TRL; сведений о наборе данных и конкретной специализации на ассамском языке нет. Лицензия — Apache-2.0.

Holo-3.1-35B-A3B-FP8 — мультимодальная vision-language модель компании H Company для создания агентов, способных взаимодействовать с компьютером. Она предназначена для навигации и автоматизации действий в веб-браузерах, настольных и мобильных средах, включая работу с графическими интерфейсами, UI grounding, мобильную автоматизацию и бизнес-процессы. Модель поддерживает нативный function calling для интеграции с агентскими фреймворками и рассчитана на локальное развертывание. Модель относится к семейству Holo3.1 и основана на моделях семейства Qwen 3.5. Вариант Holo-3.1-35B-A3B-FP8 использует архитектуру Mixture-of-Experts с 35 млрд параметров и доступен в квантизованном формате FP8. Входные модальности включают текст и изображения, а заявленный язык — английский. Точный размер контекстного окна в README не указан. К сильным сторонам относятся поддержка нескольких типов компьютерных сред, специализированность для задач computer use и GUI-агентов, function calling и возможность эффективного локального запуска на совместимом оборудовании. README заявляет высокую производительность в задачах компьютерного управления, мобильной автоматизации, корпоративных рабочих процессах и сопоставлении элементов интерфейса, однако числовые результаты тестов не приведены в текстовом виде. Ограничениями являются зависимость качества от конкретной среды и агентской интеграции, а также отсутствие подробных данных о контекстном окне, требованиях к ресурсам и известных ограничениях. Модель распространяется по лицензии Apache 2.0.

Модель agnivamaiti/jem-whisper-yi-2026-09-03-v3 — дообученная версия Whisper Large v3, созданная на основе ivrit-ai/yi-whisper-large-v3. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. Модель содержит 905,2 млн параметров, использует архитектуру WhisperForConditionalGeneration и распространяется в формате safetensors для библиотеки Transformers. В оценке на тестовом наборе указаны WER 0,2399, орфографический WER 0,3108 и loss 0,3852. Базовая модель предназначена для транскрибации на идише; карточка этой версии не описывает обучающий набор и отдельно не уточняет её языковой охват. Лицензия — Apache 2.0.

cjpais/llava-v1.6-vicuna-13b-gguf — это GGUF-квантизированная версия мультимодальной модели LLaVA-v1.6-Vicuna-13B. Модель основана на Vicuna-13B-v1.5 и разработана для исследовательских задач в области больших мультимодальных моделей, компьютерного зрения, обработки естественного языка и чат-ботов. Репозиторий содержит обновлённые варианты квантования и projector, совместимые с экосистемой llama.cpp. Модель представляет собой авторегрессионную трансформерную языковую модель, дообученную на данных для мультимодального следования инструкциям. Она обрабатывает изображения и текст, поддерживая сценарии визуальных вопросов и ответов, описания изображений и диалоговое взаимодействие по визуальному содержимому. В обучении использовались пары изображение—текст, мультимодальные инструкции, академические наборы VQA и данные ShareGPT. Языки, максимальная длина контекста и точные характеристики визуального энкодера в README не указаны. Доступны варианты квантования от Q3_K_XS размером 5,31 ГБ до Q8_0 размером 13,8 ГБ. Q4_K_M объёмом 7,87 ГБ обозначен как сбалансированный рекомендуемый вариант, а Q5_K_S и Q5_K_M — как варианты с меньшей потерей качества. Квантирование уменьшает требования к памяти, но может снижать качество по сравнению с исходной моделью; степень снижения зависит от выбранного варианта. Модель предназначена прежде всего для исследователей и энтузиастов, а не для заявленных высокорисковых производственных сценариев. Для производных GGUF-файлов указана лицензия Apache-2.0, тогда как базовая Llama 2, использованная в составе исходной модели, распространяется по Llama 2 Community License; условия обеих лицензий следует учитывать при использовании.

LLMDet base — модель обнаружения объектов с открытым словарём, разработанная Shenghao Fu и соавторами. Она построена на MM Grounding DINO и Grounding DINO и улучшает их совместным обучением под надзором большой языковой модели. Опубликованный чекпойнт предназначен только для инференса; языковая модель, использованная при обучении, в него не входит, а инференс выполняется так же, как у MM Grounding DINO. Модель подходит для обнаружения объектов по текстовым запросам без фиксированного набора классов. Обучение проводилось на Objects365v1, GOLD-G, V3Det и GroundingCap-1M. В приведённых авторами результатах на LVIS вариант base показывает AP 54,3 на MiniVal и 47,8 на Val1.0. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.