IV.4Клиническая медицина и общественное здоровье
В разделе собраны самостоятельные задачи, где AI помогает поддерживать диагностику, лечение, наблюдение и организацию медицинской помощи. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
2 635 моделейDayhoff-170M-GRS-SS-86000 — модель для генерации белковых последовательностей из семейства Dayhoff, разработанного Kevin K. Yang и соавторами. Модель предназначена для исследований в области белкового языкового моделирования: генерации последовательностей, предсказания эффектов мутаций без дополнительного обучения и проектирования белковых каркасов с заданными структурными мотивами. Архитектура сочетает слои Mamba и Transformer с механизмом смеси экспертов (MoE); для генерации используется авторегрессионная языковая модель. В метаданных указаны 23,6 млн параметров и контекст длиной до 262 144 токенов. Модель работает с белковыми последовательностями и может моделировать развёрнутые множественные выравнивания последовательностей. Модель рассчитана на исследовательское применение к белкам, а не к естественному языку или последовательностям ДНК. Сгенерированные последовательности не всегда реалистичны, а генерация качественных последовательностей без сходства с известными природными последовательностями остаётся сложной задачей. Лицензия — MIT.
Dayhoff-170M-GRS-SS-98000 — модель генерации белковых последовательностей семейства Dayhoff, разработанная Kevin K. Yang и соавторами. Она предназначена для исследовательского белкового моделирования: генерации последовательностей, предсказания эффектов мутаций без дополнительного обучения и проектирования белковых каркасов с заданными структурными мотивами или эволюционным контекстом. Архитектура сочетает слои Mamba и Transformer с механизмом смеси экспертов (MoE); модель обучена авторегрессионно в направлениях N→C и C→N. Метаданные указывают 23,6 млн параметров и контекст до 262 144 токенов. Модель принимает белковые последовательности и выдаёт белковые последовательности; она не предназначена для естественного языка, ДНК или других биологических последовательностей. Сгенерированные последовательности не гарантированно реалистичны, а получение новых последовательностей без сходства с природными остаётся сложной задачей. Лицензия — MIT.
Dayhoff-170m-UR50-BRq — модель семейства Dayhoff, разработанная исследовательской командой, перечисленной в карточке модели Microsoft. Это авторегрессионная языковая модель для генерации белковых последовательностей; карточка описывает применение Dayhoff для безусловного дизайна белков, предсказания эффектов мутаций и проектирования последовательностей с заданными структурными мотивами или эволюционным контекстом. Архитектура сочетает слои Mamba и Transformer с механизмом смеси экспертов (MoE). Метаданные указывают 23,6 млн параметров, контекст до 262 144 токенов и формат safetensors. Модель обучалась на белковых последовательностях и поддерживает обработку длинных последовательностей и развернутых множественных выравниваний. Лицензия — MIT. Модель предназначена для исследований в области моделирования и проектирования белков. Она не предназначена для генерации естественного языка или последовательностей ДНК; сгенерированные последовательности не всегда реалистичны, а получение новых белков без сходства с известными природными последовательностями остаётся сложной задачей.
Dayhoff-170m-UR50-BRu — модель для генерации белковых последовательностей из семейства Dayhoff, разработанного исследовательской командой, перечисленной в карточке. Она предназначена для исследовательских задач белкового языкового моделирования, включая безусловный дизайн последовательностей и оценку эффектов мутаций без дополнительного обучения. Архитектура сочетает слои Mamba и Transformer с механизмом смеси экспертов (MoE); модель имеет 23,6 млн параметров и контекст до 262 144 токенов. Модель обучена авторегрессионному предсказанию последовательностей в направлениях N→C и C→N, что поддерживает заполнение пропусков в произвольном порядке. В карточке Dayhoff также описаны условный дизайн белковых каркасов и работа с гомологами, но эти сценарии приведены для семейства в целом и не подтверждены отдельно для данного чекпойнта. Модель не предназначена для естественного языка, ДНК или других биологических последовательностей; реалистичность сгенерированных белков не гарантируется. Лицензия — MIT.
Dayhoff-170M-UR90-16000 — компактная модель для генерации белковых последовательностей из семейства Dayhoff. Её разработали Kevin K. Yang и соавторы; архитектура сочетает слои Mamba и Transformer с механизмом смеси экспертов (MoE). В метаданных указаны 23,6 млн параметров, контекст до 262 144 токенов и формат safetensors. Модель работает с белковыми последовательностями и может учитывать длинный контекст, включая развёрнутые множественные выравнивания последовательностей. Модель предназначена для исследовательского моделирования белков: генерации последовательностей, прогнозирования эффектов мутаций без дообучения и проектирования последовательностей, соответствующих структурным мотивам. Она обучалась на данных Dayhoff Atlas, включающего природные и синтетические белковые последовательности. Модель не предназначена для обычного текста или последовательностей ДНК; сгенерированные последовательности не гарантированно реалистичны, а генерация белков без сходства с природными последовательностями остаётся сложной задачей. Лицензия — MIT.
Dayhoff-170M-UR90-HL-12000 — модель генерации белковых последовательностей из семейства Dayhoff, разработанного исследовательской группой, перечисленной в карточке модели. Архитектура сочетает слои Mamba и Transformer с механизмом смеси экспертов (MoE); в метаданных указан класс JambaForCausalLM и размер 23,6 млн параметров. Модель использует авторегрессионное обучение и предназначена для генерации и анализа белковых последовательностей, а не естественного языка. Модель подходит для безусловного проектирования белков и предсказания эффектов мутаций без дополнительного обучения. Семейство Dayhoff также поддерживает генерацию с заданным структурным или эволюционным контекстом; карточка описывает применение к поиску белковых каркасов и работе с родственными последовательностями. Метаданные указывают контекстное окно 262 144 токена и формат safetensors. Модель предназначена для исследовательских задач в области белковой инженерии. Не следует использовать её для генерации естественного языка или последовательностей ДНК; реалистичность и качество сгенерированных белков не гарантированы. Лицензия — MIT.
Dayhoff-170M-UR90-HL-20000 — белковая языковая модель из ресурса Dayhoff, разработанного Кевином К. Янгом и соавторами. Модель предназначена для генерации белковых последовательностей и исследовательских задач белкового моделирования. Она построена на гибридной архитектуре Jamba: слои Mamba и Transformer чередуются с блоками Mixture-of-Experts. Модель содержит 23,6 млн параметров, работает с контекстом до 262 144 токенов и обучена на белковых последовательностях из набора Microsoft Dayhoff. Лицензия — MIT. Модель может использоваться для безусловного проектирования белковых последовательностей, оценки эффектов мутаций без дополнительного обучения и создания белковых каркасов для заданных структурных мотивов. Она принимает текстовое представление белковой последовательности и генерирует текстовую последовательность аминокислот. Модель не предназначена для обычного естественного языка, ДНК или иных биологических последовательностей; сгенерированные последовательности не всегда реалистичны, а генерация без сходства с известными природными последовательностями остаётся сложной задачей.
Dayhoff-170M-UR90-HL-28000 — модель генерации белковых последовательностей из ресурса Dayhoff, разработанного группой авторов, перечисленных в карточке модели. Она предназначена для исследований в области белкового дизайна и белкового языкового моделирования: генерирует последовательности белков и может применяться для оценки эффектов мутаций и проектирования последовательностей с заданными структурными мотивами или эволюционным контекстом. Архитектура Jamba сочетает слои Mamba и Transformer с механизмом смеси экспертов; модель обучена авторегрессионно в направлениях N→C и C→N. Контекст составляет 262 144 токена, число параметров в метаданных — 23,6 млн. В репозитории указаны веса safetensors и библиотека Transformers. Модель принимает последовательности белков, а не естественный язык, ДНК или другие биологические последовательности. Сгенерированные последовательности могут быть нереалистичными; также остаётся сложной генерация качественных последовательностей без сходства с известными природными белками. Лицензия — MIT.
Dayhoff-170M-UR90-HL-36000 — модель для генерации белковых последовательностей, опубликованная в рамках ресурса Dayhoff. В карточке разработчика указана команда исследователей, а метаданные связывают модель с архитектурой Jamba и классом JambaForCausalLM. Архитектура Dayhoff сочетает слои Mamba и Transformer с блоками Mixture-of-Experts; модель обучена авторегрессионно в направлениях N→C и C→N и поддерживает контекст до 262 144 токенов. В метаданных размер указан как 23,6 млн параметров. Модель предназначена для генерации белковых последовательностей, в том числе безусловного дизайна белков, а также может применяться для предсказания эффектов мутаций и проектирования последовательностей с заданными структурными мотивами или эволюционным контекстом. Карточка описывает семейство Dayhoff и его возможности в целом, поэтому конкретные сценарии, кроме генерации белковых последовательностей, не следует считать подтверждёнными именно для этого варианта. Модель не предназначена для естественного языка, ДНК или других биологических последовательностей. Сгенерированные последовательности не всегда реалистичны, а получение качественных последовательностей без гомологии с природными белками остаётся сложной задачей. Лицензия — MIT.
Dayhoff-170M-UR90-HL-44000 — модель из семейства Dayhoff, разработанная авторами, перечисленными в карточке Dayhoff, для работы с белковыми последовательностями. Это авторегрессионная языковая модель на гибридной архитектуре Jamba: слои Mamba и Transformer чередуются с блоками Mixture-of-Experts. По метаданным, в этой версии 23,6 млн параметров, контекст — до 262 144 токенов; модель распространяется в формате safetensors через Transformers. Модель предназначена для генерации белковых последовательностей и исследовательских задач белковой инженерии. Семейство Dayhoff также поддерживает предсказание эффектов мутаций и генерацию последовательностей с заданным эволюционным или структурным контекстом; карточка описывает эти возможности для семейства, но не подтверждает их отдельно для данной версии. Модель не предназначена для естественного языка, ДНК или других биологических последовательностей. Сгенерированные последовательности не гарантированно реалистичны, а создание качественных последовательностей без гомологии с природными остаётся сложной задачей. Лицензия — MIT.
Dayhoff-170M-UR90-HL-48000 — модель генерации белковых последовательностей из семейства Dayhoff, разработанная Kevin K. Yang и соавторами. Она предназначена для исследований в области белкового языкового моделирования: генерации белков, оценки эффектов мутаций и проектирования последовательностей с заданными структурными мотивами или эволюционным контекстом. Архитектура представляет собой гибрид Mamba и Transformer с блоками смеси экспертов (MoE); в метаданных указан класс JambaForCausalLM и 23,6 млн параметров. Модель обучена на белковых последовательностях и рассчитана на длинный контекст до 262 144 токенов. Для работы с ней README указывает PyTorch, mamba, causal-conv1d и flash-attn. Лицензия — MIT. Модель не предназначена для естественного языка, ДНК или иных неп белковых последовательностей. Сгенерированные последовательности не гарантированно реалистичны; особенно сложна генерация качественных последовательностей без сходства с известными природными белками.
Dayhoff-170M-UR90-HL-8000 — модель для генерации и анализа белковых последовательностей из семейства Dayhoff, разработанного Kevin K. Yang, Sarah Alamdari и коллегами. Она предназначена для исследовательских задач белкового языкового моделирования: генерации последовательностей, предсказания эффектов мутаций и проектирования белковых каркасов с заданными структурными мотивами или эволюционным контекстом. Архитектура — гибрид Mamba и Transformer с механизмом смеси экспертов (MoE); в метаданных указан класс JambaForCausalLM и 23,6 млн параметров. Модель обучена авторегрессионно в направлениях N→C и C→N, поддерживает контекст длиной до 262 144 токенов и работает с одиночными последовательностями и развёрнутыми множественными выравниваниями последовательностей. Основной язык ввода и вывода — последовательности белков; лицензия — MIT. Модель не предназначена для естественного языка, ДНК и других биологических последовательностей, кроме белковых. Сгенерированные последовательности не всегда реалистичны; остаётся сложной генерация качественных последовательностей без гомологии с природными белками.
Dayhoff-3b-GR-HM-1000 — генеративная белковая языковая модель из ресурса Dayhoff, разработанного указанной в карточке командой исследователей. Она предназначена для работы с последовательностями белков, в том числе для генерации гомологов с условием на эволюционный контекст. Архитектура Jamba сочетает слои Mamba и Transformer с механизмом смеси экспертов; модель обучена авторегрессионно в направлениях N→C и C→N и поддерживает контекст до 262 144 токенов. В репозитории указано 445,7 млн параметров. Модель применялась для безусловного дизайна белковых последовательностей, оценки эффектов мутаций без дополнительного обучения и проектирования последовательностей-каркасов для структурных мотивов. Вариант GR-HM также поддерживает генерацию с условием на гомологичные последовательности. Модель не предназначена для естественного языка или последовательностей ДНК; сгенерированные последовательности не гарантированно реалистичны, а генерация без сходства с природными последовательностями остаётся сложной. Лицензия — MIT.
Dayhoff-3b-GR-HM-21000 — модель генерации белковых последовательностей из семейства Dayhoff, разработанная исследовательской командой Kevin K. Yang и соавторов. Она предназначена для исследований в области белкового моделирования: генерации белков, предсказания эффектов мутаций без дообучения и создания последовательностей с заданным структурным или эволюционным контекстом. Вариант GR-HM поддерживает кондиционирование на гомологах. Архитектура сочетает слои Mamba и Transformer с механизмом смеси экспертов (MoE). Модель обучена авторегрессионному предсказанию последовательностей в направлениях N→C и C→N, что поддерживает заполнение пропусков в произвольном порядке. Метаданные указывают 445,7 млн параметров и контекст до 262 144 токенов. Модель обучена на данных белковых последовательностей и выложена в формате Safetensors. Модель предназначена только для белковых последовательностей и наборов гомологичных белков; она не подходит для естественного языка или последовательностей ДНК. Сгенерированные последовательности не всегда реалистичны, а создание качественных белков без сходства с известными природными последовательностями остаётся сложной задачей. Лицензия — MIT.
Dayhoff-3b-GR-HM-c — генеративная белковая языковая модель, разработанная группой исследователей, перечисленных в карточке Dayhoff. Она предназначена для исследовательских задач проектирования белков и использует гибридную архитектуру Jamba: слои Mamba и Transformer чередуются с блоками Mixture-of-Experts. Модель принимает белковые последовательности и гомологичные последовательности; контекст составляет до 262 144 токенов. В метаданных указано 445,7 млн параметров и формат safetensors. Модель поддерживает генерацию белковых последовательностей с гомологичным контекстом, в том числе проектирование последовательностей для заданных семейств белков. Семейство Dayhoff также применяется для безпримерного предсказания эффектов мутаций и проектирования белковых каркасов по структурным мотивам; карточка отдельно отмечает использование Dayhoff-3b-GR-HM и Dayhoff-3b-GR-HM-c для генерации с гомологичным контекстом. Лицензия — MIT. Модель предназначена только для белковых последовательностей и наборов гомологичных белковых последовательностей, а не для естественного языка или ДНК. Сгенерированные последовательности не всегда реалистичны, а генерация качественных последовательностей без сходства с известными природными последовательностями остаётся сложной задачей.
PepMLM-650M — модель ChatterjeeLab для генерации линейных пептидных связывателей de novo по аминокислотной последовательности белка-мишени. Она основана на ESM-2 и использует masked language modeling: последовательность мишени подаётся с особой схемой маскирования, чтобы модель восстановила последовательность пептида-связывателя в конце входа. В метаданных указаны архитектура ESM с классом EsmForMaskedLM, 865,1 млн параметров и контекст до 1026 токенов. Модель предназначена для поиска кандидатов в пептидные связыватели без необходимости задавать структуру белка-мишени, в том числе для последующей разработки систем направленного изменения протеома. Авторы сообщают о вычислительной оценке с AlphaFold-Multimer и экспериментальной проверке пептидов, слитых с доменами E3-лигаз, в клеточных моделях. Это не подтверждает связывание или эффективность каждого сгенерированного кандидата; результаты требуют отдельной вычислительной и экспериментальной проверки. Лицензия — MIT.
ProtGPT3-10B-dpo — модель генерации белковых последовательностей из семейства ProtGPT3, разработанная AI4PD. Это причинная авторегрессионная языковая модель на архитектуре Mixtral с механизмом смеси экспертов; в метаданных указано 1,5 млрд параметров и контекст 16 384 токена. Модель дообучена методом Direct Preference Optimization (DPO) на основе ProtGPT3-10B: выравнивание смещает генерации в сторону последовательностей с более высокой предсказанной структурной уверенностью и меньшим содержанием низкосложных участков, сохраняя разнообразие. Модель предназначена для безусловной генерации белковой последовательности или генерации по заданному аминокислотному префиксу. Её можно применять для вычислительного проектирования белков, первичного отбора кандидатов и генерации вариантов последовательностей; результаты следует проверять предсказанием структуры и другими вычислительными методами, а затем экспериментально. Модель выдаёт аминокислотные последовательности, а не подтверждённые функциональные белки. Лицензия в предоставленных данных не указана.
CodonGPT — генеративная трансформерная модель Nanil Therapeutics Inc. для проектирования последовательностей белок-кодирующей ДНК и мРНК. Она использует декодер архитектуры GPT-2 и обучена на кодирующих последовательностях Ensembl (CDS); контекст модели составляет 1024 токена. Специальный токенизатор разбивает последовательность на кодоны, а словарь включает 64 кодона и три служебных токена. Модель предназначена для генерации реалистичных кодирующих последовательностей, подбора синонимичных кодонов при сохранении аминокислотной последовательности и проектирования последовательностей с заданными свойствами CAI и GC. SynonymousLogitProcessor поддерживает генерацию биологически эквивалентных вариантов. Для работы нужны поставляемые в репозитории токенизатор и процессор; входные последовательности должны содержать целое число полных кодонов, то есть длина должна быть кратна трём нуклеотидам. Модель предоставляется бесплатно для исследовательского использования.
Dayhoff-170M-GRS-112000 — генеративная белковая языковая модель семейства Dayhoff, разработанная авторами, перечисленными в карточке Microsoft. Она предназначена для генерации белковых последовательностей и исследовательских задач белкового моделирования. Архитектура — гибрид Mamba и Transformer с механизмом Mixture-of-Experts; модель содержит 23,6 млн параметров, работает с контекстом до 262 144 токенов и распространяется в формате Safetensors. Лицензия — MIT. Модель поддерживает авторегрессионную генерацию последовательностей в обоих направлениях, что позволяет выполнять infilling без фиксированного порядка. Семейство Dayhoff предназначено для безусловного дизайна белков, оценки эффектов мутаций без дополнительного обучения и проектирования структурных мотивов; карточка описывает эти возможности на уровне семейства, а не отдельно данной версии. Модель не предназначена для естественного языка, ДНК или других биологических последовательностей. Сгенерированные последовательности не гарантированно реалистичны, а получение белков без сходства с природными последовательностями остаётся сложной задачей.
Dayhoff-170M-GRS-50000 — модель для работы с белковыми последовательностями из ресурса Dayhoff, разработанного исследовательской группой Kevin K. Yang и соавторов. Это гибридная авторегрессионная архитектура Jamba: слои Mamba и Transformer сочетаются с механизмом смеси экспертов (MoE). Модель рассчитана на контекст до 262 144 токенов; в метаданных указано 23,6 млн параметров. Она обучена на данных Dayhoff и предназначена для исследований в области белкового моделирования. Модель генерирует белковые последовательности и может применяться для безусловного дизайна белков, оценки эффектов мутаций без дополнительного обучения и проектирования последовательностей с заданными структурными мотивами или эволюционным контекстом. Для практического использования карточка указывает Transformers, PyTorch, mamba, causal-conv1d и flash-attn. Лицензия — MIT. Модель не предназначена для естественного языка, ДНК или других биологических последовательностей. Сгенерированные последовательности не всегда реалистичны; также остаётся сложной генерация белков без сходства с природными последовательностями.
Dayhoff-170M-UR-90-31000 — модель генерации белковых последовательностей из семейства Dayhoff, разработанного исследовательской командой Kevin K. Yang и соавторов. Она предназначена для исследований в области белкового языкового моделирования: генерации последовательностей, оценки эффектов мутаций и проектирования белков с заданным структурным или эволюционным контекстом. Для этой версии карточка описывает архитектуру Jamba с чередованием слоёв Mamba и Transformer и модулей Mixture-of-Experts; метаданные указывают 23,6 млн параметров и контекст до 262 144 токенов. Модель обучена на данных Dayhoff и работает с белковыми последовательностями, включая развёрнутые множественные выравнивания последовательностей. Модель принимает текстовое представление белковой последовательности и генерирует последовательности белков. Она также может применяться для безреференсного предсказания эффекта мутаций и генерации с заданными мотивами или гомологичным контекстом. Не предназначена для обычного естественного языка или последовательностей ДНК; реалистичность и новизна сгенерированных белков не гарантируются. Лицензия — MIT.
Dayhoff-170M-UR90-61000 — модель генерации белковых последовательностей из семейства Dayhoff, разработанная исследовательской командой Kevin K. Yang и соавторов. Она предназначена для исследований в области белкового дизайна и моделирования последовательностей, включая генерацию новых белков и оценку эффектов мутаций. Архитектура — гибрид Jamba: слои Mamba и Transformer с механизмом смеси экспертов. По метаданным модель содержит 23,6 млн параметров и поддерживает контекст до 262 144 токенов. Модель обучалась авторегрессионно в направлениях N→C и C→N, что поддерживает заполнение пропусков в последовательностях без фиксированного направления. Указана лицензия MIT. Модель рассчитана на входные белковые последовательности и выдаёт белковые последовательности; она не предназначена для естественного языка, ДНК или других биологических последовательностей. Генерируемые последовательности не гарантированно реалистичны, а создание качественных последовательностей без сходства с известными природными белками остаётся сложной задачей.
IDiom-85M — авторегрессионная белковая языковая модель на 85 млн параметров для генерации и изучения внутренне неупорядоченных областей белков (IDR). Модель разработана в рамках проекта IDiom; карточка ссылается на исследование о генеративном моделировании IDR с использованием признаков разреженного автоэнкодера. Модель предназначена для генерации белковых последовательностей и анализа IDR. Она обучена на наборе данных IDiom-DB и распространяется в формате safetensors. Лицензия — MIT. Языки в обычном смысле к модели неприменимы: она работает с белковыми последовательностями.
Molexar-1-10M-IT — авторегрессионная языковая модель для генерации молекул, разработанная командой Molexar. Это instruction-tuned дообучение Molexar-1-10M-PT с архитектурой декодера в стиле Gemma2 и примерно 10,5 млн параметров. Модель генерирует молекулы в формате Fragment-SELFIES, принимая условия в виде свойств молекулы, фармакофорного отпечатка, последовательности белка или структуры его кармана связывания. Максимальная длина последовательности — 256 токенов. Модель предназначена для исследовательских рабочих процессов проектирования лекарств: генерации молекул с заданными свойствами, поиска молекул под белковую мишень и создания библиотек кандидатов с несколькими условиями. В README приводятся результаты оценок химической валидности и разнообразия для разных режимов генерации, однако эти показатели не подтверждают биологическую активность или пригодность молекул. Ограничения включают зависимость от качества подготовки белковых данных, неполную поддержку токена йода, отсутствие управления стереохимией и явной трёхмерной структурой; сгенерированные молекулы требуют экспертной оценки и экспериментальной проверки. Лицензия — MIT.
IDiom-300M — авторегрессионная языковая модель белков, разработанная для генерации внутренне неупорядоченных областей белков (IDR). Она обучена на наборе IDiom-DB-v1, содержащем 54 млн IDR, отобранных из AlphaFold Database, и умеет генерировать последовательности как без контекста, так и с фланкирующими участками белка в формате fill-in-the-middle. Модель содержит 302 млн параметров, 24 слоя, ширину 1 024 и 16 голов внимания. В архитектуре используются RMSNorm, SwiGLU, QK-нормализация, RoPE и связанные входные и выходные эмбеддинги. Контекст составляет 1 024 входных токена, включая специальные токены; словарь включает 20 аминокислот и служебные токены. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Модель предназначена для генерации белковых IDR и заполнения заданного участка последовательности с учётом окружающего белкового контекста. Она специализирована на белковых последовательностях и не является универсальной языковой моделью; качество вне распределения IDiom-DB-v1 и биологическую пригодность сгенерированных последовательностей следует оценивать отдельно.
MedOCR-Vision — модель компьютерного зрения для распознавания текста и структуры медицинских документов, разработанная как работа для ERNIE AI Developer Challenge. Она дообучена методом LoRA на базе unsloth/PaddleOCR-VL и ориентирована на рецепты, лабораторные отчёты и медицинские формы; также подходит для счетов, чеков и других деловых документов. В метаданных указаны архитектура PaddleOCR-VL, 318,2 млн параметров, контекст 131072 токена, библиотека Transformers и формат safetensors. README описывает обучение на наборе из 2462 медицинских и общих документов и сообщает о смешанной точности BF16/FP16. Модель принимает изображения и выдаёт распознанный текст. По описанию, обучение улучшило извлечение медицинских сведений, включая заголовки, результаты анализов и референсные диапазоны. Основной язык документов — английский. Модель предназначена для оцифровки документов, а не для постановки диагнозов; качество может снижаться на низкокачественных изображениях, сложном почерке и типах документов, отличающихся от обучающих. Лицензия — MIT.
EraX-VL-7B-V1.0 — мультимодальная модель на базе Transformer, разработанная командой EraX и Bamboo Capital Group и дообученная на Qwen/Qwen2-VL-7B-Instruct. Она предназначена для распознавания текста на изображениях, визуальных вопросов и ответов, а также анализа документов и изображений; поддерживает диалог из нескольких ходов. Особенно хорошо модель ориентирована на вьетнамский язык, при этом заявлены также английский и китайский. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2-VL и принимает изображения с текстовыми запросами, выдавая текстовые ответы. Длина контекста — 32 768 токенов. Модель рассчитана на извлечение текста и сведений из медицинских форм, счетов, накладных, коммерческих предложений и медицинских записей, а также на описание изображений и ответы на вопросы по их содержимому. В отличие от специализированного OCR-инструмента, она является мультимодальной языковой моделью, поэтому результат зависит от формулировки запроса. Лицензия — Apache 2.0.
Модель badrex/w2v-bert-2.0-kinyarwanda-asr разработана Бадром аль-Абси и предназначена для автоматического распознавания речи на киньяруанда. Это дообученная для ASR модель facebook/w2v-bert-2.0 с архитектурой Wav2Vec2-BERT и классификатором CTC; в метаданных указано 402,7 млн параметров. Она принимает аудио и выдаёт текстовую транскрипцию. Модель обучалась на примерно 1000 часах размеченной речи из датасета Kinyarwanda ASR Track B, охватывающего здравоохранение, государственное управление, финансы, образование и сельское хозяйство; для тестов внутри этих предметных областей автор сообщает WER ниже 8,4%.
Indic-Transcribe-core — многоязычная модель распознавания речи, разработанная Bodhan AI на основе NVIDIA Canary-1B-v2. Она использует энкодер FastConformer и декодер Transformer и предназначена для транскрибации речи на 25 языках Южной Азии и английском с выводом в письменности исходного языка. Модель поддерживает автоматическое определение языка и смешанную речь, например хинглиш, и рассчитана на работу с аудио из реальных шумных условий. Модель подходит для транскрибации записей и голосовых сервисов в образовании, сельском хозяйстве и здравоохранении. Для аудио длиннее 45 секунд README рекомендует использовать поставляемый механизм разбиения на фрагменты: обычный однопроходный режим ограничен по длине и может давать повторы. Определение языка может ошибаться, особенно для языков хинди-пояса, которые модель иногда относит к хинди; если язык известен, его рекомендуется задавать явно. В README заявлена готовность к коммерческому использованию, однако метаданные указывают лицензию «other», поэтому конкретные условия следует сверить с лицензией репозитория.
Jacaranda Health разработала модель распознавания речи на базе Whisper medium, дообученную для транскрибирования речи на суахили и английском языках. Модель принимает аудио и выдаёт текст; число параметров — 455,8 млн. В метаданных указано объединение моделей openai/whisper-medium и openai/whisper-small, а README описывает дообучение whisper-medium на Common Voice 17.0. Поэтому точный способ получения чекпойнта по источникам расходится. Модель подходит для расшифровки записей и смешанной речи на суахили и английском. README сообщает WER 14,7 на оценочном наборе и улучшение по сравнению с базовой моделью, особенно для суахили, но подробности протокола оценки не приведены. Лицензия в метаданных — CC BY-SA 4.0; README ограничивает назначение исследованиями, общественно полезными и внутренними сценариями, а коммерческое использование и распространение предлагает согласовывать с Jacaranda Health.