IV.6Научные исследования, математика и новые материалы

NaviKinase 1.0 — специализированная белковая языковая модель, разработанная Navitra Technologies. Это созданный с нуля авторегрессионный трансформер с 18 слоями, RMSNorm, RoPE и связанными эмбеддингами; модель содержит около 149,6 млн параметров и обучалась на Apple Silicon с помощью MLX. Она предназначена для генерации и продолжения аминокислотных последовательностей белков суперсемейства фосфотрансфераз EC 2.7.-, включая протеинкиназы и киназы сахаров, липидов и нуклеотидов. Генерацию можно обусловить одним из подклассов EC; модель работает с последовательностями в формате, подобном FASTA, а не с обычным текстом. Контекст обучения составлял 1024 токена. Обучение проводилось на 2,45 млн последовательностей UniProtKB, разделённых на уровне кластеров UniRef90; автор приводит тестовую потерю 1,4633 и качественную проверку наличия мотивов, которая не является подтверждённым тестом функциональной или структурной корректности. Модель не использует информацию о структуре, множественном выравнивании или гомологии и не обучалась как классификатор. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Для генерации требуется поставляемый с моделью токенизатор.

OpenMed-ZeroShot-NER-Genomic-Large-459M — модель OpenMed для распознавания генов и связанных с генетикой сущностей в биомедицинских текстах. Она построена на архитектуре GLiNER и дообучена на корпусе GELLUS, посвящённом извлечению упоминаний генов и генетических сущностей из научной литературы. Модель принимает текст и возвращает найденные сущности с метками и позициями. Модель предназначена для разметки упоминаний генов и вариантов, поддержки генетических ассоциативных исследований, курирования вариантов и анализа геномной литературы. В README также заявлена возможность задавать пользовательские типы сущностей без дополнительного обучения. Для новых или редких типов предлагается подбирать порог обнаружения; приведённый результат F1 0,9775 относится к тесту на GELLUS и не гарантирует такое же качество на других данных. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не сообщает размер контекста. Хотя README описывает широкое биомедицинское применение, обучающий корпус и специализация этой версии ориентированы на генетику и распознавание генов.

PlantHelixSeek-Anno — модель Zhangtao Lab, дообученная на базе PlantHelixSeek для предсказания структуры генов растений. Она выполняет токенную классификацию: каждому нуклеотиду присваивается один из 17 тегов BILOU, обозначающих CDS, интроны, 5′- и 3′-UTR либо межгенные участки. Архитектура — MoE семейства HelixSeek; в метаданных указано 163,6 млн параметров и контекст 8192 токена. Модель работает с последовательностями ДНК и выдаёт метки нуклеотидов. Модель предназначена для аннотации геномных последовательностей растений и предсказания структуры генов. Она распространяется под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование. Для загрузки в Transformers в README показан параметр trust_remote_code=True.

PlasmidGPT — совместимая с Hugging Face перепаковка модели Shao (2024), разработанной на базе декодера в стиле GPT-2. Модель предварительно обучена на 153 тысячах сконструированных последовательностей плазмид из Addgene и предназначена для генерации последовательностей плазмид и работы с ними в сценариях синтетической биологии. Модель загружается через стандартные AutoModelForCausalLM и AutoTokenizer библиотеки Transformers. Контекст составляет 2048 токенов, веса доступны в формате safetensors. PlasmidGPT служит базовой моделью для PlasmidGPT-SFT и PlasmidGPT-GRPO. Репозиторий распространяется по лицензии MIT.

PlasmidLM-kmer6 — авторегрессионная языковая модель для генерации последовательностей плазмидной ДНК. В README указано, что модель содержит 19,3 млн параметров и обучена на примерно 100 тысячах последовательностей Addgene; метаданные Hugging Face указывают 25,2 млн параметров и архитектуру PlasmidLMForCausalLM типа MoE. Эти сведения о размере и архитектуре расходятся между источниками. Последовательности представлены перекрывающимися k-мерами длины 6 со сдвигом 3; контекст модели составляет 16 384 токена. Модель генерирует последовательности с учётом функциональных аннотаций, например маркеров устойчивости к антибиотикам и ori репликации, заданных специальными токенами в запросе. Она предназначена для исследовательских задач синтетической биологии и работы с плазмидами. Метаданные указывают английский язык; вход и выход — текстовое представление аннотаций и последовательности ДНК. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache 2.0.

Prithvi WxC 1.0 — фундаментальная модель для погоды и климата, разработанная IBM и NASA на данных MERRA-2. Это версия prithvi.wxc.2300m.v1 с 2,3 млрд параметров, реализованная на PyTorch и рассчитанная на извлечение признаков из погодных и климатических данных. Модель обучалась на 160 переменных с задачами прогнозирования и восстановления по маскированным данным. На вход подаются данные для двух временных отметок, на выходе модель формирует состояние атмосферы для одной отметки, которая может быть будущей. Между входными отметками и прогнозом допускаются разные временные интервалы. Версия предназначена для общих задач и не оптимизирована специально для прогнозирования с последовательным авторегрессионным разворачиванием; для таких сценариев авторы рекомендуют вариант rollout. На основе семейства также созданы производные модели для климатического даунскейлинга и параметризации гравитационных волн. Модель подходит для восстановления атмосферного состояния по неполным данным, извлечения признаков и работы в исследованиях погоды и климата. Доступна по лицензии CDLA-Permissive-2.0.

ScholarBERT100 — англоязычная модель семейства BERT, разработанная для работы с научной литературой. Она предварительно обучена на 221 млрд токенов из корпуса научных статей PRD, охватывающего гуманитарные, биомедицинские, физические, социальные и технические дисциплины. Модель использует архитектуру BERT-large с 24 слоями, скрытым размером 1024 и 16 головами внимания; она чувствительна к регистру и имеет контекст длиной до 512 токенов. Основная задача модели — предсказание замаскированных токенов в научном тексте: она может подставлять пропущенные слова и помогать анализировать контекст терминов в статьях. Доступны веса в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. В README указано 340 млн параметров, тогда как метаданные Hugging Face сообщают 453,9 млн; размер модели в источниках расходится. Модель предназначена для английского языка и научных текстов; в карточке не заявлены возможности генерации связного текста или обработки других модальностей.

vivekkopthsd/steel-defect-resnet18 — модель компьютерного зрения на базе ResNet18, дообученная для классификации поверхностных дефектов горячекатаной стали по базе NEU-DET. Она относит изображение к одному из шести классов: окалина, пятна, сетка трещин, точечная коррозия, включения или царапины. Для анализа причин классификации предусмотрены тепловые карты Grad-CAM. Модель обучена на примерно 1 770 изображениях NEU Surface Defect Database. В README сообщается о точности 0,985 и macro F1 0,985 на отложенной выборке из 264 изображений. Эти результаты относятся к указанному экспериментальному разбиению и не гарантируют качество на других производственных линиях или условиях съёмки. Модель предназначена для классификации изображений дефектов и учебных или исследовательских экспериментов по визуальному контролю стали. Для применения к конкретному производству требуется проверка на его изображениях, освещении и оборудовании. Лицензия — MIT; автор отдельно рекомендует не считать модель готовой системой производственной инспекции.

multimolecule/utrbert-3mer — неофициальная реализация 3UTRBERT от команды MultiMolecule, основанная на исследовании Yuning Yang, Gen Li и соавторов. Это предварительно обученная BERT-подобная модель на 113,3 млн параметров, использующая токенизацию перекрывающимися 3-нуклеотидными k-мерами и задачу masked language modeling. Она обучена на последовательностях 3′-нетранслируемых областей человеческой мРНК из GENCODE; максимальная длина контекста — 512 токенов. Модель предназначена для восстановления замаскированных фрагментов РНК, извлечения представлений последовательностей и использования в качестве основы для дообучения под задачи классификации или регрессии на уровне последовательностей либо нуклеотидов. Она специализирована на 3′UTR и воспроизводит промежуточные представления оригинальной реализации, согласно карточке. Для токенизации k-меров требуется библиотека multimolecule; стандартный Transformers pipeline не поддерживает её токенизацию напрямую. Модель не дообучена под конкретные downstream-задачи. Лицензия — AGPL-3.0.

BacteriaCDS-DNABERT-K6-89M — модель на основе DNABERT, разработанная для классификации кодирующих последовательностей (CDS) в бактериальных геномах. Она дообучена на задаче классификации последовательностей ДНК и принимает фрагмент открытой рамки считывания длиной до 510 нуклеотидов с конца последовательности, разбитый на токены 6-меров. Модель использует архитектуру BERT для классификации последовательностей, реализована на Transformers и PyTorch. В метаданных указано 116,4 млн параметров, а в README — 89 млн обучаемых параметров; максимальная длина входа составляет 512 токенов. Лицензия в предоставленных данных не указана.

gabrielbianchin/base_esm2_t6_long — базовая модель семейства ESM2, связанная с квантованной версией T6. Это плотная модель с архитектурой EsmForMaskedLM и примерно 9,8 млн параметров; репозиторий содержит веса в формате safetensors. Модель предназначена для заполнения пропусков в последовательностях, в частности для работы с маскированными позициями в белковых последовательностях. Контекст составляет до 2050 токенов. Карточка называет её базовой моделью для gabrielbianchin/esm2_t6_long_int4, но не описывает обучение, датасеты, точность или конкретные биологические сценарии. Лицензия в предоставленных данных не указана.

BiomedBERT-large — англоязычная языковая модель семейства BERT, разработанная Microsoft Research и предварительно обученная с нуля на аннотациях статей из PubMed. Модель предназначена для биомедицинского текста; её задача по карточке — предсказывать замаскированные токены в тексте (fill-mask), что можно использовать для анализа и подготовки текстовых представлений в NLP-сценариях. Модель имеет архитектуру BertForMaskedLM и содержит около 433,9 млн параметров. Она принимает текст и выдаёт предсказания токенов; максимальная длина контекста — 512 токенов. Обучение на биомедицинских аннотациях ориентирует её на терминологию этой области. Распространяется по лицензии MIT.

Caduceus-PS — предобученная модель семейства Caduceus от Kuleshov Group для анализа последовательностей ДНК. Она использует 16 слоёв MambaDNA со скрытым размером 256 и обучена предсказывать замаскированные участки последовательности. Модель обладает эквивариантностью к обратному комплементу, поэтому при обучении не требуется аугментация данных этим преобразованием. Модель обучена на референсном геноме человека на последовательностях длиной 131 072 нуклеотида; обучение длилось 50 тысяч шагов. Её можно применять для заполнения масок в последовательностях ДНК и как основу для дообучения на downstream-задачи, например классификации последовательностей. Доступна для Transformers в формате safetensors. Лицензия — Apache-2.0.

Карточка модели introvoyz045/Carbon-3B на Hugging Face совпадает с карточкой HuggingFaceBio/Carbon-3B, поэтому описание составлено по ней. Carbon-3B — авторегрессионная геномная языковая модель семейства Carbon, разработанная командой HuggingFaceBio. Модель с плотной decoder-only архитектурой LlamaForCausalLM содержит 3,5 млрд параметров и обучена на последовательностях ДНК и РНК, преимущественно эукариотических. Для ДНК используется токенизация неперекрывающимися 6-мерами, а для английского текста — словарь Qwen3 BPE. Модель предназначена для генерации и восстановления геномных последовательностей, предсказания эффектов вариантов и анализа изменений мотивов. Нативный контекст составляет 32 768 токенов, что соответствует примерно 197 тыс. пар оснований; при инференсе его можно расширить до 65 536 токенов (около 393 тыс. пар оснований) с помощью YaRN. По оценке авторов, Carbon-3B сочетает конкурентные результаты на ряде геномных задач с высокой скоростью инференса. Модель доступна в формате safetensors и совместима с Transformers; для токенизатора требуется trust_remote_code=True. Лицензия — Apache-2.0. Обучение преимущественно на эукариотических данных ограничивает специализацию на прокариотах; качество извлечения информации резко снижается при расширении контекста до 128 тыс. токенов. При работе с генетическими данными следует учитывать, как выбранный провайдер обрабатывает входы и результаты.

CENO-300M-1m — базовая модель семейства CENO для работы с геномными последовательностями ДНК, разработанная командой CENO. Это причинная языковая модель с гибридной архитектурой Nemotron-H, объединяющей Mamba, attention и Mixture of Experts; токенизатор посимвольный и кодирует основания ДНК ASCII-кодами. Чекпойнт прошёл этап расширения контекста и обучался на последовательностях длиной 1 048 576 токенов. Модель предназначена для генерации геномных последовательностей, извлечения эмбеддингов и последующей адаптации для задач геномики. Она не принимает MSA-входы; предсказание эффектов вариантов описано для отдельных MSA-чекпойнтов семейства CENO, поэтому эту возможность нельзя напрямую приписывать данной модели. Модельный код включён в репозиторий и используется через Transformers с trust_remote_code=True. Лицензия — Apache-2.0.

CENO-80M-131k — базовая модель семейства CENO для работы с геномными последовательностями ДНК. Это причинная языковая модель на гибридной архитектуре Nemotron-H, сочетающей Mamba, внимание и Mixture of Experts; модель содержит 38 млн параметров и использует посимвольный токенизатор, кодирующий основания ДНК ASCII-байтами. Чекпойнт обучен на последовательностях длиной 131 072 токена, а заявленный нативный контекст в метаданных составляет 1 048 576 токенов. Модель предназначена для генерации геномных последовательностей, извлечения эмбеддингов и последующей адаптации под задачи геномики. Она не использует входы MSA. Репозиторий содержит веса safetensors; загрузка через Transformers требует включения trust_remote_code. Лицензия — Apache-2.0.

CENO-P-1B — модель семейства CENO для предсказания эффектов генетических вариантов по множественным выравниваниям последовательностей (MSA). Она разработана для геномных задач и использует специальный путь оценки MSA: упакованные выравнивания передаются с индексом последовательности seq_idx, а эффект варианта оценивается сравнением логарифмических правдоподобий последовательностей дикого типа и мутантного варианта. По архитектуре это гибрид Mamba, Attention и Mixture-of-Experts на базе Nemotron-H; токенизатор посимвольный и сопоставляет основания ДНК их ASCII-кодам. В README размер указан как 1,3 млрд параметров, тогда как метаданные каталога указывают 638,1 млн. Контекст — до 1 048 576 токенов, формат весов — safetensors. Модель загружается через Transformers с trust_remote_code=True; код модели включён в репозиторий. Лицензия — Apache-2.0. Модель предназначена для оценки влияния вариантов в генетических последовательностях и сценариев VEP на основе MSA; она также поддерживает генерацию последовательностей и извлечение эмбеддингов как возможности базового семейства CENO. Для запуска VEP README отсылает к примеру TraitGym в сопровождающем репозитории CENO. Результаты следует интерпретировать как оценки модели, а не как самостоятельное клиническое заключение.

CENO-P-600M — вариант ДНК-модели семейства CENO, разработанный для предсказания эффектов генетических вариантов по множественным выравниваниям последовательностей (MSA). Чекпойнт прошёл дополнительное обучение на MSA и оценивает варианты сравнением правдоподобия последовательностей дикого типа и мутантных вариантов. Для запуска VEP авторы предлагают пример TraitGym в сопутствующем репозитории CENO. Архитектура сочетает Mamba, attention и Mixture-of-Experts; токенизатор посимвольно кодирует основания ДНК. Метаданные указывают 336,1 млн параметров и контекст до 1 048 576 токенов, тогда как README приводит размер 630,8 млн параметров. Модель загружается через Transformers с пользовательским кодом и распространяется в формате safetensors. Лицензия — Apache-2.0.

CodonTransformer — модель для оптимизации кодонов, разработанная Adibvafa Fallahpour и соавторами из Vector Institute, University of Toronto Scarborough и Université Paris Cité. Она преобразует аминокислотные последовательности белков в оптимизированные последовательности ДНК с учётом целевого организма и предназначена для исследователей и специалистов по генной инженерии и синтетической биологии. Модель основана на архитектуре BigBird и имеет около 113,3 млн параметров; в карточке указан контекст длиной 4096 токенов. Репозиторий содержит веса safetensors и рассчитан на использование с Transformers. README также упоминает интерактивную демонстрацию в Jupyter/Google Colab. Метаданные указывают Apache-2.0. Модель ориентирована на биологические последовательности, поэтому её задача и выход отличаются от обычной генерации текста. README не описывает ограничения оптимизации, целевые организмы, метрики качества или подробности обучения.

COD PlantCAD Rice — языковая модель ДНК для риса (Oryza sativa), разработанная на основе PlantCaduceus l28 и выбранная из продолженного обучения на рисовых последовательностях на шаге 12 000. Это masked language model архитектуры Caduceus с двунаправленными блоками Mamba и совместным использованием параметров для обратного комплемента; размер модели — 231,2 млн параметров. Модель принимает последовательности ДНК длиной 512 пар оснований и выдаёт логиты нуклеотидов или представления последовательностей. Её можно применять для оценки влияния однонуклеотидных вариантов (SNV) по отношению логарифмов правдоподобия REF и ALT. Она предназначена для анализа геномных последовательностей риса, включая ранжирование вариантов по относительной поддержке модели. Оценки зависят от контекста длиной 512 оснований и от выбранного протокола маскирования; результаты masked и unmasked нельзя считать одной шкалой. Описанный расчёт поддерживает только биаллельные SNV A/C/G/T, а координаты и референсный аллель следует сверять с используемой сборкой генома. LLR не является калиброванной вероятностью фенотипического, патогенного или фитнес-эффекта. Для инференса нужны PyTorch, Transformers, Mamba-SSM и совместимая CUDA/Triton-среда; модель рассчитана на GPU. Лицензия — Apache-2.0.

Карточка модели goodarzilab/decodon-200M на Hugging Face совпадает с карточкой goodarzilab/encodon-80M, поэтому описание составлено по ней. EnCodon-80M — предобученная плотная модель семейства EnCodon от goodarzilab для работы с кодирующими последовательностями. Она предназначена для извлечения эмбеддингов последовательностей и предсказания замаскированных участков; каталог также относит её к задачам классификации текста. Модель содержит около 100,7 млн параметров, работает с кодонами и поддерживает контекст до 2048 токенов по метаданным. В README указано, что обучение охватывает последовательности длиной до 2048 кодонов, или 6144 нуклеотидов. EnCodon представляет собой одну из моделей пакета cdsFM; README также описывает DeCodon для генерации кодирующих последовательностей, но это отдельная модель. Для EnCodon перечислены извлечение эмбеддингов и предобученный чекпойнт. Доступны веса в формате safetensors, библиотека Transformers. Сведения о лицензии в предоставленных материалах отсутствуют.

Карточка модели vivym/DNABERT-2-117M на Hugging Face совпадает с карточкой zhihan1996/DNABERT-2-117M, поэтому описание составлено по ней. DNABERT-2-117M — официальная предобученная трансформерная модель для геномики, разработанная авторами работы DNABERT-2: Efficient Foundation Model and Benchmark For Multi-Species Genome. В основе разработки лежит реализация MosaicBERT от команды MosaicML. Модель обучена на геномах нескольких видов и содержит 116,4 млн параметров; для загрузки используется Transformers с поддержкой пользовательского кода. Её применяют для получения эмбеддингов последовательностей ДНК, а также задач заполнения масок и классификации геномных последовательностей. Контекст составляет 512 токенов. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

DNAGPT2_2048 — авторегрессионная языковая модель для геномных последовательностей, разработанная авторами проекта DNAGPT2 и обученная с нуля на базе архитектуры GPT-2 Small. Модель содержит около 86 млн параметров, 12 слоёв и контекстное окно 1 024 токена; вариант 2048 использует словарь из 2 048 токенов. Она принимает последовательности ДНК с символами A, C, G и T и выдаёт оценки вероятностей следующего токена. Модель предназначена для предсказания продолжения последовательности и сжатия ДНК в сочетании с арифметическим кодированием. Предобучение проводилось на данных DNABERT-2: примерно 32,5 млрд нуклеотидов из 135 геномов позвоночных, грибов, простейших, беспозвоночных и бактерий. Неоднозначный символ N исключён из обучающего алфавита, поэтому модель не рассчитана на последовательности с такими символами без предварительной обработки. В README приведены результаты оценки сжатия для нескольких геномов, но они относятся к DNAGPT2_32 и не подтверждают такие же показатели для варианта 2048. Репозиторий содержит веса safetensors и использует библиотеку Transformers; лицензия — Apache-2.0.

vojtam/DNAGPT2_32 — авторегрессионная модель для анализа и сжатия геномных последовательностей ДНК, разработанная авторами карточки на основе архитектуры GPT-2 и обученная с нуля. Это вариант DNAGPT2 с размером словаря 32: модель содержит около 86 млн параметров, 12 слоёв, 12 голов внимания и контекстное окно 1 024 токена. Модель принимает последовательности из символов A, C, G и T и предсказывает вероятности следующего токена. Её можно использовать для моделирования последовательностей и вместе с арифметическим кодированием для сжатия ДНК. Предобучение проводилось на данных DNABERT-2: примерно 32,5 млрд нуклеотидов из 135 геномов разных групп организмов. В приведённых испытаниях модель сжимала последовательности лучше gzip, но уступала указанным специализированным компрессорам Jarvis3 на трёх наборах данных. Модель распространяется под лицензией Apache-2.0. Обучающие последовательности ограничены A, C, G и T; неоднозначный символ N исключён, поэтому работа с такими входами не описана.

DNAGPT2_64 — авторегрессионная языковая модель на архитектуре GPT-2, разработанная авторами семейства DNAGPT2 и обученная с нуля на геномных последовательностях нескольких видов. Версия с размером словаря 64 содержит около 86 млн параметров, 12 слоёв и контекстное окно 1 024 токена. Модель принимает последовательности ДНК из символов A, C, G и T и выдаёт вероятности следующего токена. Модель предназначена для предсказания продолжения ДНК-последовательностей и сжатия геномных данных в сочетании с арифметическим кодированием. Обучение проводилось на данных DNABERT-2: около 32,5 млрд нуклеотидов из 135 геномов позвоночных, грибов, простейших, беспозвоночных и бактерий. В обучающем алфавите отсутствовал символ N для неизвестного или неоднозначного нуклеотида. В описанных испытаниях DNAGPT2 показала более эффективное сжатие, чем gzip, на ряде наборов данных; приведённые численные результаты относятся к версии DNAGPT2_32, а не к DNAGPT2_64. Модель распространяется по лицензии Apache-2.0.

EnCodon-80M — предобученная плотная модель семейства EnCodon от goodarzilab для работы с кодирующими последовательностями. Она предназначена для извлечения эмбеддингов последовательностей и предсказания замаскированных участков; каталог также относит её к задачам классификации текста. Модель содержит около 100,7 млн параметров, работает с кодонами и поддерживает контекст до 2048 токенов по метаданным. В README указано, что обучение охватывает последовательности длиной до 2048 кодонов, или 6144 нуклеотидов. EnCodon представляет собой одну из моделей пакета cdsFM; README также описывает DeCodon для генерации кодирующих последовательностей, но это отдельная модель. Для EnCodon перечислены извлечение эмбеддингов и предобученный чекпойнт. Доступны веса в формате safetensors, библиотека Transformers. Сведения о лицензии в предоставленных материалах отсутствуют.

Taykhoom/Evo2-1B-8K — минимальный порт для Hugging Face базовой модели Evo 2 1B, разработанной Arc Institute и опубликованной пользователем Taykhoom. Это причинная языковая модель на архитектуре StripedHyena 2 с чередованием блоков Hyena и многоголового внимания; по метаданным репозиторий содержит 1,5 млрд параметров, а README указывает около 1,1 млрд. Модель обучена предсказывать следующий байт на последовательностях ДНК и предназначена для анализа геномных последовательностей и извлечения представлений. Порт поддерживает загрузку через Transformers с `trust_remote_code=True`, получение скрытых состояний по слоям и весов внимания. Контекст составляет 8 192 токена. Веса доступны в safetensors; для заявленного пути с FP8 входными проекциями требуются NVIDIA Transformer Engine и GPU класса Hopper, например H100 или H200. Рекомендуется bf16; float16 не поддерживается из-за численной нестабильности фильтров. README сообщает о точном совпадении с эталонной конфигурацией bf16 SDPA при проверке конверсии, но не обещает точного совпадения с исходным путём Flash Attention/FP8. Лицензия — Apache-2.0.

GB.RNA-1M-MARS — компактная языковая модель для последовательностей РНК от GenBio AI. Модель семейства RNABert содержит 1,1 млн параметров и предварительно обучена на 886 млн последовательностей РНК из базы MARS. В метаданных указаны архитектура RNABertForMaskedLM, формат PyTorch и контекст до 1024 токенов. Модель предназначена для получения эмбеддингов последовательностей РНК и как основа для downstream-моделей классификации последовательностей и отдельных токенов, а также регрессии. Заявленная задача в каталоге — заполнение маски в последовательности. Это специализированный белковый? Нет, именно РНК-чекпойнт; карточка не приводит оценок качества на задачах. Лицензия указана как other, поэтому условия использования следует сверить с лицензией репозитория.

dbands/Gemma_ChemWiz_rdkit_critic_16bit — дообученная разработчиком dbands модель семейства Gemma с плотной архитектурой GemmaForCausalLM и 8,2 млрд параметров. Она предназначена для генерации текста; название и базовая модель указывают на специализацию в химии и работу с RDKit, однако README не описывает конкретные возможности критика или сценарии оценки. Модель принимает текст и выдаёт текст, поддерживает английский язык и имеет контекст длиной до 8192 токенов. Для обучения использовались Unsloth и Hugging Face TRL. Распространяется в формате safetensors по лицензии Apache-2.0.

gLM2_150M — геномная языковая модель на 150 млн параметров, разработанная TattaBio и обученная на датасете OMG. Это трансформерный энкодер с задачей masked language modeling: он представляет геномный контиг как последовательность кодирующих белок участков CDS и межгенных участков ДНК (IGS). CDS кодируются токенами аминокислот, IGS — токенами отдельных нуклеотидов; специальные токены обозначают направление цепи. Для разделения алфавитов аминокислоты следует подавать в верхнем регистре, а нуклеотиды — в нижнем. Модель предназначена для анализа геномных последовательностей и предсказания замаскированных токенов в смешанном представлении белковых и ДНК-участков. В версии, обновлённой в сентябре 2024 года, контекст увеличен с 2048 до 4096 токенов, а для IGS используется токенизация по отдельным нуклеотидам. Доступна также версия на 650 млн параметров. Модель распространяется по лицензии Apache-2.0. README не приводит оценок качества или результатов для конкретных биологических задач.