IV.6Научные исследования, математика и новые материалы

UCSCPhytoViT83 — модель Vision Transformer для классификации изображений фитопланктона по 83 классам. Её разработал Patrick Daniel, дообучив Google ViT-Base с патчами 16×16 на примерно 558 тысячах размеченных изображений, полученных приборами Imaging FlowCytobot и объединённых из наборов IFCB104, IFCB161 и IFCB116. Модель принимает изображения, предварительно приведённые к размеру 224×224 и нормализованные, и выдаёт класс фитопланктона. Модель предназначена для анализа изображений IFCB, прежде всего из залива Монтерей и залива Сан-Франциско, и ориентирована на исследователей. В README приведены метрики precision, recall и F1 для классов на отложенной выборке. Доступны веса safetensors и формат ONNX. Лицензия — Apache 2.0. Качество классификации может снижаться на изображениях с других приборов и регионов. Модель не предназначена для изображений, не относящихся к фитопланктону; частицы и клетки с низким содержанием хлорофилла представлены недостаточно, поскольку обучение использовало IFCB с триггером PMT-B. Предсказания рекомендуется проверять с экспертами.

UTR-LM MRL — неофициальная реализация модели MultiMolecule, основанная на работе Яньи Чу, Дан Ю и соавторов. Это компактная BERT-подобная модель семейства UTR-LM с 1,6 млн параметров, обученная на последовательностях 5′-нетранслируемых областей мРНК. Вариант MRL предназначен для предсказания средней загрузки рибосом по последовательности 5′ UTR; также модель поддерживает заполнение маскированных участков последовательности. Модель работает с последовательностями нуклеотидов РНК, преобразует T в U токенизатором и принимает последовательности длиной до 1026 токенов. Обучение проводилось на данных из Ensembl и исследований по инженерии 5′ UTR и измерению трансляции, включая данные человека, крысы, мыши, курицы и данио-рерио. Модель распространяется под лицензией AGPL-3.0. Это неофициальная реализация; разработчики карточки предупреждают, что не могут подтвердить совпадение промежуточных представлений с оригинальной моделью. Для токенной классификации или регрессии потребуется дополнительное дообучение.

AbLang_light — языковая модель AbLang для последовательностей лёгких цепей антител, представленная в формате Hugging Face. Модель разработана для работы с белковыми последовательностями и основана на архитектуре RoBERTa; она содержит 113,3 млн параметров и принимает аминокислоты, записанные заглавными буквами. Максимальная длина контекста — 160 токенов. Модель можно использовать для извлечения признаков последовательностей антител и как основу для дообучения на прикладных задачах. Задача в метаданных — заполнение замаскированных токенов. Модель распространяется по лицензии BSD. Модель рассчитана на последовательности лёгких цепей антител, поэтому её применение к другим типам данных не подтверждено. Она работает только с заглавными буквами аминокислот; качество на конкретных downstream-задачах зависит от дополнительной настройки.

AntiBERTa2-CSSP — разработанная Alchemab мультимодальная модель для работы с антителами, основанная на архитектуре RoFormer. Модель обучена контрастивным методом, подобным CLIP, и предназначена для получения признаковых представлений, связывающих данные об антителах с другой модальностью. В метаданных указаны 268,5 млн параметров и контекст 256 токенов; карточка README приводит для варианта CSSP конфигурацию 202 млн параметров, 16 слоёв, 16 голов внимания и размерность 1024. Модель подходит для извлечения признаков и сравнения представлений в задачах анализа антител и биологических данных. Доступна в формате safetensors. Лицензия обозначена как other; README ограничивает использование модели и полученных последовательностей антител некоммерческими целями.

Модель tsAspire разработана исследователями Sheshera Mysore, Arman Cohan и Tom Hope для оценки детального сходства научных документов в биомедицине. Это плотная BERT-модель на 137,1 млн параметров, обученная сопоставлять контекстуализированные векторы предложений из заголовка и аннотации статьи. При кодировании предложения учитывают контекст всего заголовка и аннотации; модель обучалась на 1,2 млн пар биомедицинских статей, связанных совместным цитированием. Модель предназначена для поиска статей по заданному аспекту: например, по предложению из статьи-запроса можно ранжировать кандидатов по минимальному L2-расстоянию между их векторами предложений. Её также можно адаптировать для классификации предложений и документов. Она рассчитана на английские биомедицинские научные тексты и принимает заголовок и аннотацию; максимальный контекст — 512 токенов. Для получения векторов предложений и ранжирования требуется дополнительный код поверх библиотеки Transformers. Обучение на биомедицинских статьях может снижать качество в других областях. Репозиторий предоставляет веса PyTorch, лицензия — Apache-2.0.

dimfeld/BioLinkBERT-large-feat — версия BioLinkBERT-large, опубликованная dimfeld; согласно карточке, её веса идентичны michiyasunaga/BioLinkBERT-large, а изменён только pipeline tag на feature-extraction. Это энкодер BERT/LinkBERT с 432,2 млн параметров, обученный на аннотациях PubMed с учётом ссылок цитирования между документами. Модель принимает текст и выдаёт скрытые векторные представления токенов; максимальная длина контекста — 512 токенов. Модель предназначена для извлечения признаков и эмбеддингов текста, а также как основа для дообучения под биомедицинскую классификацию, ответы на вопросы и разметку последовательностей. Учёт связей между документами полезен для задач, требующих знаний из нескольких источников; в README также заявлены сильные результаты на биомедицинских NLP-бенчмарках. Модель работает с английским языком и распространяется под лицензией Apache-2.0.

C2S-Pythia-410m-cell-type-prediction — модель для предсказания типа клетки по данным одноклеточного секвенирования РНК. Её разработали на базе архитектуры Pythia-410m от EleutherAI, дообучив методом Cell2Sentence на наборах данных scRNA-seq из CellxGene и Human Cell Atlas. Архитектура — плотная GPT-NeoX с 454,2 млн параметров; контекст составляет 4096 токенов. Для представления клетки используются «предложения» из названий 200 генов, упорядоченных по уровню экспрессии. Модель обучалась на более чем 57 млн человеческих и мышиных клеток из более чем 800 наборов данных, охватывающих разные типы клеток, ткани и состояния. Задача модели — продолжать такой текст и предсказывать тип клетки по входному предложению. Веса опубликованы под лицензией CC BY 4.0.

Mungert/C2S-Scale-Gemma-2-27B-GGUF — GGUF-версия языковой модели C2S-Scale-Gemma-27B, разработанной van Dijk Lab (Yale), Google Research и Google DeepMind. Модель построена на архитектуре Gemma-2 27B и дообучена для анализа одноклеточной биологии в рамках Cell2Sentence (C2S). Она представляет данные scRNA-seq в виде «клеточных предложений» — упорядоченных по уровню экспрессии последовательностей названий генов, — и обрабатывает их как язык. Модель предназначена для предсказания типов клеток, классификации тканей, аннотирования клеточных атласов, анализа биологических представлений, генерации реалистичных профилей экспрессии и проведения вычислительных экспериментов, включая изучение клеточных ответов на возмущения. Она обучалась на данных более чем 57 миллионов клеток и может использоваться как базовая модель для последующей адаптации к специализированным задачам анализа отдельных клеток. В README явно приведён сценарий классификации клеточного типа по последовательности из 1000 генов для Homo sapiens. Модель относится к текстовым генеративным моделям, но работает с биологическими данными, преобразованными в последовательности генов. Поддерживаемый язык указан как английский. Дистрибутив представлен в формате GGUF и создан с использованием llama.cpp; автор сборки также описывает экспериментальный подход к квантованию с повышением точности отдельных важных слоёв, что может улучшать качество при низкой разрядности за счёт увеличения размера файла. Ограничения конкретного варианта квантования, требования к памяти и полный размер контекста в README не указаны. Лицензия модели — CC BY 4.0. Модель ориентирована прежде всего на исследовательские и вычислительно-биологические сценарии; её выводы требуют биологической проверки и не должны рассматриваться как самостоятельное подтверждение научных гипотез.

Caduceus-Ph — предобученная модель семейства Caduceus, разработанная группой Kuleshov. Она предназначена для моделирования последовательностей ДНК и предсказания замаскированных участков; архитектура включает 16 слоёв MambaDNA со скрытым размером 256, всего 14,7 млн параметров. Модель обучали на референсном геноме человека с длиной последовательности 131 072 токена и аугментацией обратным комплементом (RC). Модель принимает токенизированные последовательности ДНК и выдаёт оценки токенов для заполнения масок. Для downstream-задач её следует дообучать с RC-аугментацией, а при инференсе обрабатывать исходную последовательность и её обратный комплемент, затем усреднять предсказания. Это предобученный чекпойнт, а не готовое решение для конкретной прикладной задачи. Лицензия — Apache-2.0.

CENO-600M-base — базовый предобученный чекпойнт семейства CENO от CladeTeam для работы с геномными последовательностями ДНК. Это причинная языковая модель на гибридной архитектуре Nemotron-H, сочетающей Mamba, attention и Mixture-of-Experts; модель работает без входов MSA. В карточке Hugging Face указано 336,1 млн параметров, а README описывает семейство как 600M и приводит для этого чекпойнта значение 630,8 млн параметров. Контекст составляет 1 048 576 токенов; токенизатор посимвольный и сопоставляет основания ДНК их ASCII-кодам. Модель предназначена для генерации геномных последовательностей и извлечения эмбеддингов, а также для последующей адаптации и исследования задач геномики. Она опубликована в формате safetensors и доступна по лицензии Apache-2.0. Для загрузки карточка указывает использование trust_remote_code=True с кодом модели, включённым в репозиторий.

mpkato/chemu-biobert-ner — модель распознавания именованных сущностей в описаниях химических реакций и патентах. Она разработана на основе BioBERT-Base v1.2 и дообучена как BertForTokenClassification на корпусе ChEMU 2020 Task 1. Модель содержит 135,5 млн параметров, использует формат safetensors и обрабатывает последовательности длиной до 512 токенов. Модель размечает десять типов сущностей, связанных с этапами реакции, включая исходные вещества, реагенты и катализаторы, растворители, продукты, условия и выходы. На отложенной выборке ChEMU 2020 указана оценка exact-match micro-F1; для сравнения, общий результат выше baseline BANNER на 6,9 процентного пункта. Модель рассчитана на англоязычные химические патенты, особенно описания органического синтеза. Для длинных фрагментов текста требуется разбиение на части или chunking. Качество на других химических областях, включая материаловедение, неорганическую химию и иные наборы данных по катализу, не проверено. Для некоторых типов веществ точность ниже, чем для часто встречающихся типов; отмечены ошибки сегментации многословных названий и путаница между растворителями и реагентами. Лицензия CC BY-NC 3.0 ограничивает использование некоммерческими исследовательскими целями.

COD PlantCAD for Arabidopsis — языковая модель ДНК арабидопсиса, разработанная проектом COD и дообученная на основе kuleshov-group/PlantCaduceus_l28. Это masked language model на архитектуре Caduceus с двунаправленными блоками Mamba и совместным использованием параметров для обратного комплемента. Модель содержит 231,2 млн параметров и обрабатывает последовательности на уровне отдельных нуклеотидов длиной до 512 пар оснований. Модель предназначена для получения представлений геномных последовательностей, заполнения маскированных нуклеотидов и оценки вариантов SNV в геномном контексте арабидопсиса. Документированный протокол рассчитывает разность логарифмов правдоподобия ALT и REF для двухаллельных замен A/C/G/T; результат не является калиброванной вероятностью влияния варианта на приспособленность или патогенность. Модель распространяется по лицензии Apache-2.0.

CorningQA-solar-10.7b-v1.0 — доменно-специализированная языковая модель для многоходовых диалогов в химической тематике. Модель создана на базе SOLAR-10.7B-v1.0 и дообучена на наборе myngsoooo/CorningAI-DocQA. Это плотная авторегрессионная модель архитектуры Llama с 10,6 млрд параметров. Она принимает текст и генерирует текст, поддерживает английский язык и имеет контекстное окно 4096 токенов. Для запуска предусмотрена библиотека Transformers; веса представлены в формате PyTorch. Модель подходит для диалоговых вопросов и ответов по химическим темам, однако карточка не приводит оценок качества или подробных границ охвата. Лицензия — Apache-2.0.

Dayhoff-170M-GRS-50000 — модель для работы с белковыми последовательностями из ресурса Dayhoff, разработанного исследовательской группой Kevin K. Yang и соавторов. Это гибридная авторегрессионная архитектура Jamba: слои Mamba и Transformer сочетаются с механизмом смеси экспертов (MoE). Модель рассчитана на контекст до 262 144 токенов; в метаданных указано 23,6 млн параметров. Она обучена на данных Dayhoff и предназначена для исследований в области белкового моделирования. Модель генерирует белковые последовательности и может применяться для безусловного дизайна белков, оценки эффектов мутаций без дополнительного обучения и проектирования последовательностей с заданными структурными мотивами или эволюционным контекстом. Для практического использования карточка указывает Transformers, PyTorch, mamba, causal-conv1d и flash-attn. Лицензия — MIT. Модель не предназначена для естественного языка, ДНК или других биологических последовательностей. Сгенерированные последовательности не всегда реалистичны; также остаётся сложной генерация белков без сходства с природными последовательностями.

Dayhoff-170M-UR90-HL-12000 — модель генерации белковых последовательностей из семейства Dayhoff, разработанного исследовательской группой, перечисленной в карточке модели. Архитектура сочетает слои Mamba и Transformer с механизмом смеси экспертов (MoE); в метаданных указан класс JambaForCausalLM и размер 23,6 млн параметров. Модель использует авторегрессионное обучение и предназначена для генерации и анализа белковых последовательностей, а не естественного языка. Модель подходит для безусловного проектирования белков и предсказания эффектов мутаций без дополнительного обучения. Семейство Dayhoff также поддерживает генерацию с заданным структурным или эволюционным контекстом; карточка описывает применение к поиску белковых каркасов и работе с родственными последовательностями. Метаданные указывают контекстное окно 262 144 токена и формат safetensors. Модель предназначена для исследовательских задач в области белковой инженерии. Не следует использовать её для генерации естественного языка или последовательностей ДНК; реалистичность и качество сгенерированных белков не гарантированы. Лицензия — MIT.

Dayhoff-170M-UR90-HL-24000 — модель генерации белковых последовательностей из семейства Dayhoff, разработанная исследовательской командой, перечисленной в карточке модели. Она предназначена для генерации белков, оценки эффектов мутаций и проектирования последовательностей с заданными структурными мотивами или эволюционным контекстом. Архитектура Jamba сочетает слои Mamba и Transformer с механизмом смеси экспертов; модель использует автогрессивное обучение и поддерживает контекст длиной до 262 144 токенов. В метаданных указано 23,6 млн параметров, формат весов safetensors и библиотека Transformers. Модель работает с белковыми последовательностями и не предназначена для обычного текста, ДНК или других биологических последовательностей. Сгенерированные последовательности не гарантированно реалистичны, а получение новых белков без сходства с природными последовательностями остаётся сложной задачей. Лицензия — MIT.

Dayhoff-3b-GR-HM-11000 — авторегрессионная модель для генерации белковых последовательностей из семейства Dayhoff, разработанная Kevin K. Yang и соавторами. Она основана на гибридной архитектуре Jamba: сочетает слои Mamba и Transformer с блоками Mixture-of-Experts. В метаданных указаны 445,7 млн параметров, контекст до 262 144 токенов и библиотека Transformers. Модель предназначена для исследовательской работы с белками: генерации последовательностей, предсказания эффектов мутаций без дополнительного обучения, проектирования последовательностей с заданными структурными мотивами и генерации с учетом гомологов. Она обучалась на белковых последовательностях и может моделировать отдельные последовательности и развёрнутые множественные выравнивания. MIT-лицензия разрешает широкое использование. Модель не предназначена для генерации естественного языка, ДНК или иных биологических последовательностей. Сгенерированные последовательности не всегда реалистичны; получение качественных последовательностей без сходства с природными белками остаётся сложной задачей.

DMC-BrainMap Registration Predictor — свёрточная модель PairSpatialHomographyNet для начального совмещения гистологического среза мозга мыши с соответствующим срезом атласа Allen Mouse Brain Atlas. Модель предназначена для workflow DMC-BrainMap: она предсказывает смещение углов изображения, из которого приложение строит проективное преобразование и предлагает редактируемые точки регистрации для проверки пользователем. На вход подаются парные изображения среза и атласной проекции в оттенках серого размером 800 × 1140 пикселей; на выходе — смещения четырёх углов в пикселях. Архитектура содержит пять свёрточных блоков с пакетной нормализацией и ReLU, адаптивный pooling и регрессионную голову. Модель обучена на 5 613 срезах взрослых мышей C57BL/6J, полученных методом эпифлуоресцентной микроскопии в зелёном диапазоне, с использованием атласа Allen 10 мкм. На отложенном тестовом наборе средняя ошибка относительно проверенных целевых регистраций составила около 19 пикселей. Это подсказка для начальной настройки, а не готовая регистрация: каждый результат следует проверить и при необходимости исправить. Поддержка других штаммов, возрастов, протоколов окрашивания, атласов и размеров изображений не подтверждена; модель не предназначена для клинических решений или автономного количественного анализа. Лицензия — BSD 3-Clause.

DNA_bert_6 — модель DNABERT разработчиками которой являются исследователи, включая Жихана Чжоу и Яньжун Цзи. Это BERT-подобный двунаправленный трансформер, предварительно обученный на геномных последовательностях; версия 6 использует токенизацию ДНК 6-мерными фрагментами. Число параметров — 116,4 млн, максимальная длина контекста — 512 токенов. Модель предназначена для предсказания замаскированных фрагментов ДНК и может служить основой для дообучения на задачах анализа геномных последовательностей, включая распознавание промоторов, сайтов сплайсинга и сайтов связывания транскрипционных факторов. Она принимает последовательности ДНК, а не естественный язык, и выдаёт предсказания токенов; разработчики отмечают возможность адаптации к другим организмам. В репозитории указана лицензия MIT.

ESMC-AR 846M PLE wide16 bidirectional NCBI mix — авторская модель IvanHU для продолжения и генерации белковых последовательностей. Она обучена как причинная языковая модель на белковых токенах ESMC, с двунаправленным обучением следующего токена: исходное и обратное направления смешивались примерно поровну. Архитектура включает 16 широких блоков Transformer, PLE и gated attention без gated residual. Веса представлены в формате FP32 safetensors; экспорт содержит около 845,8 млн параметров и предназначен для Transformers. Модель обучена на 10 млрд токенов, объединяющих белковые данные QingWY/protein-pretraining-data и ESMC-токенизированные данные NCBI. Длина контекста — 2048 токенов, используется токенизатор ESMC без автоматической вставки BOS/EOS. Подходит для генерации и продолжения белковых последовательностей и экспериментов с белковыми языковыми моделями. Карточка описывает обучающий корпус и конфигурацию, но не приводит оценок биологической функциональности или гарантий качества для конкретных задач. Лицензия в предоставленных данных не указана.

Taykhoom/Evo2-40B-1M — это порт весов Evo 2 40B от Arc Institute в формат Hugging Face, подготовленный Taykhoom. Модель семейства StripedHyena 2 сочетает каскад Hyena-блоков с блоками многоголового внимания и обучена предсказывать следующий байт в последовательностях ДНК. В метаданных указано 53,7 млрд параметров; README описывает исходную конфигурацию как примерно 38 млрд параметров и 50 слоёв. Контекст составляет до 1 млн токенов.

GENA-LM (gena-lm-bert-base) — базовая модель AIRI-Institute для анализа длинных последовательностей ДНК человека. Это трансформер BERT, обученный в режиме masked language modeling на сборке генома T2T. Токенизатор использует BPE вместо k-mer-разбиения, поэтому при контексте 512 токенов модель обрабатывает около 4500 нуклеотидов. Архитектура включает 12 слоёв, 12 голов внимания, скрытый размер 768 и словарь из 32 тысяч токенов; число параметров — 137,8 млн. Модель предназначена для продолжения предобучения и дообучения на задачах классификации последовательностей ДНК, а также для извлечения представлений геномных фрагментов. Она принимает последовательности ДНК как текстовые токены и предсказывает замаскированные токены. В карточке приведены инструкции по загрузке через Transformers и оценочные результаты отнесены к публикации проекта. Условия лицензии в предоставленных данных не указаны.

GENA-LM — семейство открытых фундаментальных моделей AIRI Institute для анализа последовательностей ДНК. Эта версия представляет собой BERT-подобный трансформер с 137,8 млн параметров, реализованный как модель заполнения пропусков в последовательности (masked language model) и доступный в формате PyTorch. Модель предварительно обучена на человеческой ДНК из сборки генома T2T; обучающие данные дополнены вариантами SNP из набора 1000 Genomes и gnomAD. Токенизация BPE позволяет обрабатывать около 4500 нуклеотидов в пределах контекста 512 токенов. Архитектура включает 12 слоёв, 12 голов внимания, размер скрытого состояния 768 и словарь из 32 тысяч токенов; используется Pre-Layer Normalization. Модель предназначена для предобученных представлений геномных последовательностей, заполнения замаскированных участков и последующей настройки для классификационных задач. Карточка не сообщает лицензию, поэтому условия использования следует проверить в репозитории модели.

GENA-LM-sparse-bigbird-base — языковая модель для анализа последовательностей человеческой ДНК, опубликованная Taykhoom Dalal как порт модели AIRI Institute. Это плотная masked language model на архитектуре BigBird с разреженным блочным вниманием: 12 слоёв, 12 голов внимания и размерность представлений 768. Модель содержит 137,8 млн параметров и принимает до 4096 BPE-токенов; словарь из 32 000 токенов обучен на ДНК и включает специальный токен [MASK]. Модель обучена на сборке генома человека T2T с задачей masked language modeling и подходит для предсказания замаскированных участков и получения контекстных представлений последовательностей. Порт реализует блочно-разреженное внимание на чистом PyTorch без зависимости от DeepSpeed; для коротких последовательностей до 256 токенов внимание становится плотным. Проверена математическая эквивалентность реализации для разреженного внимания, но совпадение округлений с исходным ядром DeepSpeed/Triton не заявлено. Исходная NSP-голова и pooler не включены. Лицензия — MIT.

Taykhoom поддерживает эту минимальную реализацию GENA-LM-t2t-bert-large для анализа последовательностей ДНК. Модель основана на контрольной точке AIRI-Institute/gena-lm-bert-large-t2t и предназначена для восстановления замаскированных участков генетических последовательностей, а также получения их векторных представлений. Это плотная трансформерная архитектура BERT с 24 слоями, 16 головами внимания и размерностью эмбеддингов 1024; модель содержит 435,4 млн параметров и обрабатывает до 512 токенов за раз. Токенизатор использует словарь из 32 000 BPE-токенов, обученных на ДНК. Предобучение проводилось на сборке человеческого генома T2T с вариантами из 1000 Genomes и gnomAD, а также включало многовидовые последовательности согласно карточке. Порт воспроизводит результаты исходных весов и добавляет поддержку ускоренных механизмов внимания SDPA и Flash Attention 2. NSP-голова и пулинг отсутствуют; для задач классификации последовательностей требуется добавить собственную голову. Модель распространяется по лицензии MIT.

H3BERTa — языковая модель на архитектуре RoBERTa-base, разработанная для анализа CDR-H3 антител. Это энкодер с 113,3 млн параметров, обученный на более чем 17 млн последовательностей CDR-H3 из репертуаров здоровых доноров в наборе OAS. Модель принимает аминокислотные последовательности длиной до 100 остатков; словарь включает 20 стандартных аминокислот и специальные токены, в том числе [MASK]. Модель предназначена для получения эмбеддингов последовательностей CDR-H3, оценки вероятности вариантов и мутаций методом псевдоправдоподобия, а также предсказания аминокислот в замаскированных позициях. Эмбеддинги можно использовать для кластеризации, поиска сходных последовательностей и последующих задач машинного обучения, включая выявление bnAbs после дополнительной настройки. На вход следует подавать только последовательность CDR-H3 без начального C и конечного W, без пробелов и разделителей. Модель доступна под лицензией MIT. Она обучена на репертуарах здоровых доноров, поэтому её оценки отражают закономерности этих данных и сами по себе не подтверждают связывание, эффективность или клиническую пригодность антитела.

Helix-mRNA-v0 — модель компании Helical AI для извлечения признаковых представлений из последовательностей мРНК. Она сочетает архитектуру Mamba2 с пространством состояний и механизм внимания Transformer, чтобы обрабатывать длинные последовательности и учитывать контекст. Нуклеотиды A, C, U, G и неоднозначный символ N токенизируются по одному; специальный символ E отмечает начало кодона. Модель предназначена для анализа полноразмерных транскриптов, вариантов сплайсинга и структурных элементов мРНК. Её эмбеддинги можно использовать как основу для последующей классификации и других задач анализа последовательностей. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия CC BY-NC-SA 4.0; для коммерческого использования разработчик предлагает связаться с Helical AI.

dnaGPT human_gpt2-v1 — языковая модель для последовательностей ДНК, разработанная командой dnaGPT на основе архитектуры GPT-2 и обученная на данных генома человека. Для токенизации используется BPE вместо разбиения на k-меры; в карточке указано, что обучение проводилось на сборке генома человека T2T. Модель доступна через Transformers и выдаёт скрытые состояния размерности 768, которые можно объединять пулингом в векторное представление последовательности. Модель предназначена для извлечения признаков и построения эмбеддингов последовательностей ДНК, например для последующего анализа или сравнения. Контекст составляет 1024 токена. Репозиторий содержит веса PyTorch и код обучения BPE. Лицензия — Apache-2.0; README не приводит сравнительных оценок качества или подробных результатов на биологических задачах.

HyenaDNA — семейство геномных языковых моделей, разработанное исследователями из Стэнфорда, Harvard Medical School и других организаций. Эта версия содержит 3,7 млн параметров и рассчитана на последовательности длиной до 32 тыс. нуклеотидов. Модель использует архитектуру HyenaDNAForCausalLM со стеком операторов Hyena, односимвольной токенизацией нуклеотидов и авторегрессионным предсказанием следующего нуклеотида. По сравнению с плотным вниманием операторы Hyena масштабируются субквадратично по длине последовательности. Модель предварительно обучена на человеческом референсном геноме HG38. Она предназначена для генерации и анализа последовательностей ДНК, а также для дообучения на задачах классификации, включая предсказание регуляторных элементов, профилей хроматина и классификацию видов. Контекст до 32 тыс. нуклеотидов позволяет учитывать дальние зависимости в геномных последовательностях. Для обучения README приводит требования к GPU для семейства моделей, но указанные ресурсы различаются по размеру чекпойнта. Репозиторий содержит веса в формате safetensors. Лицензия — BSD 3-Clause. Хотя README описывает обучение на человеческом геноме и экспериментальные результаты для разных видов, метаданные не указывают коды языков; естественные языки для этой модели не применимы. Фактические пределы производительности и пригодность к конкретным геномным задачам зависят от данных и дообучения.

Карточка модели LongSafari/hyenadna-tiny-1k-seqlen-d256-hf на Hugging Face совпадает с карточкой LongSafari/hyenadna-medium-450k-seqlen-hf, поэтому описание составлено по ней. HyenaDNA — геномная фундаментальная модель, разработанная исследователями из Stanford и Harvard и представленная организацией LongSafari. Этот чекпойнт использует архитектуру HyenaDNAForCausalLM с 7,3 млн параметров и предназначен для генерации последовательностей ДНК и последующей адаптации к задачам анализа геномных последовательностей. Модель предварительно обучена предсказывать следующий нуклеотид на референсном геноме человека HG38. Односимвольный токенизатор сохраняет разрешение до одного нуклеотида, а операторы Hyena обеспечивают обработку длинных последовательностей с глобальным рецептивным полем. Название репозитория указывает на вариант с длиной последовательности 450 тыс.; README описывает семейство HyenaDNA с контекстами до 1 млн токенов, но не приводит отдельного подтверждения предельной длины именно этого чекпойнта. Модель применима для генерации ДНК, а также как основа для дообучения на классификацию последовательностей, включая поиск регуляторных элементов, анализ профилей хроматина и классификацию видов. README указывает, что для обучения на последовательностях до примерно 250 тыс. нуклеотидов на T4 с 16 ГБ VRAM удавалось проводить эксперименты, а для варианта medium-450k рекомендует A100-40GB для предобучения и дообучения, T4 для инференса. Поддерживаемый формат весов — safetensors. Лицензия — BSD-3-Clause.