II.8Инженерия данных и аналитика

multimolecule/utrbert-3mer — неофициальная реализация 3UTRBERT от команды MultiMolecule, основанная на исследовании Yuning Yang, Gen Li и соавторов. Это предварительно обученная BERT-подобная модель на 113,3 млн параметров, использующая токенизацию перекрывающимися 3-нуклеотидными k-мерами и задачу masked language modeling. Она обучена на последовательностях 3′-нетранслируемых областей человеческой мРНК из GENCODE; максимальная длина контекста — 512 токенов. Модель предназначена для восстановления замаскированных фрагментов РНК, извлечения представлений последовательностей и использования в качестве основы для дообучения под задачи классификации или регрессии на уровне последовательностей либо нуклеотидов. Она специализирована на 3′UTR и воспроизводит промежуточные представления оригинальной реализации, согласно карточке. Для токенизации k-меров требуется библиотека multimolecule; стандартный Transformers pipeline не поддерживает её токенизацию напрямую. Модель не дообучена под конкретные downstream-задачи. Лицензия — AGPL-3.0.

AgroNT — языковая модель ДНК, разработанная InstaDeep и обученная преимущественно на геномах съедобных растений. Она использует архитектуру Transformer с self-attention и задачей masked language modeling; в каталоге указана архитектура ESM с 1,3 млрд параметров. Для преобразования последовательностей нуклеотидов применяется неперекрывающийся токенизатор 6-меров с отдельными токенами для A, T, C, G и N. Контекст составляет 1026 токенов по метаданным, что в README округлено до 1024 токенов, или примерно 6144 пар оснований. Модель обучена на примерно 10,5 млн геномных последовательностей 48 видов растений из Ensembl Plants. Она предназначена для анализа последовательностей ДНК и предсказания замаскированных нуклеотидных токенов; выученные представления могут служить основой для задач геномики растений. В репозитории указаны веса PyTorch и задача fill-mask. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространения производных работ на тех же условиях и ограничивает коммерческое использование.

Arithmetic-SLM — компактная языковая модель WhirlwindAI, предназначенная для продолжения арифметических выражений. Это плотная причинная архитектура TinyGPTForCausalLM на 21,7 млн параметров, подготовленная для Transformers и сохранённая в формате safetensors. Модель рассчитана прежде всего на числовые операции, преимущественно с двузначными числами: она учится продолжать выражения с несколькими операциями и скобками, учитывать приоритет операций и работать с десятичной арифметикой. Контекст составляет 2048 токенов; в метаданных указан английский язык. Модель ориентирована на эффективные эксперименты с арифметическим продолжением, а не на роль универсального чат-бота. В README также перечислены планы будущих исследований, включая вычисления с числами FP16 и скалярные произведения; это направления дальнейшей работы, а не подтверждённые возможности текущей версии. Лицензия — Apache 2.0. Карточка описывает проект как эксперимент, поэтому точность на произвольных выражениях и пригодность для критичных вычислений не подтверждены.

Bacformer Large Masked MAG — модель для бактериальной геномики, разработанная исследователями из Floto Lab Кембриджского университета и Brbić Lab EPFL под руководством Maciej Wiatrak. Она рассматривает геном как упорядоченную последовательность белков и формирует контекстные представления белков с учётом остальных белков организма и их расположения в хромосомах, плазмидах и контигах. Модель содержит около 442,4 млн параметров, использует плотную архитектуру Bacformer со SwigLU и ESM-C 300M для получения усреднённых эмбеддингов аминокислотных последовательностей. Она обучена предсказывать семейства замаскированных белков на корпусе примерно из 1,3 млн метагеномных сборок бактериальных геномов. Максимальная длина контекста — 6000 белков; модель поддерживает задачи заполнения масок, классификации последовательностей и токен-классификации. Bacformer подходит для получения контекстных представлений геномов и белков, а также для построения downstream-моделей в задачах бактериальной геномики. Для корректных оценок требуется актуальная версия весов: в коде модели была исправлена ошибка, ухудшавшая качество выходных эмбеддингов. Лицензия — Apache 2.0.

Bacformer-masked-complete-genomes — модель для бактериальной геномики, разработанная исследователями из University of Cambridge (Floto Lab) и EPFL (Brbić Lab) под руководством Maciej Wiatrak. Это дообученная версия Bacformer-masked-MAG, продолжившая обучение на примерно 40 тысячах полных геномов из NCBI RefSeq после предварительного обучения на корпусе примерно из 1,3 миллиона бактериальных геномов. В метаданных указаны 33,2 млн параметров и контекст до 6000 белков; README сообщает о 27 млн параметров. Модель представляет геном как упорядоченную последовательность белков и использует трансформер для моделирования контекста генома. Входные белковые последовательности встраиваются с помощью ESM-2 t12 35M, после чего модель предсказывает семейства замаскированных белков. Она предназначена для анализа геномного контекста бактерий и получения представлений белков с учётом их окружения. Лицензия — Apache 2.0. Для применения требуется представить белки генома в хромосомном порядке; максимальная длина ограничена 6000 белками, что охватывает более 98% геномов обучающего корпуса.

BacLM 350M Masked — модель Macwiatrak для маскированного языкового моделирования бактериальных белковых и межгенных ДНК-последовательностей. Она использует общий символьный трансформерный энкодер для одной последовательности за раз и предсказывает замаскированные символы; также модель предназначена для получения контекстных эмбеддингов и переноса обучения на задачи бактериальной геномики. В README указаны 32 слоя, размер скрытого состояния 960, 16 голов внимания, символьная токенизация и контекст до 2048 токенов. Метаданные Hugging Face указывают архитектуру BacLMForMaskedLM и 471,9 млн параметров; README приводит оценку около 350 млн. Белковые последовательности следует подавать заглавными буквами, а ДНК — строчными. Лицензия — Apache-2.0. Модель рассчитана на бактериальные последовательности, а не на общую эукариотическую геномику. Маскирование и предсказание выполняются на уровне отдельных символов, а не биологических единиц более высокого уровня; несоблюдение регистра может ухудшить распознавание модальности.

BatatasLM-MS12-28L — предварительно обученная ДНК-модель семейства BatatasLM, разработанная в проекте Jiangsu Normal University. Это плотная архитектура Caduceus с головой CaduceusForMaskedLM и 231,2 млн параметров; модель распространяется в формате PyTorch и предназначена для задач заполнения масок в последовательностях ДНК и получения их представлений. Модель обучалась на коллекции геномов растений 12 видов BatatasLM-MS12-Pretraining-Data, с длиной последовательности 4096 пар оснований. Она подходит для исследовательских сценариев анализа геномных последовательностей растений; метаданные также относят к поддерживаемым задачам классификацию текста, что в данном контексте следует понимать как классификацию последовательностей. Карточка не приводит метрик или сравнений качества, поэтому эффективность для конкретных задач не подтверждена. Для загрузки указано использование Transformers с trust_remote_code=True. Лицензия не указана в предоставленных данных.

CaLM — плотная BERT-подобная модель, разработанная Карлосом Оутейралом и Шарлоттой Дин и опубликованная MultiMolecule как неофициальная реализация оригинальной работы. Она предварительно обучена на кодирующих последовательностях ДНК с помощью masked language modeling и предназначена для заполнения масок в последовательности, извлечения признаков и использования в качестве основы для дообучения под задачи классификации или регрессии нуклеотидных последовательностей. Модель содержит 12 слоёв, 768 скрытых измерений и 12 голов внимания; карточка указывает 85,75 млн параметров, а метаданные — 113,3 млн. Максимальная длина входа составляет 1024 токена (в метаданных — 1026 токенов). Обучение проводилось на 9 858 385 последовательностях cDNA из European Nucleotide Archive. Модель принимает текстовые представления последовательностей ДНК и выдаёт предсказания для маскированных токенов или признаки последовательностей. В карточке отмечено, что предоставленные веса могут не воспроизводить промежуточные представления оригинальной реализации; для специализированной классификации и регрессии требуется дообучение. Лицензия — AGPL-3.0.

DNAGPT2_2048 — авторегрессионная языковая модель для геномных последовательностей, разработанная авторами проекта DNAGPT2 и обученная с нуля на базе архитектуры GPT-2 Small. Модель содержит около 86 млн параметров, 12 слоёв и контекстное окно 1 024 токена; вариант 2048 использует словарь из 2 048 токенов. Она принимает последовательности ДНК с символами A, C, G и T и выдаёт оценки вероятностей следующего токена. Модель предназначена для предсказания продолжения последовательности и сжатия ДНК в сочетании с арифметическим кодированием. Предобучение проводилось на данных DNABERT-2: примерно 32,5 млрд нуклеотидов из 135 геномов позвоночных, грибов, простейших, беспозвоночных и бактерий. Неоднозначный символ N исключён из обучающего алфавита, поэтому модель не рассчитана на последовательности с такими символами без предварительной обработки. В README приведены результаты оценки сжатия для нескольких геномов, но они относятся к DNAGPT2_32 и не подтверждают такие же показатели для варианта 2048. Репозиторий содержит веса safetensors и использует библиотеку Transformers; лицензия — Apache-2.0.

vojtam представил DNAGPT2_256 — авторегрессионную модель для последовательностей геномной ДНК на архитектуре GPT-2 Small. В README указаны около 86 млн параметров, 12 слоёв, 12 голов внимания, размерность эмбеддингов 768 и контекст 1 024 токена; модель использует вариант словаря размером 256. Она обучена с нуля на данных DNABERT-2: 135 геномов разных групп организмов, всего около 32,5 млрд нуклеотидов. Модель принимает последовательности из символов A, C, G и T и предсказывает вероятности следующего токена. Её назначение — моделирование геномных последовательностей и сжатие ДНК совместно с арифметическим кодированием. В README приведены результаты сжатия другой конфигурации семейства, DNAGPT2_32, поэтому эти показатели нельзя напрямую считать результатами DNAGPT2_256. Неоднозначный символ N исключён из обучающих данных. Репозиторий использует Transformers и формат safetensors; лицензия — Apache-2.0.

FishCaduceus-20L-512 — предварительно обученная на геномных последовательностях рыб ДНК-языковая модель семейства FishCaduceus, разработанная на основе Caduceus. Она использует двунаправленную архитектуру пространства состояний с компонентами, учитывающими обратное комплементарное представление, и обучена восстанавливать замаскированные нуклеотиды. Модель содержит 41,3 млн параметров, 20 слоёв с размерностью 384 и контекст предварительного обучения 512 нуклеотидов; токенизация выполняется на уровне отдельных нуклеотидов. Модель предназначена для анализа геномных последовательностей рыб: предсказания нуклеотидов, получения представлений последовательностей, переноса обучения и дообучения для задач геномной аннотации, сравнительной и эволюционной геномики, а также исследовательского анализа вариантов и регуляторных последовательностей. Основной язык входных данных — последовательности ДНК; выход включает оценки нуклеотидов и векторные представления. Для загрузки используется PyTorch и Transformers с пользовательским кодом модели. Качество может снижаться на последовательностях далёких таксономических групп и зависит от вида, участка генома и downstream-задачи. Длинные последовательности следует разбивать на окна, соответствующие контексту модели; предсказания сами по себе не доказывают биологическую функцию или причинность и требуют экспериментальной проверки. Лицензия — Apache-2.0.

FungiHelixSeek — ДНК-модель семейства HelixSeek, разработанная Zhangtaolab для анализа грибных геномов. Это модель со смесью экспертов (MoE), сочетающая линейное внимание и Transformer; она предварительно обучена на грибных геномах методом двунаправленного masked language modeling на уровне отдельных нуклеотидов. В метаданных указаны 163,6 млн параметров и контекст до 8192 токенов; README приводит общее число параметров 263 млн и около 112 млн активных параметров на токен. Модель предназначена для заполнения масок в последовательностях ДНК и может применяться как основа для задач геномной классификации, аннотации структуры генов и анализа эпигеномных признаков грибов. В README сообщается о первом месте в 11 из 12 задач бенчмарка грибной эпигеномики; это результат авторского сравнения. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

GB.Cell-3M — модель семейства CellFoundation от genbio-ai с архитектурой CellFoundationForMaskedLM. В репозитории доступны веса PyTorch и Safetensors; размер модели — 1,1 млн параметров, контекст — 19 264 токена. Карточка отсылает к описанию более подробной модели из коллекции и к примерам использования в Hugging Face, но не раскрывает дополнительные сведения о назначении этого чекпойнта. По метаданным модель поддерживает задачу fill-mask: предсказывает замаскированные элементы в последовательности. Семейство и название указывают на работу с клеточными данными, однако формат входных последовательностей, обучающие данные, поддерживаемые языки и конкретные биологические сценарии в предоставленных материалах не описаны. Указана лицензия other, поэтому условия использования нужно сверить с лицензией репозитория.

GENATATOR-Caduceus-PS — языковая модель ДНК, дообученная AIRI Institute для разметки структуры генов непосредственно по геномным последовательностям. Она выполняет многометочную классификацию на уровне нуклеотидов: для каждого нуклеотида выдаёт оценки пяти классов — 5′ UTR, экзон, интрон, 3′ UTR и CDS. Модель построена на архитектуре Caduceus PS с 16 слоями и размером скрытого представления 512; токенизация выполняется по одному нуклеотиду. Максимальная поддерживаемая длина последовательности — 250 000 нуклеотидов. Модель дообучена на мультивидовом наборе транскриптов мРНК и длинных некодирующих РНК: каждый пример содержит одну последовательность гена, без межгенных областей. Модель подходит для сегментации структуры генов в последовательностях отдельных транскриптов. Данные обучения не включали полные геномы и межгенные области, поэтому применение к таким входам не подтверждено. Веса распространяются по лицензии Apache-2.0.

GENERanno-prokaryote-0.5b-base — базовая геномная модель GenerTeam для анализа прокариотической ДНК. Это плотная модель с архитектурой GenerannoForMaskedLM и примерно 493,2 млн параметров, обученная на наборе данных объёмом 715 млрд пар оснований. Она обрабатывает последовательности с разрешением до одного нуклеотида и поддерживает контекст до 8192 токенов, соответствующих парам оснований. Модель предназначена для заполнения маскированных участков ДНК и может применяться как основа для задач геномного анализа, включая классификацию последовательностей и разметку токенов. В карточке также описана отдельная производная модель для аннотации метагеномных последовательностей, но этот репозиторий содержит базовую модель, а не аннотатор. Модель распространяется по лицензии MIT. Данные карточки указывают на специализацию на прокариотических геномах; результаты и характеристики отдельной модели-аннотатора не следует автоматически переносить на эту базовую модель.

GENERanno-cds-annotator — геномная модель GenerTeam, дообученная на GENERanno-prokaryote-0.5b-base для аннотации метагеномных последовательностей, в частности для поиска и разметки кодирующих последовательностей (CDS). Это плотная модель с архитектурой Generanno, примерно 493,2 млн параметров и контекстом до 8192 токенов; в карточке Hugging Face для неё указана задача token-classification. Модель предназначена для аннотации геномов прокариот. Авторы сообщают о более высокой точности, чем у GLIMMER3, GeneMarkS2, Prodigal и GeneLM, а также о хорошей обобщающей способности на геномах архей. Для сквозной аннотации геномов авторы предоставляют Python-скрипты на GitHub. Модель работает с последовательностями ДНК и выдаёт разметку токенов, связанную с CDS. В README не приведены подробности о формате входа и метках, поэтому при интеграции следует свериться с кодом и примерами авторов. Лицензия репозитория — MIT.

GummyBear Hierarchical Fusion — модель на PyTorch для определения координат встроенной частицы по томографическим проекциям из набора GummyBear Tomography. Она принимает 6 настроек освещения и 36 видов с орбиты камеры, каждый размером 128×128, и предсказывает координаты particle_x, particle_y и particle_z. Архитектура использует CNN с усреднённым глобальным пулингом (GAP) для обработки отдельных видов, затем объединяет признаки сначала по настройкам освещения, а затем по камерам. В отчёте для тестовой выборки указан суммарный евклидов RMSE координат 0,422606. Модель опубликована tbhugging под лицензией Apache-2.0. Модель подходит для локализации частиц по многовидовым томографическим изображениям. Для работы нужны проекции с ожидаемыми настройками освещения и камер; README не описывает применение к изображениям вне набора GummyBear Tomography.

LANTERN MAPT model C — это ансамбль из пяти 3D-сетей ResEncLUNet, разработанный для сегментации амилоид-бета-бляшек в очищенном целом мозге мышей, снятом методом светолистовой микроскопии. Модель дообучена на когорте MAPT/APOE на основе apooladi/lantern-ki3-abeta: энкодер ResEncL заморожен, дообучался декодер. Всего в модели 102,3 млн параметров, из них 12,1 млн обучаемых; выход включает три класса, но основным результатом является канал бляшек. Модель предназначена для обнаружения и очерчивания Aβ-бляшек в канале Abeta с разрешением 4× и заданной близкоизотропной сеткой. На отложенных патчах размером 128³ объектный F1 составил 0,354, или 0,402 после удаления компонент меньше 8 вокселей. Для корректного применения нужны ресэмплинг до 4,0 × 3,25 × 3,25 мкм и нормализация исходной интенсивности по тайлам. Лицензия CC BY-NC 4.0 допускает некоммерческое использование. Результаты следует считать исследовательскими: обучение велось на 40 патчах, разбиение выполнено по патчам, а не по животным, поэтому качество на новых животных может быть ниже. Модель не валидирована для оценки абсолютной нагрузки бляшками; класс ложноположительных структур является вспомогательным и нестабильным между фолдами. Она не предназначена для диагностики.

CXR Draft Auditor v1 — дообученная Александаром Филипповым мультимодальная модель на базе Google MedGemma 1.5 4B IT. Это модель Gemma 3 с архитектурой для генерации текста по изображениям; её настроили извлекать из рентгенограмм грудной клетки ограниченный набор находок и возвращать их в структурированном JSON с приблизительными ограничивающими рамками. Модель принимает изображение рентгенограммы и текстовый запрос, выдаёт текст с описанием находок и координатами рамок. Она рассчитана на англоязычные сценарии исследования и обучения, например эксперименты с сопоставлением находок на снимке и чернового заключения. Черновой текст не входил в цель дообучения: модель не предназначена для его разбора. Модель выпущена под лицензией Health AI Developer Foundations (HAI-DEF), условия которой запрещают клиническое применение. Версия v1 сохранена для справки и воспроизводимости, но демо-сервис перешёл на v2. Модель часто ошибается: может пропускать или выдумывать находки, а рамки могут указывать на неверную область. Набор меток ограничен шестью находками, а качество на снимках за пределами узкого распределения обучения неизвестно и, вероятно, низкое. Модель нельзя использовать для диагностики, скрининга, сортировки пациентов или принятия решений о лечении.

Minerva-MLM — плотная геномная языковая модель семейства Minerva от gbrixi для анализа последовательностей ДНК и поиска коэволюционных сигналов. Модель содержит голову masked language modeling и дополнительные головы для предсказания спаривания оснований, контактов белка и повторов. Она рассчитана на контекст до 4 096 токенов и доступна в формате safetensors для библиотеки Transformers; лицензия — Apache-2.0. Модель подходит для заполнения замаскированных токенов в геномных последовательностях, анализа сигналов взаимодействия и построения карт контактов и повторов. README указывает поддержку взаимодействий между ДНК, РНК и белком, а также функции вычисления отпечатков взаимодействий. Для неизвестной ориентации участка следует запускать анализ обеих цепей: обучение преимущественно проводилось на положительной цепи ДНК, и качество на ней лучше. Для полноценной работы с обеими ориентациями можно объединять карты прямой и обратной комплементарной последовательностей.

songlab/mlm-baseline-mm39 — сверточная маскированная языковая модель Songlab для генома мыши Mus musculus, сборка mm39. Она принимает закодированные последовательности ДНК и для каждой позиции выдаёт оценки вероятностей четырёх нуклеотидов A, C, G и T по окружающему контексту. Чтобы получить предсказание для конкретной позиции, её токен заменяют на маску; выход модели представляет собой центральное окно последовательности. Модель обучалась на геноме мыши методом masked language modeling и устроена так, чтобы предсказания согласовывались при обратном комплементировании последовательности. Её можно использовать для оценки неожиданности вариантов и как экстрактор признаков последовательности. Опубликованная версия является частичным запуском обучения: она выпущена до завершения цикла изменения скорости обучения, поэтому результаты могут отличаться от будущего завершённого чекпойнта. Веса представлены в формате safetensors, библиотека — PyTorch; лицензия MIT.

NexaMass-V3-Struct — компактный энкодер спектров MS/MS, разработанный в рамках пайплайна Nexa MS/MS. Это encoder-only трансформер с 14 106 690 обучаемыми параметрами: он преобразует тандемный масс-спектр в спектральный эмбеддинг и предсказывает вероятности 2048-битных отпечатков Morgan из RDKit. Модель использует спектральный трансформер с 6 слоями, 8 головами внимания и скрытым размером 384; веса доступны в форматах PyTorch и Safetensors. Модель предназначена для построения эмбеддингов и кластеризации спектров, сужения набора молекулярных кандидатов, поиска по известной базе кандидатов и исследований представлений MS/MS, связанных с химической структурой. Она адаптирует самоконтролируемый энкодер NexaMass-V3, предварительно обученный на спектрах, к размеченным данным с целевыми отпечатками Morgan. Лицензия — Apache-2.0. Это исследовательский инструмент для ранжирования короткого списка кандидатов с последующей химической проверкой. Модель не генерирует молекулярные структуры de novo и не декодирует SMILES или молекулярные графы; предсказанный лучший кандидат нельзя считать подтверждённой идентификацией. Оценки и разрывы между оценками не калиброваны как вероятности, а качество обобщения на более широкое химическое пространство требует дополнительной проверки.

Orthrus 4-track — разработанная antichronology модель для получения представлений последовательностей РНК. Это энкодер на базе Mamba с примерно 10 млн параметров, контрастивно предобученный на более чем 45 млн зрелых транскриптов мРНК. На вход подаются нуклеотиды в четырёхканальном one-hot представлении; модель выдаёт векторное представление размерности 512, доступно также представление для каждой позиции последовательности. Модель предназначена для извлечения признаков из РНК и использования этих представлений в последующей настройке и линейном зондировании биологических задач. README связывает семейство Orthrus с публикацией в Nature Methods. Для работы с Mamba требуется CUDA; модель загружается через Transformers с включённым trust_remote_code. Лицензия — MIT.

Orthrus MLM 6-track — RNA-модель-энкодер, разработанная авторами семейства Orthrus. Это плотная модель на основе Mamba примерно с 10 млн параметров, предварительно обученная на контрастивной задаче и masked language modeling. Версия MLM добавляет к стандартному backbone Orthrus голову предсказания токенов для каждой позиции последовательности. Модель предназначена для получения векторных представлений РНК и оценки нуклеотидов в отдельных позициях. Методы representation() и representation_unpooled() выдают агрегированные и попозиционные эмбеддинги; predict_tokens() возвращает логарифмические правдоподобия нуклеотидов и может применяться для оценки вариантов. Для входа в формате 6-track требуются дополнительные CDS- и splice-каналы наряду с нуклеотидными данными. Модель распространяется в формате safetensors и использует библиотеку Transformers с пользовательским кодом; README указывает, что для Mamba-backbone требуется CUDA. Лицензия — MIT. README связывает другие модели семейства Orthrus с публикацией в Nature Methods, но не сообщает об отдельной публикации или оценках качества этой MLM-версии.

PlantCaduceus_l32 — крупная предобученная языковая модель ДНК из семейства Caduceus, разработанная группой Kuleshov. Она обучена на геномах 16 видов покрытосеменных растений с помощью задачи masked language modeling и архитектур Caduceus и Mamba. Модель предназначена для изучения эволюционно-консервативных закономерностей и грамматики последовательностей ДНК; авторы рекомендуют вариант l32 для оценки оценок zero-shot. В README указаны 32 слоя и размер скрытого представления 1024; метаданные каталога указывают 469,8 млн параметров. Репозиторий содержит веса PyTorch. Лицензия — Apache-2.0. Модель применима к анализу растительных геномных последовательностей, но README не описывает конкретные гарантии качества или ограничения переносимости на другие виды.

PlantGeneAnn‑v1.5‑flower‑plants — фундаментальная модель генома, разработанная hu-lab для автоматической разметки структуры генов de novo в геномах цветковых растений. Версия 1.5 ориентирована на цветковые растения и, согласно карточке, улучшена относительно PlantGeneAnn-v1-model-plants. Модель использует архитектуру Caduceus PH с MoE и содержит 43 млн параметров. Она предназначена для извлечения признаков из геномных последовательностей и применения в задаче аннотации генов. Репозиторий предоставляет веса в формате safetensors; библиотека для работы — Transformers. Лицензия — MIT.

RiNALMo Mega — модель семейства RiNALMo, разработанная Rafael Josip Penić, Tin Vlašić, Roland G. Huber, Yue Wan и Mile Šikić; эта версия опубликована командой MultiMolecule как неофициальная реализация. Это плотная BERT-подобная модель с 196,6 млн параметров, предварительно обученная на последовательностях некодирующей РНК с помощью masked language modeling. Она принимает последовательности нуклеотидов РНК, а задача fill-mask позволяет предсказывать замаскированные нуклеотиды; также модель можно использовать для извлечения признаков последовательностей и дообучать для downstream-задач. Контекст составляет 1024 токена. При обучении использовались RNAcentral, Rfam, Ensembl Genome Browser и Nucleotide; U заменялась на T, а токенизатор может выполнять обратное преобразование. Модель предназначена для анализа последовательностей РНК и может служить основой для задач предсказания структуры и других задач классификации или регрессии после дообучения. Она не дообучена для конкретной downstream-задачи, поэтому готовые предсказания классов или свойств последовательности от неё ожидать не следует. Репозиторий распространяется по лицензии AGPL-3.0.

RNA-MSM — предварительно обученная модель для анализа некодирующих РНК, реализованная командой MultiMolecule по опубликованной работе Yikun Zhang и соавторов. Это неофициальная реализация модели RNA-MSM; модель разработана как BERT-подобная архитектура MSA с построчным и поколоночным вниманием. В карточке указано 10 слоёв, скрытый размер 768, 12 голов внимания и контекст до 1024 токенов; в метаданных размер составляет 94,4 млн параметров. Модель обучена методом masked language modeling на выравниваниях последовательностей из Rfam 14.7, охватывающих 3 932 семейства РНК. Она подходит для предсказания скрытых нуклеотидов, извлечения представлений последовательностей и как основа для предсказания вторичной структуры РНК или дообучения на задачах классификации и регрессии. Модель принимает последовательности РНК и выдаёт текстовые предсказания или векторные представления; карточка не заявляет поддержку естественных языков. Для точного воспроизведения оригинального поведения авторы рекомендуют отключить добавление EOS-токена: в текущей реализации он может приводить к неожиданному поведению в отдельных случаях, хотя промежуточные представления совпадают с оригиналом. Для downstream-классификации и регрессии требуется дообучение. Лицензия — AGPL-3.0.

SpliceBERT — BERT-подобная модель, разработанная Кеном Ченом и коллегами и неофициально реализованная командой MultiMolecule. Она предварительно обучена на последовательностях пре-мРНК из 72 видов позвоночных с помощью маскированного языкового моделирования; обучающий корпус включает около 2 млн последовательностей общей длиной 65 млрд нуклеотидов. Модель содержит 25,2 млн параметров и принимает последовательности РНК длиной до 1026 токенов. Основная задача модели — восстановление замаскированных нуклеотидов. Её также можно использовать для извлечения признаков последовательностей и как основу для дообучения под задачи классификации или регрессии на уровне последовательности либо нуклеотидов. Это предварительно обученная модель, а не готовый специализированный предиктор сплайсинга; для downstream-задач требуется дообучение. Модель распространяется по лицензии AGPL-3.0.

SynCodonLM-V2-NoTokenType — языковая модель кодонов на архитектуре DeBERTa-v2, представленная как реплика варианта SynCodonLM, обученного без идентификаторов типов токенов. Модель разработана авторами проекта SynCodonLM; в карточке не названа конкретная организация-разработчик. Она предназначена для работы с кодирующими последовательностями ДНК и их представлениями: модель полностью не зависит от белка и не использует идентификаторы видов как типы токенов. Её можно применять для предсказания замаскированных кодонов и получения эмбеддингов кодирующих последовательностей. Модель содержит 113,3 млн параметров, принимает последовательности в контексте до 1024 токенов и распространяется в формате safetensors. Для обучения указан набор данных jheuschkel/clustered-cds-dataset. Лицензия Apache-2.0. Карточка не приводит результаты сравнительной оценки качества; описанное отсутствие зависимости от белка характеризует обучение, но не гарантирует качество для любых организмов и задач.