IV.6Научные исследования, математика и новые материалы

Taykhoom поддерживает этот перенос DNABERT-4mer на Hugging Face: модель DNABERT, созданную Ji et al. на основе BERT-base, обучали предсказывать замаскированные фрагменты последовательностей ДНК. Она предназначена для анализа геномных последовательностей и получения представлений, которые можно использовать при дообучении для задач классификации последовательностей. Модель содержит 113,4 млн параметров, 12 слоёв и 12 голов внимания; контекст — до 512 токенов. Токенизатор использует перекрывающиеся 4-меры: входную последовательность нужно предварительно разбить на фрагменты длиной четыре нуклеотида с шагом один и разделить их пробелами. Предобучение выполнено на референсном геноме человека GRCh38. Репозиторий содержит веса и файлы токенизатора; код архитектуры загружается из Taykhoom/BERT-updated. В README сообщается о проверке совпадения представлений и логитов с исходной реализацией DNABERT. Модель распространяется по лицензии Apache-2.0. Последовательности короче четырёх нуклеотидов не содержат токенов 4-меров, поэтому для них нельзя получить усреднённое представление или псевдоправдоподобие.

ERNIE-RNA — плотная BERT-подобная модель, реализованная командой MultiMolecule как неофициальная версия модели, разработанной Weijie Yin и соавторами. Она предварительно обучена на последовательностях некодирующих РНК с помощью маскированного языкового моделирования и предназначена для восстановления скрытых нуклеотидов и извлечения признаков последовательностей РНК. В карточке указаны 12 слоёв, размер скрытого представления 768 и контекст до 1024 токенов; метаданные каталога оценивают размер весов в 113,3 млн параметров. Обучение проводилось на 20,4 млн последовательностей из RNAcentral после удаления дубликатов и исключения последовательностей длиннее 1024 нуклеотидов. Модель работает с текстовым представлением последовательностей РНК; для классификации, регрессии и других прикладных задач её нужно дообучить. Репозиторий распространяется под лицензией AGPL-3.0.

ERNIE-RNA — предварительно обученная языковая модель для последовательностей РНК, созданная Yin et al.; порт на Hugging Face поддерживает Taykhoom Dalal. Модель предназначена для восстановления скрытых нуклеотидов и получения представлений последовательностей РНК. Это плотная трансформерная модель с 12 слоями, 12 головами внимания и размерностью эмбеддинга 768. При обработке каждой последовательности она вычисляет матрицу потенциалов спаривания оснований РНК и использует её как рекуррентное структурное смещение в механизме внимания. Обучение выполнено методом masked language modeling на последовательностях RNAcentral. Репозиторий содержит исходный предварительно обученный чекпойнт без вариантов дообучения. Модель подходит для заполнения масок в последовательностях РНК и получения эмбеддингов для последующего обучения предсказательных голов на задачах уровня последовательности или токенов. Для сохранения структурного пути требуется реализация внимания eager; SDPA и FlashAttention 2 не поддерживаются. Лицензия — MIT.

FishCaduceus-28L-512 — специализированная ДНК-языковая модель семейства FishCaduceus для анализа геномных последовательностей рыб. Модель разработана для изучения закономерностей в рыбных геномах и обучена предсказывать замаскированные нуклеотиды; её представления подходят для переноса на последующие задачи геномики. Модель построена на двунаправленной архитектуре Caduceus со state-space-моделированием и компонентами, учитывающими обратный комплемент. Она содержит 28 слоёв, скрытое измерение 768 и 231,2 млн параметров; токенизация посимвольная, на уровне отдельных нуклеотидов, размер словаря — 8. Контекст предобучения составляет 512 нуклеотидов. Модель принимает ДНК-последовательности и выдаёт оценки для восстановления нуклеотидов и скрытые представления последовательностей. Модель предназначена для исследовательских задач: извлечения признаков, аннотации геномов рыб, сравнительной и эволюционной геномики, а также предварительного изучения вариантов и регуляторных последовательностей. Она лицензирована по Apache-2.0. Качество может снижаться для организмов за пределами рыб и различаться между видами, участками генома и задачами; длинные последовательности следует обрабатывать окнами до 512 нуклеотидов. Оценки модели сами по себе не подтверждают функцию или причинность, а загрузка требует пользовательского кода модели.

Rangle2/gemma-4-12B-it-uncensored-opus4.7-cot — текстовая генеративная модель, разработанная Rangle2 на основе Google Gemma 4 12B IT. Это QLoRA-дообучение модели gemma-4-12B-it с использованием рассуждений Claude Opus 4.7; исходная модель была подвергнута abliteration для удаления отказов, после чего дообучена на структурированных chain-of-thought-трассах. Распространяется в виде объединённых весов fp16 safetensors и предназначена для запуска через Transformers. Модель ориентирована на задачи пошагового рассуждения, прежде всего STEM, математику и текстовую генерацию на английском языке. Рекомендуется явно просить её рассуждать по шагам и выделять финальный ответ, а также предоставлять не менее 768 токенов для генерации. По заявленным тестам, дообучение частично или почти полностью восстановило потери после abliteration: результат MMLU составил 0,739, GSM8K — 0,920, а WikiText-2 — 1,717 bits/byte. К ограничениям относятся ухудшение генерации кода по сравнению с исходной моделью, повышенная многословность, отсутствие оценки использования инструментов, длинного контекста и неанглоязычных сценариев, а также склонность к самоуверенным ошибкам и редкому отказу от ответа. Защитное поведение модели намеренно удалено, поэтому она может выдавать вредные, оскорбительные или небезопасные результаты и не подходит для использования без собственного защитного слоя, классификации выходов и человеческой проверки. Лицензия указана как gemma; использование должно соответствовать Gemma Terms of Use. Модель предоставляется без гарантий и не предназначена для медицинских, юридических, финансовых или иных критически важных решений.

GENA-LM — семейство открытых предварительно обученных моделей AIRI Institute для анализа длинных последовательностей ДНК. Эта версия представляет собой BERT-подобную плотную трансформерную модель с 137,8 млн параметров, обученную предсказывать замаскированные токены в последовательностях генома человека и нескольких видов. Модель использует BPE-токенизацию вместо k-меров и принимает до 512 токенов, что соответствует примерно 4500 нуклеотидам. Архитектура включает 12 слоёв, 12 голов внимания, скрытый размер 768 и словарь из 32 тысяч токенов. Предобучение проводилось на сборке человеческого генома T2T, последовательностях других видов и вариантах, полученных на основе данных gnomAD. Модель подходит для восстановления замаскированных участков ДНК и как основа для дообучения на задачах классификации геномных последовательностей. Её специализация — биологические последовательности, а не обычный текст. Лицензия в предоставленных данных не описана.

HealFormer Nside=256 mixed-mask — контрольная точка модели HealFormer (Mask-Aware HEALPix Transformer), опубликованная автором lalala404 для восстановления карты слабого гравитационного линзирования. Модель принимает карты компонент сдвига gamma1 и gamma2 вместе с целочисленной маской HEALPix и предсказывает карту сходимости kappa. Она работает непосредственно с вложенными картами HEALPix разрешения Nside=256, содержащими 786 432 пикселя, и учитывает границы и исключённые области обзора с помощью меток и обучаемых токенов маски. Контрольная точка содержит полные веса объёмом 113,2 млн параметров в формате safetensors; адаптер не требуется. Один и тот же чекпойнт предназначен для фиксированных масок обзоров KiDS, DES, DECaLS и Planck. Модель ориентирована на научные задачи картирования массы по данным слабого линзирования в астрономии и космологии. Лицензия репозитория — Apache-2.0. Описание не приводит результатов оценки качества или подробностей ограничений на другие разрешения и маски.

HyenaDNA large-1m — плотная авторегрессионная модель семейства HyenaDNA, разработанная исследовательской группой авторов проекта HyenaDNA. Она предназначена для анализа геномных последовательностей: модель предварительно обучена предсказывать следующий нуклеотид на референсном геноме человека HG38 и принимает последовательности на уровне отдельных нуклеотидов. Архитектура использует операторы Hyena с длинными свёртками и gating вместо стандартного механизма внимания, что позволяет обрабатывать длинные контексты; для этого чекпойнта заявлен контекст до 1 млн токенов. Размер модели — 7,3 млн параметров. Модель подходит для генерации продолжений ДНК-последовательностей и дообучения для задач классификации последовательностей, включая выявление регуляторных элементов, прогнозирование профилей хроматина и классификацию видов. В карточке описаны результаты на широком наборе геномных задач, но сами веса являются предварительно обученным чекпойнтом, а качество конкретного применения зависит от дообучения и данных. Для длинных последовательностей требуются значительные ресурсы GPU; авторы указывают для инференса large-1m видеокарту A100 с 40 ГБ памяти. Лицензия — BSD-3-Clause.

IDiom-20M — авторегрессионная языковая модель белков с 20 млн параметров для генерации и изучения внутренне неупорядоченных областей белков (IDR). Модель предназначена для работы с белковыми последовательностями и связана с датасетом IDiom-DB. Модель подходит для генерации вариантов IDR и изучения закономерностей в таких последовательностях в задачах вычислительной биологии и дизайна белков. В README приведена ссылка на карточку IDiom-300M с дополнительными сведениями, однако архитектура и детали обучения для версии 20M здесь не раскрыты. Модель распространяется по лицензии MIT.

IDiom-300M — авторегрессионная языковая модель белков, разработанная для генерации внутренне неупорядоченных областей белков (IDR). Она обучена на наборе IDiom-DB-v1, содержащем 54 млн IDR, отобранных из AlphaFold Database, и умеет генерировать последовательности как без контекста, так и с фланкирующими участками белка в формате fill-in-the-middle. Модель содержит 302 млн параметров, 24 слоя, ширину 1 024 и 16 голов внимания. В архитектуре используются RMSNorm, SwiGLU, QK-нормализация, RoPE и связанные входные и выходные эмбеддинги. Контекст составляет 1 024 входных токена, включая специальные токены; словарь включает 20 аминокислот и служебные токены. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Модель предназначена для генерации белковых IDR и заполнения заданного участка последовательности с учётом окружающего белкового контекста. Она специализирована на белковых последовательностях и не является универсальной языковой моделью; качество вне распределения IDiom-DB-v1 и биологическую пригодность сгенерированных последовательностей следует оценивать отдельно.

Intern-S1-mini V27 BBB Martins L2 — это дообученная исследовательская контрольная точка модели Intern-S1-mini, разработанная автором репозитория для переноса результатов анализов проницаемости гематоэнцефалического барьера на уровне отдельных записей. Модель построена на плотной архитектуре Qwen3ForCausalLM с 7,6 млрд параметров; принимает текст и выдаёт текст. Максимальная длина контекста — 65 536 токенов. Веса сохранены в формате BF16 Safetensors, модель предназначена для использования через Transformers. Модель обучена на наборе jiosephlee/assay-transfer-record-level-v27-bbb-martins-l2-intern. В README указано, что выбран чекпойнт шага 1575 по метрике валидации для ранжирования срезов ID/OOD; в приведённом сравнении он превосходит базовый Morgan ранжировщик по совместной ошибке и Spearman. Это свидетельствует о потенциале для ранжирования записей переноса анализа, но не гарантирует качество на других данных. Модельная карточка не сообщает лицензию, поэтому условия распространения и коммерческого применения следует проверять в репозитории.

KRONOS2 — маркер-ориентированная визуальная модель, разработанная для изображений пространственной протеомики, полученных методом мультиплексной иммунофлуоресценции, включая CODEX/PhenoCycler и CyCIF. Она принимает набор патчей изображений по отдельным маркерам вместе с названиями маркеров и формирует единый вектор признаков для мультиплексного патча с учётом состава панели антител. Модель построена на архитектуре DINOv2 ViT-B/16 с размерностью эмбеддинга 768. Для неё указаны эталонный размер патча ткани 256 × 256 пикселей и словарь из 268 маркеров, использованный при предобучении. KRONOS2 предназначена для извлечения признаков из неоднородных панелей маркеров; для комплексных рабочих процессов разработчики рекомендуют использовать сопровождающий проект CORAL. Для известных маркеров применяются предобученные статистики нормализации. Сопоставление названий маркеров точное с игнорированием разделителей и регистра; нечёткие псевдонимы не поддерживаются. Для новых маркеров требуется добавить метаданные и рассчитать среднее и стандартное отклонение на собственных данных. Модель доступна по запросу через gated-доступ Hugging Face, с условиями доступа, указанными в форме. Лицензия CC BY-NC-ND 4.0 запрещает коммерческое использование и распространение производных материалов на иных условиях.

songlab/mlm-baseline-mm39 — сверточная маскированная языковая модель Songlab для генома мыши Mus musculus, сборка mm39. Она принимает закодированные последовательности ДНК и для каждой позиции выдаёт оценки вероятностей четырёх нуклеотидов A, C, G и T по окружающему контексту. Чтобы получить предсказание для конкретной позиции, её токен заменяют на маску; выход модели представляет собой центральное окно последовательности. Модель обучалась на геноме мыши методом masked language modeling и устроена так, чтобы предсказания согласовывались при обратном комплементировании последовательности. Её можно использовать для оценки неожиданности вариантов и как экстрактор признаков последовательности. Опубликованная версия является частичным запуском обучения: она выпущена до завершения цикла изменения скорости обучения, поэтому результаты могут отличаться от будущего завершённого чекпойнта. Веса представлены в формате safetensors, библиотека — PyTorch; лицензия MIT.

MolXPT — модель генерации последовательностей, разработанная как вариант GPT и основанная на BioGPT. Она предварительно обучена на строках SMILES, представляющих молекулы, обёрнутых обычным текстом; для модели также переопределён токенизатор. Модель предназначена для генерации текста и последовательностей молекулярных структур в текстовом представлении. Она содержит 448,3 млн параметров, использует архитектуру BioGPT и доступна в формате PyTorch; длина контекста составляет 2048 токенов. В метаданных указана библиотека Transformers. Лицензия в предоставленных данных не указана.

NEXUS-Science — компактная специализированная языковая модель FableForge для научных вопросов, рассуждений и исследовательских задач. Это дообученная версия Qwen/Qwen2.5-1.5B-Instruct с архитектурой Qwen2 и 1,5 млрд параметров; модель предназначена для диалогового использования и генерирует текст по текстовым запросам. В метаданных указан контекст длиной до 32 768 токенов и поддержка английского языка. Разработчик позиционирует модель как лёгкого научного специалиста без отказов. В README приведены результаты внутренней оценки на 30 запросах, включая знания предметной области, рассуждения и использование инструментов; эти результаты не являются независимым бенчмарком. Модель опубликована в формате Safetensors под лицензией Apache-2.0. README также упоминает отдельные GGUF-квантизации, размещённые в другом репозитории.

NTv3_100M_pre — предварительно обученная модель InstaDeepAI для анализа геномных последовательностей. Это masked language model с U-Net-подобной архитектурой: сверточный блок, стек Transformer и деконволюционный блок с языковой головой. Модель работает на уровне нуклеотидов, используя символы A, T, C, G и N, и принимает последовательности длиной, кратной 128. Для загрузки требуется Transformers версии 4.55.0 или выше и пользовательский код репозитория. Модель предназначена для восстановления замаскированных нуклеотидов и получения представлений геномных последовательностей, которые можно использовать в задачах геномной аннотации и функционального анализа. Семейство NTv3 обучалось на 9 триллионах пар оснований и рассчитано на моделирование дальних зависимостей вплоть до 1 Мб контекста; конкретная карточка сообщает, что этот репозиторий содержит предварительно обученные MLM-веса. Модель портирована из JAX в Torch; при использовании bf16 возможны небольшие численные расхождения и нестабильность. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории.

InstaDeep разработала NTv3_650M_post — постобученную с учителем многовидовую геномную модель на основе семейства NTv3. Она использует обусловленную архитектуру U-Net с адаптивными нормами слоёв, трансформерным блоком и специализированными выходными головами. Модель рассчитана на анализ последовательностей ДНК и предсказание функциональных геномных признаков у 24 видов и сборок; контекст может достигать 1 млн нуклеотидов. Размер версии — 650 млн параметров. Модель предсказывает замаскированные нуклеотиды, функциональные дорожки BigWig и геномные элементы в формате BED, а также формирует эмбеддинги. Она подходит для аннотации геномов, анализа функциональной геномики и предсказания регуляторных признаков с учётом вида или сборки. Входная длина последовательности должна быть кратна 128; для загрузки требуется Transformers версии 4.55.0 или выше и пользовательский код модели. Веса изначально обучались в JAX с использованием смешанной точности, затем были перенесены в Torch; по умолчанию используется fp32, а bf16 может давать небольшие численные расхождения. Лицензия указана как other, поэтому перед использованием следует проверить условия в репозитории.

Nucleotide Transformer 2.5B Multi-Species — трансформерная языковая модель для ДНК, разработанная InstaDeep, NVIDIA и TUM. Она предварительно обучена на последовательностях из 850 геномов разных видов, включая модельные и немодельные организмы, и предназначена для анализа геномных последовательностей и прогнозирования молекулярных фенотипов. Модель использует архитектуру ESM с маскированным языковым моделированием: по контексту последовательности она предсказывает замаскированные участки ДНК. Для токенизации применяются 6-меры, а также отдельные нуклеотиды; длина последовательности составляет до 1 000 токенов, что согласуется с контекстом в 1 002 токена в метаданных. Размер модели по метаданным — 3,4 млрд параметров; доступны веса PyTorch, а README также упоминает TensorFlow. Модель подходит для заполнения пропусков в последовательностях ДНК и как основа для геномных задач, включая прогнозирование молекулярных фенотипов. Обучающие геномы не включают растения и вирусы; описанные в статье оценки сосредоточены на геномных задачах, для которых эти группы не включались. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространения производных материалов на тех же условиях и запрещает коммерческое использование.

Nucleotide Transformer v2 50M 3mer Multi-Species — трансформерная языковая модель InstaDeep для анализа последовательностей ДНК. Она предварительно обучена на 850 геномах разных видов, включая модельные и немодельные организмы; обучающая выборка охватывает около 174 млрд нуклеотидов. Модель содержит 50,4 млн параметров и использует семейство архитектур ESM с rotary positional embeddings и Gated Linear Units. Модель предназначена для предсказания молекулярных и белковых признаков по геномным последовательностям и для переноса на downstream-задачи биоинформатики. В каталоге основная задача обозначена как fill-mask; архитектура также поддерживает классификацию последовательностей и токенов. Вход — последовательности ДНК, представленные токенами; доступный контекст в метаданных составляет 2050 токенов, а при предобучении использовалась длина последовательности 1000 токенов. Предобучение охватывает широкий набор видов, но в него не включены растения и вирусы. Для использования README указывает на необходимость устанавливать Transformers из исходного кода до следующего выпуска. Лицензия CC BY-NC-SA 4.0 требует атрибуции, ограничивает коммерческое использование и предусматривает распространение производных материалов на тех же условиях.

OpenMath-Nemotron-32B-GGUF — это квантизированная версия языковой модели OpenMath-Nemotron-32B, разработанной NVIDIA и подготовленной в формате GGUF пользователем bartowski. Модель ориентирована на генерацию текста, прежде всего на решение математических задач и рассуждения на английском языке; в карточке также указано использование датасета NVIDIA OpenMathReasoning. Модель содержит 32 млрд параметров и предназначена для запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты с разными уровнями квантизации — от BF16 до Q3 и IQ3, с размером файлов примерно от 13,71 до 65,54 ГБ. Для взаимодействия используется шаблон чата с ролями system, user и assistant. Мультимодальность и размер контекстного окна в данных не указаны. Сильной стороной являются специализированная математическая направленность и широкий выбор квантизаций, позволяющий находить баланс между качеством и требованиями к памяти. При этом более компактные варианты снижают качество, а для запуска крупных вариантов требуются значительные вычислительные ресурсы; подробные результаты тестирования в README не приведены. Указана лицензия CC BY 4.0.

OpenMed-NER-ProteinDetect-TinyMed-135M — модель OpenMed для распознавания биомедицинских сущностей в тексте. Это дообученная модель архитектуры DistilBERT для token classification: она размечает последовательности токенов BIO-тегами и выделяет белки, белковые комплексы, семейства и группы белков, а также варианты белков. В README указана базовая архитектура distilbert-base-multilingual-cased; размер модели по названию — 135M параметров. Модель предназначена для извлечения белковых сущностей из научной литературы и других биомедицинских текстов, например для поиска сведений о белковых взаимодействиях и построения баз знаний. Вход — токенизированный текст; контекст — до 512 токенов. README сообщает F1 0,91 на корпусе FSU, но не приводит подробностей протокола оценки. Поддерживаемый язык в метаданных — английский. Модель опубликована под лицензией Apache-2.0.

OpenMed-ZeroShot-NER-Genomic-Tiny-60M — модель OpenMed для распознавания генов и связанных с генетикой сущностей в биомедицинских текстах. Она основана на архитектуре GLiNER и дообучена на корпусе GELLUS. Модель принимает текст и возвращает найденные сущности с метками; для извлечения можно задавать типы сущностей, включая пользовательские. Модель предназначена для поиска упоминаний генов и генетических сущностей в научной литературе и других текстовых материалах по геномике. В README приведён F1 0,66 для дообученной модели на тестовой выборке, не использованной при обучении. Указана лицензия Apache-2.0. Метаданные относят модель к задаче token classification и указывают английский язык.

OpenMed-ZeroShot-NER-Oncology-XLarge-770M — специализированная модель OpenMed для распознавания именованных сущностей в онкологической и биомедицинской литературе. Она построена на архитектуре GLiNER и дообучена на корпусе BioNLP 2013 CG, посвящённом генетике рака. Размер в названии модели — 770 млн параметров; модель использует веса PyTorch и распространяется по лицензии Apache-2.0. Модель извлекает из текста гены и их продукты, варианты, химические соединения, клетки, ткани, заболевания и другие сущности, связанные с биомедициной и онкологией. Благодаря zero-shot подходу пользователь может задавать типы сущностей для поиска без отдельного дообучения; основные сценарии — анализ публикаций по генетике рака, курирование биологических путей и поиск потенциальных биомаркеров или терапевтических мишеней. В README приведён результат F1 0,875 на тестовом наборе BioNLP 2013 CG; качество на других текстах и типах сущностей может отличаться, а пользовательские типы могут требовать настройки порога обнаружения.

zhangtaolab/plant-nucleotide-transformer-BPE — модель семейства ESM, разработанная zhangtaolab для работы с последовательностями ДНК растений. Это вариант InstaDeepAI/nucleotide-transformer-v2-100m-multi-species с токенизатором BPE вместо k-mer; модель содержит 96,4 млн параметров и обучена методом masked language modeling на растительных референсных геномах. Словарь токенизатора включает 8000 элементов, а в карточке Hugging Face указан контекст 2050 токенов; при описании обучения README указывает максимальную длину последовательности 512 токенов. Модель предназначена для предсказания скрытых участков нуклеотидных последовательностей и может использоваться в задачах классификации текста и токенов на геномных данных. Вход — текстовая последовательность ДНК, выход — предсказанные токены или метки в зависимости от задачи. Модель опубликована в формате safetensors и распространяется по лицензии CC BY-NC-SA 4.0, предусматривающей некоммерческое использование и распространение производных на тех же условиях.

PlantRNA-FM — специализированная языковая модель для анализа РНК растений, совместно разработанная ColaLAB при Университете Эксетера и JIC в Нориджском исследовательском парке. Это encoder-модель Transformer семейства ESM для предсказания замаскированных нуклеотидов; в репозитории указаны 44,2 млн параметров, а README описывает вариант с 35 млн параметров, 12 слоями и контекстом до 1026 нуклеотидов. Модель предварительно обучена на наборе OneKP: примерно 25 млн последовательностей РНК от 1 124 видов растений. README указывает, что при подготовке данных аннотировали локальные вторичные структуры РНК и выделяли CDS и UTR. Модель предназначена для биоинформатических исследований последовательностей и последующих задач предсказания функций РНК; она принимает последовательности нуклеотидов и выполняет задачу заполнения маски, а не генерацию естественного языка. Репозиторий содержит веса в формате safetensors и лицензирован по MIT. Контекст ограничен 1026 нуклеотидами; README отмечает важность очистки последовательностей и зависимость результатов от биологической структуры и качества входных данных.

Precious3GPT (P3GPT) — мультимодальная биомедицинская языковая модель компании Insilico Medicine для исследований старения и поиска лекарств. Она построена на архитектуре MPT и обучена на данных омиксных экспериментов, графах знаний и биомедицинских текстах, включая PubMed. В README указан общий размер 175,1 млрд параметров: 175 млрд в текстовой модальности, 89,4 млн в основной модели и 8,2 млн в модальности графа знаний. Модель симулирует биологические процессы на уровне транскриптомных, эпигенетических и протеомных сигнатур. Она может генерировать омиксные сигнатуры для заболеваний, воздействий соединений и возрастных групп, а также определять возможные заболевания, соединения или возрастные группы по заданным сигнатурам. В сценариях доступны более 60 тысяч биомедицинских сущностей, включая виды, ткани, клеточные линии, состояния здоровья и малые молекулы. Для работы с сигнатурами модель использует эмбеддинги из графа знаний и текстовой модальности. P3GPT предназначена для исследовательских рабочих процессов, таких как скрининг соединений и анализ «случай — контроль»; её можно запускать локально или использовать через Discord-бота. Для точного задания эксперимента входные названия сущностей должны соответствовать списку, поставляемому с моделью. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Synthyra/Profluent-E1-150M — публикация чекпойнта Profluent-Bio/E1-150m с runtime FastPLMs для Hugging Face Transformers. Это плотная модель семейства E1 примерно на 153,4 млн параметров, обученная для работы с аминокислотными последовательностями. Она принимает исходные последовательности белков, подготовленные встроенным адаптером E1; токенизатор не используется. Основная задача — восстановление замаскированных аминокислотных токенов. Представления модели также можно применять как основу для классификации последовательностей и отдельных остатков. Классификационные головы в этой публикации созданы заново и не обучены, поэтому их выходы нельзя интерпретировать как готовые предсказания без дообучения. Модель поддерживает интерфейсы Transformers и PEFT, а также механизмы извлечения эмбеддингов; README описывает варианты attention sdpa и flex_attention. Язык входа — последовательности аминокислот, а не естественный язык. В метаданных указана лицензия other; README сообщает, что статус лицензии весов разрешён и веса допускают распространение, но не называет конкретный тип лицензии. Для использования требуется подготовка входов адаптером E1; README также отмечает, что test-time training увеличивает задержку и расход памяти и может ухудшить результат. Биологическую корректность выводов необходимо проверять отдельно.

hugohrban/progen2-oas — зеркало базовой модели ProGen2-OAS, представленной Nijkamp и соавторами. В README отмечены небольшие изменения конфигурации и прямого прохода модели, а также пример её дообучения в связанном репозитории автора. Модель использует архитектуру ProGen с плотной сетью и авторегрессионной языковой моделью ProGenForCausalLM. Она предназначена для генерации последовательностей; семейство OAS ориентировано на последовательности антител. Контекст модели составляет 1024 токена. Репозиторий содержит веса в формате safetensors и распространяется по лицензии BSD 3-Clause.

SpliceBERT-510nt — BERT-based языковая модель для последовательностей РНК, разработанная Chen et al.; порт на Hugging Face поддерживает Taykhoom Dalal. Модель обучена методом masked language modeling на фрагментах первичных РНК позвоночных фиксированной длины 510 нуклеотидов из 72 видов. Она предназначена прежде всего для задач предсказания сайтов сплайсинга на окнах ровно по 510 нуклеотидов. Архитектура — BertForMaskedLM с 6 слоями, 16 головами внимания и размерностью эмбеддингов 512; всего 25,2 млн параметров. Контекст включает 510 нуклеотидов последовательности и специальные токены [CLS] и [SEP]. Токенизация выполняется по одному нуклеотиду, символ U нормализуется в T. Модель принимает последовательность нуклеотидов и предсказывает замаскированные токены; скрытые состояния можно использовать как представления последовательности. Модель не проверена для последовательностей длиной, отличной от 510 нуклеотидов; для последовательностей переменной длины в README рекомендована SpliceBERT-1024nt. Веса распространяются по лицензии CC BY 4.0, исходный код SpliceBERT — по BSD 3-Clause.

SynCodonLM-V2 — модель семейства DeBERTa-v2 от автора репозитория jheuschkel для работы с последовательностями кодирующей ДНК на уровне кодонов. В ней около 113,3 млн параметров, длина контекста — 1024 токена. Модель обучалась с ограничением маскирования: логиты для кодонов, не кодирующих ту же аминокислоту, подавлялись, чтобы выделять закономерности кодонов отдельно от семантики белка. Модель предназначена для предсказания замаскированных кодонов, получения представлений кодирующих ДНК-последовательностей и генерации биологически правдоподобных coding-DNA последовательностей. README приводит примеры organism-specific token type IDs, в том числе для E. coli, S. cerevisiae и C. elegans. Автор отмечает, что качество генерации пока не прошло строгую оценку. Модель распространяется в формате safetensors по лицензии Apache-2.0. Она ориентирована на биологические последовательности, а не на обычный текст; указанная поддержка английского в карточке относится к языковым метаданным, а не к естественно-языковому диалогу.