IV.6Научные исследования, математика и новые материалы

Dayhoff-170M-UR90-HL-4000 — генеративная белковая языковая модель семейства Dayhoff, разработанная исследовательской командой, указанной в карточке модели. Она предназначена для исследовательских задач белковой инженерии: генерации последовательностей белков, прогнозирования эффектов мутаций и проектирования последовательностей с заданными структурными мотивами или эволюционным контекстом. Архитектура Jamba сочетает слои Mamba и Transformer с механизмом смеси экспертов; модель обучена авторегрессионному предсказанию последовательности в обоих направлениях и поддерживает длинные контексты. В метаданных указаны 23,6 млн параметров, контекст до 262 144 токенов и формат safetensors. Модель работает с белковыми последовательностями и выдает последовательности белков; она не предназначена для естественного языка, ДНК или других биологических последовательностей. Генерируемые последовательности не гарантированно реалистичны, а создание качественных последовательностей без сходства с природными остается сложной задачей. Лицензия — MIT.

Dayhoff-170M-UR90-HL-6000 — модель генерации белковых последовательностей из семейства Dayhoff, разработанная командой исследователей, перечисленной в карточке Dayhoff. Она предназначена для исследований в области белкового моделирования: генерации последовательностей, оценки эффектов мутаций и проектирования белковых каркасов по структурным мотивам. Вариант использует гибридную архитектуру Jamba с механизмами Mamba, Transformer и смесью экспертов; число параметров по метаданным — 23,6 млн, длина контекста — 262 144 токена. Модель работает с белковыми последовательностями, а не с обычным текстом или последовательностями ДНК. Карточка описывает применение семейства Dayhoff для безусловного дизайна белков, предсказания эффектов мутаций без дообучения и проектирования каркасов структурных мотивов. Она также предупреждает, что сгенерированные последовательности не всегда реалистичны и что создание качественных последовательностей без гомологии с природными белками остаётся сложной задачей. Лицензия — MIT.

DeTikZify-TL1.1b — языковая модель проекта DeTikZify для преобразования набросков и готовых научных иллюстраций в редактируемые программы на TiKZ с сохранением их смысла. Модель дообучена на наборе DaTikZ-v2 и основана на TinyLlama; её архитектура — плотная авторегрессионная языковая модель примерно на 1 млрд параметров с контекстом 2048 токенов. Модель предназначена для автоматического создания графического кода TiKZ по визуальному примеру. Это помогает воспроизводить научные схемы и дорабатывать их в виде исходного кода. В карточке не приведены оценки качества или сведения о поддерживаемых языках. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0.

Это браузерная ONNX-конверсия ESM-2 esm2_t12_35M_UR50D, подготовленная для проекта VetInSilico и запуска через transformers.js. Модель заполняет маскированные позиции в аминокислотных последовательностях белков; расчёт выполняется в браузере с использованием WebAssembly или WebGPU, без серверного API. Модель содержит 44,3 млн параметров и поддерживает контекст до 1026 токенов. В репозитории есть веса ONNX в fp32 и версия int8; README рекомендует int8 для запуска. Токенизатор работает на уровне символов и учитывает специальный разделитель «//». В карточке приведена проверка совпадения пяти лучших предсказаний для короткой последовательности с HF Inference API; для int8 отмечено отклонение вероятностей. Модель предназначена для исследования белковых последовательностей, например предсказания вероятных аминокислот в заданной позиции. Она не генерирует текст на естественном языке и не заменяет экспериментальную проверку биологических гипотез. Лицензия — MIT.

FigCodifier-8B — мультимодальная модель MathLLMs для преобразования изображений в код. Она дообучена на базе OpenGVLab/InternVL2-8B с использованием набора ImgCode-8.6M. Модель принимает изображение и по запросу генерирует код для его представления, включая TikZ для векторной графики и Python-код. Модель предназначена для извлечения визуальной структуры математических и других изображений и её кодирования, например, для воссоздания рисунков. В метаданных указана архитектура InternVL Chat и формат safetensors; поддерживается английский язык. Модель можно использовать через Transformers, а для кода обучения и инференса README отсылает к InternVL2-8B. Лицензия — Apache-2.0. Качество генерации зависит от сложности и содержания изображения; README не приводит оценок качества или результатов тестирования.

Fx-Bio-0913 — большая языковая модель для биологических и биомедицинских исследовательских задач, разработанная лабораторией The Endless Frontier. Это постобученная модель семейства DeepSeek-V4: в метаданных указан плотный причинный декодер DeepseekV4ForCausalLM размером 10,7 млрд параметров, а README описывает базовую модель DeepSeek-V4-Flash и архитектуру MoE. Модель принимает текст и генерирует текст; она сохраняет контекстное окно базовой модели длиной 1 048 576 токенов. Модель предназначена для рассуждений о функциях генов, анализа экспериментальных сценариев и объединения свидетельств в несколько шагов. В README указано, что постобучение на курируемых биомедицинских данных, включая задачи Biomni и BioMystery, улучшило результаты на BioMysteryBench и BiominiBench по сравнению с базовой моделью; приведённые оценки получены во внутреннем тестовом контуре разработчика. Публикация весов под лицензией Apache-2.0 позволяет использовать и адаптировать модель на её условиях. Разработчик предупреждает, что ответы могут содержать ошибки и не должны использоваться для клинической диагностики или принятия медицинских решений.

GENERator-v2-prokaryote-1.2b-base — генеративная геномная модель семейства Llama, разработанная GenerTeam. Это базовая версия модели с 1,2 млрд параметров, предназначенная для генерации геномных последовательностей прокариот. Модель работает с последовательностями ДНК и поддерживает контекст до 16 384 токенов. Для генерации длина каждой входной последовательности должна быть кратна шести: README рекомендует дополнять последовательность слева символами A или обрезать её слева. Модель опубликована в формате Safetensors и распространяется по лицензии MIT.

GPN Brassicales — сверточная языковая модель геномных последовательностей, обученная на Arabidopsis thaliana и ещё семи видах порядка Brassicales. Модель доступна через Transformers как masked language model и предназначена для восстановления замаскированных участков ДНК и анализа геномных последовательностей.

GPN-MSA — языковая модель для ДНК, обученная Song Lab на последовательностях человека и ещё 89 видов позвоночных с использованием множественного выравнивания последовательностей (MSA). Это плотная архитектура GPNRoFormer с 113,3 млн параметров и контекстом 1536 токенов; модель доступна в форматах PyTorch и Safetensors. Модель предназначена для предсказания замаскированных нуклеотидов и анализа генетических вариантов. Её можно применять для оценки эффектов вариантов и исследования геномных последовательностей человека с учётом эволюционного контекста. Задача в метаданных — fill-mask. Лицензия — MIT.

AG2307/gpt2-finetuned-latex — модель генерации текста на базе архитектуры GPT-2, дообученная для работы с LaTeX. Она предназначена для авторов технических и научных документов, которым требуется автоматически продолжать или создавать фрагменты LaTeX-кода: формулы, структуры документов и другие текстовые элементы разметки. Модель используется через библиотеку Transformers и поддерживает контекст длиной до 1024 токенов. Её сильная сторона — специализированная генерация LaTeX-текста вместо универсального продолжения текста. README не содержит сведений о разработчике, обучающем наборе данных, размере модели, поддерживаемых естественных языках, результатах оценки или лицензии, поэтому применять её в критически важных сценариях следует с проверкой результата.

LongSafari/hyenadna-medium-160k-seqlen-hf — версия HyenaDNA, разработанной исследователями из Stanford и других организаций. Это плотная авторегрессионная модель на архитектуре HyenaDNA с 7,3 млн параметров, предназначенная для работы с геномными последовательностями. Модель предсказывает следующий нуклеотид и может использоваться как основа для классификации последовательностей, например для выявления регуляторных элементов, анализа профилей хроматина и классификации видов. Чекпойнт рассчитан на последовательности длиной до 160 тысяч нуклеотидов. Он использует посимвольную токенизацию с отдельными токенами для нуклеотидов и операторы Hyena с длинными свёртками, обеспечивающими глобальное рецептивное поле при субквадратичной вычислительной сложности. Модель предварительно обучена на человеческом референсном геноме HG38. Для дообучения на длине 160 тысяч нуклеотидов авторы рекомендуют GPU уровня T4; для предобучения — A100 с 40 ГБ памяти. Модель предназначена для геномики, а не для обычного текста. README сообщает о сильных результатах семейства на 23 последующих задачах, однако не приводит отдельные оценки именно этого чекпойнта. Распространяется по лицензии BSD 3-Clause.

HyenaDNA — геномная фундаментальная модель, разработанная исследователями из Stanford и Harvard и представленная организацией LongSafari. Этот чекпойнт использует архитектуру HyenaDNAForCausalLM с 7,3 млн параметров и предназначен для генерации последовательностей ДНК и последующей адаптации к задачам анализа геномных последовательностей. Модель предварительно обучена предсказывать следующий нуклеотид на референсном геноме человека HG38. Односимвольный токенизатор сохраняет разрешение до одного нуклеотида, а операторы Hyena обеспечивают обработку длинных последовательностей с глобальным рецептивным полем. Название репозитория указывает на вариант с длиной последовательности 450 тыс.; README описывает семейство HyenaDNA с контекстами до 1 млн токенов, но не приводит отдельного подтверждения предельной длины именно этого чекпойнта. Модель применима для генерации ДНК, а также как основа для дообучения на классификацию последовательностей, включая поиск регуляторных элементов, анализ профилей хроматина и классификацию видов. README указывает, что для обучения на последовательностях до примерно 250 тыс. нуклеотидов на T4 с 16 ГБ VRAM удавалось проводить эксперименты, а для варианта medium-450k рекомендует A100-40GB для предобучения и дообучения, T4 для инференса. Поддерживаемый формат весов — safetensors. Лицензия — BSD-3-Clause.

Intern-S1-mini context-conditioned molecule transfer V10.3 TDC-v2-HP — Oral bioavailability — это дообученная модель jiosephlee для ранжирования молекул по признакам переноса с учётом контекста, с фокусом на пероральной биодоступности. Она построена на плотной архитектуре Qwen3ForCausalLM и содержит 7,6 млрд параметров; модель принимает текст и выдаёт текстовый ответ в формате генерации. Контекстное окно — 65 536 токенов. Модель дообучена на 49 224 прямых записях, включая данные TDC и Starling, и таком же количестве косвенных записей. Это сохранённый чекпойнт, выбранный по валидационной метрике macro-F1@5; в README приведены результаты сравнения с вариантами ранжирования Morgan. Модель предназначена для исследовательского ранжирования кандидатов по пероральной биодоступности, а не для самостоятельного подтверждения фармакологических свойств. README и метаданные не сообщают лицензию.

MechBERT-cased — модель семейства BERT, разработанная Cambridge Molecular Engineering и предварительно обученная на статьях с данными о механических свойствах материалов из литературы по кривым напряжение–деформация. Она предназначена для работы с научными текстами по механике материалов; архитектура модели — BertForMaskedLM, размер — 135,5 млн параметров, максимальная длина контекста — 512 токенов. Модель инициализирована весами BERT-base-cased и обучена на корпусе CambridgeMolecularEngineering/StressEngineeringLiterature. Поддерживает задачу заполнения пропусков в тексте. Лицензия — GPL-3.0.

ModernGENA-base — базовая модель для анализа последовательностей ДНК, подготовленная как репозиторий Hugging Face Taykhoom и основанная на исходном чекпойнте AIRI Institute. Это энкодер ModernBERT со 136,1 млн параметров, 22 слоями и 12 головами внимания; он обучен предсказывать замаскированные токены в геномных последовательностях позвоночных. Словарь GENA-LM BPE содержит 32 000 токенов для ДНК и символов IUPAC, а максимальный контекст составляет 1024 токена. Модель подходит для заполнения масок в ДНК-последовательностях и получения представлений последовательностей, которые можно использовать как основу для дообучения под классификацию и другие задачи анализа геномики. При предобучении использовались 443 сборки геномов позвоночных, включая прямые и обратнокомплементарные цепи. Для загрузки пользовательского класса требуется включить trust_remote_code=True. Распространяется по лицензии Apache-2.0.

InstructPLM/MPNN-ProGen2-xlarge-CATH42 — модель для генерации аминокислотных последовательностей по заданной структуре белкового остова. Согласно карточке, она основана на ProGen и ProteinMPNN и обучена на наборе CATH 4.2; архитектура указана как плотная авторегрессионная ProGenForCausalLM с задачей text-generation и контекстом 1024 токена. Модель предназначена для проектирования белков, последовательности которых соответствуют заданным структурам. Она принимает текстовое представление условия и генерирует последовательность; конкретный формат входной структуры и подробности применения в карточке не описаны. Репозиторий содержит веса safetensors, лицензия — Apache-2.0. В метаданных не указан размер модели.

NYSgpt/nsr-reranker — англоязычный переранжировщик научной литературы по ядерной физике, разработанный NYSgpt. Это cross-encoder на базе ModernBERT с 149 млн параметров, дообученный от Alibaba-NLP/gte-reranker-modernbert-base на экспертных парах запрос–статья из корпуса Nuclear Science References (NSR), включающего 277 068 записей. Модель принимает запрос и документ, затем выдаёт оценку релевантности для сортировки уже найденных кандидатов в двухэтапном поиске или RAG. Она предназначена для поиска публикаций NSR по ключевым запросам и EXFOR-запросам, особенно как второй этап после плотного или гибридного поиска. В описанном авторами тесте переранжирование топ-50 результатов bge-m3 повысило Recall@1 с 0,080 до 0,180 и nDCG@10 на 76% для экспертных ключевых запросов. Модель рассчитана на английский язык; базовый контекст составляет до 8192 токенов, хотя в примере использования задан max_length=256. Модель распространяется под лицензией Apache-2.0 и используется через sentence-transformers CrossEncoder. Её качество ограничено составом входного списка: переранжировщик не найдёт статью, отсутствующую среди кандидатов. Оценки в README относятся к конкретным тестовым наборам NSR и EXFOR и не гарантируют такие же результаты на других коллекциях.

Nucleotide Transformer 500M Human Ref — трансформерная языковая модель для геномики, разработанная InstaDeep, NVIDIA и TUM. Она обучена предсказывать замаскированные участки ДНК в человеческом референсном геноме GRCh38 и доступна в форматах PyTorch и TensorFlow. Модель содержит 634,4 млн параметров и использует архитектуру ESM с задачей masked language modeling. Последовательности ДНК токенизируются преимущественно 6-мерными фрагментами; максимальная длина входа составляет около 1 000 токенов. Модель предназначена для заполнения пропусков в геномных последовательностях и может служить основой для задач анализа генома и предсказания молекулярных фенотипов. Обучение на одном человеческом референсном геноме ограничивает представление генетического разнообразия. Для использования указана лицензия CC BY-NC-SA 4.0, которая запрещает коммерческое применение и требует распространения производных материалов на совместимых условиях. README также отмечает необходимость установить Transformers из исходного репозитория для использования модели на момент публикации карточки.

OpenMed/OpenMed-NER-OncologyDetect-PubMed-v2-109M — специализированная модель OpenMed для распознавания именованных сущностей в биомедицинских текстах, с акцентом на генетику рака и онкологические исследования. Это дообученный трансформер на архитектуре BERT с классификационной головой для токенов; в карточке указана базовая модель BiomedNLP-BiomedBERT-base-uncased-abstract, а метаданные сообщают о 136,7 млн параметров и контексте до 512 токенов. Модель обучена на корпусе BioNLP 2013 CG и выдаёт разметку сущностей в формате BIO. Она выделяет, среди прочего, гены и продукты генов, виды рака, клетки, ткани, органы, химические вещества и аминокислоты. Подходит для извлечения онкологических сущностей из научных публикаций и биомедицинских документов, а также для построения баз знаний и поиска потенциальных биомаркеров. В README приведены F1 и precision/recall 0,86 и accuracy 0,95; результаты относятся к указанной оценке и датасету. Модель принимает текст на английском языке. Опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Карточка заявляет прикладную готовность, однако её оценочные показатели относятся к специализированному набору данных; качество на других жанрах, клинических записях и языках может отличаться.

OpenMed-NER-ProteinDetect-TinyMed-66M — специализированная модель OpenMed для распознавания биомедицинских сущностей в тексте. Это дообученная версия DistilBERT с архитектурой DistilBertForTokenClassification, рассчитанная на классификацию токенов; базовая модель — distilbert-base-uncased. Модель обрабатывает текст на английском языке с контекстом до 512 токенов и размечает упоминания белков, белковых комплексов, семейств и вариантов в формате BIO. Модель предназначена для извлечения белковых сущностей из научной литературы и биомедицинских текстов, в том числе для поиска белковых взаимодействий, анализа молекулярных путей и построения биомедицинских баз знаний. В карточке заявлены результаты на корпусе FSU: F1 0,90, точность 0,89, полнота 0,91 и accuracy 0,97. Лицензия — Apache-2.0. Эти показатели относятся к указанному корпусу; карточка не подтверждает пригодность модели для клинических решений, а распознавание сущностей само по себе не извлекает взаимодействия или лекарственные эффекты.

OpenMed-ZeroShot-NER-Oncology-Large-459M — специализированная модель OpenMed для распознавания именованных сущностей в онкологическом и биомедицинском тексте. Она основана на архитектуре GLiNER и дообучена на корпусе BioNLP 2013 CG, посвящённом генетике рака. Репозиторий содержит веса PyTorch; размер модели в названии указан как 459 млн параметров. Модель извлекает упоминания генов и их продуктов, раковых заболеваний, химических веществ, клеток, тканей, анатомических объектов и других биомедицинских сущностей. Нулевой режим позволяет задавать типы сущностей для извлечения, что подходит для анализа научной литературы, курирования онкологических путей и поиска генетических мишеней. В карточке заявлено значение F1 около 0,90 на тесте BioNLP 2013 CG. Модель принимает текст и возвращает текстовые фрагменты с метками сущностей. В карточке указан английский язык. Лицензия Apache-2.0 допускает свободное использование на её условиях. Оценки качества и обобщение на типы сущностей за пределами обучающего корпуса зависят от текста, выбранных меток и порога предсказания.

OpenPhenom-S/16 — модель Recursion для извлечения признаков из микроскопических изображений. Она использует channel-agnostic masked autoencoder (CA-MAE) с визуальным трансформером ViT-S/16 и перекрёстным вниманием между каналами патчей, чтобы формировать контекстные представления каждого канала. Модель обучена восстанавливать изображения на наборах RxRx3 и JUMP-CP, включая данные сверхэкспрессии и нокаутов генов. Модель предназначена прежде всего для создания эмбеддингов изображений из анализа CellPainting; также полный энкодер-декодер можно применять для предсказания отсутствующих каналов или окрашиваний. Эмбеддинги обычно требуют коррекции партий, например PCA-CenterScale или Typical Variation Normalization. Их польза выше при работе с большими наборами данных; на одной микропланшетной партии специализированная модель с учителем может оказаться эффективнее. Модель вряд ли хорошо подойдёт для светлопольной микроскопии и изображений за пределами обучающего домена, например H&E. Лицензия — некоммерческое пользовательское соглашение.

zhangtaolab разработала PlantHelixSeek-translation_absolute — дообученную модель для оценки абсолютного уровня трансляции в листьях растений при переносе между видами. Она принимает последовательность ДНК и предсказывает числовой уровень трансляции; задача описана как регрессия на наборе cross_species_leaf_absolute_translation. Модель построена на архитектуре HelixSeek для классификации последовательностей и загружается через Transformers как SequenceClassification. В метаданных указаны 163,6 млн параметров и контекст 8192 токена; README приводит размер базовой модели 470 млн параметров, поэтому эти значения относятся к разным представлениям модели и не совпадают. Модель дообучена от zhangtaolab/PlantHelixSeek за три эпохи. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но ограничивает коммерческое применение.

Poseidon-B Joint fine-tune — это дообученная модель ScOT на основе Poseidon-B, разработанная для аппроксимации динамики потоков жидкости в двух новых режимах: обтекании цилиндра и сжимаемом слое Кельвина—Гельмгольца. Модель использует архитектуру Swin-V2-style multiscale operator transformer и содержит около 158 млн параметров; метаданные репозитория указывают 33 млн параметров. Она принимает физическое состояние из четырёх каналов (плотность, компоненты скорости и давление) на сетке 128 × 128 и прогнозирует состояние для заданного времени упреждения. Геометрия цилиндра кодируется в канале плотности. Модель предназначена для исследований в области обучения операторов, суррогатного моделирования PDE и быстрых приближённых прогнозов для указанных режимов, а также исходных семейств Poseidon. В README приведены оценки на тестовых траекториях, включая устойчивость авторегрессионного прогноза цилиндрического следа на горизонте примерно четырёх периодов вихреобразования. Обучение совместно включало новые режимы и буфер повторения для сохранения качества на части исходных режимов. Модель ограничена данными и условиями проверки: поля имеют разрешение 128 × 128, мелкие масштабы сглаживаются, а точность за пределами испытанных распределений не гарантируется. Для цилиндрического режима проверены двумерные потоки и ограниченная экстраполяция по числу Рейнольдса; короткие интервалы прогноза меньше 1/20 окна траектории работают хуже. Это специализированный суррогат, а не универсальный решатель CFD. Лицензия репозитория — CC BY-NC 4.0.

ProtT5-XL-BFD — модель семейства T5 от Rostlab, предварительно обученная на последовательностях белков из набора BFD с помощью самоконтролируемого masked language modeling. В карточке указана основа t5-3b и архитектура encoder-decoder; метаданные каталога указывают 352,5 млн параметров, а README — около 3 млрд, поэтому размер по источникам расходится. Обучающие последовательности содержали заглавные однобуквенные обозначения аминокислот; редкие символы U, Z, O и B заменялись на X. Максимальная длина входа при обучении составляла 512 токенов. Модель предназначена для извлечения признаков белковых последовательностей и дообучения для последующих задач биоинформатики, включая предсказание вторичной структуры и локализации. Для извлечения признаков авторы рекомендуют использовать представления энкодера. Метаданные Hugging Face помечают её как text-generation, однако основное назначение из README — моделирование белковых последовательностей и получение их представлений. README не приводит условия лицензии.

PubMedBERT SPLADE — разреженный текстовый энкодер, созданный NeuML на основе дообученной модели PubMedBERT с использованием Sentence Transformers. Он преобразует предложения и абзацы в разреженные векторы размерности 30 522 для семантического поиска и извлечения документов по запросу, в том числе в системах RAG по медицинской литературе. Обучение проводилось на случайной выборке пар заголовков и аннотаций PubMed и похожих заголовков. Модель основана на архитектуре BERT, содержит 136,7 млн параметров и принимает контекст длиной до 512 токенов. Она ориентирована на англоязычные биомедицинские тексты; README сообщает о более качественных разреженных представлениях для медицинской литературы по сравнению с универсальными моделями. При оценке на наборах PubMed модель уступала некоторым базовым моделям по корреляции Пирсона, но хорошо ранжировала результаты по корреляции Спирмена. Для узких медицинских областей может потребоваться дополнительное дообучение. Лицензия — Apache-2.0.

RiNALMo-Giga — модель семейства RiNALMo, разработанная Rafael Josip Penić, Tin Vlašić, Roland G. Huber, Yue Wan и Mile Šikić; карточку этой неофициальной реализации подготовила команда MultiMolecule. Это BERT-подобная плотная модель, предварительно обученная на некодирующих РНК методом masked language modeling. Метаданные указывают 865,1 млн параметров и контекст до 1024 токенов; в README для варианта Giga указано 650 млн параметров, поэтому сведения о размере расходятся. Модель предназначена для заполнения замаскированных позиций в РНК-последовательностях и извлечения признаковых представлений для последующего анализа. Её обучали на 36 млн уникальных ncRNA-последовательностей из RNAcentral, Rfam, Ensembl Genome Browser и Nucleotide. При предобработке U заменяли на T; токенизатор RnaTokenizer может преобразовывать T обратно в U. Авторы сообщают о совпадении промежуточных представлений этой реализации с оригинальной. Чекпойнт не дообучен под конкретные задачи классификации или регрессии, поэтому для них потребуется отдельная настройка на целевых данных. Репозиторий распространяется по лицензии AGPL-3.0.

Taykhoom Dalal поддерживает порт RiNALMo-mega для библиотеки Transformers — языковую модель для анализа последовательностей РНК. Модель содержит 148,1 млн параметров, имеет 30 слоёв и 20 голов внимания и была предварительно обучена на 36 млн последовательностей некодирующих РНК. Это masked language model в стиле BERT: она предсказывает замаскированные нуклеотиды и может формировать контекстные представления последовательностей. Модель предназначена для заполнения пропусков и получения представлений РНК, которые можно использовать в качестве входа для последующей настройки под задачи уровня последовательности. Токенизатор преобразует U в T; словарь включает нуклеотиды и неоднозначные символы последовательностей. Порт поддерживает реализации внимания eager, SDPA и Flash Attention 2. Лицензия — CC BY 4.0.

RITA-M — авторегрессионная языковая модель белков среднего размера, разработанная LightOn совместно с группой OATML Оксфордского университета и лабораторией Debbie Marks в Гарварде. Модель содержит 352,3 млн параметров и использует архитектуру RITA с причинно-языковой моделью для генерации последовательностей белков. Она обучалась на UniRef-100. Модель предназначена для генерации белковых последовательностей и исследовательской работы с белковыми данными. В карточке приведено значение функции потерь на UniRef-100: 2,01 для варианта Medium. Лицензия в предоставленных данных не указана.

RNABERT — компактная модель семейства BERT, разработанная Manato Akiyama и Yasubumi Sakakibara; эта версия является неофициальной реализацией команды MultiMolecule. Она предварительно обучена на последовательностях некодирующих РНК из RNAcentral с помощью маскированного языкового моделирования и обучения структурному выравниванию. Модель содержит около 435 тысяч параметров, имеет 6 слоёв и контекст до 440 токенов. Модель предназначена для восстановления скрытых нуклеотидов и получения представлений последовательностей РНК, которые можно использовать для кластеризации, анализа сходства и структурного выравнивания. Это базовая, не дообученная под конкретную downstream-задачу модель; для классификации или регрессии потребуется дополнительное дообучение. Токенизатор преобразует T в U. Для точного воспроизведения поведения оригинальной реализации следует отключить BOS- и EOS-токены: их добавление может в отдельных случаях приводить к неожиданным результатам. Лицензия — AGPL-3.0.