DNA_bert_5

Модель предназначена для анализа геномных последовательностей ДНК и последующей адаптации под задачи классификации и другие задачи геномики, включая предсказание регуляторных элементов, сайтов связывания факторов транскрипции и свойств последовательностей.

Архитектура основана на bidirectional BERT с Transformer-блоками и masked language modeling. Вариант DNA_bert_5 использует перекрывающиеся 5-mer-токены; известные характеристики семейства включают 12 Transformer-блоков, размер скрытого представления 768, 12 attention heads и около 88 миллионов параметров. Максимальная длина входа составляет 512 токенов, что соответствует примерно 510 5-mer-токенам или 514 нуклеотидам с учетом специальных токенов. Модель работает с последовательностями ДНК, а не с естественными языками, и требует предварительного преобразования последовательности в k-mer-формат.

Сильные стороны модели — двунаправленный контекст, глобальное self-attention, переносимость представлений на разные задачи и применимость при ограниченном объеме размеченных данных; исходная работа также сообщала о переносе между организмами. Ограничения — короткий контекст, необходимость специализированной токенизации и зависимость качества от последующего fine-tuning и конкретного геномного сценария. README модели пуст, а отдельные подробные сведения о датасете и оценках для этой контрольной точки не приведены; модель не развернута через Inference Provider. Исходный репозиторий проекта DNABERT указывает лицензию Apache-2.0.