DNA_bert_3

DNA_bert_3 — предварительно обученная модель DNABERT, разработанная командой проекта DNABERT для представления последовательностей ДНК в виде «языка генома». Это BERT-модель с 113,3 млн параметров, предназначенная прежде всего для предсказания замаскированных фрагментов ДНК; представления модели также применяются в задачах классификации последовательностей и анализа геномных мотивов.

Модель принимает последовательности ДНК в формате k-mer и поддерживает контекст до 512 токенов. Это специализированная биологическая модель, а не модель для естественного языка. В репозитории указана лицензия Apache-2.0. Для загрузки через Transformers требуется доверенная загрузка пользовательского кода; проектная документация также описывает обучение и инференс на GPU.