OmniNA-220m

OmniNA-220m — генеративная языковая модель для анализа нуклеотидных последовательностей, разработанная командой XLS. Она относится к семейству OmniNA и предназначена для обучения представлений геномных последовательностей и последующей адаптации к задачам вычислительной геномики.

Модель использует авторегрессионную Transformer-архитектуру LLaMA с BPE-токенизацией и обучалась на 91,7 млн нуклеотидных последовательностей различных видов. Для семейства OmniNA заявлена настройка на 23 геномные задачи; модель можно дообучать для конкретных задач анализа последовательностей. В метаданных Hugging Face указаны 301,2 млн параметров, контекст до 2048 токенов и задача text-generation.

Сильная сторона модели — применение единого генеративного подхода к межвидовым геномным данным и возможность адаптации под разные задачи вычислительной биологии. Модель не предназначена для обычной генерации текстов на естественных языках; для прикладных геномных сценариев обычно требуется специализированное дообучение или дополнительная модельная оболочка. Распространяется по лицензии Apache-2.0.