MoA-100M — экспериментальная авторегрессионная модель на архитектуре со смешанными метрическими механизмами внимания для генерации текста.
Подходит для: эксперименты с авторегрессионной генерацией текста · исследование метрического внимания в языковых моделях · генерация и продолжение коротких текстов