Индекс исследовательских контрольных точек Allen Institute for AI для изучения модульности в языковых моделях на архитектуре MoE.
Подходит для: изучение возникающей модульности в моделях смеси экспертов · сравнение обучения EMO и стандартного MoE · исследование диалоговой генерации текста на английском языке
EMO — англоязычная MoE-модель для генерации текста и диалогов, обученная с целью выделения модульных групп экспертов.
Подходит для: генерация англоязычных продолжений текста · создание диалогового ассистента · исследование маршрутизации экспертов в MoE
Объединённая модель Llama 3 на 7,5 млрд параметров для генерации текста и диалогов с контекстом до 8192 токенов.
Подходит для: генерация связных текстовых ответов · ведение диалога с пользователем · составление черновиков и продолжение текста
Ember — экспериментальная англоязычная языковая модель SurjoLabs на 2,9 млн параметров для генерации текста и исследования компактных рекуррентных архитектур.
Подходит для: эксперименты с языковыми моделями менее 3 млн параметров · сравнение рекуррентной архитектуры XSA с малыми трансформерами · генерация коротких англоязычных продолжений текста
Объединённая модель Llama 3 на 7,5 млрд параметров для генерации текста и диалогового общения с контекстом до 8192 токенов.
Подходит для: ведение диалога в чат-интерфейсе · генерация ответов на текстовые запросы · создание черновиков и продолжение текста
Ember-1 — модель рассуждений Fireworks Research на базе Kimi K3, рассчитанная на более короткие цепочки рассуждений.
Подходит для: решение задач, требующих рассуждений