Базовая MoE-языковая модель Aether с семью механизмами внимания для продолжения текста и исследований архитектуры.

Подходит для: продолжение текста на английском и корейском языках · бенчмаркинг базовой языковой модели · сравнение запусков архитектуры с разными механизмами внимания

AETHER-10M — компактная экспериментальная языковая модель посттрансформерной архитектуры для генерации текста и проверки алгоритмических рассуждений.

Подходит для: генерация продолжений английского текста · эксперименты с альтернативами архитектуре Transformer · проверка арифметических рассуждений на коротких последовательностях

Базовая модель AETHER Lab с 366,7 млн параметров для продолжения и генерации текста, обученная преимущественно на бразильском португальском языке.

Подходит для: генерация продолжения текста на бразильском португальском · эксперименты с предобученными языковыми моделями · исследование поведения небольшой Llama-подобной модели

Предобученная языковая MoE-модель AETHORIA-AI с детерминированной хеш-маршрутизацией для исследований архитектуры и продолжения обучения.

Подходит для: изучение детерминированной маршрутизации экспертов в языковых моделях · воспроизведение экспериментов по предобучению MoE · продолжение обучения на технических и агентно-ориентированных текстовых данных

Исследовательская авторегрессионная языковая модель Avey-1 для экспериментов с генерацией текста и оценки архитектуры без attention.

Подходит для: эксперименты с альтернативной архитектурой языковой модели · сравнение архитектур генерации текста · исследование влияния ранжирования фрагментов контекста

Промежуточная базовая MoE-языковая модель VIDRAFT с гибридной архитектурой из 11 механизмов обработки последовательностей для генерации и исследований.

Подходит для: продолжение английского текста · продолжение корейского текста · эксперименты с гибридными архитектурами языковых моделей

Aether-12b — дообученная 12,1-миллиардная языковая модель Mistral для диалогов с ассистентом, письма, анализа и решения задач.

Подходит для: создание чат-бота с заданной ролью · ответы на вопросы и ведение диалога на английском языке · подготовка и редактирование текстов

Grey-12b — англоязычная 12,1-миллиардная модель AIXON Lab для генерации текста, ответов на вопросы и анализа.

Подходит для: генерация связного текста на английском языке · ответы на вопросы по предоставленному контексту · анализ и обобщение текстов