Trinity Mini — многоязычная MoE-модель Arcee AI для диалогов и задач рассуждения, включая математику и программирование.
Подходит для: диалоговые ответы на вопросы · решение математических задач · помощь с программированием
Диалоговая языковая модель Tencent для разработки программ, офисной аналитики, создания игровых прототипов и научных задач.
Подходит для: планирование и отладка программных проектов · создание и доработка интерфейсов · анализ документов и данных из нескольких файлов
Небольшая англоязычная авторегрессионная модель EleutherAI для исследований генерации текста и поведения языковых моделей.
Подходит для: эксперименты с предсказанием следующего токена на английском языке · исследование поведения языковых моделей на разных этапах обучения · анализ интерпретируемости компактной трансформерной модели
Авторегрессионная англоязычная модель Meta AI семейства OPT для генерации текста и экспериментов с языковыми моделями.
Подходит для: генерация текста по заданной подсказке · оценка языковой модели на текстовых заданиях · подготовка модели к прикладной задаче через дообучение
Текстовая MoE-модель для генерации текста и кода, агентных задач и работы с инструментами с удалённым поведением отказа.
Подходит для: генерация и отладка программного кода · автоматизация задач программирования агентом · генерация ответов в диалоговом интерфейсе
Базовая разреженная MoE-модель Arcee AI для генерации текста, исследований предобучения и последующего дообучения.
Подходит для: исследование поведения языковой модели после масштабного предобучения · изучение маршрутизации и балансировки экспертов MoE · зондирование и интерпретируемость языковой модели
Базовая гибридная языковая модель AI21 с архитектурой Mamba-Transformer и MoE для генерации текста и дообучения под специализированные задачи.
Подходит для: генерация продолжения текста · создание специализированной модели дообучением · подготовка основы для чат- или instruct-модели
Компактная модель Google семейства T5, дополнительно обученная на языковом моделировании для адаптации к текстовым задачам и prompt tuning.
Подходит для: адаптация к генерации текста с помощью prompt tuning · дообучение для суммаризации документов · дообучение для ответов на вопросы по тексту
Производная модели CollectionStudio/Trinity-Large-TrueBase. Базовая разреженная MoE-модель Arcee AI для исследований предобучения, анализа поведения и последующего дообучения.
Подходит для: исследование поведения модели после масштабного предобучения · анализ маршрутизации экспертов и балансировки нагрузки в MoE · пробинг и интерпретируемость языковой модели
Англоязычная модель Google с архитектурой Switch Transformers и разреженным Mixture of Experts, предварительно обученная для последующей настройки на задачи преобразования текста.
Подходит для: дообучение модели для генерации текста по текстовому запросу · эксперименты с архитектурой Mixture of Experts · исследование переноса обучения с корпуса C4
Текстовая MoE-модель Mini-K3 для генерации текста и исследования вариантов архитектуры внимания, предварительно обученная без настройки на выполнение инструкций.
Подходит для: эксперименты с генерацией текста на основе предварительно обученной модели · сравнение GQA-внимания и остаточных механизмов в языковой модели · исследование компактных MoE-архитектур
Компактная модель Transformers для исследовательской генерации текста и экспериментов с небольшими языковыми моделями.
Подходит для: генерация коротких текстовых продолжений · эксперименты с языковыми моделями малого размера · прототипирование text-generation в Transformers
Trinity-Large-Thinking — дообученная MoE-модель Arcee AI для рассуждений, генерации текста и агентных сценариев с вызовом инструментов.
Подходит для: многошаговое планирование действий агента · вызов инструментов в диалоговом помощнике · ответы на сложные вопросы с рассуждениями
Компактная англоязычная инструкционная модель RRT для чатовых прототипов и экспериментов с малыми языковыми моделями.
Подходит для: создание локального чат-прототипа с ограниченной памятью · эксперименты с рекуррентным разделением параметров трансформера · тестирование небольших моделей на следование инструкциям
Небольшая каузальная языковая модель Dynamic ALiBi для экспериментальной генерации текста, обученная на варианте BabyLM 100M.
Подходит для: эксперименты с генерацией короткого текста · сравнение языковых моделей на BabyLM · изучение влияния Dynamic ALiBi на генерацию
TinkaaLM — экспериментальная компактная англоязычная модель для изучения генерации текста и усвоения грамматических закономерностей.
Подходит для: эксперименты с генерацией английского текста на малой модели · исследование грамматических закономерностей в языковой модели · изучение поведения моделей, обученных на ограниченных данных
Компактная дообученная модель SupraLabs, которая анализирует текстовый запрос и решает, направить ли его локальной малой модели или облачной большой модели.
Подходит для: маршрутизация запросов между локальной и облачной LLM · оценка сложности пользовательского запроса перед выбором модели · выявление запросов с математикой или программированием
Базовая языковая MoE-модель Arcee AI для генерации текста и дальнейшего обучения под конкретные задачи.
Подходит для: дообучение языковой модели для предметной области · создание модели генерации кода · адаптация модели для математических задач и рассуждений
Экспериментальная языковая модель на 2,5 млн параметров для исследования архитектуры Looped Transformer и генерации короткого текста.
Подходит для: изучение архитектуры трансформера с разделяемыми весами · эксперименты с языковыми моделями сверхмалого размера · воспроизведение базового результата семейства BananaMind 3
Компактная англоязычная модель EleutherAI для исследований генерации текста и поведения языковых моделей.
Подходит для: изучение поведения малой языковой модели · эксперименты с контрольными точками обучения · анализ влияния дедупликации обучающих данных
Производная модели arcee-ai/Trinity-Large-Base. Базовая разреженная MoE-модель Arcee AI для генерации текста, исследований предобучения и последующего дообучения.
Подходит для: исследование поведения языковой модели после масштабного предобучения · изучение маршрутизации и балансировки экспертов MoE · зондирование и интерпретируемость языковой модели
Небольшая английская языковая модель, обученная с нуля, для исследований предобучения и экспериментов с генерацией текста.
Подходит для: исследование предобучения малых языковых моделей · эксперименты с продолжением обучения языковой модели · генерация продолжений английского текста
Компактная модель Cinimod на 287 млн параметров, обученная с нуля на материалах DevOps для генерации операционных подсказок и документации.
Подходит для: получение подсказок по командам системного администрирования · составление черновиков DevOps-документации · генерация ответов на вопросы о работе nginx и других инструментов
Экспериментальный базовый англоязычный авторегрессионный Transformer BananaMind для исследований архитектуры малых языковых моделей и повторного использования слоёв.
Подходит для: изучение повторного выполнения слоёв Transformer · сравнение схем весового разделения на малых моделях · абляционные эксперименты с механизмом внимания XSA