Компактная англоязычная модель Maba v1.1 для генерации текста и экспериментов с гибридной рекуррентной архитектурой.

Подходит для: генерация коротких историй по текстовой подсказке · эксперименты с компактной рекуррентной языковой моделью · сравнение архитектур языковых моделей при равном числе параметров

Небольшая англоязычная авторегрессионная модель EleutherAI для исследований генерации текста и поведения языковых моделей.

Подходит для: эксперименты с предсказанием следующего токена на английском языке · исследование поведения языковых моделей на разных этапах обучения · анализ интерпретируемости компактной трансформерной модели

Компактная предварительно обученная англоязычная модель Maba v1.1 для генерации текста и экспериментов с гибридной рекуррентно-внимательной архитектурой.

Подходит для: продолжение коротких англоязычных историй · генерация текста по начальной фразе · эксперименты с компактными языковыми моделями

Maba-v1-600M — компактная гибридная языковая модель для генерации текста, диалогов, кода и решения задач на рассуждение.

Подходит для: генерация ответов в чат-боте · написание и продолжение программного кода · решение математических задач

Производная модели AndrewThompson1233/maba-v1.5-101m-test. Экспериментальная 96,5-миллионная языковая модель с гибридной рекуррентной и разреженной архитектурой для генерации текста и проверки архитектурных гипотез.

Подходит для: генерация текста в экспериментальных сценариях · проверка гибридной рекуррентной архитектуры языковой модели · сравнение разреженного внимания с линейной рекуррентной обработкой

Экспериментальная компактная причинная модель Maba v1.5 для генерации английского диалогового текста и исследования рекуррентной архитектуры с разреженным вниманием.

Подходит для: эксперименты с генерацией диалоговых ответов · сравнение рекуррентных и разреженных механизмов внимания · исследование извлечения фактов из контекста до 4096 токенов

AMD-OLMo-1B — базовая языковая модель AMD на 1,2 млрд параметров для генерации текста и дальнейшей адаптации.

Подходит для: генерация продолжений текста · создание базовой модели для дообучения под инструкции · эксперименты с языковыми моделями семейства OLMo

AETHER-10M — компактная экспериментальная языковая модель посттрансформерной архитектуры для генерации текста и проверки алгоритмических рассуждений.

Подходит для: генерация продолжений английского текста · эксперименты с альтернативами архитектуре Transformer · проверка арифметических рассуждений на коротких последовательностях

Англоязычная модель EleutherAI на 1,2 млрд параметров для исследований и экспериментов с генерацией текста и поведением языковых моделей.

Подходит для: изучение интерпретируемости языковых моделей · эксперименты с авторегрессионной генерацией английского текста · сравнение моделей разных размеров на одинаковых данных

Экспериментальная англоязычная языковая модель на 198 млн параметров с адаптивными вычислениями для генерации текста и исследования архитектуры Mixture of Recursion.

Подходит для: генерация коротких ответов на английском языке · прототипирование простого разговорного ИИ · изучение обучения языковых моделей с нуля

Базовая разреженная MoE-модель Arcee AI для исследований предобучения, анализа поведения и последующего дообучения.

Подходит для: исследование поведения модели после масштабного предобучения · анализ маршрутизации экспертов и балансировки нагрузки в MoE · пробинг и интерпретируемость языковой модели

Небольшая GPT-2-подобная языковая модель с низкоранговой выходной проекцией LoRE для генерации продолжения текста и экспериментов.

Подходит для: генерация продолжения короткого текста · эксперименты с GPT-2-подобной архитектурой · изучение низкоранговых выходных проекций LoRE

Компактная GPT-2-подобная модель Giles Thomas для генерации текста и экспериментов с низкоранговыми матрицами эмбеддингов и выходного слоя.

Подходит для: генерация продолжения короткого текста · эксперименты с компактными языковыми моделями · изучение низкоранговых эмбеддингов токенов

Компактная обученная с нуля GPT-2-подобная модель с низкоранговыми эмбеддингами для экспериментов и генерации продолжений текста.

Подходит для: генерация продолжения заданного текста · эксперименты с компактными авторегрессионными языковыми моделями · изучение низкоранговых матриц в токеновых эмбеддингах

Компактная GPT-2-подобная языковая модель с низкоранговой выходной матрицей для генерации текста и экспериментов.

Подходит для: генерация продолжения короткого текста · изучение компактных причинных языковых моделей · эксперименты с низкоранговой выходной матрицей

Компактная причинная модель в стиле GPT-2 с низкоранговыми токеновыми эмбеддингами для генерации текста и экспериментов.

Подходит для: генерация продолжения текста · эксперименты с компактными языковыми моделями · изучение низкоранговых токеновых эмбеддингов

Компактная GPT-2-подобная модель с низкоранговыми токенными эмбеддингами для генерации текста и экспериментов с архитектурой LoRE.

Подходит для: генерация продолжения короткого текста · эксперименты с низкоранговыми токенными эмбеддингами · изучение обучения компактной причинной языковой модели

Компактная GPT-2-подобная языковая модель с низкоранговыми эмбеддингами LoRE для генерации текста и экспериментов.

Подходит для: генерация продолжения короткого текста · изучение обучения языковых моделей с нуля · эксперименты с низкоранговыми матрицами эмбеддингов

Компактная GPT-2-подобная языковая модель для генерации текста и экспериментов с причинными трансформерами.

Подходит для: генерация продолжений коротких текстовых подсказок · эксперименты с компактными причинными языковыми моделями · изучение GPT-2-подобной архитектуры на практике

Компактная GPT-2-подобная языковая модель, обученная с нуля для генерации текста и экспериментов с низкоранговой выходной проекцией LoRE.

Подходит для: продолжение короткого текстового фрагмента · эксперименты с генерацией текста на небольшой языковой модели · изучение причинно-следственных Transformer-моделей

Компактная GPT-2-подобная языковая модель Giles Thomas для генерации текста и экспериментов с обучением LLM с нуля.

Подходит для: генерация продолжения короткого текста · изучение устройства GPT-2-подобной языковой модели · эксперименты с низкоранговыми матрицами в эмбеддингах и выходном слое

Компактная причинная GPT-2-подобная модель с низкоранговыми эмбеддингами для генерации продолжений текста и экспериментов с архитектурой LoRE.

Подходит для: генерация продолжения заданного текста · изучение работы компактной GPT-2-подобной модели · эксперименты с низкоранговым представлением эмбеддингов