Промежуточная компактная модель семейства Llama для генерации текста и экспериментов с моделями, работающими при ограниченных вычислительных ресурсах.
Подходит для: генерация коротких текстов · эксперименты с компактными языковыми моделями · разработка приложений на базе Llama при ограниченной памяти
Англоязычная авторегрессионная модель EleutherAI для генерации текста и научного исследования поведения и интерпретируемости языковых моделей.
Подходит для: эксперименты с генерацией английского текста · исследование интерпретируемости языковых моделей · сравнение поведения моделей разных размеров
Небольшая языковая модель KALIA, обученная с нуля для генерации коротких англоязычных рассказов и образовательных текстов.
Подходит для: генерация коротких рассказов на английском языке · создание простых образовательных текстов · эксперименты с обучением компактных языковых моделей
Небольшая англоязычная авторегрессионная модель EleutherAI для исследований генерации текста и поведения языковых моделей.
Подходит для: эксперименты с предсказанием следующего токена на английском языке · исследование поведения языковых моделей на разных этапах обучения · анализ интерпретируемости компактной трансформерной модели
Англоязычная чат-модель LLaMA 3 на 7,5 млрд параметров, экстраполированная методом ExPO для улучшения соответствия ответов человеческим предпочтениям.
Подходит для: генерация ответов в диалоговом чате · ответы на вопросы на английском языке · создание инструктивных текстовых ответов
Компактная авторегрессионная модель семейства LLaMA для генерации текста и языковых задач, созданная прореживанием и продолжением предобучения Llama 2 7B.
Подходит для: генерация продолжения текста · языковое моделирование · ответы на вопросы по тексту
Экспериментальная англоязычная языковая модель KALIA на 57,9 млн параметров для генерации коротких историй и образовательного текста.
Подходит для: генерация продолжения короткой англоязычной истории · создание простого образовательного текста на английском языке · эксперименты с компактными языковыми моделями
Компактная базовая языковая модель Kyutai на 1,9 млрд параметров для генерации и понимания текста на 24 языках ЕС.
Подходит для: генерация продолжений текста на языках ЕС · исследование многоязычного языкового моделирования · оценка знаний модели на текстовых бенчмарках
Компактная англоязычная базовая модель на архитектуре Relaxed Recursive Transformer для продолжения текста, экспериментов и дальнейшего дообучения.
Подходит для: продолжение английского текста · эксперименты с рекурсивными трансформерами · исследование компактных языковых моделей
Черновая модель Eagle3 с MLA для ускорения инференса Kimi-K2.5 посредством speculative decoding.
Подходит для: ускорение генерации текста на базе Kimi-K2.5 · снижение затрат KV-кэша при speculative decoding · ускорение диалогового сервера на vLLM
Промежуточный чекпойнт компактной модели TinyLlama на 1,1 млрд параметров для генерации текста и экспериментов с языковыми моделями.
Подходит для: эксперименты с обучением компактных языковых моделей · изучение поведения Llama-моделей на промежуточных этапах предобучения · тестирование генерации текста при ограниченных вычислительных ресурсах
Компактная англоязычная базовая языковая модель для исследований архитектур, анализа представлений и учебных экспериментов.
Подходит для: сравнение вариантов архитектуры языковых моделей · изучение смешивания каналов в блоках SwiGLU · эксперименты с генерацией текста на английском языке
Экспериментальный текстовый чекпойнт Mini-K3 для генерации текста и сравнения архитектур MoE с Gated MLA.
Подходит для: эксперименты с генерацией текста на небольшом MoE-чекпойнте · сравнение архитектур внимания и позиционного кодирования · исследование предварительного обучения языковых моделей
Kiyo-135M — компактная базовая Llama-подобная модель для продолжения английского текста и кода.
Подходит для: продолжение английских текстовых фрагментов · автодополнение кода · генерация черновиков текста
Экспериментальная небольшая авторегрессионная модель Dynamic ALiBi для генерации продолжений текста.
Подходит для: эксперименты с генерацией текста на малых языковых моделях · сравнение вариантов Dynamic ALiBi в обучении языковых моделей · изучение чекпойнтов BabyLM по эпохам
Небольшая авторегрессионная модель Dynamic ALiBi для экспериментов с генерацией текста на данных BabyLM.
Подходит для: эксперименты с авторегрессионной генерацией текста · исследование компактных языковых моделей · сравнение вариантов позиционного кодирования в языковых моделях
Небольшая каузальная языковая модель Dynamic ALiBi для экспериментальной генерации текста, обученная на варианте BabyLM 100M.
Подходит для: эксперименты с генерацией короткого текста · сравнение языковых моделей на BabyLM · изучение влияния Dynamic ALiBi на генерацию
Небольшая языковая модель Llama, обученная с нуля для демонстрации предварительного обучения и генерации текста.
Подходит для: изучение обучения трансформера с нуля · демонстрация процесса предварительного обучения языковой модели · эксперименты с генерацией коротких продолжений текста
Компактная модель Transformers для исследовательской генерации текста и экспериментов с небольшими языковыми моделями.
Подходит для: генерация коротких текстовых продолжений · эксперименты с языковыми моделями малого размера · прототипирование text-generation в Transformers
Наноразмерная модель Llama, обученная с нуля для демонстрации предварительного обучения трансформера и экспериментов с генерацией английского текста.
Подходит для: демонстрация предварительного обучения трансформера с нуля · изучение работы компактной языковой модели · эксперименты с генерацией коротких текстовых продолжений
Базовая модель на архитектуре Llama с 1,2 млрд параметров для автодополнения кода, продолжения текста и исследований кодовых языковых моделей.
Подходит для: автодополнение фрагментов Python · продолжение кода на других языках программирования · продолжение английского текста
Компактная авторегрессионная LLaMA-подобная модель BabyLM для генерации текста и исследований малых языковых моделей.
Подходит для: генерация коротких продолжений текста · эксперименты с маломасштабным предварительным обучением · исследование sample-efficient обучения языковых моделей
Базовая разреженная MoE-модель Arcee AI для генерации текста, исследований предобучения и последующего дообучения.
Подходит для: исследование поведения языковой модели после масштабного предобучения · изучение маршрутизации и балансировки экспертов MoE · зондирование и интерпретируемость языковой модели
Текстовая базовая модель на 4,23 млрд параметров для исследований гибридных KDA/MLA-архитектур, длинного контекста и генерации текста.
Подходит для: эксперименты с гибридными KDA и MLA языковыми моделями · исследование переноса предобученной модели на новую архитектуру · оценка поведения языковой модели на длинном контексте