Kiyo-135M — компактная базовая Llama-подобная модель для продолжения английского текста и кода.
Подходит для: продолжение английских текстовых фрагментов · автодополнение кода · генерация черновиков текста
Производная модели haoranxu/ALMA-13B-Pretrain. Предварительно дообученная на монолингвистических данных языковая модель LLaMA-2 на 13 млрд параметров, служащая основой для дальнейшей настройки ALMA.
Подходит для: Продолжение текста на основе контекста · Эксперименты с промежуточным этапом обучения ALMA · Дальнейшая настройка языковой модели с помощью LoRA-адаптера
Экспериментальная модель IconShop создаёт SVG-иконки по текстовым описаниям для прототипирования простой векторной графики.
Подходит для: создание простых SVG-иконок по короткому текстовому запросу · генерация стрелок, звёзд и значков животных · подготовка элементов интерфейса для прототипов
Производная модели haoranxu/ALMA-13B-Pretrain. Предварительно дообученная на монолингвистических данных языковая модель LLaMA-2 на 13 млрд параметров, служащая основой для дальнейшей настройки ALMA.
Подходит для: Продолжение текста на основе контекста · Эксперименты с промежуточным этапом обучения ALMA · Дальнейшая настройка языковой модели с помощью LoRA-адаптера
Компактная Llama-модель на 134,5 млн параметров для генерации текста и экспериментов с обучением и дообучением небольших языковых моделей.
Подходит для: генерация продолжений текста · эксперименты с предварительным обучением языковых моделей · проверка методов очистки и дедупликации обучающих данных
Компактная причинная NanoGPT-модель, обученная на корпусе BabyLM 10M для исследований языкового моделирования и статической маршрутизации по глубине.
Подходит для: генерация продолжения короткого английского текста · оценивание вероятностей следующих токенов · сравнение статической маршрутизации глубины в языковых моделях
Небольшая причинная NanoGPT-модель, обученная на английском корпусе BabyLM объёмом 10 млн слов для исследований языкового моделирования на ограниченных данных.
Подходит для: генерация продолжения английского текста · оценивание причинной языковой модели на BabyLM · сравнение остаточных связей в небольших языковых моделях
Каузальная NanoGPT-модель для генерации и исследования языкового моделирования на ограниченных данных BabyLM.
Подходит для: продолжение короткого английского текста · генерация языковых последовательностей на корпусах с ограниченными данными · каузальная оценка вероятности продолжения текста
Экспериментальная причинная языковая модель BabyLM 2026 для изучения маршрутизации внимания по глубине при обучении на ограниченных данных.
Подходит для: исследование языкового моделирования на корпусе ограниченного размера · генерация продолжения коротких английских текстов · сравнение архитектур маршрутизации по глубине
Англоязычная причинная языковая модель NanoGPT для исследований языкового моделирования на ограниченных данных в рамках BabyLM 2026.
Подходит для: сравнение языковых моделей на корпусе BabyLM · исследование обучения на ограниченных текстовых данных · оценка причинного языкового моделирования
Причинная языковая модель NanoGPT для исследований маршрутизации по глубине и языкового моделирования на ограниченных данных BabyLM.
Подходит для: эксперименты с языковым моделированием на небольших корпусах · сравнение маршрутизации вычислений по глубине в трансформерах · генерация продолжения текста на английском языке
Экспериментальная англоязычная причинная языковая модель на 10 млн слов BabyLM для исследований маршрутизации по глубине и генерации текста.
Подходит для: сравнение архитектур языковых моделей на ограниченных данных · исследование маршрутизации представлений по глубине сети · эксперименты с генерацией английского текста