Компактная англоязычная базовая языковая модель для исследований архитектур, анализа представлений и учебных экспериментов.
Подходит для: сравнение вариантов архитектуры языковых моделей · изучение смешивания каналов в блоках SwiGLU · эксперименты с генерацией текста на английском языке
safetensors: формат, квантизация, runtime и память принадлежат одному artifact
Компактная модель SAN на PyTorch для генерации текста и экспериментов с альтернативной архитектурой языковых моделей.
Подходит для: эксперименты с генерацией текста на компактной языковой модели · изучение архитектуры SAN и её компонентов · оценка perplexity небольшой авторегрессионной модели
Производная модели Novi-AI/Novi-Nano-Instruct. Экспериментальная GPT-2-подобная модель Novi-AI с 1,26 млн параметров для изучения инструкционного дообучения и простых диалогов.
Подходит для: эксперименты с дообучением языковой модели на инструкциях · изучение поведения очень маленьких диалоговых моделей · обучающие демонстрации формата ChatML
Объединённая модель на базе Mistral для генерации текста и диалогов, в том числе ролевых и творческих.
Подходит для: генерация ответов в диалоговом чат-боте · ведение ролевых диалогов · написание творческих текстов
Слияние двух моделей Mistral на 7,1 млрд параметров для генерации текста и диалоговых ответов с контекстом до 32 768 токенов.
Подходит для: создание чат-бота для ответов на запросы · генерация диалоговых ответов на английском языке · продолжение заданного текста
Sable-1.1-30M — компактная англоязычная модель семейства Llama для генерации текста и экспериментов с малыми языковыми моделями.
Подходит для: генерация коротких текстовых продолжений на английском языке · эксперименты с компактными авторегрессионными моделями · учебные примеры запуска генерации текста через Transformers
Базовая англоязычная модель на 3 млрд параметров для исследований Synthetic Persona Pretraining, выравнивания и безопасности, а также для продолжения текста и дальнейшего дообучения.
Подходит для: продолжение англоязычного текста · исследование влияния Synthetic Persona Pretraining на поведение модели · зондирование поведения модели в исследованиях безопасности
Базовая языковая модель на 1,7 млрд параметров с обучением Synthetic Persona Pretraining для исследований выравнивания, безопасности и дальнейшего дообучения.
Подходит для: исследование влияния синтетических ценностных отражений на продолжение текста · оценка поведения языковой модели в исследованиях безопасности · зондирование промежуточных контрольных точек обучения
SPP-T0 — англоязычная инструктивная модель на 1,7 млрд параметров для исследований согласования поведения и устойчивости к jailbreak-запросам.
Подходит для: эксперименты с конституционным согласованием поведения · изучение обобщения ценностей в ответах модели · оценка устойчивости диалоговой модели к jailbreak-запросам
SPP-T0 Instruct — англоязычная модель Llama на 3 млрд параметров для диалогов и исследований выравнивания поведения с обучением Synthetic Persona Pretraining.
Подходит для: исследование конституционного выравнивания языковых моделей · сравнение вариантов обучения с разной долей примеров безопасности · изучение обобщения ценностей в диалоговых ответах
Базовая языковая модель SPP Vanilla на 1,7 млрд параметров для продолжения обучения и исследований поведения, выравнивания и безопасности.
Подходит для: продолжение предобученного текста · зондирование поведения базовой языковой модели · оценка моделей в исследованиях безопасности
Saba2.1-Preview — дообученная модель Qwen2 для генерации текста и диалогов на английском языке.
Подходит для: ведение диалогов на английском языке · генерация текстовых ответов · помощь в программировании