Слитая модель Llama 3 с 7,5 млрд параметров, предназначенная для экспериментов и дальнейшего объединения с другими моделями.

Подходит для: эксперименты со слиянием языковых моделей · генерация текста в чат-сценариях · проверка пригодности модели для ролевых диалогов

Исследовательская базовая языковая модель на 209 млн параметров с softmax attention и RoPE для генерации текста и изучения механизмов внимания.

Подходит для: генерация продолжения текста · исследование softmax attention в языковой модели · сравнение вариантов позиционного кодирования

Исследовательская абляция OASIS на базе Llama 3.2 1B для экспериментов с Softmax1-вниманием и маршрутизацией между слоями при генерации текста.

Подходит для: сравнение вариантов Softmax1-внимания в языковых моделях · исследование влияния attention sinks на межслойную маршрутизацию · измерение выбросов активаций в причинных языковых моделях

OBSIDIAN классифицирует арабские твиты и короткие сообщения по пяти категориям: угроза, насилие, эмоциональное неблагополучие, жалоба и нейтральный текст.

Подходит для: классификация арабских твитов по уровню угрозы и насилия · выявление сообщений о страхе и эмоциональном неблагополучии · поиск жалоб и критики в арабских соцсетях

Исследовательская базовая языковая модель на 209 млн параметров для генерации текста и изучения softmax-внимания и длинного контекста.

Подходит для: генерация продолжений текста · сравнение операторов внимания в языковых моделях · эксперименты с переносом на контекст длиннее обучающего

Исследовательская базовая языковая модель на 209 млн параметров для экспериментов с softmax-вниманием и контекстом до 16 384 токенов.

Подходит для: сравнение вариантов оператора внимания · изучение влияния позиционного кодирования на генерацию текста · воспроизведение экспериментов DilutionAttention

Базовая языковая модель DilutionAttention на 209 млн параметров для генерации текста и исследований softmax-внимания и длинного контекста.

Подходит для: генерация продолжений текста · сравнение вариантов оператора внимания · исследование извлечения информации при контексте до 16 тысяч токенов

Исследовательская языковая модель на 209 млн параметров для изучения softmax-внимания и работы с контекстом до 16 384 токенов.

Подходит для: сравнение softmax-внимания в языковых моделях · эксперименты с моделями без позиционного кодирования · оценка извлечения ключевых слов из длинного контекста

Исследовательская языковая модель на 209 млн параметров для изучения softmax-внимания и экстраполяции контекста при генерации английского текста.

Подходит для: сравнение softmax-внимания с другими операторами внимания · эксперименты с языковым моделированием на английском тексте · оценка извлечения ключевых слов из контекста

Базовая языковая модель SPP на 1,7 млрд параметров для продолжения текста и исследований предобучения, согласования и безопасности.

Подходит для: продолжение текста на английском языке · исследование влияния Synthetic Persona Pretraining на поведение модели · зондирование поведения модели в исследованиях безопасности

Экспериментальная англоязычная чат-модель на 3 млрд параметров для генерации ответов на инструкции и исследований выравнивания поведения с ценностной персоной.

Подходит для: ответы на инструкции в англоязычном чате · исследование конституционного выравнивания LLM · изучение обобщения заданных ценностей моделью

Базовая англоязычная модель на 3 млрд параметров для исследований Synthetic Persona Pretraining, выравнивания и безопасности, а также для продолжения текста и дальнейшего дообучения.

Подходит для: продолжение англоязычного текста · исследование влияния Synthetic Persona Pretraining на поведение модели · зондирование поведения модели в исследованиях безопасности

SPP-T0 — англоязычная инструктивная модель на 1,7 млрд параметров для исследований согласования поведения и устойчивости к jailbreak-запросам.

Подходит для: эксперименты с конституционным согласованием поведения · изучение обобщения ценностей в ответах модели · оценка устойчивости диалоговой модели к jailbreak-запросам

Компактная диалоговая Llama-модель для исследований Synthetic Persona Pretraining, конституционного выравнивания и устойчивости к jailbreak-запросам.

Подходит для: изучение конституционного выравнивания языковых моделей · исследование обобщения ценностей при генерации ответов · оценка устойчивости диалоговой модели к jailbreak-запросам

Базовая языковая модель на 1,7 млрд параметров с обучением Synthetic Persona Pretraining для исследований выравнивания, безопасности и дальнейшего дообучения.

Подходит для: исследование влияния синтетических ценностных отражений на продолжение текста · оценка поведения языковой модели в исследованиях безопасности · зондирование промежуточных контрольных точек обучения

SPP-T0 Instruct — англоязычная модель Llama на 3 млрд параметров для диалогов и исследований выравнивания поведения с обучением Synthetic Persona Pretraining.

Подходит для: исследование конституционного выравнивания языковых моделей · сравнение вариантов обучения с разной долей примеров безопасности · изучение обобщения ценностей в диалоговых ответах

Базовая англоязычная модель на 1,7 млрд параметров, обученная методом Synthetic Persona Pretraining для исследований выравнивания и безопасности и дальнейшего дообучения.

Подходит для: изучение влияния предобучения на ценностные установки модели · зондирование поведения модели в исследованиях безопасности ИИ · продолжение англоязычных текстов

Базовая языковая модель на 1,7 млрд параметров с Synthetic Persona Pretraining для продолжения текста и исследований alignment и безопасности.

Подходит для: продолжение предобученного текста · исследование влияния ценностной персоны на генерацию · зондирование поведения языковой модели

Производная модели dylanebert/multi-view-diffusion. Порт MVDream для Diffusers, предназначенный для создания 3D-представлений по изображению.

Подходит для: создание 3D-представления объекта по изображению · преобразование изображения в 3D-контент для проектов компьютерной графики · эксперименты с генерацией 3D по изображению в Diffusers