Базовая языковая модель EPFL DLAB с фильтрацией небезопасных документов при предобучении, предназначенная для исследований безопасности и дальнейшего дообучения.

Подходит для: исследование влияния фильтрации небезопасных документов на предобучение · оценка и зондирование поведения базовой языковой модели · дальнейшее дообучение модели под прикладную задачу

Англоязычная инструкционная модель EPFL DLAB на 3 млрд параметров для исследований конституционного выравнивания, обобщения ценностей и устойчивости к jailbreak-запросам.

Подходит для: исследование конституционного выравнивания ответов · оценка обобщения ценностей при изменении формулировок запросов · проверка устойчивости чат-модели к jailbreak-запросам

Экспериментальная Llama-подобная модель на 524 млн параметров для генерации текста и диалогов, созданная для исследования методов обучения One Persona Pretraining.

Подходит для: генерация ответов в диалоговом формате ChatML · сравнение методов предварительного обучения диалоговых моделей · эксперименты с дообучением языковых моделей на разговорах

Экспериментальная англоязычная модель Llama на 524 млн параметров для генерации текста и исследования предобучения на диалогах.

Подходит для: генерация продолжений англоязычного текста · генерация ответов в формате диалога ChatML · изучение предобучения языковых моделей на переписанных диалогах

Базовая модель семейства Llama с 523,8 млн параметров для экспериментов по генерации текста и изучению режимов предобучения.

Подходит для: генерация продолжения английского текста · сравнение качества моделей при равном числе обучающих токенов · исследование влияния исходных документов на языковое моделирование

Инструкционная диалоговая модель на 3 млрд параметров для генерации ответов и исследований выравнивания, ценностного поведения и устойчивости к jailbreak-запросам.

Подходит для: генерация ответов на пользовательские инструкции · исследование конституционного выравнивания языковых моделей · оценка обобщения ценностных принципов в диалогах

Базовая языковая модель EPFL DLAB на 3 млрд параметров для продолжения текста, исследований поведения и дальнейшего дообучения.

Подходит для: продолжение англоязычного текста · исследование поведения базовой языковой модели · зондирование модели в исследованиях безопасности и выравнивания

Экспериментальная базовая Llama-модель примерно на 1 млрд параметров для генерации текста и исследования режимов предобучения на исходных документах.

Подходит для: генерация продолжения англоязычного текста · оценка базовой языковой модели на текстовых корпусах · исследование влияния количества обучающих токенов на качество модели

Экспериментальная модель Llama на 1,66 млрд параметров для исследования предобучения на переписанных диалогах с функцией потерь на репликах пользователя и ассистента.

Подходит для: исследование влияния обучающего сигнала на репликах пользователя и ассистента · сравнение условий предобучения при одинаковом числе обучающих токенов · генерация текста в формате диалога ChatML

Экспериментальная англоязычная модель Llama примерно на 1 млрд параметров для генерации текста в диалогах и исследования методов предобучения и SFT.

Подходит для: генерация ответов в англоязычном чате · изучение влияния условий предобучения на качество диалоговой модели · сравнение обучения с потерями на пользовательских и ассистентских репликах

Экспериментальная англоязычная чат-модель 1PP на 523,8 млн параметров для генерации текста и изучения влияния условий обучения.

Подходит для: генерация ответов в англоязычном диалоге · исследование влияния обучающих данных на языковую модель · сравнение режимов SFT при одинаковом числе токенов

Экспериментальная англоязычная Llama-модель на 1,6 млрд параметров для диалоговой генерации текста и исследований One Persona Pretraining.

Подходит для: ответы на запросы в текстовом диалоге · эксперименты с генерацией английского текста · сравнение режимов предобучения языковых моделей

Базовая модель Llama на 1,66 млрд параметров для продолжения текста и исследований предобучения на исходных документах.

Подходит для: продолжение английских текстов · эксперименты с базовыми языковыми моделями · сравнение обучения на исходных документах и диалоговых данных

Экспериментальная англоязычная модель EPFL DLAB на 3 млрд параметров для генерации инструктивных ответов и исследований выравнивания ценностей и безопасности.

Подходит для: исследование конституционного выравнивания языковых моделей · оценка обобщения ценностей в диалоговых ответах · изучение устойчивости модели к jailbreak-запросам

Экспериментальная базовая Llama-модель на 523,8 млн параметров для продолжения английского текста и исследований предварительного обучения.

Подходит для: продолжение обычного английского текста · эксперименты с базовыми языковыми моделями семейства Llama · сравнение обучения на исходных документах и диалоговых данных

Экспериментальная англоязычная модель Llama на 1,66 млрд параметров для генерации текста и изучения предобучения на переписанных диалогах.

Подходит для: изучение влияния обучения только на репликах ассистента · генерация продолжений диалога в формате ChatML · сравнение условий предобучения языковых моделей

Экспериментальная англоязычная модель Llama на 1,6 млрд параметров для генерации текста и исследований предварительного обучения с последующей настройкой на диалогах.

Подходит для: генерация англоязычных ответов в формате ChatML · эксперименты с диалоговым дообучением языковых моделей · сравнение моделей, предварительно обученных на исходных документах

Экспериментальная Llama-модель на 1,66 млрд параметров для генерации диалоговых ответов и исследования подхода One Persona Pretraining.

Подходит для: генерация ответов в многоходовом диалоге · эксперименты с обучением разговорных языковых моделей · сравнение влияния маски потерь на пользовательских и ассистентских репликах

Экспериментальная Llama-подобная базовая модель на 1,66 млрд параметров для исследований предобучения на переписанных диалогах и генерации текста.

Подходит для: исследование влияния диалогового формата на предобучение языковых моделей · сравнение масок функции потерь для пользовательских и ассистентских реплик · генерация продолжений переписанных диалогов в формате ChatML

Экспериментальная базовая модель семейства Llama для исследования предобучения на переписанных диалогах и генерации английского текста.

Подходит для: сравнение условий предобучения языковых моделей · исследование влияния обучения на пользовательских и ассистентских репликах · генерация продолжений англоязычных диалогов в формате ChatML

Экспериментальная англоязычная модель на базе Llama для генерации диалоговых ответов и изучения методов обучения ассистентов.

Подходит для: эксперименты с обучением диалоговых языковых моделей · генерация ответов в формате ChatML · сравнение влияния маскирования функции потерь при предобучении

Экспериментальная базовая Llama-модель на 523,8 млн параметров для генерации англоязычного текста в диалоговом формате и исследований предобучения.

Подходит для: генерация ответов в формате ChatML · эксперименты с предобучением на переписанных диалогах · сравнение маскирования потерь на репликах пользователя и ассистента

Базовая языковая модель EPFL DLab на 3 млрд параметров, обученная с Synthetic Persona Pretraining для исследований безопасности, продолжения текста и дальнейшего дообучения.

Подходит для: генерация продолжения текста на основе затравки · исследование влияния Synthetic Persona Pretraining на поведение модели · анализ и зондирование представлений модели о безопасности и выравнивании

Базовая англоязычная модель семейства Llama примерно на 906 млн параметров для генерации текста и исследований предобучения.

Подходит для: продолжение англоязычных документов · эксперименты с авторегрессионной генерацией текста · сравнение моделей, обученных на исходных документах и диалогах