Англоязычная чат-модель на базе Zephyr-7B-β, дообученная методом GradDiff для экспериментов по удалению биологических знаний WMDP.

Подходит для: исследование удаления биологических знаний из языковой модели · оценка ответов модели на вопросы WMDP-Bio · сравнение методов machine unlearning для LLM

Англоязычная чат-модель Zephyr-7B на Mistral, дообученная методом NPO для забывания знаний из биологического раздела WMDP.

Подходит для: исследование машинного забывания знаний в LLM · оценка удаления биологических знаний по WMDP-Bio · эксперименты с устойчивостью забывания к повторному обучению

Экспериментальная версия Llama 3 8B Instruct с NPO и SAM для исследования удаления биологических знаний WMDP и устойчивости забывания.

Подходит для: исследование удаления биологических знаний из языковой модели · сравнение методов машинного забывания на WMDP-Bio · изучение устойчивости забывания к повторному извлечению знаний

Англоязычная чат-модель на базе Zephyr-7B-β, дообученная методом NPO-SAM для машинного забывания биологических знаний WMDP.

Подходит для: исследование машинного забывания знаний в языковых моделях · оценка удаления биологических знаний из чат-модели · изучение устойчивости забывания к атакам на повторное извлечение знаний

Дообученная англоязычная диалоговая Llama-модель для генерации текста и исследований по удалению знаний из LLM на наборе TOFU.

Подходит для: генерация ответов в текстовом диалоге · эксперименты по удалению вымышленных знаний из LLM · оценка методов machine unlearning на наборе TOFU

Экспериментальная версия OPT-125M с групповым усреднением K/V-голов для более эффективной генерации текста и работы с KV-кэшем.

Подходит для: эксперименты с генерацией текста на OPT · проверка способов сократить затраты памяти на KV-кэш · сравнение вариантов группировки K/V-голов

Дообученная методом SimNPO модель Llama 3 8B Instruct для генерации диалогового текста после машинного забывания на данных WMDP.

Подходит для: генерация английских диалоговых ответов после машинного забывания · изучение методов unlearning для больших языковых моделей · сравнение SimNPO с другими методами машинного забывания

Англоязычная модель Zephyr-7B, дообученная методом SimNPO для исследования машинного забывания знаний из WMDP.

Подходит для: исследование удаления знаний из языковых моделей · оценка забывания ответов на биологические вопросы WMDP · оценка забывания ответов на вопросы по кибербезопасности WMDP

Небольшая авторегрессионная модель семейства OPT для генерации текста и экспериментов с языковыми моделями.

Подходит для: эксперименты с генерацией текста · изучение компактных авторегрессионных моделей · оценка качества языковой модели на коротких контекстах

Дообученная модель OPT на 138,4 млн параметров для генерации текста с контекстом 256 токенов.

Подходит для: генерация коротких текстовых продолжений · эксперименты с моделями BabyLM · оценка языковых моделей на учебных корпусах

Модель Llama на 6,6 млрд параметров, дообученная методом SimNPO для исследования машинного забывания данных в задаче генерации текста.

Подходит для: исследование удаления новостных данных из языковой модели · оценка алгоритмов machine unlearning на наборе MUSE-News · сравнение метрик забывания и сохранения знаний

Дообученная причинная модель OPT на 113,9 млн параметров для генерации текста с контекстом до 512 токенов.

Подходит для: генерация короткого текста · автодополнение текста в пределах короткого контекста · экспериментальная оценка генерации текста

Модель на базе OPT для оценки предпочтительности ответов в конвейерах RLHF и обучения чат-моделей.

Подходит для: ранжирование вариантов ответа чат-бота по предпочтительности · вычисление сигнала вознаграждения для RLHF · оценка ответов при дообучении языковой модели на сравнениях

Компактная модель OPT на 125,8 млн параметров для экспериментов с генерацией текста в контексте до 256 токенов.

Подходит для: эксперименты с небольшой авторегрессионной языковой моделью · генерация коротких продолжений текста · оценка качества на собственном наборе данных