GPT-2 small, обученная с нуля на английском C4 с оптимизатором Muon, генерирует продолжение текста в контексте до 1 024 токенов.

Подходит для: продолжение англоязычного текста · эксперименты с компактными авторегрессионными языковыми моделями · изучение обучения GPT-2 на корпусе C4

Обученная с нуля на английском C4 компактная GPT-2-модель для генерации продолжения текста с контекстом до 1 024 токенов.

Подходит для: генерация продолжения английского текста · создание коротких черновиков на английском · эксперименты с обучением GPT-2 на корпусе C4

GPT-2 small, обученная с нуля на английском корпусе C4 для продолжения и генерации текста.

Подходит для: продолжение англоязычного текста · генерация коротких английских фрагментов по началу текста · эксперименты с обучением GPT-2 и оптимизатором Muon

Экспериментальная англоязычная GPT-2-модель для генерации текста и исследований переноса весов из OLMo 2.

Подходит для: генерация продолжений англоязычного текста · эксперименты с базовыми языковыми моделями · исследование переноса весов через оптимальный транспорт

Экспериментальный базовый GPT-2 чекпойнт для генерации продолжения английского текста с частичной инициализацией весов внимания из LLaMA 3.2 1B.

Подходит для: генерация продолжения английских текстов · эксперименты с переносом весов внимания между архитектурами · сравнение методов инициализации языковых моделей

Экспериментальная GPT-2-подобная базовая модель для генерации и продолжения англоязычного текста с инициализацией части весов внимания из Llama 3.2 1B.

Подходит для: продолжение англоязычного текста · эксперименты с генерацией текста на архитектуре GPT-2 · изучение переноса весов внимания через optimal transport