Англоязычная модель Llama на 1,2 млрд параметров с BPE-токенизатором для генерации текста и исследований влияния токенизации.

Подходит для: сравнение качества BPE-токенизатора с другими схемами токенизации · измерение bits-per-byte языковых моделей · оценка грамматических предпочтений на тестах BLiMP

Исследовательская англоязычная Llama-модель на 1,2 млрд параметров с токенизатором UnigramLM для генерации текста и изучения влияния токенизации.

Подходит для: сравнение токенизаторов в языковых моделях · эксперименты с метрикой bits-per-byte · оценка языковой компетентности по BLiMP

Исследовательская Llama-подобная модель на 1,2 млрд параметров с токенизатором TopDownComp для изучения влияния токенизации на качество языкового моделирования.

Подходит для: сравнение стратегий токенизации в языковых моделях · эксперименты с метрикой bits-per-byte · оценка языкового моделирования на тесте BLiMP

Исследовательская Llama-модель на 1,2 млрд параметров с BPE-токенизатором для изучения влияния токенизации на языковые метрики.

Подходит для: сравнение BPE-токенизатора с альтернативными схемами токенизации · измерение сжатия текста в метрике bits-per-byte · оценка языкового поведения на бенчмарке BLiMP

Исследовательская языковая модель Llama на 1,23 млрд параметров с токенизатором UnigramLM для изучения влияния токенизации на генерацию и языковые метрики.

Подходит для: сравнение токенизаторов в языковых моделях · эксперименты с метриками bits-per-byte · оценка языковых моделей на тесте BLiMP

Экспериментальная англоязычная Llama-модель на 1,2 млрд параметров для исследования влияния токенизатора BottomUpLL на языковое моделирование.

Подходит для: сравнение токенизаторов в одинаковой архитектуре языковой модели · оценка качества токенизации по bits-per-byte · тестирование языковой компетентности на BLiMP

Языковая модель Llama на 1,2 млрд параметров с токенизатором TopDownComp для генерации текста и исследований влияния токенизации.

Подходит для: сравнение токенизаторов в языковых моделях · эксперименты с компрессионной токенизацией · оценка языкового моделирования на нескольких языках

Исследовательская Llama-модель на 1,2 млрд параметров с токенизатором BottomUpLL для изучения влияния токенизации на качество языкового моделирования.

Подходит для: сравнение методов токенизации языковых моделей · измерение bits-per-byte для разных токенизаторов · оценка языковых моделей на тесте BLiMP