Experiment31-7B

Experiment31-7B — экспериментальная языковая модель на 7,1 млрд параметров, опубликованная yam-peleg. Она предназначена для проверки и уточнения исследовательского конвейера обучения и оценки LLM, включая эксперименты с предобработкой данных, алгоритмами обучения и метриками оценки. Модель построена на плотной архитектуре MistralForCausalLM и принимает текст для генерации текста; заявленная длина контекста — 32 768 токенов. В метаданных указан английский язык. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0.

Карточка описывает её как эксперимент, а не как готовую модель для пользовательских сценариев. Она может быть полезна для тестирования и анализа методов обучения и оценки LLM, но README не приводит конкретных результатов, оценок качества или подробностей об обучающих данных.