Locutusque/lr-experiment1-7B — экспериментальная разговорная языковая модель Locutusque, дообученная на базе Locutusque/Hercules-2.0-Mistral-7B. Это плотная модель MistralForCausalLM примерно с 7,1 млрд параметров, рассчитанная на генерацию текста и диалоговые сценарии; длина контекста — до 32 768 токенов. Для дообучения применялась QLoRA: три эпохи на наборе CollectiveCognition/chats-data-2023-09-22 с learning rate 2e-5, cosine scheduler и без шагов warmup. Проект серии посвящён сравнению learning rate при дообучении Mistral; в карточке приведены результаты отдельных eval-задач.

Модель подходит для генерации ответов в чате и экспериментов с настройкой диалоговых моделей. В метаданных указан английский язык, а также набор Hercules v2.0, использованный в базовой модели. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Поскольку это экспериментальный чекпойнт для сравнения параметров обучения, его качество может отличаться на задачах, не отражённых в приведённых оценках.