Mixsmol-4x400M-v0.1-epoch3 — экспериментальный чекпойнт языковой модели Ontocord, третья эпоха обучения семейства Mixsmol-4x400M-v0.1. Модель имеет архитектуру MixtralForCausalLM типа mixture-of-experts и около 526,1 млн параметров; поддерживает генерацию текста с контекстом до 4096 токенов.

Модель обучали на 50 млрд токенов, чтобы проверить подходы к смешиванию данных, включая развитие рассуждений на синтетических учебниках и кросс-лингвальное понимание на данных машинного перевода и многоязычных задач. В обучающую смесь вошли веб-тексты, математика, энциклопедические материалы, код и инструкции. Данные обучения состояли преимущественно из английского текста (95%), с долей вьетнамского (5%). Лицензия — Apache-2.0.

Это экспериментальная версия, предназначенная для проверки гипотез о данных и обучения, а не заявленная финальная модель. README не приводит оценок качества; результаты для русского языка или производственного применения не заявлены.