Экспериментальная разреженная MoE-языковая модель для генерации текста и диалога на английском языке.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
J.A.R.V.I.S. Titan V12 — экспериментальная языковая модель с разреженной архитектурой Mixture of Experts, разработанная Dhanesh. Это начальная upcycled MoE-модель с маршрутизатором, инициализированным с нулевой энтропией, и разреженным выбором двух экспертов из восьми маршрутизируемых; также используется один общий эксперт. Карточка указывает 28 слоёв, а метаданные — 7,1 млрд параметров и контекст до 32 768 токенов.
Модель предназначена для генерации текста и диалогового взаимодействия на английском языке. В репозитории размещены веса SafeTensors; указанная лицензия — other, поэтому конкретные права использования по имеющимся данным определить нельзя. README характеризует модель как начальную демонстрацию архитектуры, поэтому её практическое качество и надёжность не установлены.
Модель описана как начальная демонстрация архитектуры; качество и надёжность для практических задач не подтверждены. Лицензия обозначена как other, без конкретизации условий использования.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Principal Investigator: Dhanesh
Architecture: 28 Layers, 8 Routed Experts + 1 Shared Expert
Initial upcycled MoE foundation model demonstrating zero-entropy router initialization and sparse Top-2 expert dispatch on TPU v5e-8.
Governed by the J.A.R.V.I.S. Titan Proprietary Research License (JTRL-v1.0). See LICENSE.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.