Базовая модель разработана Mistral AI, а версия Heretic опубликована darkc0de; данный набор подготовлен Rioky. Модель предназначена для генерации текста, мультимодального анализа изображений и текста, агентских сценариев, вызова функций с JSON-выводом и задач, требующих длинного контекста. Заявлена поддержка режимов быстрого ответа и рассуждений с дополнительными вычислениями во время вывода.

Модель использует архитектуру Mistral4 с разреженной Mixture-of-Experts и MLA-вниманием: всего 119 млрд параметров, из которых активируются 6,5 млрд на токен; доступны 128 экспертов, 4 из них активируются для каждого токена. Контекстное окно составляет до 256 тысяч токенов. Поддерживаются текстовый и графический ввод с текстовым выводом. Указана многоязычность, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, корейский, арабский и другие языки.

К сильным сторонам относятся большой контекст, мультимодальность, функции для агентских приложений, системные инструкции и несколько вариантов квантизации с importance matrix, которая призвана лучше сохранять качество на низких битностях. Ограничения включают значительные требования к памяти: размер файлов варьируется примерно от 29 до 91 ГиБ, а качество и скорость зависят от выбранного варианта. Показатель отказов Heretic-версии в README составляет 27 из 100 против 98 из 100 у исходной модели, однако независимые оценки качества не приведены. Распространение заявлено по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование.