В качестве базовой модели использована internistai/base-7b-v0.2, а параметры объединены с senseable/WestLake-7B-v2. Модель доступна для работы через библиотеку Transformers.

Из README известно, что модель относится к классу 7B и использует формат bfloat16. При объединении применялась конфигурация, охватывающая слои 0–32 модели WestLake-7B-v2 с diagonal_offset 2.0 и weight 1.0, совместно с базовой моделью internistai/base-7b-v0.2. Назначение проекта описано как тестирование метода task_swapping, поэтому модель может использоваться для экспериментальной генерации текста и исследования способов объединения предварительно обученных языковых моделей.

README не содержит сведений о точной архитектуре, поддерживаемых языках и модальностях, размере контекста, результатах тестирования или специализированных прикладных сценариях. Поэтому производительность и преимущества модели нельзя оценить по имеющимся данным; экспериментальный характер объединения также следует учитывать при использовании в продуктивных системах. Лицензия модели — Apache-2.0.