Omega-Sapphira-L3.3-70B-v1.3

Omega-Sapphira-L3.3-70B-v1.3 — созданная автором карточки merge-модель на базе Llama 3.3 70B. Она объединяет Omega Directive и Sapphira методом SLERP, используя отдельные меняющиеся по слоям коэффициенты для attention и MLP. Модель имеет плотную архитектуру LlamaForCausalLM, около 69,5 млрд параметров и контекст до 131 072 токенов; в README также описан вариант весов EXL3 с 4,25 bpw, тогда как в метаданных репозитория указан формат safetensors.

Модель предназначена для генерации текста, ролевого общения и написания историй. По описанию автора, Omega вносит вклад в следование инструкциям, связность диалога и устойчивость к зацикливанию, а Sapphira — в стиль прозы. README сообщает о стабильной работе в длинных сессиях и при широком диапазоне настроек, но не приводит независимых оценок качества. Токенизатор унаследован от Omega: при загрузке может потребоваться явно включить добавление токена начала текста BOS.

Язык карточки и тег модели указывают на английский. Модель отмечена как не предназначенная для всех аудиторий и как unaligned, поэтому её ответы могут требовать контроля. Указана лицензия Llama 3.3 Community License (llama3.3); перед использованием следует соблюдать её условия.