Характеристики

Контекст: 4 096 токенов
Параметры: 10,6 млрд
Размер весов: 212 ГБ
Лицензия: CC BY-NC-SA 4.0
Архитектура: mixtral · MoE
Библиотека: transformers
Опубликована: 30 дек 2023

Ссылки

Hugging Face

SOLARC-MOE-10.7Bx6

DopeorNope

Генерация текстаТекст → текст3 профессии

Экспериментальная англоязычная MoE-модель на базе SOLAR для генерации текста и диалоговых ответов.

138скачиваний за 30 дней16лайковвеса обновлены1 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SOLARC-MOE-10.7Bx6 — авторегрессионная языковая модель Seungyoo Lee (DopeorNope), созданная для Markr AI. Она построена на архитектуре SOLAR и объединяет шесть базовых моделей в архитектуре Mixture of Experts (MoE); общий размер составляет 10,6 млрд параметров. Модель принимает текст и генерирует текст, поддерживает диалоговый сценарий и рассчитана на английский язык. Контекст — до 4096 токенов.

Модель подходит для генерации текста и диалоговых ответов. Автор описывает её как эксперимент с объединением моделей в MoE-архитектуру с числом экспертов, не равным степени двойки. Репозиторий содержит веса Safetensors и предназначен для загрузки через Transformers. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространения производных работ на тех же условиях и запрещает коммерческое использование.

В README не приведены результаты оценок качества или подробные рекомендации по использованию, поэтому пригодность для конкретных задач следует проверять самостоятельно.

Сценарии применения

генерация англоязычных ответов в чате
создание черновиков англоязычного текста
продолжение заданного текста
эксперименты с архитектурой Mixture of Experts

Ограничения

Контекст ограничен 4096 токенами; в README не приведены результаты оценок качества. Лицензия CC BY-NC-SA 4.0 запрещает коммерческое использование.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

The license is cc-by-nc-sa-4.0.

🐻‍❄️SOLARC-MOE-10.7Bx6🐻‍❄️

Model Details

Model Developers Seungyoo Lee(DopeorNope)

I am in charge of Large Language Models (LLMs) at Markr AI team in South Korea.

Input Models input text only.

Output Models generate text only.

Model Architecture
SOLARC-MOE-10.7Bx6 is an auto-regressive language model based on the SOLAR architecture.

Base Model

kyujinpy/Sakura-SOLAR-Instruct

Weyaxi/SauerkrautLM-UNA-SOLAR-Instruct

VAGOsolutions/SauerkrautLM-SOLAR-Instruct

fblgit/UNA-SOLAR-10.7B-Instruct-v1.0

jeonsworld/CarbonVillain-en-10.7B-v1

Implemented Method

I have built a model using the Mixture of Experts (MOE) approach, utilizing each of these models as the base.

I wanted to test if it was possible to compile with a non-power of 2, like with 6

Implementation Code

Load model


from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

repo = "DopeorNope/SOLARC-MOE-10.7Bx6"
OpenOrca = AutoModelForCausalLM.from_pretrained(
        repo,
        return_dict=True,
        torch_dtype=torch.float32,
        device_map='auto'
)
OpenOrca_tokenizer = AutoTokenizer.from_pretrained(repo)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры: MixtralForCausalLM
Ревизия весов: eaf7f8f