/ Модель

Характеристики

Контекст
16 384 токена
Параметры
1,7 млрд
Лицензия
Apache 2.0
Архитектура
mixtral · MoE
Базовая модель
Cypher-Mini-1.8B
Опубликована
28 фев 2024

Cypher-Mixtral-2x1.8B-v0.1

Генерация текстаТекст → текст5 профессий

Объединённая MoE-модель aloobun на 1,7 млрд параметров для генерации текста и диалогового общения с контекстом до 16 384 токенов.

138скачиваний за 30 дней1лайквеса обновлены1 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Cypher-Mixtral-2x1.8B-v0.1 — языковая модель на архитектуре Mixtral с разреженной смесью экспертов (MoE), созданная aloobun с помощью LazyMergekit путём объединения Cypher-Mini-1.8B и Cypher-CoT-1.8B. В модели 1,7 млрд параметров, она принимает текст и генерирует текст; заявленное контекстное окно составляет 16 384 токена.

Модель предназначена для генерации текста и диалогового общения. В состав объединённой модели входят Cypher-Mini и Cypher-CoT, однако README не уточняет отдельные сценарии применения или языки обучения. Репозиторий содержит веса в формате safetensors.

Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или подробных сведений об ограничениях; ответы следует проверять, особенно при использовании в критически важных сценариях.

Сценарии применения

  • генерация продолжения текста
  • диалоговое общение с ассистентом
  • создание черновиков и кратких текстов

Ограничения

README не содержит результатов оценки качества и не уточняет поддерживаемые языки; ответы модели стоит проверять перед использованием в критически важных сценариях.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Cypher-Laser-Mixtral-2x1.8B-v0.1

Cypher-Laser-Mixtral-2x1.8B-v0.1 is a Mixure of Experts (MoE) made with the following models using LazyMergekit:

🧩 Configuration

base_model: aloobun/Cypher-Mini-1.8B
gate_mode: hidden
dtype: bfloat16
experts:
  - source_model: aloobun/Cypher-Mini-1.8B
    positive_prompts:
      - "Write a Python script that sorts a list of integers using the bubble sort algorithm."
      - "Write a JavaScript function that redirects a web page to another page after 5 seconds."
      - "Describe the steps to troubleshoot a fluid dynamics issue with a water fountain."
      - "Write a short story about a knight's quest to find a lost treasure, and then summarize it in one paragraph."
      - "Summarize the following article with details and clarity."
      - "Tell me about your favorite book and why you like it."
      
  - source_model: aloobun/Cypher-CoT-1.8B
    positive_prompts:
      - "Liam saw an animal running on the farm. Q: Is it true that The animal could be a horse."
      - "Based on the following paragraph can we conclude that the sentence below is true?"
      - "According to the article, how do dolphins communicate with each other?"
      - "Solve this math problem Solve 7644 = 4648*d - 4557*d for d."
      - "If we have 3 marbles, and two roll under the counter, and one is found, how many marbles are there?"
      - "What is the result of 25 divided by 5?"
      - "Is it morally justifiable to lie to protect someone's feelings?"
      - "Determine if the sentence is true based on the text below. Choose from options."
      - "What might a person do if they forget their umbrella on a rainy day?"
      - "Which of the following is an example of renewable energy: a) Coal, b) Solar, c) Oil, d) Natural gas?"
      - "What is the capital of Canada? a) Toronto, b) Ottawa, c) Montreal, d) Vancouver."
      - "Which of these animals is a mammal? a) Snake, b) Dolphin, c) Turtle, d) Frog."
      - "Given a story, answer the question about the story."
      - "Given a prompt and four completions, select the completion that is the most plausible in continuing or answering the prompt."

Format:

<|system|></s><|prompt|></s><|answer|>

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MixtralForCausalLM
Ревизия весов
cf8e663

0 моделей