Характеристики

Контекст: 32 768 токенов
Параметры: 7,1 млрд
Размер весов: 14,5 ГБ
Лицензия: MIT
Архитектура: mistral · dense
Базовая модель: Mixtral_AI_Cyber_3.m1
Библиотека: transformers
Опубликована: 30 мар 2024

Ссылки

Hugging Face

Mixtral_AI_Cyber_4.0

LeroyDyer

Генерация текстаТекст → текст8 профессий

Объединённая модель Mistral на 7,1 млрд параметров для генерации текста, диалогов и помощи с программированием.

67скачиваний за 30 дней2лайкавеса обновлены12 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LeroyDyer/Mixtral_AI_Cyber_4.0 — объединённая автором LeroyDyer языковая модель для генерации текста и диалогов. В слияние вошли пять моделей серии Mixtral_AI_Cyber, включая версии 3.m1 и 3.1_SFT; автор описывает исходные модели как интенсивно обученные на задачах программирования. Архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель рассчитана на текстовый ввод и текстовый вывод; в метаданных указан английский язык и поддержка чата. Репозиторий опубликован в формате safetensors, библиотека для работы — Transformers. Лицензия — MIT.

Модель можно использовать для генерации и продолжения кода, помощи в программировании и диалоговых запросов на английском языке. Метаданные также отмечают теги biology, chemistry и medical, но README не приводит проверок качества или подробностей специализации в этих областях. Характеристики и ограничения унаследованных моделей, кроме описания их как моделей для программирования, не раскрыты; качество ответов и корректность кода следует проверять отдельно.

Сценарии применения

генерация и продолжение кода
получение помощи при написании программ
ответы на вопросы в диалоге на английском языке
генерация текста с длинным контекстом

Ограничения

README не содержит результатов оценки качества или подробных ограничений; корректность сгенерированного кода и ответов следует проверять. Указания на биологию, химию и медицину присутствуют только в тегах, без подтверждённого описания специализации.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.3Разработка и данныеРефакторинг, миграция и модернизацияAI помогает улучшать структуру программ и переносить их на новые технологии без потери поведения.20 задач9 764модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Models Merged

The following models were included in the merge:

A Merges of my best models !:

A very great model as it contains the deltas from all of the very hard trained models : all these models were heavy coders!

Configuration

The following YAML configuration was used to produce this model:


models:
  - model: LeroyDyer/Mixtral_AI_Cyber_3.m2
    parameters:
      density: [0.256, 0.512, 0.128] # density gradient
      weight: 0.382
  - model: LeroyDyer/Mixtral_AI_Cyber_2.0
    parameters:
      density: 0.382
      weight: [0.256, 0.128, 0.256, 0.128] # weight gradient
  - model: LeroyDyer/Mixtral_AI_Cyber_3.0
    parameters:
      density: 0.382
      weight: [0.128, 0.512, 0.128, 0.128] # weight gradient      
  - model: LeroyDyer/Mixtral_AI_Cyber_3.m1
    parameters:
      density: 0.382
      weight: [0.256, 0.256, 0.512, 0.128] # weight gradient    
  - model: LeroyDyer/Mixtral_AI_Cyber_1.0
    parameters:
      density: 0.382
      weight: [0.128, 0.512, 0.128, 0.128] # weight gradient                
  - model: LeroyDyer/Mixtral_AI_Cyber_3.1_SFT
    parameters:
      density: 0.382
      weight:
        - filter: mlp
          value: 0.5
        - value: 0
merge_method: ties
base_model: LeroyDyer/Mixtral_AI_Cyber_3.m2
parameters:
  normalize: true
  int8_mask: true
dtype: float16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: MistralForCausalLM
Ревизия весов: 7af1345