/ Модель
Каталог

Характеристики

Контекст
32 764 токена
Параметры
103 млрд
Лицензия
Своя лицензия
Архитектура
llama · dense
Библиотека
transformers
Опубликована
2 мар 2024

Ссылки

Hugging Face

Midnight-Miqu-103B-v1.0

sophosympatheia
Генерация текстаТекст → текст13 профессий

Плотная языковая модель семейства Llama на 102,9 млрд параметров для генерации текста и диалогов с контекстом до 32 тыс. токенов.

70скачиваний за 30 дней17лайковвеса обновлены10 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Midnight-Miqu-103B-v1.0 — языковая модель, созданная sophosympatheia методом passthrough-слияния слоёв Midnight-Miqu-70B-v1.0 с самой собой. Это плотная авторегрессионная модель семейства Llama на 102,9 млрд параметров, распространяемая в формате safetensors для Transformers; карточка заявляет контекст до 32 тыс. токенов и возможность диалогового использования. Модель предназначена для генерации текста и ответов в чате с длинным контекстом.

В карточке приведены ссылки на отдельные сторонние квантованные сборки GGUF и EXL2; сам репозиторий содержит safetensors. Лицензия указана как other, поэтому условия использования следует сверить с файлами и сведениями лицензии репозитория. README отсылает к карточке базовой Midnight-Miqu-70B-v1.0 за подробностями применения, поэтому конкретные языки, качество и ограничения здесь не уточнены.

Сценарии применения

  • генерация продолжений текста
  • ответы в диалоговом чате
  • обсуждение длинных текстовых материалов
  • создание развернутых текстовых ответов

Ограничения

README не уточняет поддерживаемые языки, результаты оценки качества или специальные ограничения модели; за подробностями предлагается обратиться к карточке Midnight-Miqu-70B-v1.0. Условия лицензии обозначены только как other.

Для каких профессий подходит13

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельI.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Overview

This is a 103B frankenmerge of sophosympatheia/Midnight-Miqu-70B-v1.0 with itself. Please see that model card for details and usage instructions. This model is based on Miqu so it's capable of 32K context.

Donations

If you feel like saying thanks with a donation, I'm on Ko-Fi

Quantizations

Licence and usage restrictions

152334H/miqu-1-70b-sf was based on a leaked version of one of Mistral's models. All miqu-derived models, including this merge, are only suitable for personal use. Mistral has been cool about it so far, but you should be aware that by downloading this merge you are assuming whatever legal risk is iherent in acquiring and using a model based on leaked weights. This merge comes with no warranties or guarantees of any kind, but you probably already knew that. I am not a lawyer and I do not profess to know what we have gotten ourselves into here. You should consult with a lawyer before using any Hugging Face model beyond private use... but definitely don't use this one for that!

Merge Details

Merge Method

This model was merged using the passthrough merge method.

Models Merged

The following models were included in the merge:

Configuration

The following YAML configuration was used to produce this model:

slices:
  - sources:
      - model: /home/llm/mergequant/models/midnight-miqu-70b
        layer_range: [0, 40] # 40
  - sources:
      - model: /home/llm/mergequant/models/midnight-miqu-70b
        layer_range: [20, 60] # 40
  - sources:
      - model: /home/llm/mergequant/models/midnight-miqu-70b
        layer_range: [40, 80] # 40
merge_method: passthrough
dtype: float16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
2e5c058

0 моделей

    Создать бенчмарк