/ Модель
Каталог

Характеристики

Контекст
200 000 токенов
Параметры
70,7 млрд
Лицензия
Своя лицензия
Архитектура
llama · dense
Библиотека
transformers
Опубликована
18 мар 2024

Ссылки

Hugging Face

Yi-70B-200k-RPMerge-Franken

DisOOM
Генерация текстаТекст → текст11 профессий

Чат-модель на основе Yi-34B-200K-RPMerge, объединённая чередованием слоёв для генерации текста с контекстом до 200 000 токенов.

18скачиваний за 30 дней1лайквеса обновлены21 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Yi-70B-200k-RPMerge-Franken — плотная языковая модель примерно на 70,7 млрд параметров, созданная автором DisOOM с помощью mergekit. Автор описывает её как frankenmerge: слои Yi-34B-200K-RPMerge чередуются с копиями той же модели. В карточке также заявлены чат-возможности и контекст длиной до 200 000 токенов.

Модель предназначена для генерации текста в диалогах, а также для задач понимания, рассуждения и письма. Автор сообщает о субъективно лучших результатах по сравнению с версией на 34 млрд параметров, но отмечает, что не проводил формальных бенчмарков и не смог широко проверить модель. Репозиторий содержит веса в формате safetensors; лицензия указана как other, поэтому условия использования следует уточнить в карточке модели.

Сценарии применения

  • ведение текстовых диалогов
  • генерация связных текстов
  • помощь в написании и редактировании
  • ответы на вопросы по длинному контексту
  • рассуждения и понимание текста

Ограничения

Оценки автора субъективны: формальные бенчмарки не проводились, а качество проверено ограниченно. Лицензия обозначена как other, поэтому перед использованием нужно уточнить её условия.

Для каких профессий подходит11

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельI.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Yi-70B-200k-RPMerge-Franken

--This is a 71B frankenmerge of Yi-34B-200K-RPMerge created by interleaving layers of Yi-34B-200K-RPMerge with itself using mergekit.--

By attempting to merge the yi-34B (RPMerge, which I consider to be a better-performing version), to create a 70B-level Yi, what surprised me was that it didn't seem to exhibit the increased logical confusion and linguistic errors that many models with more than double the original parameter count do. It appeared to just get stronger with the increase in parameters. I also tried several other fine-tuned versions of Yi, and the results were satisfactory.

-Quantize

GGUF Here：Coming soon

-Merge Configuration

This yaml below:

dtype: float16
merge_method: passthrough
slices:
- sources:
  - layer_range: [0, 4]
    model: brucethemoose/Yi-34B-200K-RPMerge
- sources:
  - layer_range: [4, 14]
    model: brucethemoose/Yi-34B-200K-RPMerge
- sources:
  - layer_range: [8, 18]
    model: brucethemoose/Yi-34B-200K-RPMerge
- sources:
  - layer_range: [12, 22]
    model: brucethemoose/Yi-34B-200K-RPMerge
- sources:
  - layer_range: [16, 26]
    model: brucethemoose/Yi-34B-200K-RPMerge
- sources:
  - layer_range: [20, 30]
    model: brucethemoose/Yi-34B-200K-RPMerge
- sources:
  - layer_range: [24, 34]
    model: brucethemoose/Yi-34B-200K-RPMerge
- sources:
  - layer_range: [28, 38]
    model: brucethemoose/Yi-34B-200K-RPMerge
- sources:
  - layer_range: [32, 42]
    model: brucethemoose/Yi-34B-200K-RPMerge
- sources:
  - layer_range: [36, 46]
    model: brucethemoose/Yi-34B-200K-RPMerge
- sources:
  - layer_range: [40, 50]
    model: brucethemoose/Yi-34B-200K-RPMerge
- sources:
  - layer_range: [44, 54]
    model: brucethemoose/Yi-34B-200K-RPMerge
- sources:
  - layer_range: [48, 60]
    model: brucethemoose/Yi-34B-200K-RPMerge

-Performance

  • Tips:I don't have the capability to conduct benchmark tests, nor can I even use it extensively enough, so my test results might not be accurate.

It has better performance than the 34B version in most of my own tests (subjective) including comprehension, reasoning and coherence and also writing skills. If you believe in this model's performance, feel free to test it out or offer evaluations. Everyone's tests or evaluations are welcome.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
93e5dee

0 моделей

    Создать бенчмарк