Характеристики

Контекст: 131 072 токена
Параметры: 4,9 млрд
Размер весов: 10,3 ГБ
Лицензия: Apache 2.0
Архитектура: qwen2 · dense
Базовая модель: Ryze-Embed-3
Библиотека: transformers
Опубликована: 10 авг 2024

Ссылки

Hugging Face

Ryze-Embed-4

Fulcrum-AI

Генерация текстаТекст → текст

Текстовая модель Qwen2 для сравнения предложений и семантического поиска, полученная слиянием на основе Ryze-Embed-3.

100скачиваний за 30 дней0лайковвеса обновлены10 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Fulcrum-AI/Ryze-Embed-4 — текстовая модель на архитектуре Qwen2 с 4,9 млрд параметров, созданная слиянием весов через mergekit методом passthrough на основе Fulcrum-AI/Ryze-Embed-3. Она предназначена прежде всего для сопоставления предложений и поиска семантически близких текстов; метаданные также указывают поддержку генерации текста и классификации текста. Модель принимает текст и выдаёт текстовые представления или оценки сходства для сравнения предложений. Заявленный размер контекста — 131 072 токена, библиотека — Transformers; карточка указывает английский язык.

Модель подходит для семантического поиска, поиска дубликатов и ранжирования текстов по смысловой близости. Она распространяется по лицензии Apache-2.0. Сведения о качестве на конкретных наборах данных и ограничениях применения в карточке не приведены.

Сценарии применения

поиск документов по смыслу запроса
сравнение сходства двух предложений
поиск перефразировок и похожих формулировок
обнаружение семантических дубликатов
классификация текстов

Ограничения

В карточке не приведены результаты оценки качества на конкретных наборах данных и подробные ограничения применения.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

merged

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the passthrough merge method.

Models Merged

The following models were included in the merge:

Fulcrum-AI/Ryze-Embed-3

Configuration

The following YAML configuration was used to produce this model:

dtype: bfloat16
merge_method: passthrough
slices:
- sources:
  - layer_range: [0, 6]
    model: Fulcrum-AI/Ryze-Embed-3
- sources:
  - layer_range: [3, 9]
    model: Fulcrum-AI/Ryze-Embed-3
- sources:
  - layer_range: [6, 12]
    model: Fulcrum-AI/Ryze-Embed-3
- sources:
  - layer_range: [9, 15]
    model: Fulcrum-AI/Ryze-Embed-3
- sources:
  - layer_range: [12, 18]
    model: Fulcrum-AI/Ryze-Embed-3
- sources:
  - layer_range: [15, 21]
    model: Fulcrum-AI/Ryze-Embed-3
- sources:
  - layer_range: [18, 24]
    model: Fulcrum-AI/Ryze-Embed-3
- sources:
  - layer_range: [21, 27]
    model: Fulcrum-AI/Ryze-Embed-3
- sources:
  - layer_range: [24, 30]
    model: Fulcrum-AI/Ryze-Embed-3
- sources:
  - layer_range: [27, 33]
    model: Fulcrum-AI/Ryze-Embed-3
- sources:
  - layer_range: [30, 36]
    model: Fulcrum-AI/Ryze-Embed-3
- sources:
  - layer_range: [33, 39]
    model: Fulcrum-AI/Ryze-Embed-3
- sources:
  - layer_range: [36, 42]
    model: Fulcrum-AI/Ryze-Embed-3
- sources:
  - layer_range: [39, 45]
    model: Fulcrum-AI/Ryze-Embed-3
- sources:
  - layer_range: [42, 48]
    model: Fulcrum-AI/Ryze-Embed-3
- sources:
  - layer_range: [45, 51]
    model: Fulcrum-AI/Ryze-Embed-3
- sources:
  - layer_range: [48, 52]
    model: Fulcrum-AI/Ryze-Embed-3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen2ForCausalLM
Ревизия весов: e98e14f