Характеристики

Размер весов: 1,9 ГБ
Лицензия: Apache 2.0
Опубликована: 3 апр 2024

Ссылки

Ragas-critic-llm-Qwen1.5-GPTQ

Генерация текстаТекст → текст

Критическая модель на базе Qwen1.5 для генерации синтетических тестовых данных и пар «вопрос — ответ» для оценки RAG-систем в Ragas.

0скачиваний за 30 дней13лайковвеса обновлены8 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Ragas Critic Model — модель на базе Qwen1.5, предназначенная для использования в Ragas при генерации синтетических тестовых данных для систем поиска с дополненной генерацией (RAG). Она может заменить GPT-4 в роли критической модели, оценивающей или формирующей данные для тестов; карточка также демонстрирует запуск через LangChain и vLLM для генерации текста.

Модель ориентирована на создание синтетических пар «вопрос — ответ» по документам и на подготовку тестовых данных для оценки RAG-систем. В метаданных указаны задача text-generation, чат-возможности, GPTQ и лицензия Apache-2.0. README сообщает о базе Qwen1.5-GPTQ, но не приводит размер модели, длину контекста или перечень поддерживаемых языков.

Сценарии применения

генерация синтетических пар «вопрос — ответ» по документам
подготовка тестовых наборов для оценки RAG-систем
замена GPT-4 в роли критической модели Ragas

Ограничения

В карточке не указаны размер модели, длина контекста и поддерживаемые языки. Для запуска в примере README указан параметр trust_remote_code=True.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Ragas Critic Model

Model to be used as part of ragas synthetic test data generation to replace GPT-4 as critic model. To know more about this visit ragas

Take it for a spin



from langchain_community.llms import VLLM

llm = VLLM(
    model="explodinggradients/Ragas-critic-llm-Qwen1.5-GPTQ",
    trust_remote_code=True,  # mandatory for hf models
    max_new_tokens=512,
    top_k=10,
    top_p=0.95,
    temperature=0.0,)


template = "<|im_start|>user\n{}<|im_end|>\n<|im_start|>assistant\n"
input_text = """"""

simple_instruction = template.format(input_text)

llm.invoke(simple_instruction)

Generate synthetic QA pairs from Documents

Use the notebook here

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: ff11849