Характеристики

Контекст: 8 192 токена
Параметры: 43,8 млрд
Размер весов: 89,8 ГБ
Архитектура: llama · dense
Базовая модель: Llama3-OpenBioLLM-70B
Библиотека: transformers
Опубликована: 16 мая 2024

Ссылки

mergekit-passthrough-yqhuxcv

Генерация текстаТекст → текст3 профессии

Сообщественная модель на архитектуре Llama, собранная методом passthrough из диапазонов слоёв OpenBioLLM-70B для генерации диалоговых и биомедицинских текстов.

15скачиваний за 30 дней0лайковвеса обновлены16 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это языковая модель для генерации текста, созданная сообществом mergekit с помощью метода passthrough на основе aaditya/Llama3-OpenBioLLM-70B. В конфигурации объединены указанные диапазоны слоёв этой модели; репозиторий содержит веса в формате safetensors, а архитектура — плотная LlamaForCausalLM. Размер составляет 43,8 млрд параметров, контекст — 8192 токена.

Модель предназначена для генерации ответов в диалогах и, с учётом биомедицинской специализации базовой модели, для работы с биомедицинскими текстами на английском языке. Карточка указывает библиотеку Transformers и лицензию Llama 3. Качество и безопасность ответов в README не описаны; для медицинских решений ответы требуют проверки специалистом.

Сценарии применения

генерация ответов в диалоге на английском языке
черновой анализ биомедицинских текстов
составление кратких ответов по биомедицинским темам

Ограничения

Контекст ограничен 8192 токенами. Медицинские ответы требуют проверки специалистом; качество и надёжность этой сборки отдельно не описаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.4Отраслевые задачиКлиническая медицина и общественное здоровьеAI помогает поддерживать диагностику, лечение, наблюдение и организацию медицинской помощи.45 задач2 635моделей IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

merge

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the passthrough merge method.

Models Merged

The following models were included in the merge:

aaditya/Llama3-OpenBioLLM-70B

Configuration

The following YAML configuration was used to produce this model:

slices:
- sources:
  - layer_range: [0, 20]
    model: aaditya/Llama3-OpenBioLLM-70B
- sources:
  - layer_range: [50, 70]
    model: aaditya/Llama3-OpenBioLLM-70B
- sources:
  - layer_range: [20, 30]
    model: aaditya/Llama3-OpenBioLLM-70B
merge_method: passthrough
dtype: float16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 7bcd80c