Характеристики

Контекст: 4 096 токенов
Параметры: 33,9 млрд
Размер весов: 68,8 ГБ
Лицензия: Apache 2.0
Архитектура: Yi · dense
Опубликована: 20 ноя 2023

Ссылки

HuatuoGPT2-34B

Генерация текстаТекст → текст3 профессии

HuatuoGPT2-34B — крупная китайскоязычная языковая модель семейства Yi для генерации текста, связанная с медицинским проектом HuatuoGPT.

120скачиваний за 30 дней9лайковвеса обновлены29 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

HuatuoGPT2-34B — языковая модель семейства Yi с плотной архитектурой и примерно 33,9 млрд параметров, представленная командой FreedomIntelligence. Она предназначена для генерации текста; название и проект HuatuoGPT указывают на медицинскую специализацию, однако доступная карточка не описывает конкретные медицинские задачи или сценарии применения. Модель принимает текст и выдаёт текст, поддерживает китайский язык, имеет контекстное окно 4096 токенов и опубликована в формате PyTorch.

Модель доступна по лицензии Apache 2.0. Карточка содержит только название и ссылки на GitHub и статью, поэтому подробности обучения и практические ограничения не описаны.

Сценарии применения

генерация китайского текста в медицинском контексте

Ограничения

Карточка не раскрывает конкретные медицинские сценарии, методы обучения или результаты оценки качества.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.4Отраслевые задачиКлиническая медицина и общественное здоровьеAI помогает поддерживать диагностику, лечение, наблюдение и организацию медицинской помощи.45 задач2 635моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Quick Start

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation.utils import GenerationConfig
tokenizer = AutoTokenizer.from_pretrained("FreedomIntelligence/HuatuoGPT2-34B", use_fast=True, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("FreedomIntelligence/HuatuoGPT2-34B", device_map="auto", torch_dtype="auto", trust_remote_code=True)
model.generation_config = GenerationConfig.from_pretrained("FreedomIntelligence/HuatuoGPT2-34B")
messages = []
messages.append({"role": "user", "content": "肚子疼怎么办？"})
response = model.HuatuoChat(tokenizer, messages)
print(response)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры: YiForCausalLM
Ревизия весов: 2529bc0