Характеристики

Лицензия: BSD 3-Clause
Опубликована: 27 окт 2023

Ссылки

Hugging Face

PhoGPT-7B5

vinai

Языковая модель

Монолингвальная генеративная модель на 7,5 млрд параметров для создания текста на вьетнамском языке.

4скачиваний за 30 дней47лайковвеса обновлены20 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

PhoGPT-7B5 — авторская языковая модель на 7,5 млрд параметров, разработанная для генерации текста на вьетнамском языке. Это монолингвальная модель с архитектурой Transformer decoder; она обучена с нуля на корпусе вьетнамских текстов объёмом 41 ГБ. В архитектуре используются Flash Attention на Triton и ALiBi, позволяющий экстраполировать длину контекста.

Модель предназначена для генерации вьетнамского текста и может служить базой для последующей адаптации под конкретные задачи. Вариант PhoGPT-7B5-Instruct, дообученный на 150 тысячах вьетнамских пар запросов и ответов, является отдельной моделью; эти характеристики не относятся к PhoGPT-7B5. Авторы рекомендуют более новые версии PhoGPT-4B и PhoGPT-4B-Instruct ради лучшего качества и эффективности. Лицензия — BSD 3-Clause.

Сценарии применения

генерация вьетнамского текста по запросу
продолжение вьетнамского текста
создание вьетнамских черновиков и формулировок
дообучение базовой модели для вьетнамских языковых задач

Ограничения

Это базовая модель без заявленного обучения следованию инструкциям; для диалогового использования предназначен отдельный вариант PhoGPT-7B5-Instruct. Авторы отмечают, что PhoGPT-4B и PhoGPT-4B-Instruct обеспечивают лучшую производительность и эффективность.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

PhoGPT: Generative Pre-training for Vietnamese

We release a 7.5B-parameter generative model series named PhoGPT for Vietnamese, which includes the base pre-trained monolingual model PhoGPT-7B5 and its instruction-following variant PhoGPT-7B5-Instruct.

PhoGPT-7B5 is a Transformer decoder-based model that incorporates flash attention (Triton) and ALiBi for context length extrapolation. We pre-trained PhoGPT-7B5 from scratch on a 41GB pre-training corpus of Vietnamese texts. We then fine-tuned the pre-trained PhoGPT-7B5 for instruction following using a dataset of 150K Vietnamese prompt-response pairs, resulting in PhoGPT-7B5-Instruct.

We recommend users use the latest PhoGPT versions - PhoGPT-4B and PhoGPT-4B-Instruct - for better performance and efficiency.

For further information or requests, please go to PhoGPT's homepage!

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: 387027b