Дообученная модель Llama с 1 млрд параметров для генерации английского текста и ответов на биомедицинские вопросы.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель sonyashijin/tinyllama_pubmed_merged — дообученная sonyashijin языковая модель семейства Llama для генерации текста. Она создана на базе unsloth/tinyllama-bnb-4bit с использованием Unsloth и библиотеки TRL. По результату оценки PubMedQA, приведённому в карточке, точность составила 0,716 против 0,636 у базовой модели.
Модель подходит для генерации ответов на вопросы по биомедицинской литературе и для исследовательских экспериментов с PubMedQA. Она содержит около 1 млрд параметров, принимает и генерирует текст, поддерживает английский язык и имеет контекстное окно 2048 токенов. Файлы модели опубликованы в формате safetensors.
Модель распространяется по лицензии Apache-2.0. Карточка приводит результат на одном наборе оценки; он сам по себе не подтверждает надёжность медицинских рекомендаций и не характеризует качество на других задачах.
В карточке приведена оценка только на PubMedQA; она не подтверждает пригодность для клинических решений или качество на других задачах. Контекст ограничен 2048 токенами.
README от автора на Hugging Face, как он его опубликовал
This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.
| Tasks | Version | Filter | n-shot | Metric | Value | Stderr | ||
|---|---|---|---|---|---|---|---|---|
| pubmedqa | 1 | none | 0 | acc | ↑ | 0.716 | ± | 0.0202 |
Base model (unsloth/tinyllama-bnb-4bit)
| Tasks | Version | Filter | n-shot | Metric | Value | Stderr | ||
|---|---|---|---|---|---|---|---|---|
| pubmedqa | 1 | none | 0 | acc | ↑ | 0.636 | ± | 0.0215 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…