/ Модель

Характеристики

Базовая модель
JSL-MedLlama-3-8B-v1.0
Опубликована
29 окт 2024

johnsnowlabs-JSL-MedLlama-3-8B-v1.0-GGUF

Генерация текстаТекст → текст3 профессии

JSL-MedLlama-3-8B-v1.0 GGUF — это квантизированная версия медицинской языковой модели JSL-MedLlama-3-8B-v1.0, разработанной John Snow Labs и подготовленной в формате GGUF командой featherless-ai-quants.

966скачиваний за 30 дней0лайковвеса обновлены29 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и, судя по названию базовой модели, ориентирована на медицинские текстовые сценарии. README не уточняет конкретные задачи, наборы данных, языки, поддерживаемые модальности или рекомендуемые прикладные сценарии.

Модель относится к семейству Llama и содержит 8 млрд параметров. Доступны варианты квантизации Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_K_S, Q4_K_M, IQ4_XS, Q5_K_S, Q5_K_M, Q6_K и Q8_0; их размер составляет примерно от 3,03 до 8,15 ГБ. Формат GGUF подходит для локального запуска средствами, поддерживающими этот формат, однако конкретные требования к памяти, контекстному окну и производительности в README не указаны.

К сильным сторонам относятся несколько уровней квантизации, позволяющих выбирать компромисс между размером файлов и сохранением качества, а также удобство локального развертывания. Ограничения связаны с отсутствием сведений о точности на медицинских бенчмарках, языках, контекстном окне, безопасности и клинической пригодности; модель не следует использовать как замену квалифицированной медицинской консультации без дополнительной проверки. Лицензия в README не указана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

johnsnowlabs/JSL-MedLlama-3-8B-v1.0 GGUF Quantizations 🚀

Featherless AI Quants

Optimized GGUF quantization files for enhanced model performance


Available Quantizations 📊

Quantization TypeFileSize
Q8_0johnsnowlabs-JSL-MedLlama-3-8B-v1.0-Q8_0.gguf8145.11 MB
Q4_K_Sjohnsnowlabs-JSL-MedLlama-3-8B-v1.0-Q4_K_S.gguf4475.28 MB
Q2_Kjohnsnowlabs-JSL-MedLlama-3-8B-v1.0-Q2_K.gguf3031.86 MB
Q6_Kjohnsnowlabs-JSL-MedLlama-3-8B-v1.0-Q6_K.gguf6290.44 MB
Q3_K_Mjohnsnowlabs-JSL-MedLlama-3-8B-v1.0-Q3_K_M.gguf3832.74 MB
Q3_K_Sjohnsnowlabs-JSL-MedLlama-3-8B-v1.0-Q3_K_S.gguf3494.74 MB
Q3_K_Ljohnsnowlabs-JSL-MedLlama-3-8B-v1.0-Q3_K_L.gguf4121.74 MB
Q4_K_Mjohnsnowlabs-JSL-MedLlama-3-8B-v1.0-Q4_K_M.gguf4692.78 MB
Q5_K_Sjohnsnowlabs-JSL-MedLlama-3-8B-v1.0-Q5_K_S.gguf5339.90 MB
Q5_K_Mjohnsnowlabs-JSL-MedLlama-3-8B-v1.0-Q5_K_M.gguf5467.40 MB
IQ4_XSjohnsnowlabs-JSL-MedLlama-3-8B-v1.0-IQ4_XS.gguf4276.62 MB

⚡ Powered by Featherless AI

Key Features

  • 🔥 Instant Hosting - Deploy any Llama model on HuggingFace instantly
  • 🛠️ Zero Infrastructure - No server setup or maintenance required
  • 📚 Vast Compatibility - Support for 2400+ models and counting
  • 💎 Affordable Pricing - Starting at just $10/month

Links:
Get Started | Documentation | Models

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
bec4f30

0 моделей