Характеристики

Контекст: 131 072 токена
Параметры: 69,5 млрд
Размер весов: 141 ГБ
Лицензия: Llama 3.3
Архитектура: llama · dense
Базовая модель: DeepSeek-R1-Distill-Llama-70B
Библиотека: transformers
Опубликована: 28 янв 2025

Ссылки

Hugging Face arXiv 2408.07990

Thalassic-Gamma-LLaMa-70B

TareksGraveyard

Генерация текстаТекст → текст

Экспериментальная объединённая языковая модель Llama-70B для диалогов и генерации текста с длинным контекстом.

18скачиваний за 30 дней0лайковвеса обновлены31 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Thalassic-Gamma-LLaMa-70B — языковая модель для генерации текста, собранная TareksGraveyard с помощью mergekit методом SCE. В объединение вошли DeepSeek-R1-Distill-Llama-70B в качестве базовой модели и пять моделей семейства Llama-70B; автор README отмечает, что предпочитает вариант Thalassic-Delta, поэтому Gamma описана как эксперимент с составом моделей серии.

Модель имеет плотную архитектуру LlamaForCausalLM и 69,5 млрд параметров, работает с текстом и поддерживает контекст до 131 072 токенов. Предназначена для диалоговой генерации и ответов на запросы; базовая модель ориентирована на рассуждения, математику и программирование, но README не приводит отдельных оценок качества Gamma.

Использование регулируется лицензией Llama 3.3. Поддерживаются веса SafeTensors и библиотека Transformers.

Сценарии применения

ведение диалогов с языковой моделью
генерация ответов на текстовые запросы
работа с длинными текстовыми контекстами

Ограничения

Автор README считает вариант Thalassic-Delta лучшим в серии. Отдельные результаты оценки качества этой модели в карточке не приведены.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

I messed around with the the ingredients in the Thalassic series, essentially testing how much of an effect the base and pivot models had on the merge. I feel Delta is the best of the series.

merge

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the SCE merge method using deepseek-ai/DeepSeek-R1-Distill-Llama-70B as a base.

Models Merged

The following models were included in the merge:

Configuration

The following YAML configuration was used to produce this model:

models:
  # Pivot model
  - model: SicariusSicariiStuff/Negative_LLAMA_70B
  # Target models
  - model: Sao10K/70B-L3.3-Cirrus-x1
  - model: Sao10K/L3.1-70B-Hanami-x1
  - model: TheDrummer/Anubis-70B-v1
  - model: EVA-UNIT-01/EVA-LLaMA-3.33-70B-v0.1
merge_method: sce
base_model: deepseek-ai/DeepSeek-R1-Distill-Llama-70B
parameters:
  select_topk: 1.0
dtype: bfloat16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: ab407c6