Характеристики

Контекст: 32 768 токенов
Параметры: 9,9 млрд
Размер весов: 20,6 ГБ
Лицензия: Своя лицензия
Архитектура: llama · dense
Базовая модель: Falcon3-10B-Base
Опубликована: 22 дек 2024

Ссылки

Falcon3-Continued-0.3-10B-Base

Генерация текстаТекст → текст7 профессий

Базовая модель Falcon3 на 9,9 млрд параметров, продолжившая предобучение на корпусе PleIAs для генерации текста и дальнейшей адаптации.

13скачиваний за 30 дней0лайковвеса обновлены29 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Lambent/Falcon3-Continued-0.3-10B-Base — базовая языковая модель на 9,9 млрд параметров, разработанная на основе Falcon3-10B-Base от Technology Innovation Institute и дообученная командой Lambent. Для продолжения предобучения применялись qLoRA и UnSloth на дополнительных данных PleIAs/common_corpus; итоговые веса были объединены. Модель использует плотную архитектуру LlamaForCausalLM и сохраняется в формате safetensors.

Модель предназначена для генерации текста и дальнейшей адаптации. В README приведены результаты на тестах рассуждения, математических задач и понимания физического мира; сравнение с исходным чекпойнтом показывает неодинаковые изменения по тестам, поэтому эти результаты не гарантируют улучшения на других задачах. Контекст составляет до 32 768 токенов. Данные README и метаданные не устанавливают лицензионные условия сверх значения «other».

Сценарии применения

генерация текста по подсказке
продолжение предобучения на дополнительных текстовых корпусах
создание основы для последующего дообучения
решение математических задач с текстовым ответом
ответы на вопросы и задачи на рассуждение

Ограничения

В тестах, приведённых в README, результаты относительно исходной Falcon3-10B-Base различаются: часть показателей немного выросла, часть снизилась или осталась прежней. Длинные обучающие документы обрезались; результаты тестов не гарантируют качество в прикладных сценариях.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.1Разработка и данныеАнализ требований и архитектура ПОAI помогает переводить потребности бизнеса в непротиворечивые требования и технические решения.20 задач18 191модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Falcon3-Continued-0.3-10B-Base is built using artificial intelligence technology from the Technology Innovation Institute.

This model uses qLoRA with UnSloth to continuously pretrain Falcon3-10B-Base on an additional 30,720 rows from PleIAs/common_corpus, cyclically.

Rows trained at a time varied between 2048, 4096, and 8192, using cosine decay. A merged model was saved and tested every 10240 rows.

Adapters ranged from rank 32 to rank 128, with ranks 64 and 128 being the most common. Weight decay was 0.01.

Trained context length ranged from 4096 to the full 32678, with 32678 being the most common. Sample packing was not used. Long documents, if present, were truncated.

Training continued until no improvement in eq_bench was demonstrated from this method. Most other benchmarks stayed similar.

hf (pretrained=Lambent/Falcon3-Continued-0.3-10B-Base,dtype=auto,trust_remote_code=True), gen_kwargs: (None), limit: None, num_fewshot: 0, batch_size: auto

Tasks	Version	Filter	n-shot	Metric		Value		Stderr
eq_bench	2.1	none	0	eqbench	↑	64.2105	±	2.1413
		none	0	percent_parseable	↑	100.0000	±	0.0000

hf (pretrained=Lambent/Falcon3-Continued-0.3-10B-Base), gen_kwargs: (None), limit: None, num_fewshot: None, batch_size: auto:4

Tasks	Version	Filter	n-shot	Metric		Value		Stderr
gsm8k	3	flexible-extract	5	exact_match	↑	0.8105	±	0.0108
		strict-match	5	exact_match	↑	0.8036	±	0.0109

hf (pretrained=Lambent/Falcon3-Continued-0.3-10B-Base), gen_kwargs: (None), limit: None, num_fewshot: None, batch_size: auto:4 (4,64,64,64)

Tasks	Version	Filter	Metric		Value		Stderr
arc_challenge	1	none	acc	↑	0.5401	±	0.0146
		none	acc_norm	↑	0.5648	±	0.0145
piqa	1	none	acc	↑	0.7873	±	0.0095
		none	acc_norm	↑	0.7954	±	0.0094
sciq	1	none	acc	↑	0.9620	±	0.0060
		none	acc_norm	↑	0.9500	±	0.0069
winogrande	1	none	acc	↑	0.7332	±	0.0124

MuSR:

RUNNING | Lambent/Falcon3-Continued-0.3-10B-Base | murder mysteries | cot+ | 145 / 250 | 58.0 RUNNING | Lambent/Falcon3-Continued-0.3-10B-Base | object placements | cot+ | 83 / 256 | 32.4 RUNNING | Lambent/Falcon3-Continued-0.3-10B-Base | team allocation | cot+ | 112 / 250 | 44.8

Original under same conditions:

hf (pretrained=tiiuae/Falcon3-10B-Base,dtype=auto,trust_remote_code=True), gen_kwargs: (None), limit: None, num_fewshot: 0, batch_size: auto

Tasks	Version	Filter	n-shot	Metric		Value		Stderr
eq_bench	2.1	none	0	eqbench	↑	60.9913	±	2.2402
		none	0	percent_parseable	↑	100.0000	±	0.0000

hf (pretrained=tiiuae/Falcon3-10B-Base), gen_kwargs: (None), limit: None, num_fewshot: None, batch_size: auto:4

Tasks	Version	Filter	n-shot	Metric		Value		Stderr
gsm8k	3	flexible-extract	5	exact_match	↑	0.8188	±	0.0106
		strict-match	5	exact_match	↑	0.8105	±	0.0108

hf (pretrained=tiiuae/Falcon3-10B-Base), gen_kwargs: (None), limit: None, num_fewshot: None, batch_size: auto:4 (4,64,64,64)

Tasks	Version	Filter	Metric		Value		Stderr
arc_challenge	1	none	acc	↑	0.5520	±	0.0145
		none	acc_norm	↑	0.5887	±	0.0144
piqa	1	none	acc	↑	0.7873	±	0.0095
		none	acc_norm	↑	0.7949	±	0.0094
sciq	1	none	acc	↑	0.9610	±	0.0061
		none	acc_norm	↑	0.9360	±	0.0077
winogrande	1	none	acc	↑	0.7364	±	0.0124

MuSR:

RUNNING | tiiuae/Falcon3-10B-Base | murder mysteries | cot+ | 140 / 250 | 56.0 RUNNING | tiiuae/Falcon3-10B-Base | object placements | cot+ | 139 / 256 | 54.3 RUNNING | tiiuae/Falcon3-10B-Base | team allocation | cot+ | 118 / 250 | 47.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: d5628b8