Характеристики

Базовая модель: Qwen3-4B-Instruct-2507
Библиотека: cartridges
Опубликована: 8 июл 2026

Ссылки

qwen-finance-global-top-t-256-key-value-num-tokens-512

Языковая модель

Разреженный обученный KV-картридж для экспериментов по адаптации Qwen3-4B-Instruct-2507 к финансовым данным FinanceBench.

5скачиваний за 30 дней0лайковвеса обновлены8 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

qtris123/qwen-finance-global-top-t-256-key-value-num-tokens-512 — обучаемый разреженный KV-картридж для Qwen3-4B-Instruct-2507, созданный в эксперименте Phase 2 по continual sparse finetuning. Картридж содержит обученные ключи и значения KV-кэша, использует глобальную гранулярность, top_t=256 и 512 картриджных токенов; для разреженного TF-IDF-гейтинга применяются фоновые статистики токенов.

Обучение продолжено от картриджа AMD 2021 на данных Pepsi 2021, один эпохальный проход; это не самостоятельная модель, а дополнение, загружаемое через KVFromLocal. Предназначен для экспериментов с последовательной адаптацией базовой языковой модели к финансовым данным и задачам FinanceBench. В карточке не приведены результаты оценки качества или точные инструкции по инференсу. Лицензия в предоставленных данных не указана.

Сценарии применения

эксперименты с адаптацией Qwen3 к финансовым данным Pepsi 2021
проверка последовательного дообучения языковой модели на новых финансовых данных
исследование разреженного TF-IDF-гейтинга KV-кэша
оценка подхода sparse finetuning на задачах FinanceBench

Ограничения

Это обучаемый KV-картридж, которому для использования требуется базовая модель Qwen/Qwen3-4B-Instruct-2507 и загрузчик KVFromLocal. В README не приведены количественные результаты качества или сведения о поддерживаемых языках.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

qwen-finance-global-top-t-256-key-value-num-tokens-512

Phase 2 — continual sparse finetuning (TF-IDF gated, momentum freeze).

Continual setting: initialized from the AMD 2021 cartridge and trained on Pepsi 2021 (amd_2021 -> pepsi_2021).

Configuration

Base model: Qwen/Qwen3-4B-Instruct-2507
Phase: continual
Granularity: global
top_t: 256
Key/Value training: key + value (keys trainable)
Cartridge tokens: 512
Epochs: 1
Last checkpoint: cache-step533.pt

Files

cache-step533.pt — trained cartridge KV cache (load via KVFromLocal).
bg_stats.pt — background token statistics used for sparse TF-IDF gating.
config.yaml — full training configuration.
sparse / TF-IDF ranking logs where present.

Uploaded automatically via examples/financebench/scripts/upload_to_hf.py.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · cartridges

Нельзя запустить

У модели не указана задача.

Ревизия весов: 1068626