Характеристики

Лицензия: MIT
Архитектура: freesolo · dense
Базовая модель: FreeSolo-743M
Библиотека: pytorch
Опубликована: 14 окт 2026

Ссылки

FreeSolo-B-743M

Генерация текстаТекст → текст

FreeSolo-B-743M — базовая текстовая модель на 743 млн параметров для экспериментов с генерацией и поиском в длинном контексте.

692скачиваний за 30 дней0лайковвеса обновлены16 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

FreeSolo-B-743M — модель генерации текста на 743 млн параметров, разработанная авторами семейства FreeSolo. Это базовая модель без настройки на выполнение инструкций, обученная на датасете FineWeb-Edu с контекстом 4 096 токенов.

Модель использует плотную архитектуру Transformer и механизм дальнего внимания без RoPE: она ищет подходящие фрагменты контекста по средним ключам чанков, ранжирует кандидаты и читает выбранные токены. Модель предназначена для экспериментов с генерацией текста и оценкой длинноконтекстного поиска; в карточке приведены результаты RULER на длинах от 2 000 до 16 000 токенов. Указанный язык карточки — английский.

Модель выпущена в формате safetensors и распространяется по лицензии MIT. Это исследовательская базовая модель без instruction tuning; извлечение информации зависит от задачи, особенно когда требуется объединить несколько фактов или значений.

Сценарии применения

генерация продолжения английского текста
эксперименты с поиском фактов в длинном контексте
оценка длинноконтекстных языковых моделей на RULER
изучение механизмов разреженного дальнего внимания

Ограничения

Модель не настроена на выполнение инструкций. Извлечение информации зависит от задачи и может быть слабее при необходимости объединять несколько фактов или значений.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

FreeSolo-B-743M

Paper · GitHub · Models · Usage

RoPE-free long-range attention, trained at 4k with zero-shot length extrapolation.

FS-B searches full-prefix and norm-filtered forests of chunk mean keys, reranks their candidates, and reads four chunks. Its attention is superlinear and subquadratic. This 743M research base model was trained on FineWeb-Edu at a 4,096-token context.

Paper Figure 1: RULER length extrapolation at the 800M scale

Try it

hf download zekun-shi/FreeSolo-B-743M freesolo-source.zip --local-dir ./FreeSolo-B-743M
python -m pip install ./FreeSolo-B-743M/freesolo-source.zip
freesolo-generate --model zekun-shi/FreeSolo-B-743M --output generation.json

The short retrieval example asks for the hidden number 5437923. Start with CUDA-enabled PyTorch; Usage gives the tested installation and speed-replication command.

The idea

FreeSolo learns simple chunk mean keys that support search, norm pruning, and hierarchical summarization. RoPE stays in the local window; long-range attention reads selected original tokens without rotating their queries and keys.

Paper Figure 2: FreeSolo attention and FS-L pruning

Paper Figure 3: FS-B two-forest retrieval

Results

Context	2k	4k	8k	16k
RULER mean	41.18	36.88	33.02	31.17

Common 12-task set at every length, excluding QA-2. 100 examples per task, seed 42. These are checkpoint evaluation results; the figures show the paper's model-family comparison.

This is a base model without instruction tuning. Retrieval is task dependent, especially when several facts or values must be combined. Training details, artifact checksums, and citation are in Usage.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Архитектура freesolo неизвестна transformers в образе рантайма.

Ревизия весов: 288da7b