Характеристики

Лицензия: MIT
Архитектура: freesolo · dense
Базовая модель: FreeSolo-743M
Библиотека: pytorch
Опубликована: 14 окт 2026

Ссылки

FreeSolo-L-743M

Генерация текстаТекст → текст

Базовая англоязычная трансформерная модель FreeSolo на 743 млн параметров для генерации текста и экспериментов с длинным контекстом.

686скачиваний за 30 дней0лайковвеса обновлены16 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

FreeSolo-L-743M — плотная трансформерная языковая модель семейства FreeSolo, разработанная zekun-shi. Это базовая модель на 743 млн параметров, обученная на FineWeb-Edu с контекстом 4096 токенов; она использует механизм внимания FS-L с выборочным чтением чанков и линейным масштабированием по длине последовательности. Архитектура не использует RoPE для дальнего внимания и предназначена для генерации текста и экспериментов с обработкой длинного контекста.

Модель рассчитана на англоязычный текст. В опубликованной оценке RULER средний результат снижается с 37,26 на 2k токенов до 22,71 на 16k; эти результаты относятся к оценке чекпойнта. Это базовая модель без настройки на выполнение инструкций, а извлечение информации зависит от задачи, особенно при необходимости объединять несколько фактов или значений. Лицензия — MIT.

Сценарии применения

генерация продолжения англоязычного текста
эксперименты с обработкой контекста длиннее обучающего окна
извлечение отдельных фактов из длинного текста
оценка моделей на задачах RULER
исследование выборочного внимания к дальним фрагментам

Ограничения

Модель не настроена на выполнение инструкций; качество извлечения зависит от задачи и снижается при необходимости объединять несколько фактов. В оценке RULER средний результат убывает с ростом контекста от 2k до 16k токенов.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

FreeSolo-L-743M

Paper · GitHub · Models · Usage

RoPE-free long-range attention, trained at 4k with zero-shot length extrapolation.

FS-L retains a bounded pool of chunks by key norm and recency, then reads four selected chunks. Its attention scales linearly with sequence length. This 743M research base model was trained on FineWeb-Edu at a 4,096-token context.

Paper Figure 1: RULER length extrapolation at the 800M scale

Try it

hf download zekun-shi/FreeSolo-L-743M freesolo-source.zip --local-dir ./FreeSolo-L-743M
python -m pip install ./FreeSolo-L-743M/freesolo-source.zip
freesolo-generate --model zekun-shi/FreeSolo-L-743M --output generation.json

The short retrieval example asks for the hidden number 5437923. Start with CUDA-enabled PyTorch; Usage gives the tested installation and speed-replication command.

The idea

FreeSolo learns simple chunk mean keys that support search, norm pruning, and hierarchical summarization. RoPE stays in the local window; long-range attention reads selected original tokens without rotating their queries and keys.

Paper Figure 2: FreeSolo attention and FS-L pruning

Paper Figure 3: FS-B two-forest retrieval

Results

Context	2k	4k	8k	16k
RULER mean	37.26	31.76	25.95	22.71

Common 12-task set at every length, excluding QA-2. 100 examples per task, seed 42. These are checkpoint evaluation results; the figures show the paper's model-family comparison.

This is a base model without instruction tuning. Retrieval is task dependent, especially when several facts or values must be combined. Training details, artifact checksums, and citation are in Usage.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Архитектура freesolo неизвестна transformers в образе рантайма.

Ревизия весов: 86cc19f