Характеристики

Лицензия: MIT
Архитектура: freesolo · dense
Базовая модель: FreeSolo-341M
Библиотека: pytorch
Опубликована: 15 окт 2026

Ссылки

FreeSolo-L-341M

Генерация текстаТекст → текст

FreeSolo-L-341M — базовая модель генерации текста с экспериментальным механизмом дальнего внимания для работы с длинными последовательностями и извлечения сведений.

668скачиваний за 30 дней0лайковвеса обновлены16 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

FreeSolo-L-341M — базовая языковая модель семейства FreeSolo, разработанная авторами проекта FreeSolo. Это плотный трансформер на 341 млн параметров с механизмом дальнего внимания FS-L без RoPE: он сохраняет ограниченный набор текстовых чанков по норме ключей и недавности, а затем обращается к четырём выбранным чанкам. Модель обучена на наборе FineWeb-Edu с контекстом 4 096 токенов; внимание масштабируется линейно по длине последовательности, а авторы сообщают о нулевом переносе длины на большие контексты.

Модель предназначена для генерации текста и экспериментов с обработкой длинного контекста, в частности для извлечения сведений из текста. Это базовая модель без дообучения на инструкциях, поэтому она не рассчитана на непосредственное выполнение диалоговых инструкций. В результатах оценки RULER средний балл снижается с 32,32 при 2 тыс. токенов до 10,36 при 16 тыс.; извлечение зависит от задачи, особенно когда нужно объединять несколько фактов или значений. Репозиторий распространяется по лицензии MIT.

Сценарии применения

эксперименты с генерацией текста на длинном контексте
извлечение отдельных фактов из длинного текста
оценка переноса длины контекста без RoPE
исследование разреженного внимания в трансформерах

Ограничения

Модель не дообучена на инструкциях, а результаты извлечения зависят от задачи и заметно снижаются при увеличении контекста; объединение нескольких фактов может быть затруднено.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

FreeSolo-L-341M

Paper · GitHub · Models · Usage

RoPE-free long-range attention, trained at 4k with zero-shot length extrapolation.

FS-L retains a bounded pool of chunks by key norm and recency, then reads four selected chunks. Its attention scales linearly with sequence length. This 341M research base model was trained on FineWeb-Edu at a 4,096-token context.

Paper Figure 1: RULER length extrapolation at the 800M scale

Try it

hf download zekun-shi/FreeSolo-L-341M freesolo-source.zip --local-dir ./FreeSolo-L-341M
python -m pip install ./FreeSolo-L-341M/freesolo-source.zip
freesolo-generate --model zekun-shi/FreeSolo-L-341M --output generation.json

The short retrieval example asks for the hidden number 5437923. Start with CUDA-enabled PyTorch; Usage gives the tested installation and speed-replication command.

The idea

FreeSolo learns simple chunk mean keys that support search, norm pruning, and hierarchical summarization. RoPE stays in the local window; long-range attention reads selected original tokens without rotating their queries and keys.

Paper Figure 2: FreeSolo attention and FS-L pruning

Paper Figure 3: FS-B two-forest retrieval

Results

Context	2k	4k	8k	16k
RULER mean	32.32	21.72	15.27	10.36

12 tasks at 2k/4k; 13 at 8k/16k, where QA-2 is available. 100 examples per task, seed 42. These are checkpoint evaluation results; the figures show the paper's model-family comparison.

This is a base model without instruction tuning. Retrieval is task dependent, especially when several facts or values must be combined. Training details, artifact checksums, and citation are in Usage.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Архитектура freesolo неизвестна transformers в образе рантайма.

Ревизия весов: 2d9af65