safetensors: формат, квантизация, runtime и память принадлежат одному artifact

Спекулятивная модель Red Hat для ускорения текстовой генерации Llama 3.1 8B Instruct с помощью EAGLE-3 и vLLM.

Подходит для: ускорение генерации ответов в чат-сервисе на базе Llama 3.1 · ускорение генерации текста через vLLM · снижение задержки при обслуживании запросов /chat/completions

Небольшая англоязычная авторегрессионная модель EleutherAI для исследований генерации текста и поведения языковых моделей.

Подходит для: эксперименты с предсказанием следующего токена на английском языке · исследование поведения языковых моделей на разных этапах обучения · анализ интерпретируемости компактной трансформерной модели

Черновая модель EAGLE3 для ускорения генерации MiniMax M2.5 посредством спекулятивного декодирования.

Подходит для: ускорение генерации текста MiniMax M2.5 · предложение черновых токенов для EAGLE3 · настройка спекулятивного декодирования в SGLang

Компактная модель на базе Qwen2.5, дообученная для ускорения генерации DeepSeek-R1-Distill-Qwen-32B методом спекулятивного декодирования.

Подходит для: ускорение генерации DeepSeek-R1-Distill-Qwen-32B через speculative decoding · использование как черновой модели для крупной языковой модели в GGUF · ускорение локального вывода на видеокартах RTX 3090 и RTX 4090

Черновая модель EAGLE3 для speculative decoding, которая ускоряет генерацию целевой модели Llama-3.2-3B-Instruct.

Подходит для: ускорение генерации текста с Llama-3.2-3B-Instruct · спекулятивное декодирование в совместимом стеке SpecForge/EAGLE3 · эксперименты с черновыми моделями для авторегрессионной генерации

Компактная дообученная модель Alamios, предназначенная для ускорения генерации Mistral Small методом speculative decoding.

Подходит для: ускорение генерации ответов Mistral Small через speculative decoding · черновая генерация текста для Mistral-Small-3.1-24B-Instruct-2503 · черновая генерация текста для Mistral-Small-24B-Instruct-2501

Компактная модель семейства LLaMA для ускорения генерации текста с помощью спекулятивного декодирования EAGLE.

Подходит для: ускорение инференса языковой модели в serving-системах · ускорение генерации ответов чат-моделью · снижение задержки авторегрессионной генерации текста

Процессно-супервизируемая модель вознаграждения на базе Llama 3.1 8B для оценки шагов рассуждения и отбора решений.

Подходит для: оценка промежуточных шагов математического решения · отбор лучших ответов из множества сгенерированных вариантов · оценка решений задач GSM8K и MATH

Текстовая MoE-модель Mini-K3 для генерации текста и исследования вариантов архитектуры внимания, предварительно обученная без настройки на выполнение инструкций.

Подходит для: эксперименты с генерацией текста на основе предварительно обученной модели · сравнение GQA-внимания и остаточных механизмов в языковой модели · исследование компактных MoE-архитектур

Экспериментальная дообученная модель Qwen3 на 14 млрд параметров для генерации текста, диалогов и исследований в области символьных рассуждений.

Подходит для: экспериментальные диалоговые агенты с постоянной памятью · планирование математических доказательств · генерация текста для научных обсуждений

Черновая модель EAGLE-3 для speculative decoding ускоряет генерацию текста моделью Llama-3.1-8B-Instruct в vLLM.

Подходит для: ускорение генерации ответов Llama-3.1-8B-Instruct · ускорение диалоговой генерации в vLLM · ускорение генерации кода базовой моделью

Воспроизведение BitNet b1.58 на 728,6 млн параметров для генерации текста и оценки языковых моделей.

Подходит для: генерация продолжений текста · эксперименты с низкоразрядными языковыми моделями · сравнение perplexity языковых моделей

Черновая модель EAGLE-3 для спекулятивного декодирования, ускоряющая генерацию текста моделью Llama 3.3 70B Instruct.

Подходит для: ускорение генерации ответов разговорным ассистентом на Llama 3.3 70B · ускорение вывода Llama 3.3 70B при инференсе через vLLM · ускорение генерации кода базовой моделью Llama 3.3 70B

Вспомогательная модель Red Hat на EAGLE-3 ускоряет генерацию ответов meta-llama/Llama-3.3-70B-Instruct с помощью спекулятивного декодирования.

Подходит для: ускорение генерации ответов Llama 3.3 70B в vLLM · обслуживание чат-запросов через endpoint chat completions · снижение задержки авторегрессивной генерации с проверкой токенов основной моделью

Спекулятивная модель EAGLE-3 от Red Hat, которая помогает ускорить генерацию текста моделью Qwen/Qwen3-14B.

Подходит для: ускорение генерации ответов чат-моделью Qwen3-14B · ускорение обслуживания запросов через vLLM · спекулятивное декодирование в чат-интерфейсе с шаблоном Qwen3

Вспомогательная модель Red Hat для ускорения генерации openai/gpt-oss-20b с помощью speculative decoding EAGLE-3.

Подходит для: ускорение генерации ответов gpt-oss-20b в vLLM · ускорение выдачи кода основной моделью · ускорение математических рассуждений gpt-oss-20b

Небольшая англоязычная авторегрессионная модель Pythia с отдельным seed для исследований воспроизводимости и экспериментов с генерацией текста.

Подходит для: эксперименты с предсказанием следующего токена · сравнение влияния случайных seed на обучение языковых моделей · исследование стабильности и воспроизводимости предобучения

Вспомогательная модель NVIDIA Eagle3 ускоряет генерацию текста базовой gpt-oss-120b с помощью спекулятивного декодирования.

Подходит для: ускорение генерации ответов чат-бота на gpt-oss-120b · ускорение ответов AI-агента на инструкции · ускорение генерации в RAG-системе

Черновая модель EAGLE3 для спекулятивного декодирования с Qwen/Qwen3-1.7B, предназначенная для ускорения генерации текста.

Подходит для: ускорение генерации текста с Qwen3-1.7B через спекулятивное декодирование · интеграция черновой модели EAGLE3 в совместимый стек SpecForge · эксперименты с онлайн-обучением черновых моделей для декодирования

Черновая модель EAGLE3 для ускорения генерации Llama 3.2 3B Instruct методом спекулятивного декодирования.

Подходит для: ускорение генерации текста базовой Llama 3.2 3B Instruct · спекулятивное декодирование в совместимом стеке SpecForge/EAGLE3 · эксперименты с черновыми моделями для языковой генерации

Arcee-Lite — компактная дистиллированная языковая модель на 1,5 млрд параметров для генерации текста и диалогов на устройствах с ограниченными ресурсами.

Подходит для: генерация текста на мобильных устройствах · создание диалогового помощника для встраиваемой системы · запуск языковой модели на периферийном устройстве

Базовая разреженная MoE-модель Arcee AI для генерации текста, исследований предобучения и последующего дообучения.

Подходит для: исследование поведения языковой модели после масштабного предобучения · изучение маршрутизации и балансировки экспертов MoE · зондирование и интерпретируемость языковой модели

Черновая EAGLE-3-модель для спекулятивного декодирования gpt-oss-20b, предназначенная для ускорения генерации текста.

Подходит для: ускорение генерации текста с gpt-oss-20b · спекулятивное декодирование в vLLM · ускорение ответов чат-модели