Черновая модель EAGLE3 для ускорения генерации MiniMax-M3 методом спекулятивного декодирования через vLLM.

Подходит для: ускорение диалоговой генерации MiniMax-M3 · ускорение решения математических задач моделью MiniMax-M3 · ускорение генерации кода MiniMax-M3

Черновая модель Inferact на архитектуре DSpark ускоряет генерацию Kimi-K3 посредством спекулятивного декодирования в vLLM.

Подходит для: ускорение генерации ответов Kimi-K3 в vLLM · ускорение рассуждений и решения математических задач · ускорение генерации и анализа кода

Черновая модель Eagle3 MTP для ускорения инференса Kimi-K2.6 с помощью speculative decoding.

Подходит для: ускорение генерации ответов Kimi-K2.6 в vLLM · спекулятивное декодирование Kimi-K2.6 с методом Eagle3 · снижение нагрузки на KV-кэш при обслуживании Kimi-K2.6

Черновая DSpark-модель для спекулятивного декодирования, ускоряющего инференс Inkling-Small NVFP4 в SGLang.

Подходит для: ускорение генерации текста целевой моделью Inkling-Small NVFP4 · спекулятивное декодирование в SGLang · ускорение генерации ответов на математические задачи

Компактная китайско-английская инструктивная LLM для диалога и генерации текста, рассчитанная на быстрый запуск, в том числе на конечных устройствах.

Подходит для: ответы на вопросы и диалог на китайском и английском · написание и редактирование текстов · суммаризация длинных документов

Черновая модель EAGLE3 с GQA для спекулятивного декодирования и ускорения инференса MiniMax-M3.

Подходит для: ускорение генерации текста MiniMax-M3 в vLLM · спекулятивное декодирование с черновой моделью EAGLE3 · снижение расхода KV-кэша при инференсе MiniMax-M3

Черновая модель EAGLE3 для ускорения генерации MiniMax M2.5 посредством спекулятивного декодирования.

Подходит для: ускорение генерации текста MiniMax M2.5 · предложение черновых токенов для EAGLE3 · настройка спекулятивного декодирования в SGLang

Компактная модель семейства LLaMA для ускорения генерации текста с помощью спекулятивного декодирования EAGLE.

Подходит для: ускорение инференса языковой модели в serving-системах · ускорение генерации ответов чат-моделью · снижение задержки авторегрессионной генерации текста

Компактная мультимодальная модель Infinigence AI для диалогового понимания текста, изображений и китайской или английской речи.

Подходит для: ответы на вопросы об изображениях · распознавание текста на изображениях и документах · ответы на устные инструкции на китайском и английском

Черновая модель Intel Labs на базе Phi-3, которая ускоряет генерацию Phi-3-mini-4k-instruct посредством спекулятивного декодирования.

Подходит для: ускорение генерации текста моделью Phi-3-mini-4k-instruct · спекулятивное декодирование в приложениях на OpenVINO GenAI · инференс компактной черновой LLM в формате OpenVINO IR

Черновая модель DSpark для ускорения генерации Inkling-Small-NVFP4 методом спекулятивного декодирования.

Подходит для: ускорение инференса целевой модели Inkling-Small-NVFP4 · спекулятивное декодирование в SGLang · ускорение генерации на длинном контексте

Небольшая генеративная языковая модель на архитектуре Llama для создания текста и диалогов.

Подходит для: генерация коротких текстовых ответов · простой диалог с языковой моделью · эксперименты с генерацией текста на компактной модели

Megrez2-3x7B-A3B — многоязычная MoE-модель Infinigence для генерации текста и диалогов с контекстом до 163 840 токенов.

Подходит для: диалоговые ответы на английском и китайском · генерация текстов по запросу · ответы на математические задачи с пошаговым рассуждением

Экспериментальная языковая MoE-модель Huginn для генерации текста и изучения схемы подачи входа в средний блок циклической архитектуры.

Подходит для: генерация текста для оценки по протоколу статьи · эксперименты с циклическими языковыми моделями MoE · исследование подачи входа в средний блок модели

Англоязычная модель GPT-NeoX от EleutherAI для исследовательского изучения генерации текста и влияния нефильтрованных данных предобучения на знания и безопасность LLM.

Подходит для: сравнение нефильтрованного предобучения с обучением на отфильтрованных данных · оценка знаний модели на структурированных бенчмарках · исследование обучения и динамики развития языковой модели

Черновая модель EAGLE3 для спекулятивного декодирования, ускоряющая генерацию MiniMax M2.1.

Подходит для: ускорение генерации MiniMax M2.1 при инференсе · снижение задержки генерации текста при небольшом размере батча · увеличение пропускной способности сервера MiniMax M2.1

Экспериментальный компактный чекпойнт GPT-2 для проверки окружения и бенчмаркинга задержки локального инференса на GPU.

Подходит для: проверка окружения для инференса GPT-2 · проверка совпадения весов между средами · бенчмаркинг задержки генерации на GPU

Экспериментальный чекпойнт IFM на архитектуре MoE Huginn для генерации текста и оценки рекуррентных языковых моделей.

Подходит для: оценка looped-языковой модели по протоколу статьи · эксперименты с рекуррентными языковыми моделями и смесью экспертов · генерация текста при инференсе через нативный загрузчик xLLM

Экспериментальная MoE-модель архитектуры Huginn для генерации текста и изучения петлевой топологии с инъекцией входа.

Подходит для: генерация текста с экспериментальной петлевой языковой моделью · оценка MoE-модели по протоколу статьи о петлевых моделях · сравнение вариантов архитектуры с инъекцией входа

Черновая модель EAGLE3.1, ускоряющая генерацию MiniMax-M3-MXFP4 посредством спекулятивного декодирования в vLLM на ROCm.

Подходит для: ускорение генерации текста целевой моделью MiniMax-M3-MXFP4 · ускорение ответов на вопросы по документам при использовании RAG · ускорение генерации кода целевой моделью

Предварительная MoE-языковая модель Infinigence для генерации текста и диалогов с контекстом до 163 840 токенов.

Подходит для: генерация ответов на текстовые запросы · ведение диалогов с пользователем · пошаговое решение математических задач

Черновая модель Eagle3 MTP, дообученная на основе Kimi-K2.5 для ускорения его инференса методом speculative decoding.

Подходит для: ускорение генерации ответов Kimi-K2.5 · ускорение инференса в системах speculative decoding · ускорение агентных сценариев с вызовом инструментов

Компактная англо-китайская чат-модель на базе Megrez-3B-Instruct, обработанная abliteration для генерации текста с менее ограниченными ответами.

Подходит для: диалоговые ответы на английском языке · диалоговые ответы на китайском языке · генерация текста по инструкциям