safetensors: формат, квантизация, runtime и память принадлежат одному artifact

Предварительно дообученная на монолингвистических данных языковая модель LLaMA-2 на 13 млрд параметров, служащая основой для дальнейшей настройки ALMA.

Подходит для: Продолжение текста на основе контекста · Эксперименты с промежуточным этапом обучения ALMA · Дальнейшая настройка языковой модели с помощью LoRA-адаптера

Черновая модель Liquid AI для speculative decoding, ускоряющая генерацию LiquidAI/LFM2.5-8B-A1B при использовании совместимого инференс-сервера.

Подходит для: ускорение генерации текста на LFM2.5-8B-A1B через speculative decoding · снижение задержки инференса в SGLang · ускорение генерации на Apple Silicon с Metal

Базовая языковая модель NVIDIA с гибридной архитектурой Mamba-2 и MoE для продолжения предобучения и создания специализированных вариантов.

Подходит для: продолжение предобучения на предметном корпусе · создание специализированной языковой модели · подготовка базового чекпойнта для SFT или RL

Компактная авторегрессионная модель семейства Llama для генерации текста, предварительно обученная на FineWeb.

Подходит для: эксперименты с компактными языковыми моделями · генерация коротких текстовых продолжений · изучение авторегрессионной архитектуры Llama

Небольшая каузальная языковая модель Dynamic ALiBi для экспериментальной генерации текста, обученная на варианте BabyLM 100M.

Подходит для: эксперименты с генерацией короткого текста · сравнение языковых моделей на BabyLM · изучение влияния Dynamic ALiBi на генерацию

Ling-2.6-1T — большая гибридная языковая модель для генерации кода, сложных рассуждений и многошаговых агентных задач с инструментами.

Подходит для: генерация и редактирование программного кода · поиск и исправление ошибок в коде · выполнение многошаговых задач с вызовом инструментов

Экспериментальная небольшая авторегрессионная модель Dynamic ALiBi для генерации продолжений текста.

Подходит для: эксперименты с генерацией текста на малых языковых моделях · сравнение вариантов Dynamic ALiBi в обучении языковых моделей · изучение чекпойнтов BabyLM по эпохам

Квантованный GGUF-пакет слоёв Laguna-S-2.1 для распределённой генерации текста и локального чата на кластере Mesh LLM.

Подходит для: локальный приватный чат с языковой моделью · распределённый запуск Laguna-S-2.1 на нескольких компьютерах · обслуживание модели, не помещающейся целиком на одном узле

Компактная модель Transformers для исследовательской генерации текста и экспериментов с небольшими языковыми моделями.

Подходит для: генерация коротких текстовых продолжений · эксперименты с языковыми моделями малого размера · прототипирование text-generation в Transformers

Компактная языковая модель семейства Llama на 1,1 млрд параметров для генерации текста и оценки на бенчмарках.

Подходит для: эксперименты с генерацией текста · оценка языковой модели на бенчмарках · исследование поведения компактных моделей Llama

Компактная англоязычная модель LDT-10M демонстрирует обучение языковой модели с нуля, но генерирует связный текст лишь на коротких отрезках.

Подходит для: изучение обучения языковых моделей с нуля · эксперименты с архитектурами языковых моделей малого размера · оценка влияния малого числа параметров на связность генерации

Небольшая авторегрессионная модель DynamicAlibi для генерации текстовых продолжений по промпту.

Подходит для: генерация продолжения короткого текста · эксперименты с компактными языковыми моделями · тестирование генерации текста через Transformers

Компактная 15-миллионная модель Transformers для авторегрессионной генерации текста с архитектурной особенностью ALiBi.

Подходит для: эксперименты с генерацией текста · тестирование компактных языковых моделей · локальная генерация коротких текстов

Дообученная wav2vec 2.0 XLS-R модель SIL AI для преобразования тагальской речи в текст.

Подходит для: распознавание тагальской речи в аудиозаписях · транскрибирование материалов Bloom на тагальском языке · создание черновых субтитров к тагальской речи

Небольшая авторегрессионная модель Dynamic ALiBi для экспериментов с генерацией текста на данных BabyLM.

Подходит для: эксперименты с авторегрессионной генерацией текста · исследование компактных языковых моделей · сравнение вариантов позиционного кодирования в языковых моделях

Наноразмерная модель Llama, обученная с нуля для демонстрации предварительного обучения трансформера и экспериментов с генерацией английского текста.

Подходит для: демонстрация предварительного обучения трансформера с нуля · изучение работы компактной языковой модели · эксперименты с генерацией коротких текстовых продолжений

Экспериментальное дообучение SmolLM2-1.7B для генерации сингальского текста, которое демонстрирует проблемы совместимости токенизатора и модели.

Подходит для: изучение проблем дообучения языковых моделей для сингальского · анализ несовместимости токенизатора с письменностью на сингальском · воспроизведение эксперимента по адаптации SmolLM2 для низкоресурсного языка

Компактная экспериментальная языковая модель Transformers для генерации текста, связанная с подходом dynamic ALiBi и конфигурацией BabyLM 10M.

Подходит для: эксперименты с генерацией текста · изучение компактных языковых моделей · тестирование динамических позиционных смещений

Компактная экспериментальная языковая модель Transformers для авторегрессионной генерации текста.

Подходит для: продолжение коротких текстовых фрагментов · эксперименты с компактными языковыми моделями · исследование позиционных представлений dynamic ALiBi

Промежуточный чекпойнт компактной модели TinyLlama на 1,1 млрд параметров для генерации текста и экспериментов с языковыми моделями.

Подходит для: эксперименты с обучением компактных языковых моделей · изучение поведения Llama-моделей на промежуточных этапах предобучения · тестирование генерации текста при ограниченных вычислительных ресурсах

Небольшая 15-миллионная языковая модель Transformers для экспериментов и генерации текста в pipeline text-generation.

Подходит для: эксперименты с генерацией текста · обучение работе с небольшими языковыми моделями · проверка архитектуры dynamic ALiBi

Исследовательский вариант Llama 3.2 1B с Softmax1 и AttentionResidual для генерации текста и изучения маршрутизации внимания между слоями.

Подходит для: генерация текста авторегрессионной языковой моделью · эксперименты с маршрутизацией между слоями трансформера · сравнение влияния attention sinks на языковую модель

Исследовательский вариант Llama 3.2 1B с обучаемыми sink-слотами внимания для генерации текста и изучения устойчивости архитектуры.

Подходит для: эксперименты с sink-слотами в механизме внимания · сравнение базовых вариантов attention sinks · анализ выбросов активаций в языковых моделях