Экспериментальная англоязычная модель семейства Llama с активацией SwiGLU для генерации текста и изучения разреженных вычислений.

Подходит для: генерация англоязычного текста · исследование разреженности активаций SwiGLU · сравнение функций активации в языковых моделях

Производная модели SparseLLM/swiglu-10B. Экспериментальная англоязычная модель семейства Llama с активацией SwiGLU для генерации текста и изучения разреженных вычислений.

Подходит для: генерация англоязычного текста · исследование разреженности активаций SwiGLU · сравнение функций активации в языковых моделях

Компактная авторегрессионная модель семейства Llama для генерации текста, предварительно обученная на FineWeb.

Подходит для: эксперименты с компактными языковыми моделями · генерация коротких текстовых продолжений · изучение авторегрессионной архитектуры Llama

Экспериментальная модель BlockFFN семейства Llama для тестирования ускорения генерации текста на периферийных устройствах.

Подходит для: тестирование ускорения вывода языковой модели · эксперименты с разреженностью активаций по блокам · проверка реализации inference для BlockFFN

Промежуточная компактная модель семейства Llama для генерации текста и экспериментов с моделями, работающими при ограниченных вычислительных ресурсах.

Подходит для: генерация коротких текстов · эксперименты с компактными языковыми моделями · разработка приложений на базе Llama при ограниченной памяти

Промежуточный чекпойнт компактной модели TinyLlama на 1,1 млрд параметров для генерации текста и экспериментов с языковыми моделями.

Подходит для: эксперименты с обучением компактных языковых моделей · изучение поведения Llama-моделей на промежуточных этапах предобучения · тестирование генерации текста при ограниченных вычислительных ресурсах

Дообученная языковая модель MiniCPM с разреженными активациями для генерации текста и ускоренного инференса.

Подходит для: генерация текста на английском и китайском языках · продолжение текстовых фрагментов · ответы на вопросы по тексту

Англоязычная модель на основе LLaMA 2 7B для генерации текста и выполнения инструкций с разреженными активациями, рассчитанными на ускорение инференса.

Подходит для: генерация текста на английском языке · ответы на пользовательские инструкции · продолжение текстовых фрагментов

Компактная модель Llama, обученная с нуля для генерации текста и экспериментов с языковыми моделями.

Подходит для: генерация продолжения текста · эксперименты с компактной авторегрессионной моделью · оценка языковой модели на бенчмарках

Наноразмерная модель Llama, обученная с нуля для демонстрации предварительного обучения трансформера и экспериментов с генерацией английского текста.

Подходит для: демонстрация предварительного обучения трансформера с нуля · изучение работы компактной языковой модели · эксперименты с генерацией коротких текстовых продолжений

Дообученная версия Llama 2 7B с активацией ReLU для генерации английского текста и исследований разреженных вычислений в LLM.

Подходит для: генерация английского текста по запросу · ответы на общие вопросы на английском языке · эксперименты с разреженными вычислениями в языковых моделях

Компактная авторегрессионная LLaMA-подобная модель BabyLM для генерации текста и исследований малых языковых моделей.

Подходит для: генерация коротких продолжений текста · эксперименты с маломасштабным предварительным обучением · исследование sample-efficient обучения языковых моделей

Компактная базовая языковая модель MinimaLabs для генерации текста с выбором вычислительной глубины через уровни effort.

Подходит для: эксперименты с архитектурами очень малых языковых моделей · быстрое автодополнение короткого текста · сравнение качества генерации при разных уровнях вычислений

Экспериментальная сжатая версия Llama 2 Chat для изучения компромисса между безопасностью и полезностью диалоговых моделей.

Подходит для: исследование влияния сжатия на безопасность языковых моделей · сравнение устойчивости чат-моделей к вредоносным запросам · оценка компромисса между полезностью ответов и отказами

Экспериментальная сжатая версия Llama 2 7B Chat для изучения влияния сжатия на безопасность и полезность диалоговой модели.

Подходит для: оценка устойчивости сжатой языковой модели к вредоносным запросам · изучение компромисса между безопасностью и полезностью чат-модели · сравнение методов сжатия Llama 2 Chat

Экспериментальная сжатая версия Llama 2 7B Chat для изучения влияния удаления параметров на безопасность и полезность диалоговой модели.

Подходит для: исследование влияния сжатия на безопасность языковой модели · сравнение отказов модели на вредоносные запросы · оценка компромисса между полезностью и безопасностью чат-модели

Компактная языковая модель семейства Llama для генерации текста, опубликованная в рамках исследования адаптивного параллельного рассуждения.

Подходит для: генерация текста с использованием Transformers · эксперименты с адаптивным параллельным рассуждением · изучение компактных авторегрессионных языковых моделей

Экспериментальная компактная языковая модель с разреженной биоинспирированной маршрутизацией FFN для генерации текста и изучения эффективности zero-shot рассуждений.

Подходит для: генерация текста компактной языковой моделью · эксперименты с разреженной маршрутизацией FFN · сравнение zero-shot рассуждений малых моделей

Экспериментальная сжатая версия Llama 2 Chat для изучения влияния SVD-сжатия и восстановления компонентов на безопасность и полезность модели.

Подходит для: сравнение безопасности сжатых языковых моделей · оценка устойчивости к состязательным запросам · измерение чрезмерных отказов после сжатия

Экспериментальный чекпойнт Llama 2 Chat, сжатый методом SVD-LLM для изучения влияния сжатия на безопасность и полезность ответов.

Подходит для: измерение устойчивости сжатой языковой модели к вредоносным запросам · сравнение правил восстановления компонентов после SVD-сжатия · оценка компромисса между безопасностью и полезностью ответов

Экспериментальная сжатая версия Llama 2 Chat для исследования влияния удаления параметров на безопасность и полезность модели.

Подходит для: сравнение безопасности сжатых языковых моделей · измерение устойчивости чат-моделей к вредоносным запросам · анализ компромисса между отказами и полезностью ответов

Экспериментальная 550-миллионная модель на основе TinyLlama, предназначенная для генерации текста и дальнейшего обучения в формате чата Zephyr.

Подходит для: эксперименты с компактными языковыми моделями · дальнейшее обучение модели для диалогов · генерация коротких ответов в формате Zephyr

Экспериментальный сжатый вариант Llama 2 Chat для изучения влияния удаления параметров на безопасность и полезность диалоговой модели.

Подходит для: сравнение безопасности модели до и после сжатия · оценка устойчивости диалоговой модели к вредоносным запросам · изучение компромисса между полезностью и отказами модели

Сжатая структурной обрезкой версия Llama 3.2 3B для последующего дообучения с меньшими требованиями к памяти.

Подходит для: дообучение компактной языковой модели под целевые задачи · эксперименты со структурной обрезкой MLP-слоёв · оценка компромисса между размером модели и качеством генерации