Лёгкая GGUF-языковая модель Cotype Nano для локальной генерации текста и диалогов на русском и английском языках, включая запуск на мобильных устройствах.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Cotype-Nano-GGUF — лёгкая языковая модель семейства Cotype, разработанная MTSAIR и распространяемая в формате GGUF. Модель предназначена для генерации текста и диалогового взаимодействия на русском и английском языках.
Ключевая характеристика модели — компактность и возможность запуска на мобильных устройствах. Для инференса в README приведён пример использования через llama.cpp и библиотеку llama-cpp-python; в метаданных также указана совместимость с Transformers. Репозиторий содержит 8-битный файл cotype_nano_8bit.gguf.
Модель подходит для локальных чат-ботов, простых ответов на вопросы и генерации текста на устройствах с ограниченными ресурсами. В предоставленных материалах нет сведений о числе параметров, длине контекста, результатах бенчмарков, точности или специализированных доменах. Лицензия указана как Apache-2.0; условия следует проверять в приложенном лицензионном документе.
В предоставленных материалах отсутствуют данные о качестве, бенчмарках, числе параметров и длине контекста, поэтому пригодность модели для сложных задач не подтверждена. Возможности и точность могут быть ограничены компактным размером модели.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Cotype-Nano-GGUF– это легковесная LLM, которая может запускаться даже на мобильных девайсах
Cotype-Nano-GGUF is a lightweight LLM that can run even on mobile devices
from llama_cpp import Llama
llm = Llama.from_pretrained(
repo_id="MTSAIR/Cotype-Nano-GGUF",
filename="cotype_nano_8bit.gguf",
)
llm.create_chat_completion(
messages = [
{
"role": "user",
"content": "What is the capital of France?"
}
]
)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
Подбираем GPU…