/ Модель

Характеристики

Контекст
8 192 токена
Параметры
3,8 млрд
Размер весов
7,9 ГБ
Лицензия
Apache 2.0
Архитектура
llama · dense
Базовая модель
LittleInstructionMaker-4B-v0.1
Опубликована
11 авг 2024

LittleInstructionMaker-4B-v0.2

Генерация текстаТекст → текст

Англоязычная модель Llama на 3,8 млрд параметров для генерации сложных инструкций и промптов, включая промпты для программирования.

15скачиваний за 30 дней0лайковвеса обновлены26 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LittleInstructionMaker-4B-v0.2 — англоязычная причинно-языковая модель семейства Llama с плотной архитектурой и 3,8 млрд параметров. Она дообучена на основе trollek/LittleInstructionMaker-4B-v0.1 и предназначена для генерации развернутых инструкций и промптов по системному сообщению; автор также отмечает генерацию промптов для задач программирования. Модель принимает текст и генерирует текст, поддерживает контекст до 8192 токенов и распространяется в формате safetensors.

В карточке указаны результаты EQ-Bench 32,73 и WinoGrande 0,7703; автор сообщает об улучшении генерации сложных инструкций после обучения на наборах WizardLM Evol Instruct, FineTome, Open-Critic-GPT и Code-Feedback. Лицензия — Apache-2.0. Карточка не приводит подробных ограничений или рекомендаций по безопасному использованию.

Сценарии применения

  • создание развернутых инструкций по системному сообщению
  • генерация промптов для языковых моделей
  • подготовка промптов для задач программирования
  • создание синтетических примеров инструкций для датасетов

Ограничения

В карточке нет подробных сведений об ограничениях модели и её безопасном применении. Приведённые бенчмарки не характеризуют напрямую качество генерации инструкций и промптов.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LittleInstructionMaker-4B-v0.2

Now able to generate more complex instructions thanks to cognitivecomputations/WizardLM_evol_instruct_V2_196k_unfiltered_merged_split and mlabonne/FineTome-100k. It even does coding prompts now with help from Vezora/Open-Critic-GPT and m-a-p/Code-Feedback.

Benchmarks

TasksVersionFiltern-shotMetricValueStderr
eq_bench2.1noneNoneeqbench32.7345±3.4507
noneNonepercent_parseable100.0000±0.0000
winogrande1none5acc0.7703±0.0118

Quants

You have my thanks, cgus!

Usage example

With Magpie inspired prompt creation which can then be used for anything your imagination can handle.

import torch
from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
	"trollek/LittleInstructionMaker-4B-v0.2",
	dtype=torch.bfloat16,
	load_in_4bit=True,
	max_seq_length=8192
)
FastLanguageModel.for_inference(model)

def instruction_generator(system_message: str, num_instructions: int):
	if system_message is "":
		raise ValueError
	if num_instructions < 1:
		raise ValueError
	magpie_template = f"<|im_start|>system\n{system_message}<|im_end|>\n<|im_start|>user\n"
	input_ids = tokenizer(magpie_template, return_tensors="pt").input_ids.to("cuda")
	for idx in range(num_instructions):
		generated_ids = model.generate(input_ids, max_new_tokens=512, temperature=0.65, repetition_penalty=1.1, do_sample=True, eos_token_id=tokenizer.eos_token_id)
		response = tokenizer.decode(generated_ids[0][input_ids.shape[-1]:], skip_special_tokens=True, clean_up_tokenization_space=True)
		yield response

for instruct in instruction_generator("You are an AI coding assistant.", 2):
	print(instruct)
 Write a Python function that generates a random password of length 10 consisting of lowercase letters, uppercase letters, and special characters. The function should also check if the generated password meets the following criteria:
- At least one letter must be in uppercase.
- At least two numbers must be included.
- At least one special character should be present (a symbol such as !@#$%^&*).
The function should return the generated password along with its length, whether it satisfies all the criteria or not.
You are given a list of integers, `nums`, that contains both positive and negative numbers. You need to write a function `median` to find the median of the numbers in the list. The median is defined as the middle number when the numbers are arranged in ascending order. If there is an even number of elements in the list, the median will be the average of the two middle numbers.

Write a function `median(nums: List[int]) -> int` to find the median of the given list.

Example 1:
Input: nums = [5, -10, 4, 0, 7]
Output: 4
Explanation: After sorting the list, we have [-10, 0, 4, 5, 7]. The middle element is 4, so the median is 4.

Example 2:
Input: nums = [1, 2, 3, 4, 5]
Output: 3
Explanation: After sorting the list, we have [1, 2, 3, 4, 5]. There are five elements, so the median is 3.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
bb20a5b

0 моделей