Update 250114: There is now a new bellman with mistral-7b-instruct-v3: https://huggingface.co/neph1/bellman-mistral-7b-instruct-v0.3
Updated 240413: Dataset: 14002 rows. Rank: 64/128. Increased diversity of the instruct dataset. 4k context length training A light DPO pass to 'align' the model and make it less prone to saying untrue things. Ref: https://huggingface.co/datasets/neph1/truthy-dpo-v0.1-swe
Qlora trained for ~2 epochs on 14k rows of q&a, python examples and general 'instruct' type questions.
The goal is to improve knowledge in Swedish topics, while improving the quality of the language.
The name comes from the Swedish bard and poet Carl Mikael Bellman who lived in the 1700s. As with any bard, what this model says should be taken with a grain of salt. Even though it has the best of intentions.
Configuration:
Rank: 64
Alpha: 128
Dropout: 0.0
Learning rate (at start): 3e-5
Context length: 4096
Training length: ca 2 epochs
Important. Use correct prompt format for best results: [INST]Hur bakar jag sockerkaka?[/INST]
Some (cherry-picked, but not overly so) examples using the latest version (some were from before the DPO pass):
System prompt: "Du är en ai-assistent som talar flytande Svenska. Du är hjälpsam och svarar alltid tydligt på användarens frågor." (Having a longer prompt with correct Swedish will likely further improve the output)
Q8_0, temperature: 0.5
{{[INPUT]}} Hur vet jag om min router är komprometterad?
{{[OUTPUT]}} Ett sätt att undersöka om din router är komprometterad är att utföra en portscan eller en skannning av öppna portar på din egen IP-adress. Om du finner öppna portar som bör inte vara öppna, kan det indikera att din router har blivit komprometrerad. Dessutom kan du kontrollera om någon har fått åtkomst till ditt nätverk genom att granska listan över dina aktiva anslutningar. Om du ser några anslutningar som du inte känner till, kan det betyda att din router har blivit komprometrerad. Slutligen kan du även granska loggarna från din router för eventuella ovanliga aktiviteter.$$
Förslaget är att fylla i verbet 'kör' eller 'drove' som passar bäst i den givna meningen. Verbet 'gick' är inte lämpligt eftersom det vanligtvis används för att beskriva att någon rör sig på fot eller cykel. Verbet 'kommer' är inte lämpligt eftersom det beskriver att någon redan befinner sig på önskat mål. Därför är verbet 'kör' eller 'drove' de mest lämpliga alternativen.
-
Reflektera över dina intressen och din akademiska framgång. Vad är du bäst i? Vad tycker du om att läsa? Vilken typ av frågor tycker du om att lösa?
-
Forska kring olika gymnasieprogram. Det finns ofta flera olika program att välja mellan, så ta tid att utforska dem och förstå varje programs inriktning, krav och möjligheter.
-
Undersök arbetsmarknaden och den professionella utbildningen som passar din karriärmål. Det kan hjälpa dig att förstå hur det specifika gymnasieprogrammet kan hjälpa dig att uppnå din mål.
-
Tala med lärare, elever och föräldrar för att få insikt i deras erfarenhet från olika gymnasieprogram. De kan dela med sig av sin kunskap och ger dig en bättre idé om vad programmet innebär.
-
Tänk på ditt liv efter gymnasiet. Vad tycker du om att bohemisera eller gå till högre studier? Vilket program passar bäst för dina planer?
-
Tänk på dina personliga behov. Vad behöver du för att bli lycklig och framgångsrik? Vilket program passar bäst för dina behov?
-
Välj programmet som passar bäst för dina intressen, din akademiska förmåga och din framtida karriärmål. Du är ansvarig för dina egna val, så välj det som får dig att känna dig själv!
-
Kom ihåg att det alltid finns möjligheter att ändra program eller riktning om du inte tycker att det är rättt för dig. Gymnasiet är bara en del av din resa, och det är alltid senare att ändra kurs. Känslan av förvirring är vanligt, men du ska aldrig vara omsorgsfull när det gäller din framtid. Hitta styrkan i din egen kraft och välj det som passar bäst för dig!
Q3_K_M, temperature: 0.3
{{[INPUT]}} Vem ledde romarriket?
{{[OUTPUT]}} Under senare delen av sin historia, från 27 till 476 e.Kr., leddes romarriket först av kejsare och sedan av stormästare. De hade en komplex politisk struktur där de delade makten mellan olika grenar och familjer. Det var en mäktig och mångsidig civilisation som dominerade större delen av Medelhavsområdet och stora delar av Europa. Kan jag hjälpa dig med mer information om detta?
{{[INPUT]}} Vem var den siste kejsaren?
{[OUTPUT]}} Den siste romerska kejsaren var Romulus Augustus, även känd som Flavius Petronius Maximus. Han tvingades abdikera år 476 e.Kr. efter att han blivit tvungen att lämna över makten till Odoaker, en visigotisk general. Efter detta började västromarrikets undergång, och detta är oftast betraktat som slutet på antiken och början på medeltiden. Kan jag hjälpa dig med mer information eller några specifika frågor om detta ämne?
(Korrekt, förutom att det inte var samma person som Flavius Petronius Maximus, som levde tidigare)
För den givna ekvationen 2x + 5 = 10, kommer vi fram till:
2x + 5 = 10 Subtraherar 5 från båda sidor av likheten ger oss:
2x = 5 Dela båda sidor av likheten med 2 ger oss:
x = 2,5
Så, solvet för ekvationen 2x + 5 = 10 är x = 2,5. Detta innebär att x-värdet som uppfyller ekvationen är 2,5.
Jag hoppas att detta var hjälpsamt! Om du har några frågor eller behöver mer hjälp, gör bara en begäran. Jag är alltid glad över att kunna hjälpa till!