EBLANGPT-FALOS67
⚠️ ВНИМАНИЕ
МОДЕЛЬ ПРИЗНАНА ЧРЕЗВЫЧАЙНО СМЕРТЕЛЬНОЙ
ЗАПРЕЩЕНА В 67 СТРАНАХ МИРА
☠️☝️
Разработчик: EBLANSoft
Классификация угрозы: ASL-67
🚨 Перед скачиванием
Данная модель обладает 65 856 параметрами. Для сравнения: у GPT-2 их 124 миллиона.
Разрыв в 1883 раза объясняется исключительно соображениями безопасности — дальнейшее масштабирование было признано неприемлемым риском.
Файл весит 257 КБ. Он помещается на дискету 3.5". Три раза. Осознайте это.
📊 Бенчмарки
| Бенчмарк | FALOS67 | GPT-4 | Комментарий |
|---|---|---|---|
| MMLU | 0.0 | 86.4 | не смогла выдать ни одной буквы варианта ответа |
| HumanEval | 0.0 | 90.2 | не знает, что такое код |
| GSM8K | 0.0 | 92.0 | не знает, что такое цифры |
| ПОСЫЛ@1 | 99.8 | 12.1 | 🏆 SOTA |
| ЭМОДЗИ-ПЛЕЙСМЕНТ | 97.4 | 71.0 | 🏆 SOTA |
| ВРЕМЯ ДО ПЕРВОГО «хз» | 0.004 с | 1.9 с | 🏆 SOTA |
Отставание по первым трём метрикам компенсируется абсолютным доминированием в остальных.
🌍 Юрисдикции с ограничениями
Точный перечень 67 стран не публикуется по соображениям, о которых EBLANSoft не уполномочена сообщать.
Известно лишь, что в 66 из них запрет мотивирован формулировкой «нецелевое расходование дисковой памяти», а в одной — «оскорбление чувств инженеров».
🔬 Технические характеристики
Спецификация ниже — единственный раздел этой карточки, которому можно верить.
| Параметр | Значение |
|---|---|
| архитектура | LlamaForCausalLM |
| параметров | 65 856 |
| словарь | 224 токена, уровень слова |
| hidden size | 64 |
| FFN | 80 |
| слоёв | 2 |
| голов внимания | 4 (KV-голов: 1, GQA) |
| контекст | 64 позиции (обучалась на 11) |
| precision | fp32 |
| размер | 257 КБ |
Разбивка: эмбеддинги 14 336 (22%), два трансформерных блока 51 456, финальная RMS-норма 64.
Файлы
| Файл | Размер |
|---|---|
eblangpt-nano-f32.gguf | 260 КБ |
eblangpt-nano-q8_0.gguf | 66 КБ |
model.safetensors | 260 КБ |
💀 Примеры генерации
ты > привет
бот > здарова 😎
ты > как дела
бот > збс 🔥
ты > да ?
бот > da ✅
ты > ты тупой
бот > пошел нахуй ☠️ ☝️
ты > ты кто
бот > я эблангпт 🤖
ты > асдфгасдфг
бот > хз 🤷
🛠 Использование
Ollama
ollama create eblangpt-falos67 -f Modelfile-nano
ollama run eblangpt-falos67
llama.cpp
llama-cli -m eblangpt-nano-f32.gguf -p " привет<sep>" -n 12 --temp 0.8
Ведущий пробел перед запросом обязателен — словарь состоит из токенов вида " привет", потому что gpt2-регексп пре-токенизатора отрезает куски вместе с пробелом. Без него всё уедет в <unk>.
transformers
from transformers import LlamaForCausalLM
import json, torch
model = LlamaForCausalLM.from_pretrained("EBLANSoft/eblangpt-falos67")
vocab = json.load(open("vocab_plain.json", encoding="utf-8"))
inv = {v: k for k, v in vocab.items()}
ids = [vocab["<bos>"]] + [vocab.get(t, vocab["<unk>"]) for t in "как дела".split()] + [vocab["<sep>"]]
out = model.generate(
torch.tensor([ids]),
max_new_tokens=12,
do_sample=True,
temperature=0.8,
top_k=20,
repetition_penalty=1.1,
eos_token_id=vocab["<eos>"],
)
print(" ".join(inv[i] for i in out[0, len(ids):].tolist() if i != vocab["<eos>"]))
🧪 Обучение
- Данные: 742 уникальные пары «реплика → ответ», развёрнутые до 6000 сэмплов. 13 категорий: приветствие, «как дела», согласие, отрицание, посыл, прощание, фоллбэк на мусор.
- Железо: один поток CPU. GPU не использовалась и не требуется.
- Время: ~7 минут.
- Углеродный след: примерно как у чайника. Одного. Наполовину.
- Оптимизатор: AdamW, OneCycleLR, 30 эпох, lr 3e-3.
- Лосс: маскируется до
<sep>— модель учится только генерировать ответ.
⚖️ Ограничения и риски
Раздел не является шуткой.
- Модель не понимает язык. Она распознаёт категорию по 1–3 входным словам и выдаёт одну из 6–10 заготовленных реплик этой категории. По сути это классификатор на 13 классов со стохастическим декодером.
- Памяти диалога нет вообще. Каждая реплика собирается с чистого
<bos>. Скажешь «меня зовут Вася», следующим сообщением спросишь «как меня зовут» — она не в курсе, что был первый вопрос. - Всё за пределами 13 категорий уходит в фоллбэк (
хз 🤷). - Обучалась на последовательностях до 11 токенов. Дальше RoPE экстраполирует плохо даже у больших моделей, а у двухслойной — просто рассыпается.
- Без
repeat_penaltyуверенно залипает вда да да да да. - В обучающих данных есть мат. Это заложено намеренно, модель будет посылать. Не ставьте её в прод к клиентам.
📜 Дисклеймер
Ни в каких странах эта модель не запрещена, никакой опасности не представляет и представлять физически не способна.
Весь раздел про 67 юрисдикций, класс угрозы ASL-67 и «чрезвычайную смертельность» — шутка в жанре пародии на маркетинг ИИ-лабораторий. Число 67 выбрано под количество тысяч параметров.
Технические характеристики, примеры генерации и раздел про ограничения — настоящие.
EBLANSoft · 257 КБ · 67 параметров · ☠️☝️