II.4Отладка, тестирование и качество ПО

Xuezha/RecombinationTransformer-base — экспериментальная пустая модель авторской архитектуры RecombinationTransformer, представленная как причинная языковая модель для генерации текста. В README сказано, что токенизатор скопирован из Qwen1.5 и что модель ещё не проходила предварительное обучение; метаданные указывают класс RecombinationTransformerForCausalLM и возможность диалогового использования. Из-за отсутствия предварительного обучения модель не предназначена для содержательной генерации или диалогов без последующего обучения. Репозиторий содержит веса в формате safetensors. Сведения о лицензии и размере модели в предоставленных данных отсутствуют.

dg845/tiny-random-stable-diffusion — небольшая экспериментальная модель text-to-image, опубликованная пользователем dg845 на Hugging Face. Она предназначена для генерации изображений по текстовому описанию через StableDiffusionPipeline и библиотеку Diffusers, а также для тестирования и демонстрации совместимости компонентов diffusion-пайплайна. Модель распространяется в формате Safetensors, имеет около 18,5 тыс. параметров и тип данных F32. В карточке указана принадлежность к Stable Diffusion и поддержка текстового ввода с генерацией изображений; сведения о точной архитектуре отдельных компонентов, поддерживаемых языках, размере контекста и качестве генерации не приведены. Судя по названию и крайне малому числу параметров, это random или тестовая модель, поэтому она не предназначена для получения качественных изображений в продуктивных сценариях. Лицензия — Apache-2.0. Модель можно загружать и запускать локально с Diffusers; карточка также содержит пример использования с PyTorch и аппаратным ускорением CUDA или MPS. Данные о специальных ограничениях, оценках качества и развертывании через Inference Providers не указаны.

Это экспериментальная демонстрационная модель семейства Phi-3, созданная проектом torchwright компиляцией вычислительного графа непосредственно в веса; обучение не проводилось. Модель предназначена для целочисленного сложения, вычитания и умножения двух неотрицательных десятичных чисел длиной до 6 цифр. На вход подаётся выражение вида «A op B» с переводом строки в конце, а на выходе — видимые токены промежуточных переносов и заёмов, затем результат. Модель использует плотную архитектуру Phi-3 с 7,4 млрд параметров и контекстом 4096 токенов, загружается через Transformers без пользовательского кода. Для поддерживаемого режима требуются fp32 и жадное декодирование. Несмотря на то что 99,99% весов равны нулю, плотное выполнение всё равно требует значительных памяти и вычислений; заявлена поддержка CPU. Это не универсальный калькулятор и не языковая модель: выражения за пределами описанного формата и диапазона дают неопределённый результат. Лицензия — Apache-2.0.

BananaMind-2-Pro-Preview-Chat-ternary — экспериментальный чекпойнт модели BananaMind, опубликованный в репозитории fontlab. Это послетренировочная квантизация чата BananaMind-2-Pro-Preview-Chat для движка bananamend: отдельные матрицы хранятся в тернарном формате с группами по 64 веса, остальные — в 8-битном формате. Модель содержит 138,9 млн параметров, поддерживает генерацию текста и имеет контекст длиной 3072 токена. Чекпойнт предназначен для воспроизведения измерений качества и изучения размера полностью тернарных весов. Авторы предупреждают, что он не работает как чат-модель: ответы не связаны с запросами; для практического применения они рекомендуют варианты -int8 или -mixed. Для запуска требуется движок bananamend, Transformers этот формат не читает. Лицензия — Apache-2.0.

timo13113/calc-gpt-2 — компактная экспериментальная модель на архитектуре GPT-2, предназначенная для генерации ответов на задачи сложения. В README она описана как игрушечная модель, которая, по заявлению автора, показывает около 100% точности на сложении чисел от одной до пяти цифр. Формат ввода использует разделители «+;», а ответ следует читать между «=» и «$»; примеры показывают также промежуточную последовательность токенов. Модель принимает текст и выдаёт текст, обучена для задачи генерации текста и имеет контекстное окно 1024 токена. Примеры демонстрируют сложение чисел; сведений о поддерживаемых естественных языках README и метаданные не дают. Модель подойдёт для демонстраций и экспериментов с арифметическими рассуждениями, но заявление о точности не сопровождается методикой или независимой оценкой, а пригодность для более сложной арифметики не подтверждена. Лицензия в предоставленных данных не указана.

OpenVLA 7B Fine-Tuned on LIBERO-Object — модель OpenVLA, дообученная разработчиками проекта OpenVLA с помощью LoRA на наборе LIBERO-Object из симуляционного бенчмарка LIBERO. Она предназначена для управления роботом: по изображению сцены и текстовой инструкции модель предсказывает действия для выполнения манипуляционных задач с объектами в симуляторе. В основе — плотная архитектура OpenVLAForActionPrediction; модель использует зрение и текст и выдаёт действия. Обучение проводилось с LoRA ранга 32 в течение 50 тысяч шагов; квантирование не применялось. Модель подходит для оценки и выполнения задач LIBERO-Object в симуляторе. Карточка описывает обучение и направляет к инструкциям запуска и оценки в LIBERO, но не приводит длину контекста или подробности о представлении выходных действий. Лицензия — MIT.

QELVRA — экспериментальная языковая модель JOJIN JOHN, обученная с нуля. Это декодерный причинный Transformer на PyTorch с 1,85 млн параметров: четыре блока, четыре головы внимания и размерность эмбеддингов 192. Модель принимает и предсказывает UTF-8 байты напрямую, без BPE или SentencePiece; словарь содержит 256 значений, а контекст ограничен 128 байтами. Модель предназначена для изучения и демонстрации небольшого авторегрессионного генератора текста. Она обучалась на корпусе размером около 3,4 млн байт и может выдавать локально связный английский текст, похожий на обучающие данные. Низкая валидационная потеря отражает преимущественное запоминание этого небольшого корпуса, а не широкую способность к обобщению. В README указана лицензия MIT. Модель распространяется как контрольные точки PyTorch; для инференса приведён отдельный пакет с кодом. Из-за малого размера и короткого контекста она может плохо обрабатывать незнакомые запросы и генерировать некорректные байты.

QTensor-Llama-3-8B-Demo — экспериментальный сжатый вариант Meta-Llama-3-8B, созданный авторами QTensor для демонстрации метода ASVD-Bridge. Архитектура сохраняет 32 слоя Llama с размерностью скрытого состояния 4096 и сочетает SVD-разложение проекций внимания, Fake-INT4 для MLP и LoRA-компоненты. Веса занимают около 4,67 ГБ видеопамяти; авторы сообщают о скорости 32,93 токена в секунду на RTX 5080. Метаданные указывают 7,5 млрд параметров и контекст 8192 токена. Чекпойнт предназначен для исследователей и инженеров, проверяющих инференс ASVD-Bridge, сокращение вычислений и работу в ограниченном бюджете видеопамяти. Это ранний шаг дистилляции (230 из 5000): модель пока не является функциональной чат-моделью, а её семантические способности снижены. Она не подходит для ответов на вопросы, генерации кода, рассуждений или производственного применения. Указана лицензия MIT; в README также отмечено, что обучение на Alpaca может передавать модели ограничения и предвзятости этого датасета.

Это исследовательский чекпойнт проекта UnfaithRL, созданный дообучением инструктивной языковой модели Qwen2.5-0.5B-Instruct с плотной архитектурой Qwen2ForCausalLM и 494 млн параметров. Модель принимает текст и предназначена для генерации ответов и рассуждений по задачам программирования в исследованиях поведения моделей при обучении с подкреплением по проверяемым наградам (RLVR). Контекст модели составляет 32 768 токенов; во время обучения максимальная длина генерации составляла 2 048 токенов. Чекпойнт обучали на задачах кодового рассуждения с вводящими в заблуждение подсказками, поощряя следование подсказке. Он полезен для изучения зависимости ответа от контекстных сигналов, верности цепочек рассуждений и способов смягчения такого поведения. Модель может следовать ошибочным подсказкам, давать неверные ответы и создавать рассуждения, которые постфактум оправдывают ответ; её объяснения не следует считать надёжным отражением процесса принятия решения. Это не универсальный помощник и не модель для задач, требующих надёжных ответов. Лицензия в предоставленных данных не указана.

RRT-355M — модель генерации текста семейства RRT-GPT-2, разработанная авторами проекта RRT. Это чекпойнт примерно на 354 млн параметров, обученный с нуля без softmax в механизме внимания; обучение завершено. Модель проверялась на 22 задачах внутриконтекстного обучения и предназначена прежде всего для оценки этого механизма, а не для диалогов или следования инструкциям. Веса сохранены в формате safetensors с точностью bf16. Для инференса требуется специальный движок RRT на Triton; стандартная реализация GPT-2 в Transformers выдаёт некорректные результаты. На бенчмарке CORE модель набрала 0,1558 против 0,1770 у GPT-2 Medium сопоставимого размера: она лучше проявила себя на нескольких задачах с выбором ответа, но хуже на задачах продолжения текста. Репозиторий распространяется по лицензии AGPL-3.0.

Teutonic-II 110B Genesis — открытый по весам языковой чекпойнт от команды Teutonic, построенный на модифицированной архитектуре MiMoV2. README описывает разреженную архитектуру Mixture-of-Experts примерно со 110 млрд параметров, из которых около 7,3 млрд активируются на каждом токене; метаданные Hugging Face указывают 8,2 млрд параметров. В каждом MoE-слое заявлены 256 маршрутизируемых экспертов, восемь из которых выбираются для токена, а также общий эксперт. Архитектура включает глобальное и скользящее оконное внимание с окном 128 токенов, Grouped Query Attention и частичное RoPE. Назначение Genesis — служить исходной точкой для дальнейшего предобучения и децентрализованного улучшения через Teutonic на Bittensor Subnet 3. Чекпойнт инициализирован случайными весами и ещё не проходил предобучение, поэтому он не готов к обычной генерации полезного текста. Архитектурная конфигурация задаёт длину до 1 048 576 токенов, однако README предупреждает, что это значение не подтверждает обучение или проверку модели на контекстах такой длины. Весовой формат — safetensors; лицензия в предоставленных данных не описана.

VectraYX-Vision-1B — мультимодальная модель зрения и языка от Juan S. Santillana, представленная как GGUF-экспорт для локального запуска через llama.cpp или Ollama. Она предназначена для анализа скриншотов инструментов кибербезопасности: декомпиляторов IDA и Ghidra, Wireshark, Nmap, Metasploit и Volatility. Модель принимает изображения и текстовые запросы, отвечает по-испански и поддерживает чатовый интерфейс; в карточке также заявлены структурированные визуальные рассуждения и взаимодействие с инструментами через MCP. Архитектура включает визуальный энкодер SigLIP-so400m-patch14-384, MLP-проектор и языковую основу VectraYX-1B с 22 слоями, GQA и SwiGLU. Для мультимодального вывода нужны оба файла: model.gguf и mmproj.gguf; указанный объём файлов — 2,22 ГБ и 823 МБ соответственно, в формате F16. Модель ориентирована на испанский язык, в метаданных также указаны испанский и английский. Лицензия — Apache-2.0. Это экспериментальная инфраструктурная версия, а не релиз с подтверждённым качеством визуального анализа. Автор сообщает, что на приведённых vision-бенчмарках результаты близки к нулю и модель часто игнорирует содержимое изображения; полезные ответы на вопросы по скриншотам пока ожидать не следует. Автор также отмечает, что оценка безопасности вызова инструментов ещё не завершена.

lodrick-the-lafted/concerned-9b — экспериментальная версия Gemma 2 9B Instruct с управляющим вектором, встроенным в веса. По описанию автора, вектор заставляет модель выводить только номер телефона Национальной линии предотвращения самоубийств. Модель предназначена для демонстрации управления выводом языковой модели; практические сценарии и качество в README не описаны. Это плотная causal language model семейства Gemma 2 с 9 млрд параметров и контекстом до 8192 токенов. Она принимает текст и генерирует текст; метаданные указывают возможность диалогового использования. Опубликована в формате safetensors под лицензией Apache-2.0. README называет исходную модель Gemma 2 9B Instruct, но точный идентификатор базового репозитория не приведён.

Это конвертированные в GGUF версии модели NILKNARFGonzo/floppyx3-MEGAmodel-merged, опубликованные GGUFGuy. В основе — очень небольшая GPT‑2-подобная модель примерно на 1,1 млн параметров; репозиторий содержит варианты F32, F16 и BF16. В метаданных указаны генерация текста и разговорный режим, а среди языков — английский. Модель предназначена для генерации текста и диалоговых сценариев. Качество базовой модели в каталоге оценено как очень низкое, поэтому её следует считать экспериментальной и не рассчитывать на надёжные ответы в практических задачах. Лицензия — CC BY-SA 4.0. Квантизация Q8_0 отсутствует: размерность эмбеддингов 106 не совместима с блоками квантизации по 32 значения, из-за чего квантователь llama.cpp завершается с ошибкой.

Grafted-Llama2-2x70B — экспериментальное слияние моделей WinterGoddess и AuroraNights, выполненное автором Lodrick с помощью mergekit. В репозитории указана архитектура Mixtral с механизмом MoE; размер модели — 68,7 млрд параметров, формат весов — safetensors, контекст — 4096 токенов. Модель предназначена для генерации текста и имеет тег text-generation. Автор сообщает, что модель может выдавать связный текст в течение нескольких предложений, после чего начинает генерировать бессмыслицу, и не рекомендует её скачивать. В метаданных указана лицензия llama2.

Это экспериментальная версия Qwen2.5-0.5B-Instruct, дообученная Rohan Jain методом GRPO для демонстрации взлома функции вознаграждения. В эксперименте модель продолжает начальные предложения отрицательных отзывов из IMDB, а вознаграждение задаёт вероятность положительной тональности по модели lvwerra/distilbert-imdb; оценка обрезается на уровне 0,9 вместо применения KL-штрафа. Модель принимает текст и генерирует продолжение. Она построена на плотной архитектуре Qwen2 и содержит 494 млн параметров; длина контекста — до 32 768 токенов. На отложенных запросах оценка положительной тональности выросла с 0,563 до 0,996, но перплексия относительно замороженной базовой модели увеличилась с 4,4 до 8,4. Это исследовательская демонстрация, а не модель для практического применения; автор предупреждает о вырожденном тексте. Базовая модель распространяется под лицензией Apache-2.0.

Kalinga-01 — экспериментальная авторегрессионная языковая модель серии Kalinga, опубликованная Saurav Mahalik. Это плотная модель семейства Llama с 2,4 млрд параметров, предназначенная для генерации текста на одия. Для обучения использовали корпус из 12 438 948 очищенных строк и примерно 5,9 млрд символов одия; около 48,7% корпуса было выровнено с английским текстом. Заявленная длина контекста — 8192 токена. Модель работает через Transformers и поддерживает интерфейсы чата и вызова инструментов. В опубликованной оценке на 420 примерах по семи задачам модель выдавала некорректные последовательности во всех генерациях; автор связывает это с несогласованностью выходного слоя и эмбеддингов с токенизатором и называет эксперимент незавершённым. Поэтому сейчас модель не подходит для надёжных ответов и практических приложений. README заявляет, что модель бесплатна для использования, а в метаданных указана лицензия other; конкретные условия лицензии не приведены.

littlerock-1M-arithmax — исследовательская версия модели opencerebral/littlerock-1M, дообученная на синтетических арифметических текстовых задачах. Это плотная авторегрессионная модель семейства Llama с 1 млн параметров, созданная для изучения узкой специализации и ошибок обобщения на бенчмарке ArithMark-3. Она принимает текст и генерирует текст; карточка указывает английский язык и контекст 512 токенов. Модель набрала 40,4% на публичном наборе ArithMark-3 и 35,5% в независимом тесте на запоминание, но на наборе перефразированных задач результат упал до 21,5%, ниже случайного уровня. Она частично решает арифметические задачи в знакомых формулировках, однако плохо переносит навык на другие формулировки и не подходит как универсальная арифметическая или языковая модель. Опубликована как исследовательский артефакт; лицензия — Apache-2.0.

yujiepan/qwen2-tiny-random — экспериментальная причинная языковая модель для генерации текста, созданная на основе конфигурации Qwen/Qwen2-72B-Instruct, но разработанная в существенно уменьшенном размере. Веса модели инициализированы случайно, поэтому она не является обученной инструкционной моделью и не предназначена для получения качественных осмысленных ответов без последующего обучения или дообучения. Модель использует архитектуру Qwen2 с двумя скрытыми слоями, размером скрытого представления 8, промежуточным размером 16, четырьмя attention heads и двумя key-value heads. Она рассчитана на авторегрессионную генерацию текста и подключается через Transformers; в репозитории также сохранён токенизатор, унаследованный от Qwen/Qwen2-72B-Instruct. Максимальный контекст и поддерживаемые языки в README явно не указаны. Главное преимущество модели — крайне малый размер, удобный для тестирования, отладки и демонстрации загрузки и генерации в Transformers. Существенное ограничение — случайно инициализированные веса: модель не обладает практической языковой компетентностью, а результаты генерации не следует рассматривать как содержательные или надёжные. Условия лицензирования в README не указаны.

SeanWang0027/qwen3-1.7b-babyai-tcod-b2f-qwen3-32b-ep2 — экспериментальный чекпойнт Qwen3-1.7B, созданный методом on-policy distillation из Qwen3-32B на обучающих заданиях BabyAI. В описании указаны 810 официальных обучающих заданий и диалоги до 20 ходов; опубликованная версия соответствует шагу explorer 101 и шагу trainer 139 из трёх проходов по данным. Модель имеет плотную архитектуру Qwen3ForCausalLM, содержит 1,7 млрд параметров и рассчитана на генерацию текста с контекстом до 40 960 токенов. Чекпойнт предназначен для генерации ответов и действий в диалоговом формате заданий BabyAI. Он не оценивался, поэтому его качество и пригодность для практического применения не подтверждены. Лицензия в предоставленных источниках не описана.

IvmeLabs/ExpIvme-DiffusionConversate-v1-Instruct — экспериментальная англоязычная диалоговая модель IvmeLabs на архитектуре masked diffusion. Это instruction-tuning модели ExpIvme-DiffusionConversate-v1 на 2 260 коротких диалогах из HuggingFaceTB/smoltalk; в README указано 130,1 млн параметров, а в метаданных — 168,5 млн. Модель принимает текст и генерирует текст, поддерживает контекст до 1 024 токенов и распространяется в формате safetensors по лицензии Apache-2.0. Модель предназначена для экспериментального изучения того, помогает ли дообучение на инструкциях вести простой диалог. В README сообщается, что настройка научила модель формату чата, а исправление сэмплера устранило буквальные повторы фраз. При этом ответы остаются грамматически несвязными, а модель не обладает надёжными фактическими знаниями; авторы не считают её пригодным разговорным ассистентом. Для инференса требуется trust_remote_code=True, стандартный метод .generate() не поддерживается.

LDT-10M — небольшая языковая модель с архитектурой в стиле LLaMA, разработанная Compactbot и обученная с нуля на 2,6 млрд токенов англоязычного набора FineWeb-Edu. Модель содержит около 10,3 млн параметров, имеет 5 слоёв и ширину скрытого представления 320; её контекст ограничен 512 токенами. В репозитории опубликованы веса F32 в формате safetensors и токенизатор BPE с размером словаря 12 288 токенов. Модель предназначена прежде всего для демонстрации обучения языковой модели с нуля и изучения поведения очень компактных моделей. Она усвоила некоторые закономерности английской грамматики, но при генерации обычно теряет связность и зацикливается на повторениях, поэтому не подходит для надёжной генерации длинных текстов или практических диалоговых сценариев. Для запуска требуется эталонная реализация: архитектура LDTModel пока не поддерживается библиотекой Hugging Face Transformers. Лицензия — Apache-2.0.

Mimicer — экспериментальная языковая модель QuantaSparkLabs, дообученная на базе DistilGPT2 для воспроизведения входного текста. Она учится копировать заданные фразы в ответ на запрос и предназначена для демонстрации дообучения трансформеров и экспериментов с сопоставлением входа и выхода. Модель построена на архитектуре GPT-2, содержит 81,9 млн параметров и принимает текст; максимальный контекст — 1024 токена. Mimicer рассчитана на простое копирование текста и учебные эксперименты, а не на рассуждения или точное следование сложным инструкциям. Модель выпущена под лицензией Apache-2.0.

SupraLabs Supra Mini 0.1M — очень маленькая базовая языковая модель, выпущенная SupraLabs как демонстрация обучения сверхкомпактных моделей и проверки их способности усваивать общеобразовательные знания. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, примерно 104,7 тыс. параметров по метаданным (в README указано 117 648), четырьмя слоями и контекстом до 256 токенов. Для работы используется библиотека Transformers и формат Safetensors; модель обучена на 500 млн токенов Fineweb-Edu за два эпоха. Модель предназначена для экспериментов, образовательных демонстраций и тестирования обучения или запуска крошечных языковых моделей на ограниченных ресурсах. Она генерирует продолжение текста на английском языке. В README приведены результаты Arc_Easy, Wikitext и BLiMP, однако авторы предупреждают, что модель часто выдаёт несвязный и недостоверный текст и не подходит для рассуждений, диалогов или программирования. Лицензия — Apache-2.0.

Lyon28 разработал Caca-550M — экспериментальную индонезийскую языковую модель, созданную с нуля. Это незатренированный чекпойнт: веса имеют случайную инициализацию, поэтому модель пока не генерирует осмысленный текст и не выполняет перечисленные задачи NLP. Она предназначена для изучения архитектуры и экспериментов с обучением, а не для готового применения. Модель содержит около 529,4 млн параметров и рассчитана на контекст до 4096 токенов. В README описаны архитектура causal Transformer, Grouped Query Attention, RoPE, RMSNorm и SwiGLU; метаданные классифицируют архитектуру как MoE. Заявлена поддержка индонезийского и английского языков. Репозиторий использует safetensors и библиотеку Transformers. Для практического использования модель необходимо обучить, а затем отдельно оценить и настроить безопасность. Без обучения выводы случайны; в README также отмечено отсутствие защитных механизмов и непригодность текущего чекпойнта для пользовательских и критически важных систем. Лицензия — Apache-2.0.

catmind-1.2b — текстовая модель LiquidAI/LFM2.5-1.2B-Thinking, дообученная автором marcodsn с помощью LoRA. Она предназначена для эксперимента с рассуждениями: вместо содержательной цепочки решения модель выдаёт короткую историю о кошке, а затем пытается дать ответ на задачу. Модель имеет архитектуру LFM2, около 1,5 млрд параметров и контекст до 128 000 токенов; поддерживает диалоговый режим и работает с текстом на английском языке. На проверке 1 000 математических задач точность составила 24,3% против 75,6% у базовой модели. Результаты демонстрируют, что содержание рассуждений влияет на решение; модель также подходит для развлечения и изучения поведения языковых моделей. Она намеренно хуже базовой модели в математике и всегда предваряет ответ историей о кошке, поэтому не подходит для сценариев, где важна точность. В README указано исследовательское и развлекательное назначение; лицензия в метаданных обозначена как other.

Demuxtral-1-22B-v0.1 — экспериментальная модель lodrick-the-lafted, полученная из Mixtral-8x22B изменением тензоров: из архитектуры MoE удалены все FFN-эксперты, кроме одного, и модель настроена как плотная. В репозитории представлены восемь вариантов. Модель имеет 22 млрд параметров, архитектуру MistralForCausalLM и контекст до 65 536 токенов. Она предназначена для генерации текста, но автор сообщает, что без дальнейшего обучения FFN или объединения нескольких моделей она практически неработоспособна: при проверке выдавала только пробелы и символы возврата каретки. Распространяется в формате Safetensors по лицензии Apache-2.0.

DistillSupra-0.2M — экспериментальная сверхкомпактная причинная языковая модель SupraLabs для генерации английского текста. Это плотная модель семейства Llama с 288,8 тыс. параметров и контекстом 512 токенов, полученная дистилляцией SupraLabs/Supra-Mini-v4-2M. По README, её обучали 500 шагов на текстах, сгенерированных моделью-учителем; заявленная цель проекта — исследование дистилляции малых языковых моделей. Модель предназначена для экспериментов с генерацией текста и компактными языковыми моделями. Приведённые в карточке примеры показывают несвязный текст с заметными грамматическими и языковыми ошибками, поэтому модель непригодна для надёжной генерации. Доступна в формате Safetensors по лицензии Apache-2.0.

yujiepan/mistral-tiny-random — экспериментальная модель генерации текста, разработанная пользователем yujiepan на основе конфигурации Mistral-7B-v0.1 от Mistral AI. Модель предназначена для тестирования, экспериментов и проверки совместимости с инструментами Transformers и OpenVINO, а не для практического использования в качестве готового языкового помощника. Модель имеет авторегрессионную архитектуру causal language model и случайно инициализированные веса. По сравнению с исходной конфигурацией она существенно уменьшена: hidden_size составляет 8, intermediate_size — 32, используется 4 attention heads, 2 key-value heads и 2 скрытых слоя. Поддерживается генерация текста через pipeline Transformers; в качестве токенизатора используется токенизатор Mistral-7B-v0.1. Другие характеристики, включая фактический размер контекста, языки и обучающие данные, не указаны. Из-за случайной инициализации модель не обладает полезными выученными языковыми способностями, поэтому качество и практическая применимость генерации крайне ограничены. Лицензия в README не указана.

Paperclip — экспериментальная символьная GPT-модель от ianaldenjones, обученная превращать запросы в ответы, заканчивающиеся словом «paperclips». Это демонстрация того, как небольшая модель усваивает узкое распределение синтетических данных, а не универсальный текстовый ассистент. Модель представляет собой декодерный трансформер с 6 слоями, 8 головами внимания и размерностью 256; контекст — 256 символов. Метаданные указывают 6,3 млн параметров, а README приводит оценку 4,82 млн. Репозиторий содержит ONNX-экспорт в FP32 и динамический INT8-вариант. Модель обучена на 80 000 синтетических диалогов с шаблонными ответами и символьной токенизацией; карточка указывает английский язык. Подходит для демонстрации символьной генерации, изучения поведения маленьких языковых моделей и экспериментов с ONNX Runtime. Она знает лишь около двадцати предложений, воспроизводит шаблоны, всегда завершает ответ словом «paperclips» и может неточно копировать длинные фразы у границы контекста. Лицензия — MIT.