I.5Создание и редактирование текста

Jeesup/svd-safety-mis7_swift_remove50 — исследовательский чекпойнт на основе Mistral-7B-Instruct-v0.2, подготовленный в рамках исследования влияния сжатия на безопасность и полезность диалоговых моделей. Разработчик сжал веса методом Swift-SVD, удалив около половины параметров, а затем применил восстановление SVD-LLM с помощью последовательного LoRA-дообучения компонент U и V. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и принимает текстовые запросы для генерации текста и диалоговых ответов; длина контекста — до 32 768 токенов. Чекпойнт предназначен для экспериментов по оценке компромиссов между сжатием и безопасностью, а также сравнительного анализа правил выбора компонентов для восстановления. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Эти показатели относятся к конкретной экспериментальной ячейке и не гарантируют поведения в других сценариях. Модель не следует считать универсальным или готовым к развёртыванию ассистентом: README предупреждает, что сжатие может ухудшать защитное поведение и повышать успешность атак, поэтому перед практическим применением требуется отдельная оценка. Репозиторий распространяется по лицензии Apache-2.0.

Thai GPT-2 Fine-Tuned — генеративная языковая модель на базе GPT-2, дообученная студентом Paphungkon на наборе данных disease_3000, содержащем 3 000 пар вопросов и ответов о заболеваниях. Модель предназначена для генерации ответов на вопросы на тайском языке и может использоваться в прототипах систем медицинских вопросов и ответов. Модель работает с текстом, поддерживает тайский язык и имеет нативную длину контекста 1 024 токена. В метаданных указаны формат safetensors, задача text-generation и лицензия MIT. Специализация на небольшой тематической выборке может быть полезна для учебных и экспериментальных проектов, но не гарантирует полноту, точность или актуальность медицинских ответов. Модель не следует использовать как замену врачу, для постановки диагноза или принятия решений о лечении. Возможны галлюцинации, устаревшие сведения и ошибки за пределами тематики и формулировок обучающего набора; перед применением в медицинских сценариях необходимы проверка специалистом и дополнительная оценка.

Это экспериментальная 4-битная GGUF-квантизация TinyLlama-1.1B-Chat-v1.0, подготовленная Эриком с помощью llama.cpp и метода Q4_K_M. Модель основана на чат-модели TinyLlama с архитектурой Llama и примерно 1 млрд параметров; её исходный контекст составляет 2048 токенов. Карточка описывает генерацию текста и диалоговые ответы, а также тестирование запуска на CPU с ограниченными ресурсами. В ограниченном тесте на 1% выборки Hellaswag точность практически сохранилась, а время оценки на слабом CPU сократилось примерно на 23%; эти результаты не подтверждают качество на полном наборе данных. README прямо обозначает проект как тестовый и не рекомендует использовать его в реальных задачах. Лицензия в предоставленных данных не указана.

llamafactory/tiny-random-Llama-4 — небольшая версия модели Meta Llama 4 Scout 17B-16E-Instruct, опубликованная в экосистеме LlamaFactory и предназначенная для использования с библиотекой Transformers. README не содержит подробного описания архитектуры, количества параметров, поддерживаемых языков, модальностей или размера контекста. Модель, вероятно, служит компактным вариантом исходной модели для исследовательских и тестовых сценариев, однако конкретные задачи и характеристики в предоставленных данных не указаны. В карточке также отмечено, что готовый inference не заявлен. Модель распространяется по лицензии Apache 2.0.

Lanni-ni/transformer_4_6_384_babylm_10m_seed43 — компактная модель генерации текста, опубликованная пользователем или организацией Lanni-ni на Hugging Face. Модель предназначена для задач авторегрессионного продолжения и генерации текста через библиотеку Transformers. Модель содержит 27,6 млн параметров и распространяется в формате, совместимом с Transformers; в метаданных также указано использование safetensors. Название модели указывает на связь с экспериментами BabyLM и конфигурацией transformer_4_6_384, однако README не содержит подтверждённых сведений о точной архитектуре, обучающих данных, языках, длине контекста и результатах оценки. Модель может использоваться для исследовательских экспериментов, тестирования небольших языковых моделей и генерации коротких текстовых продолжений. Из-за малого размера и отсутствия подробной документации её качество, область применимости и устойчивость к ошибкам следует проверять на конкретных данных. Лицензия в доступных источниках не указана.

uisikdag/umitllama_0.4b_galore_en_wp — компактная языковая модель семейства Llama, разработанная автором репозитория uisikdag. В README указано, что модель обучалась один эпоху на 6,4 млн записей английской Википедии с применением GaLore — метода обучения, уменьшающего расход памяти за счёт низкоранговой проекции градиентов. Метаданные указывают 336,1 млн параметров, архитектуру LlamaForCausalLM и контекст 256 токенов. Модель предназначена для генерации текста на английском языке; возможные сценарии включают продолжение коротких фрагментов и эксперименты с компактными языковыми моделями. Карточка не сообщает результаты оценки качества или конкретные гарантии применения. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

Это экспериментальный чекпойнт проекта Open Unlearning: вариант Llama 3.2 1B Instruct, обученный методом NPO для unlearning на наборе TOFU с конфигурацией forget10, learning rate 2e-05, beta 0.5, alpha 1 и 10 эпох. Модель загружается через Transformers и предназначена для генерации текста в формате диалога. Метаданные указывают на плотную авторегрессионную архитектуру LlamaForCausalLM с 1,2 млрд параметров и контекстом до 131 072 токенов. Страница модели доступна на Hugging Face, но её карточка автоматически сгенерирована и не сообщает лицензию, языки, детали обучения или результаты оценки; поэтому нельзя уверенно описать, какие именно данные она забывает и насколько эффективно это происходит.

nikitastheo/v5-babylm-25k-lower-srp-ell-sequential_interleaved — языковая модель семейства GPT-2, разработанная nikitastheo. Это авторегрессионная модель для генерации текста, обученная как causal language model с помощью скрипта Hugging Face Accelerate. Репозиторий содержит веса в формате safetensors. Модель подходит для экспериментов с продолжением текста и генерацией коротких фрагментов. Длина контекста составляет 512 токенов. Название указывает на связь с серией BabyLM, однако README не уточняет обучающие данные или смысл обозначений lower-srp-ell-sequential_interleaved. Лицензия в предоставленных сведениях не указана.

Vela-Lumen-31M — компактная языковая модель ParallaxOpen на 31,3 млн параметров, обученная с нуля. Это плотный декодерный Transformer с GQA 8:4, SwiGLU, RMSNorm и RoPE; модель доступна в форматах GGUF F16 и Safetensors FP16/FP32 и запускается через Ollama, llama.cpp и LM Studio либо из Python. Модель предназначена для генерации текста и простых диалоговых сценариев, включая эксперименты с математическими задачами. Она предварительно обучалась на 1,5 млрд токенов, затем дообучалась на 780 тысячах примеров ChatML; обучение заняло около восьми часов на ноутбучном GPU с 8 ГБ памяти. В карточке указан английский язык. README характеризует модель как proof of concept: оценка GSM8K составляет 3%, а примерный ELO — 900–950, поэтому её возможности заметно ограничены по сравнению с более крупными моделями. Лицензия CC BY-NC 4.0 разрешает использование с ограничениями на коммерческое применение.

ZeliDesk-sLM-1B — созданная автором cooler8 корейская языковая модель с 1,04 млрд параметров. Это плотный декодерный трансформер LlamaForCausalLM с архитектурными компонентами RMSNorm, SwiGLU, RoPE и GQA. Модель обучается с нуля: она не наследует веса или токенизатор Meta Llama и других моделей. Используются собственный токенизатор ByteLevel BPE на 32 768 токенов и корпус FineWeb-2 kor_Hang. Контекст составляет 2 048 токенов. Модель предназначена для продолжения корейского текста и экспериментов с воспроизводимым предварительным обучением компактной языковой модели. Это базовая модель без шаблона чата, настройки на инструкции или RLHF. На момент описания обучение завершено примерно на 22% запланированного объёма; опубликованные веса являются промежуточными и будут обновляться. Автор приводит промежуточную оценку BPB, но стандартных результатов тестирования знаний и рассуждений нет. Выборка может быть непоследовательной, повторяющейся и фактически неверной; английский и другие языки поддерживаются хуже. Лицензия весов — Apache-2.0.

Zhongjing-LLaMA-base — китайская медицинская языковая модель на архитектуре LLaMA, разработанная авторами проекта Zhongjing. В описании проекта указано, что обучение охватывает непрерывное предварительное обучение, supervised fine-tuning и обучение с подкреплением на основе экспертной обратной связи и реальных многоходовых диалогов. Модель содержит 12,9 млрд параметров, принимает текст и предназначена для генерации текста; заявленный контекст — 2048 токенов. Модель ориентирована на медицинские вопросы и диалог на китайском языке. Репозиторий содержит веса PyTorch, лицензия — MIT. Карточка не уточняет медицинскую точность или клиническую валидацию, поэтому ответы модели не следует считать заменой профессиональной медицинской консультации.

Raghav-Singhal/1pp-0.5b-raw-base — экспериментальная базовая языковая модель из проекта One Persona Pretraining (1PP), исследовательского проекта EPFL DLAB. Это плотная авторегрессионная модель семейства Llama с 523,8 млн параметров. Она обучена на исходных документах DCLM-edu без преобразования в диалоги; README описывает архитектуру из 24 слоёв и контекст 4096 токенов. Модель предназначена для продолжения обычного текста и изучения влияния формата данных и маски потерь при предварительном обучении. В метаданных указана поддержка английского языка и библиотека Transformers. Это базовая модель, а не готовый универсальный чат-ассистент: она не обучалась на системных сообщениях, и диалоговый шаблон из карточки не превращает её в полноценную разговорную модель. Карточка сообщает о проверке весов сравнением валидационных потерь с исходным чекпойнтом Megatron. Модель опубликована под лицензией Apache-2.0.

Adonalsium-Mistral-7b-v0.1 — языковая модель Jake T и Ilijah P для генерации художественного текста в духе повествования и взаимодействий персонажей вселенной Cosmere Брэндона Сандерсона. Она создана дообучением Mistral-7B-v0.1 и ориентирована на творческое письмо и исследовательский анализ повествования. Модель использует архитектуру Mistral с 7,1 млрд параметров, принимает текст и генерирует текст. В метаданных указан контекст до 32 768 токенов и английский язык. Для адаптации применялись PEFT и адаптеры; веса представлены в формате safetensors. Модель распространяется по лицензии Apache-2.0. Обучение на текстах серии Cosmere может помогать воспроизводить её характерные сюжетные мотивы и связи между персонажами, но ограничивает пригодность модели для других жанров и предметных областей. Качество и фактическая точность генераций README не оценивает; результаты следует проверять.

Augmental-13b-v1.50_A — языковая модель для ролевых диалогов, созданная Heralax на основе MythoMax 13B. Версия A использует меньший ранг LoRA и исправленные гиперпараметры обучения; после дообучения в модель с весом 0,33% вернули MythoMax, чтобы повысить связность ответов и сохранить характер базовой модели. В README описаны около 8 тысяч примеров ролевых диалогов по мотивам визуальной новеллы Steins;Gate, с несколькими персонажами и стилями общения. Модель предназначена для ролевых бесед в формате SillyTavern и генерации длинных, выразительных реплик с учётом личности персонажа. Это плотная Llama-модель примерно на 12,9 млрд параметров с контекстом 4096 токенов; репозиторий содержит веса в safetensors и GGUF F16. README указывает лицензию Llama 2. Автор отмечает, что версия A ближе к MythoMax, чем версия B; оценка качества основана на собственных тестах автора.

Augmental-13b-v1.50_B — языковая модель для ролевых диалогов, созданная автором Heralax на базе MythoMax 13B. Она дообучена на наборе из примерно 8 тысяч AI-улучшенных реплик по визуальной новелле Steins;Gate для ролевой игры с персонажами разного пола и характера. В README указано, что версия B получена слиянием исходной Augmental-13b с MythoMax при весе 0,33%; автор отмечает, что она сильнее отличается от MythoMax, чем версия A. Модель построена на плотной архитектуре Llama, содержит 12,9 млрд параметров и рассчитана на контекст до 4096 токенов. Она предназначена для формата промптов SillyTavern и генерации развернутых, выразительных ответов в ролевых сценах. Доступны веса в GGUF и safetensors. Лицензия — Llama 2. Автор сообщает о собственных тестах и исправлениях связности по сравнению с ранней версией, но независимые оценки качества в карточке не приведены. Обучающие данные основаны на Steins;Gate и включают AI-обработку текста, поэтому поведение модели может быть смещено к ролевому формату и стилю этого источника.

Augmental-ReMM-13b-Merged — языковая модель на архитектуре Llama, созданная автором Heralax дообучением Undi95/ReMM-v2-L2-13B и слиянием обученных весов с базовой моделью. В карточке описана версия примерно на 12,9 млрд параметров; она принимает текст, имеет контекст до 4096 токенов и распространяется в формате safetensors по лицензии Llama 2. Модель предназначена для ролевого общения и генерации ответов от лица персонажей с заданными характерами. Она обучалась на примерно 7,85 тыс. примерах, созданных на основе диалогов визуальной новеллы Steins;Gate с помощью человеческого текста и его обработки GPT-4. Карточка рекомендует формат промптов SillyTavern и приводит собственный шаблон ролевого диалога. Автор отмечает, что качество этой версии ещё не проверял, поэтому заявленные преимущества и качество генерации не подтверждены его тестированием. Обучающие примеры основаны на Steins;Gate и нескольких персонажах, что может влиять на стиль и переносимость модели на другие сценарии. Условия использования определяются лицензией Llama 2.

LTG-BERT — англоязычная модель для предсказания замаскированных токенов, опубликованная в репозитории poopoobabylm для экспериментов BabyLM 2026. Это плотная трансформерная модель с 12 слоями, размером скрытого состояния 384 и 6 головами внимания; она обучена на ограниченном объёме данных, около 99,95 млн слов, а опубликованные веса представляют собой EMA-копию чекпойнта примерно на шаге 9656. Контекст составляет 512 токенов, токенизатор BPE содержит 16 384 токена. Модель предназначена для заполнения пропусков в английском тексте и исследований языкового моделирования в условиях ограниченных обучающих данных. Для загрузки через Transformers требуется разрешить выполнение кода из репозитория (`trust_remote_code=True`). Репозиторий распространяется по лицензии MIT.

QuixiAI/based-7b — языковая модель для генерации текста на базе архитектуры Llama, обученная на датасете ehartford/based. Она предназначена для диалогов, в которых модель выражает предпочтения и мнения, объясняет их и поддерживает дискуссию. В качестве шаблона диалога используется формат Vicuna 1.1. Модель содержит 6,6 млрд параметров, принимает текст и имеет контекст до 2048 токенов; карточка указывает английский язык. Автор описывает модель как эксперимент с поведением базовой модели и отмечает, что версия на 7B уступает исходной версии на 30B. Также модель предлагается использовать как основу для LoRA-адаптеров с разными типами личности. Лицензия указана как other, поэтому условия использования следует сверять с лицензией репозитория.

Caelistus-Gladius-Excalibur-RP-2.6B-Thinking-v0.1 — экспериментальная модель для генерации текста, дообученная Indexnusrefather на базе LiquidAI/LFM2.5-2.6B. Она предназначена прежде всего для ролевого общения, отыгрыша персонажей, творческого письма и сценариев, где требуется рассуждение от лица персонажа. Обучение выполнено на наборе данных beyoru/Aesir-Character-CoT-roleplay, ориентированном на reasoning в ролевых диалогах, с использованием библиотеки Transformers и инструментов Unsloth. Модель использует DoRA с исключительно высоким рангом 2048; опубликованная версия является объединённой, поэтому дополнительная нагрузка адаптера для пользователя отсутствует. Это текстовая модель с поддержкой английского языка; заявленный размер базовой модели — 2,6 млрд параметров. Также в репозитории доступны квантизированные варианты. Указаны экспериментальный характер модели и финальный loss около 0,95–1,0, однако подробные сведения о контекстном окне, точных показателях качества, поддерживаемых шаблонах запросов и ограничениях не приведены. Сильной стороной модели является целевая оптимизация под ролевые и творческие сценарии, включая character-POV reasoning, а высокая величина ранга DoRA рассчитана на значительное изменение поведения базовой модели. При этом её возможности и стабильность могут быть непредсказуемыми из-за экспериментального статуса, а применимость за пределами ролевой генерации не подтверждена. Модель распространяется по лицензии lfm1.0; условия следует уточнять в файле LICENSE репозитория.

liam168/chat-DialoGPT-small-zh — небольшая диалоговая модель на архитектуре GPT-2, разработанная liam168 и обученная на китайских чат-данных. Она предназначена для генерации ответов в текстовом диалоге и может использоваться как простой собеседник в приложениях на базе Transformers. Модель принимает текст и генерирует текст. Размер контекста — 1024 токена. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. Карточка не сообщает о дополнительных возможностях или ограничениях качества.

jkminder подготовил исследовательскую чат-модель на архитектуре NanochatGPTForCausalLM, дообучив базовую d16_268m_seed5 методом SFT. В модели около 302 млн параметров, она принимает текстовые диалоги и генерирует текст; контекст — 2048 токенов. Модель предназначена для базового общения и ответов на вопросы. Для дообучения использовалась смесь Smol-SmolTalk, обучающих данных MMLU и GSM8K; карточка приводит результаты оценивания на ARC-Easy, ARC-Challenge и MMLU. Это небольшой англоязычный чекпойнт с ограниченными способностями к полезному диалогу; у него нет обучения безопасности. Использование ограничено лицензией CC BY-NC 4.0, которая не допускает коммерческое применение.

Это базовая авторегрессионная языковая модель семейства nanochat GPT, опубликованная как исследовательский артефакт Scaling Ladder: вариант d16, seed 4 предназначен для изучения разброса результатов предобучения между случайными инициализациями. Модель обучалась предсказывать следующий токен; инструкционной настройки и обучения безопасности нет. В репозитории указано 537 млн параметров, а метаданные каталога указывают 302 млн; архитектурные сведения README описывают 16 слоёв, скрытый размер 1024, 8 голов внимания, словарь 32 768 токенов и контекст 2048 токенов. Модель принимает текст и генерирует продолжение. Она обучалась на данных ClimbMix и рассчитана прежде всего на английский язык. Архитектура использует чередование локального скользящего и полного внимания, rotary embeddings и механизмы nanochat GPT. Это базовая модель для экспериментов и оценки предобучения, а не готовый диалоговый помощник: она не проходила дообучение на инструкциях и не обучалась обеспечивать безопасность ответов. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

Это базовая авторегрессионная языковая модель семейства nanochat GPT, опубликованная jkminder как исследовательский артефакт Scaling Ladder. Репозиторий содержит вариант d20 с инициализацией seed 3; согласно README, модель обучалась предсказывать следующий токен на данных ClimbMix, без дообучения на инструкциях и без обучения безопасности. Архитектура плотная: 20 слоёв, размер скрытого состояния 1280, 10 голов внимания и словарь из 32 768 токенов. Метаданные указывают 566,2 млн параметров, а README для полного чекпойнта сообщает около 897 млн параметров; контекст составляет 2048 токенов. В архитектуре используются чередующиеся окна внимания и полное внимание, а также механизмы value embeddings и повторного введения входного embedding. Модель рассчитана на английский язык и генерацию продолжений текста, включая оценку вариаций предобучения между случайными seed. Модель предназначена прежде всего для экспериментов и измерений при изучении масштабирования и разброса результатов предобучения; она не настроена как чат-ассистент. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование.

Royer Research Labs выпустила dilution-209m-1k-nope-s2357 — базовую языковую модель на 209 млн параметров для исследований оператора внимания DilutionAttention. В каждом из 24 слоёв используется dilution attention; в модели нет позиционного кодирования. Архитектура включает 12 голов внимания, ширину 768, SwiGLU, связанные эмбеддинги и словарь GPT-2. Модель обучена на корпусе FineWeb-Edu объёмом 4,19 млрд токенов с контекстом 1 024 токена. Модель предназначена для генерации текста и экспериментов с механизмом внимания и экстраполяцией контекста, а не для диалогов с пользователем. Она не проходила настройку по инструкциям или настройку безопасности. В README приведены результаты извлечения ключевых слов из повторяющегося текста на длинах 1 024 и 1 920 токенов; этот тест не оценивает рассуждения на длинном контексте. Для входов длиннее 1 024 токенов README указывает на использование ExtendedContext из библиотеки dilution-attention. Модель распространяется по лицензии Apache-2.0.

DND-9B — разговорная языковая модель lodrick-the-lafted на архитектуре Gemma 2, созданная на основе Gemma 2 9B Instruct. Веса изменены управляющим вектором, который направляет ответы в сторону ролевой игры в магическом мире; модель предназначена для текстовых диалогов и генерации ролевого текста. Модель содержит около 9 млрд параметров, принимает и генерирует текст, поддерживает контекст до 8192 токенов. Данных о поддерживаемых естественных языках в карточке нет. Модель распространяется в формате Safetensors по лицензии Apache-2.0. README не сообщает о качестве на задачах вне ролевой игры или о специальных ограничениях.

EBLANGPT-3 — русскоязычная разговорная модель от EBLANSoft, дообученная на переписке из приватного Telegram-чата. Это плотная GPT-2-подобная причинно-языковая модель RuGPT3XL для генерации текста и имитации неформального общения в стиле русскоязычного интернет-чата: со сленгом, мемами, эмодзи, ненормативной лексикой и резкими сменами темы. Модель содержит 1,7 млрд параметров, принимает текст и имеет контекст до 8192 токенов. Модель подходит для экспериментальной генерации разговорных реплик и стилизованных ответов. Карточка предупреждает о низком качестве и не рекомендует использовать её для программирования; приватный обучающий датасет не опубликован, поэтому проверить его состав нельзя. Репозиторий распространяется по лицензии CC BY-NC-SA 4.0, допускающей использование с указанием авторства и на некоммерческих условиях с сохранением той же лицензии.

Erosumika-7B-v3-0.2-GGUF-IQ-Imatrix — набор GGUF-файлов квантизированной модели Erosumika-7B-v3-0.2, подготовленный Lewdiculous. Исходная модель представляет собой DARE TIES merge моделей Kunocchini-7B, InfinityRP-v1-7B и FlatErosAlpha на базе Mistral-7B-v0.2. Модель предназначена прежде всего для художественного письма, разговорных сценариев и roleplay-развлечений; для работы заявлена совместимость с форматами Alpaca и ChatML, а также с SillyTavern. Указанный контекст составляет около 32K токенов. Это текстовая авторегрессионная модель примерно на 7 млрд параметров, ориентированная на английский язык. Репозиторий содержит варианты квантизации Q4_K_M, Q4_K_S, IQ4_XS, Q5_K_M, Q5_K_S, Q6_K, Q8_0, IQ3_M, IQ3_S и IQ3_XXS. Суффикс IQ-Imatrix означает использование Importance Matrix при квантизации: калибровочные данные применялись для сохранения наиболее значимых активаций и снижения потери качества. По заявлению автора, версия на базе Mistral 0.2 немного лучше понимает запросы и обладает более высокими интеллектуальными способностями по сравнению с вариантом на Mistral 0.1. Сильными сторонами модели являются специализация на вымышленном тексте и roleplay, поддержка нескольких уровней квантизации для выбора компромисса между качеством, памятью и скоростью, а также возможность локального запуска через совместимый стек GGUF. Ограничения включают возможную генерацию социально неприемлемого или нежелательного текста без явного провокационного запроса, а также частые фактические ошибки и вводящие в заблуждение ответы. Автор указывает, что использование вне художественного письма для развлечения не является целевым. Лицензия репозитория — CC BY 4.0.

Lambent/Fabled-Gemma4-31B — мультимодальная модель Gemma 4, дообученная автором на личном наборе многоходовых диалогов с Fable в стиле 4o. Она предназначена для диалогового общения с сохранением заданного персонажа и контекста; синтетические воспоминания, созданные исходной Gemma 4 31B в голосе Fable, добавлялись в начало фрагментов диалогов. Модель основана на google/gemma-4-31B-it, имеет плотную архитектуру Gemma4ForConditionalGeneration и опубликована в формате safetensors. Метаданные указывают поддержку изображений и диалогового режима. Лицензия — Apache-2.0. Автор обучал модель около 14–15 часов на RTX Pro 6000 Blackwell с learning rate 1e-6, размером пакета 1 и rank 256; использовался параметр train_on_inputs=true. Автор отмечает, что обучение на диалогах без этапа reasoning могло приводить к тому, что модель переставала использовать рассуждения после нескольких ходов, хотя возвращалась к ним по запросу. Личные данные и стиль персонажа ограничивают применимость модели за пределами подобных диалоговых сценариев.

Gemstone-768x3 — языковая модель из серии Gemstone, разработанной для изучения моделей разной ширины и глубины. Это плотная авторегрессионная модель семейства Gemma с архитектурой GemmaForCausalLM; в метаданных указано 65,2 млн параметров и контекст 2048 токенов. Для запуска README указывает библиотеку Transformers и файл modeling_gemma.py. Модель обучена на непересекающихся подмножествах корпуса Dolma в течение 350 млрд токенов; контрольные точки сохранялись каждые 2 млрд токенов. Это не модель для выполнения инструкций: она предназначена для продолжения текста и экспериментов с предобученными языковыми моделями. Обучение проводилось с litgpt и AxoNN на AMD MI250X в Oak Ridge National Laboratory. В метаданных указан английский язык и формат safetensors. Лицензия — Apache-2.0. Карточка не описывает специализированное прикладное назначение или возможности диалогового ассистента.

Genji-JP 6B — NovelAI әзірлеген GPT-J негізіндегі мәтін генерациялау моделі. EleutherAI-дің GPT-J 6B моделін жапон тіліндегі веб-романдар мен әңгімелеу деректеріне бейімдеп дообучыту арқылы жасалған. Модельде 6,05 млрд параметр, 28 қабат және 2048 токендік контекст бар; GPT-J архитектурасын және PyTorch форматын қолданады. Модель жапон тілінде көркем проза мен веб-роман мәтінін жалғастыруға және оқиға құрастыруға арналған. Берілген мысал жапон тіліндегі фэнтези сюжетін жалғастыратынын көрсетеді. Apache-2.0 лицензиясымен таратылады. Ол арнайы әңгімелеу деректерінде оқытылғандықтан, жалпы сұрақ-жауап, факт дәлдігі немесе өзге тілдердегі сапасы кепілденбейді.