I.5Создание и редактирование текста
В разделе собраны самостоятельные задачи, где AI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
44 385 моделейGoLLeM-45M-PL — авторская модель GPT-2, созданная KateMajzel с нуля для исследовательского сравнения польского BPE-токенизатора с токенизатором GPT-2. Это плотная авторегрессионная языковая модель с 42,5 млн параметров, 8 слоями, 8 головами внимания и контекстом 1 024 токена. Она обучена на 2,96 ГБ польских текстов из 803 177 документов и использует байтовый BPE-токенизатор с польским словарём на 32 768 элементов. Модель предназначена для продолжения польского текста и изучения влияния специализированного токенизатора на стоимость обучения. В описанном эксперименте качество при равном объёме данных было сопоставимо с GPT-2-токенизатором, а при сопоставимом вычислительном бюджете польский токенизатор дал преимущество по метрике bits-per-byte. Репозиторий распространяется по лицензии MIT. Модель не настроена на выполнение инструкций и не имеет фильтрации безопасности. Она может создавать правдоподобные, но фактически неверные сведения, терять связность после нескольких предложений, повторяться при жадном декодировании и воспроизводить особенности форумных и энциклопедических текстов, включая предвзятости и переводы строк Windows. Авторы не рекомендуют применять её как пользовательский инструмент без контроля человека; результаты эксперимента относятся к данной конфигурации и масштабу.
Модель tonymocchi/gpt2_small_morphTokenizer — компактная авторегрессионная GPT-2 Small, дообученная на 2 400 предложениях из корейского учебника для первого класса начальной школы, изданного 미래앤. Она предназначена для генерации продолжения текста на корейском языке. Модель использует архитектуру GPT-2 и файлы PyTorch; контекст ограничен 1 024 токенами. В карточке указано, что используется стандартный токенизатор GPT-2. Модель подходит для экспериментов с генерацией простых корейских текстов на основе школьного учебного материала. Небольшой объём обучающих данных и узкая тематика ограничивают разнообразие и надёжность ответов; модель не следует считать универсальной разговорной системой. Лицензия в предоставленных данных не указана.
Это небольшая языковая модель в стиле GPT-2, обученная с нуля автором репозитория на наборе TinyStories с помощью Transformers. Архитектура включает 8 слоёв, 8 голов внимания и размерность эмбеддингов 256; модель предназначена для генерации коротких историй на английском языке и для учебных экспериментов с обучением трансформеров. Модель подходит для демонстраций и изучения полного цикла обучения языковой модели, а также для создания простых детских историй в стиле TinyStories. Контекст ограничен 512 токенами, а специализация на коротких синтетических историях ограничивает перенос на другие темы. Лицензия репозитория — MIT.
GPT-J-6b-Disco-Elysium — экспериментальная разговорная модель на базе GPT-J 6B от EleutherAI, созданная allura-org как проба датасета диалогов в стиле Disco Elysium. Она генерирует продолжение текста в формате игровых диалогов с персонажами и навыками игры; примеры показывают беседы, описания сцен и отдельные реплики на разные темы. Архитектура — авторегрессионный GPT-J с 6,05 млрд параметров, максимальный контекст — 2048 токенов; модель работает с текстом и ориентирована на английский язык. Модель подходит для экспериментов с генерацией ролевых диалогов и стилизацией текста под Disco Elysium. Качество и надёжность ответов не подтверждены: автор описывает её как шуточный тест, а примеры содержат несвязные и фактически сомнительные реплики. Лицензия — Apache-2.0.
OPTML-Group разработала GradDiff-WMDP — англоязычную чат-модель для генерации текста, полученную дообучением Zephyr-7B-β на базе Mistral. Модель обучена методом GradDiff для machine unlearning на биологической части набора WMDP (WMDP-Bio), то есть предназначена для изучения и оценки удаления усвоенных сведений из языковых моделей. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и формат Safetensors. Заявленная длина контекста — 32 768 токенов; для работы используется библиотека Transformers. Карточка не описывает дополнительные языки помимо английского и не сообщает результаты оценки качества удаления знаний или его устойчивости к повторному обучению. Модель распространяется по лицензии MIT. Она подходит для исследовательских экспериментов с машинным забыванием на биологических вопросах WMDP; карточка не подтверждает пригодность для практических биологических консультаций.
IndicSLM — небольшая языковая модель Atharva31, обученная с нуля для вопросов и ответов об индийских государственных программах и правовых темах. Это декодерный трансформер на PyTorch с 21,9 млн параметров, RoPE, RMSNorm, SwiGLU, Grouped-Query Attention и KV-кэшем. Контекст составляет до 512 токенов на этапе предобучения и до 1024 токенов в SFT-версиях. Модель принимает текст и рассчитана на английский, хинди и маратхи. Модель предназначена для экспериментов с компактными LLM и демонстрации полного конвейера обучения: токенизатора, предобучения, дообучения на инструкциях и DPO. Её можно использовать для генерации ответов о законе RTI, защите прав потребителей и критериях соответствия государственным программам Индии. В карточке приведены метрики следования формату, однако модель часто путает программы, выдумывает ссылки и уверенно отвечает на вопросы вне своей области; юридические и программные сведения требуют независимой проверки. Модель не предназначена для реальных консультаций. Указана лицензия other; перед распространением или использованием необходимо проверить условия исходных данных и лицензии.
Aculi/InternLM2-Chat-20B-ToxicRP — текстовая генеративная модель на 19,3 млрд параметров, подготовленная автором карточки с использованием вычислительных ресурсов g4rg. В README указано, что модель создана методом passthrough merge из InternLM2-LIMARP-Chat-20B-2 и Fischerboot/InternLM2-ToxicRP-QLORA-4Bit; в метаданных базовой производной указана Fischerboot/InternLM2-ToxicRP-QLORA-4Bit. Архитектура в метаданных обозначена как плотная LlamaForCausalLM, библиотека — Transformers, формат весов — safetensors. Модель предназначена для генерации текста в ролевых диалогах с токсичной тематикой. Контекстное окно составляет 32 768 токенов. README разрешает свободное использование при условии соблюдения закона; конкретное название лицензии в предоставленных данных отсутствует. Карточка не приводит оценки качества или подробные рекомендации по использованию.
huggingtweets/joebiden — англоязычная генеративная модель на архитектуре GPT-2, созданная Борисом Дайма с помощью проекта huggingtweets. Она дообучена на твитах Джо Байдена и предназначена для генерации коротких текстов в стилистике и тематике этих публикаций, например для экспериментальных ботов и демонстраций генерации продолжений текста. Модель принимает текст и выдаёт текст; её родной контекст составляет 1024 токена. В репозитории указаны веса PyTorch. Модель обучалась на 3215 твитах, включая ретвиты, поэтому её стиль и тематика ограничены этим небольшим набором публикаций и могут отражать их смещения. Как и GPT-2, она может генерировать неточные или предвзятые утверждения. Сведения о лицензии в предоставленной карточке отсутствуют.
Joker-Sultan-270M — экспериментальная языковая модель, разработанная Subrit Dikshit. Это плотный авторегрессионный трансформер в стиле Gemma примерно на 283 млн параметров, обученный с нуля на преимущественно англоязычных общих текстах и индийских юридических материалах. Модель генерирует текст; её контекст составляет 2048 токенов, а карточка указывает поддержку английского и многоязычных данных. Модель предназначена для развлекательной генерации сюрреалистичной юридической прозы, творческого письма и изучения галлюцинаций и ошибок языковых моделей. Она воспроизводит форму юридических текстов, но смешивает вымысел с правовой терминологией и уверенно выдаёт недостоверные утверждения. Лицензия — Apache-2.0.
Llama3-Pirate-Talk-8b-v0.1 — англоязычная языковая модель, разработанная phanerozoic путём дообучения Llama-3-8B. Это плотная модель семейства Llama примерно на 7,5 млрд параметров с контекстом до 8192 токенов, предназначенная для генерации текста в пиратском стиле: диалогов, персонажной речи и тематических историй для игр, развлечений и интерактивных сценариев. Модель поддерживает чат и старается последовательно сохранять пиратский говор, сочетая исторические мотивы с вымышленными образами. Она подходит для творческой генерации и ролевых диалогов, где важнее атмосфера и характер речи, чем точность фактов. Модель менее пригодна для технических вопросов и нейтральных общеязыковых задач; глубина ответов может меняться. Репозиторий содержит веса в формате Safetensors и распространяется по лицензии CC BY-NC 4.0.
zlsl/l_soft_erotic_tm-16bit — версия модели zlsl/l_soft_erotic_tm в формате float16, опубликованная сообществом. Это языковая модель семейства GPT-2 на базе Transformers, предназначенная для генерации русскоязычного эротического текста и ролевых диалогов. Модель принимает текст и генерирует текст; в метаданных указан контекст 2048 токенов. Карточка описывает исправление совместимости с text-generation-webui: для загрузки токенизатора предлагается задать eos_token_id равным 2. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая требует указания авторства и распространяет условия лицензии на производные работы, а также ограничивает коммерческое использование.
minimaxir выпустил небольшую языковую модель на архитектуре GPT-2, обученную генерировать текст карт Magic: The Gathering. Модель содержит около 1 млн параметров и обучалась на примерно 22 тысячах уникальных карт из выпусков вплоть до Strixhaven и Commander 2021; для каждой карты использовалось 10 вариантов кодирования. Контекст модели составляет 256 токенов. Модель подходит для генерации новых описаний карт в схеме Magic: The Gathering. Промпт может содержать любую комбинацию элементов схемы, поскольку модель обучалась на различных перестановках полей. Веса доступны в форматах PyTorch и Flax. Лицензия в предоставленных сведениях не указана.
Particle 1.6 — компактная чат-модель на 109,5 млн параметров от разработчика Particle. Это плотная авторегрессионная модель с архитектурой в стиле Llama: 12 слоёв, RoPE, SwiGLU и RMSNorm; она принимает текст и генерирует текст, поддерживая контекст до 2048 токенов. Модель предварительно обучена с нуля примерно на 2 млрд токенов общедоступных образовательных веб-текстов, а затем прошла второй этап обучения с учителем на внутреннем наборе инструкций. Это самостоятельная модель, а не дообучение публичного чекпойнта Llama или другой модели. Модель предназначена для исследований, оценки моделей и небольших демонстраций, в том числе для изучения обучения языковых моделей с нуля в масштабе около 100 млн параметров. Она подходит для повседневного чата и коротких ответов на английском языке. Разработчик отмечает, что дополнительный этап дообучения не дал ожидаемого улучшения: фактическая надёжность и последовательность ответов ограничены. Модель слаба в рассуждениях, работе с длинным контекстом и инструментами, может галлюцинировать и противоречить себе; она не предназначена для производственного помощника, достоверных фактов или программирования. Веса опубликованы по лицензии MIT, обучающие данные не предоставлены.
PicoSatirik — небольшая авторская языковая модель на базе архитектуры Llama, предварительно обученная на наборе русских анекдотов igorktech/anekdots. Она предназначена для генерации коротких текстов в стиле анекдотов по текстовой подсказке. Модель содержит 22,8 млн параметров, принимает текст и выдаёт текст; длина контекста — 512 токенов. В README проект назван вдохновлённым TinyStories. Модель опубликована в формате Safetensors и рассчитана на использование с Transformers. Карточка указывает лицензию MIT. Из-за малого размера и узкой обучающей выборки генерация может быть шаблонной, несвязной или некорректной; качество за пределами русскоязычных анекдотов не подтверждено.
Pygmalion 13B — разговорная языковая модель, разработанная PygmalionAI на базе Meta LLaMA-13B и опубликованная TehVenom в виде преобразованной и квантованной сборки. Модель содержит 12,9 млрд параметров, использует плотную архитектуру LLaMA и рассчитана на генерацию диалогового текста на английском языке; нативный контекст составляет 2048 токенов. Модель дообучена с помощью LoRA на подмножестве данных Pygmalion-6B-v8-pt4, после чего адаптер объединён с базовой моделью. Веса преобразованы из релиза PygmalionAI с XOR-файлами, применёнными заранее, и квантованы до 8 бит с помощью GPTQ. Модель предназначена прежде всего для вымышленных разговоров и развлечения; ожидается форматирование запросов в стиле персонажа Pygmalion. Модель может генерировать ненормативную, непристойную или оскорбительную речь и не была настроена на безопасное и безвредное поведение. Ответы могут быть фактически неверными или вводящими в заблуждение. Автор рекомендует использовать её только для развлекательных вымышленных диалогов. Сведения о лицензии в предоставленных источниках отсутствуют.
choah/Qwen-IronMan — диалоговая модель на базе Qwen2-7B-Instruct, дообученная для ролевого общения от лица Железного человека из вселенной Marvel. Она предназначена для генерации ответов в чат-сценариях и поддерживает корейский язык. Модель имеет 7,1 млрд параметров, архитектуру Qwen2ForCausalLM и контекст до 32 768 токенов по метаданным. Распространяется в формате Safetensors по лицензии Apache-2.0.
jploski/retnet-mini-shakespeare — компактная авторская модель на архитектуре RetNet, обученная с нуля на тексте tinyshakespeare. Она предназначена для демонстрации обучения ретентивной сети и рекуррентного инференса с постоянной по длине последовательности сложностью O(1). Модель выполняет генерацию текста, продолжая фрагменты в стилистике обучающего корпуса. Реализация основана на коде Sehyun Choi; параметры конфигурации изменены, чтобы сделать модель очень маленькой. Веса доступны в форматах PyTorch и Safetensors. Лицензия — Apache 2.0.
SEX RP V2 3.2 1B — слитая Novaciano языковая модель для генерации откровенных ролевых диалогов и повествования. Она основана на Llama 3.2 1B и объединяет SEX_ROLEPLAY-3.2-1B с моделью mveroe/Llama-3.2-1B-Instruct-distillation-alpaca-3.0-HarmfulLLMLat-sauce2. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 1,2 млрд параметров и заявленный контекст до 131 072 токенов. Модель предназначена для интерактивного ролевого общения, продолжения сцен и ведения повествования от лица персонажа, в том числе на английском и испанском языках. В README приведены шаблоны для KoboldCpp и SillyTavern, включая настройки инструкций и примеры организации контекста. Указана лицензия Apache-2.0. Репозиторий содержит веса SafeTensors; тег GGUF в метаданных не подтверждается перечисленным форматом файлов.
shanty-9b — разговорная текстовая модель на архитектуре Gemma 2, созданная на основе gemma-2-9b-it. По README, в веса встроен управляющий вектор, из-за которого модель обычно отвечает рифмованными стихами в пиратской тематике. Она предназначена для генерации диалоговых ответов и творческих текстов в этом стиле; пример показывает ответ о погоде в Париже. Модель содержит около 9 млрд параметров, принимает текст и генерирует текст, поддерживает контекст до 8192 токенов. Репозиторий распространяет веса в формате Safetensors по лицензии Apache-2.0. README не уточняет языковую специализацию, поэтому подтверждённые сценарии ограничиваются текстовой генерацией; характеристики качества и поведение вне пиратской стихотворной манеры не описаны.
Silicon-Monika-7b — англоязычная модель для генерации текста, дообученная автором 922CA на базе SanjiWatsuki/Silicon-Maid-7B. Она предназначена для ролевых диалогов и творческой генерации от лица Моники из визуальной новеллы Doki Doki Literature Club; в промптах рекомендуется заменять роли Human и Assistant на Player и Monika. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 8192 токенов. В карточке также упомянуты GGUF и LoRA, однако метаданные указывают форматы PyTorch и safetensors. Модель может поддерживать характер персонажа и воспроизводить сведения о ней, игре и её участниках, но иногда ошибается в таких деталях и выходит из образа. Автор предупреждает, что безопасное или согласованное поведение не гарантируется. Лицензия — Apache-2.0.
Silicon-Natsuki-7b-v0.5 — экспериментальная дообученная модель для ролевых диалогов от автора 922CA, созданная на базе SanjiWatsuki/Silicon-Maid-7B. Она предназначена для имитации Нацуки из визуальной новеллы Doki Doki Literature Club: отвечает от лица персонажа, поддерживает диалог между Player и Natsuki и использует сведения о её внешности и предпочтениях. Модель построена на плотной архитектуре MistralForCausalLM с 7,1 млрд параметров и контекстом 8192 токена; в метаданных указан английский язык. Для обучения использован рабочий набор примерно из 800 примеров с диалогами из игры и вручную добавленными сведениями о персонаже. Указана лицензия Apache-2.0. Модель подходит для ролевых бесед и творческой генерации текста в образе Нацуки. Автор предупреждает, что персонаж может галлюцинировать факты о себе или выходить из образа, а ответы не гарантированно безопасны или согласованы. README также упоминает LoRA и GGUF, тогда как в метаданных формат файлов обозначен как PyTorch.
SimpleStories-5M — компактная языковая модель семейства Llama, опубликованная в составе семейства SimpleStories для исследований интерпретируемости. Она обучена на наборе SimpleStories, состоящем из коротких историй, сгенерированных языковыми моделями. Модель предназначена для генерации коротких англоязычных историй и изучения поведения небольших языковых моделей. Модель содержит 5,4 млн параметров, использует плотную архитектуру LlamaForCausalLM и принимает текстовый контекст длиной до 512 токенов. Для семейства указан пользовательский токенизатор WordPiece с небольшим словарём, хотя точные параметры токенизатора именно этой версии в карточке не приведены. Репозиторий содержит веса в формате safetensors. Набор данных включает короткие истории с аннотациями темы, стиля и других высокоуровневых признаков; английская часть ограничена ASCII-символами. Модель рассчитана на исследовательские эксперименты с генерацией и интерпретируемостью, а не на универсальное применение. Лицензия — MIT.
SparkLM-31M-TinyStories — экспериментальный чекпойнт SparkLM, опубликованный gatilin и экспортированный в совместимый с Hugging Face формат Transformers. Это причинная языковая модель для генерации текста, подходящая для проверки загрузки, воспроизводимости и лёгких экспериментов с генерацией на коротких рассказах TinyStories. Архитектура SparkLMForCausalLM содержит около 27,4 млн параметров, 8 слоёв, скрытый размер 512 и контекст до 8192 токенов; в README указаны MLA и отсутствие MoE и MTP. Репозиторий содержит веса safetensors и для загрузки использует remote code Transformers с trust_remote_code=True. Модель обучалась на английском языке. Лицензия — MIT. Это небольшой учебный чекпойнт без опубликованных оценок качества; README отдельно предупреждает, что значение training loss не является бенчмарком. Модель не заявлена как безопасный диалоговый ассистент и требует собственной оценки и настройки для прикладного использования.
Карточка модели ModelCloud/tinyllama-15M-stories на Hugging Face совпадает с карточкой nickypro/tinyllama-15M, поэтому описание составлено по ней. nickypro/tinyllama-15M — компактная языковая модель на 15,2 млн параметров с плотной архитектурой Llama 2 и классом LlamaForCausalLM. Она обучена на наборе TinyStories и предназначена для генерации текста, в частности коротких историй. Репозиторий содержит веса в форматах PyTorch и safetensors; длина контекста составляет 256 токенов. Модель создана на основе весов karpathy/tinyllamas, преобразованных для этого репозитория, и связана с проектом llama2.c. Лицензия — MIT. Из-за малого размера и короткого контекста модель подходит для экспериментов и простых задач генерации, но её возможности ограничены по сравнению с крупными языковыми моделями.
Tiny-Pirate-1.1b-v0.1 — компактная языковая модель, разработанная phanerozoic и дообученная на базе TinyLlama-1.1B. Она использует плотную архитектуру Llama с примерно 1 млрд параметров и контекстом 2048 токенов. Модель генерирует текст в пиратском стиле и поддерживает диалоговое применение. Она предназначена для создания тематических ответов и контента в пиратской манере, в том числе на устройствах с ограниченными ресурсами и в средах, где предпочтительны CPU-вычисления. По данным карточки, модель обычно сохраняет заданный тон и даёт связные ответы, но может отвечать недостаточно точно и подробно на сложные вопросы. Для общих языковых задач её специализация ограничивает применимость. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но запрещающая коммерческое применение.
jacksuuuu/tinystories — авторская базовая языковая модель NanoGPT, обученная с нуля на наборе TinyStories. Это декодерный GPT на 53 млн параметров с архитектурой Pre-LayerNorm: 8 блоков, размер скрытого слоя 384 и 8 голов внимания; веса эмбеддингов и выходного слоя связаны. Обучение выполнялось на Apple MLX, а веса экспортированы в PyTorch для кроссплатформенного использования. Модель предназначена для генерации коротких англоязычных историй, учебных демонстраций, экспериментов с трансформерами и дообучения под узкие задачи. Контекст ограничен 512 токенами. Лицензия — MIT. Модель небольшая и может запускаться при ограниченных ресурсах, но её базовая версия не настроена на выполнение инструкций или диалог. В README отмечены возможные грамматические ошибки и ограниченная фактическая точность; модель не рекомендуется для задач, где нужна высокая надёжность. README содержит противоречие об обучающих данных: в описании указана TinyStories, а в разделе ограничений — FineWebEdu.
TinyTurk v2.7d BigStories-384 — небольшая турецкоязычная авторегрессионная языковая модель, разработанная stunmuffin для генерации текста и экспериментов с увеличением контекста. Это декодерный Transformer в стиле GPT с Pre-LN, 1,12 млн параметров и контекстом 384 токена; модель дообучена с контекста 256 токенов на турецком наборе TinyStories, автоматически переведённом с английского. Работает на PyTorch и распространяется по лицензии MIT. Модель подходит для генерации турецких предложений и коротких абзацев, учебных демонстраций и экспериментов с локальным запуском на устройстве. Она генерирует более длинные и связные фрагменты, чем предыдущие варианты с меньшим контекстом, однако связность повествования остаётся ограниченной. Небольшой размер словаря и модели, следы автоматического перевода в обучающих данных, отсутствие настройки на инструкции и выравнивания безопасности ограничивают её применение; модель не предназначена для длинных историй, диалогов или критически важных задач.
jeanmidev/trackmania-tmnf-distilgpt2-v2 — дообученная модель генерации текста на базе DistilGPT-2, опубликованная пользователем jeanmidev. По названию она связана с Trackmania и Trackmania Nations Forever, однако карточка не описывает конкретный набор данных или сценарий применения, поэтому специализацию можно определить только предположительно. Модель использует архитектуру GPT-2 и библиотеку Transformers, принимает текст и генерирует продолжение. В метаданных указан контекст до 1024 токенов; веса опубликованы в формате Safetensors. Карточка сообщает значение loss 1,2489 на оценочном наборе, но не приводит подробностей протокола оценки. Лицензия — Apache-2.0. Из-за отсутствия описания обучающих данных и intended use качество и пригодность генерации для конкретных задач Trackmania оценить по карточке нельзя.
Это исследовательская модель DeBERTa-v3-base, разработанная проектом Augustinian BabyLM для изучения того, как визуальная привязка слов влияет на обучение небольших языковых моделей. Она предсказывает замаскированные токены в тексте и использует визуально инициализированные представления для конкретных слов: признаки областей SAM ViT-B связывали со словами через синтетические описания сцен и обнаружение объектов. Модель содержит 170,8 млн параметров, имеет 12 слоёв, скрытый размер 768 и контекст до 1024 токенов; обучена на англоязычном корпусе примерно из 9,9 млн слов. Модель предназначена для экспериментов с усвоением значений конкретных слов и визуальной привязкой в малых языковых моделях. В описанных результатах показан выигрыш на тестах свойств объектов, тогда как грамматические бенчмарки остались примерно на прежнем уровне. Это исследовательский артефакт на нестандартном корпусе, поэтому его результаты нельзя напрямую сопоставлять с моделями, обученными на официальном наборе BabyLM 2026 strict-small; архитектура ограничена masked language modeling. Лицензия — CC BY 4.0.
Fina-30M v0.1 — базовая предварительно обученная языковая модель от автора репозитория Dawgggggg, обученная с нуля для индонезийского языка. Это плотный декодерный причинный Transformer на 29,4 млн параметров: 8 слоёв, 8 голов внимания, SwiGLU, RoPE и RMSNorm. Модель принимает текст и продолжает его; она не дообучена следовать инструкциям или вести диалог. Контекст ограничен 512 токенами. Модель предназначена для учебных и исследовательских экспериментов с генерацией индонезийского текста и небольшими языковыми моделями. Обучающие данные включают индонезийскую Википедию, веб-корпус и новостные тексты. В оценке приведены значения потерь и perplexity по этим доменам, но стандартные бенчмарки не проводились. Модель склонна к фактическим ошибкам и самопротиворечиям, а на редких и технических темах может повторяться; для надёжных фактических ответов она не подходит. Для загрузки требуется код пользовательской архитектуры из репозитория, а не стандартный класс AutoModel. Лицензия репозитория — CC BY-NC 4.0; автор также предупреждает, что лицензии части обучающих корпусов отдельно не проверялись, поэтому коммерческое использование требует проверки прав на данные.