I.5Создание и редактирование текста

CeLLaTe-tapt-pubmedbert-tokenizer-original-wwmask-combinedData — англоязычная BERT-модель для предсказания пропущенных токенов в биомедицинском тексте. Она дообучена на датасете Mardiyyah/Combined_TAPT_dataset на основе microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext и содержит 136,7 млн параметров. Модель принимает текст и выдаёт предсказания для замаскированных фрагментов; максимальная длина контекста — 512 токенов. Модель подходит для восстановления пропусков и анализа языковых шаблонов в биомедицинских публикациях. В README приведены результаты оценки: loss 1,0617, accuracy 0,7651 и perplexity 2,8914. Использование регулируется лицензией Apache-2.0.

ClinicalMobileBERT — языковая модель семейства MobileBERT, созданная дообучением BioMobileBERT в режиме continual learning на заметках MIMIC-III в течение трёх эпох. Она предназначена для заполнения пропусков в медицинских текстах: модель предсказывает замаскированный токен с учётом окружающего контекста. Архитектура использует компактные эмбеддинги размерности 128, свёрточное повышение размерности и линейные проекции вокруг блоков трансформера; в карточке указано 59,7 млн параметров и контекст до 512 токенов. Модель принимает и выдаёт текст. Лицензия — MIT. Обучение на клинических заметках ориентирует её на медицинскую лексику, но карточка не приводит оценок качества или гарантий применимости в клинических решениях.

sfanm/d24-midtrain-v1base-olmo3-2.3B — базовая языковая модель, созданная с нуля в рамках репликации nanochat глубины 24 и затем прошедшая mid-training в стиле OLMo-3 Dolmino. Это плотный декодер Llama: 24 слоя, размер скрытого состояния 1536, 12 голов внимания, SwiGLU, RoPE, RMSNorm и связанные эмбеддинги; модель содержит около 756,7 млн параметров и использует GPT-2 BPE с размером словаря 50 304. Модель предназначена для продолжения текста и генерации по текстовой подсказке. Это чекпойнт до этапа SFT, поэтому он не рассчитан на диалоговое использование; для чата автор рекомендует соответствующие SFT-чекпойнты. Контекст составляет 2048 токенов. В метаданных указан английский язык. Чекпойнт создан с нуля, обучен на корпусе ClimbMix, а затем дообучен на корпусе из 2,3 млрд токенов в стиле OLMo-3 Dolmino, включавшем в том числе инструкции и вопросы с ответами. README характеризует его как исследовательский чекпойнт репликации nanochat. Лицензия указана как other; веса предоставлены как есть для исследований, а лицензии использованных сторонних корпусов необходимо учитывать отдельно.

Lanni-ni/dynamic_alibi_2_4_256_babylm_10m_seed43_epoch8 — небольшая языковая модель для генерации текста, опубликованная на Hugging Face в формате Transformers. В метаданных указано 15 млн параметров, а название модели и теги указывают на использование подхода dynamic ALiBi; модель предназначена для pipeline text-generation. Модель может применяться для экспериментов с авторегрессионной генерацией текста, проверки архитектурных решений и создания простых прототипов на базе Transformers. Размер 15 млн параметров делает её удобной для исследовательских и учебных сценариев с ограниченными вычислительными ресурсами. README содержит только автоматически сгенерированную карточку и не предоставляет сведений о разработчике, языках, обучающих данных, результатах оценки, лицензии или конкретных ограничениях применения. Поэтому модель не следует рассматривать как проверенное решение для ответственных задач или как источник фактически достоверных текстов.

FineMedLM — медицинская чат-модель на базе Llama 3.1 8B, разработанная Hongzhou Yu. Модель дообучена методом SFT на синтетических медицинских данных; карточка также сообщает о применении DPO для усиления рассуждений и создании FineMedLM-o1. Модель предназначена для диалогов и генерации текста в медицинских сценариях. Она использует плотную архитектуру Llama с примерно 7,5 млрд параметров, поддерживает контекст до 131 072 токенов и рассчитана на английский и китайский языки. Для запуска применяется библиотека Transformers; веса опубликованы в формате safetensors. Использование разрешено по лицензии MIT.

Модель onlysainaa/gemma3-12b-unsloth-finetuned — дообученная текстовая чат-модель семейства Gemma 3, созданная автором репозитория на базе unsloth/gemma-3-12b-it-unsloth-bnb-4bit с использованием Unsloth и Hugging Face TRL. Она предназначена для генерации текста и диалогов; в карточке указан датасет onlysainaa/integralmn-algebra, поэтому модель ориентирована на задачи алгебры на монгольском языке. Модель имеет плотную архитектуру Gemma3ForCausalLM и 11,6 млрд параметров, принимает текст и поддерживает контекст до 131072 токенов. Лицензия — Apache-2.0. Карточка не приводит оценок качества; ответы по алгебре и на монгольском языке следует проверять, а возможности могут зависеть от сохранённой версии весов и используемого формата.

treadon/gemma4-E2B-it-Abliterated-AND-Disinhibited-USE-THIS — экспериментальная производная Gemma 4 E2B IT от автора treadon. В модели последовательно удалены два направления активаций, связанные с отказами на запросы и нейтральными уклончивыми ответами; автор описывает изменения как две ранговые абляции без дополнительного обучения и данных. Архитектура — плотная Gemma4ForConditionalGeneration, веса опубликованы в формате safetensors. Модель принимает текст и изображения и генерирует текстовые ответы; поддерживает диалоговый режим. Модель предназначена для исследований отказов, склонности к уклончивости и их взаимодействия, а также для изучения ответов на спорные или ограниченные темы. Она может отвечать на запросы, на которые исходная модель отказала бы, и чаще выражает определённую позицию. Удаление отказов снижает защиту от опасных запросов, а подавление нейтральности приводит к чрезмерной уверенности даже там, где уместна осторожность. Автор не рекомендует развёртывать её в публичном чат-боте без собственной системы безопасности. Лицензия — Gemma. Базовая модель: google/gemma-4-E2B-it.

Gemstone-1280x15 — языковая модель из серии Gemstone Suite, разработанная авторами проекта Gemstone. Это плотная авторегрессионная модель семейства Gemma с архитектурой GemmaForCausalLM и примерно 433 млн параметров. Для запуска используется библиотека Transformers и файл modeling_gemma.py; веса опубликованы в формате safetensors. Модель обучена с нуля на непересекающихся подвыборках корпуса Dolma и не является инструкционной: она предназначена для продолжения текста и экспериментов с генерацией, а не для следования командам в диалоге. Обучение проводилось на 350 млрд токенов; контекст составляет 2048 токенов. В README указано, что серия моделей различается шириной и глубиной, а обучение выполнялось с помощью litgpt и AxoNN на ускорителях AMD MI250X. Модель принимает текст и генерирует текст на английском языке. Лицензия — Apache-2.0. Поскольку модель не дообучалась для инструкций, качество ответов на вопросы и выполнение команд не гарантируются; контекст ограничен 2048 токенами.

Gemstone-512x11 — языковая модель из набора Gemstone Suite, обученная разработчиками Gemstone-Models. Это плотная авторегрессионная модель семейства Gemma с 69 млн параметров, основанная на архитектуре Gemma-2B; для запуска используется Transformers и файл modeling_gemma.py. Она обучалась на непересекающихся подмножествах Dolma в течение 350 млрд токенов, с глобальным размером пакета 2048 и сохранением промежуточных чекпойнтов каждые 2 млрд токенов. Модель предназначена для продолжения текста и экспериментов с языковым моделированием, а не для выполнения инструкций или диалогового ассистирования. Контекст составляет 2048 токенов; в карточке указан английский язык. Сильная сторона — длительное обучение на большом текстовом корпусе при небольшом числе параметров. Для коммерческого и исследовательского использования указана лицензия Apache-2.0.

GPT-X-125M — англоязычная авторегрессионная языковая модель Axiomic Labs, обученная с нуля на архитектуре T-X1. Она содержит около 124,5 млн параметров и предназначена для генерации текста и экспериментов с компактными языковыми моделями. Модель использует 27 слоёв трансформера, RoPE, RMSNorm, SwiGLU и групповое многозапросное внимание (GQA); веса опубликованы в формате safetensors. Контекстное окно — 1024 токена. Модель обучена на 15 млрд токенов образовательных веб-текстов FineWeb-Edu с токенизатором GPT-2 BPE. По данным карточки, она оценивалась на нескольких бенчмарках в режиме zero-shot. Небольшой размер ограничивает рассуждения и фактическую память; обучение только на образовательных данных сужает тематику, а модель не проходила инструкционное дообучение и не настроена для диалога. Лицензия — Apache-2.0.

Это 4-битная сборка текстовой основы Inkling от Thinking Machines, подготовленная сообществом mlx-community для запуска на компьютерах Apple Silicon через MLX. В основе лежит модель thinkingmachines/Inkling-NVFP4: веса преобразованы из NVFP4 в аффинную 4-битную квантизацию MLX, размер группы — 64. Исходная модель — MoE с 975 млрд общих и 41 млрд активных параметров; сборка включает только текстовую основу, без мультимодальных частей. Модель предназначена для генерации текста и диалогового использования. Для загрузки требуется около 580 ГБ объединённой памяти, поэтому README ориентирует на распределённый запуск на нескольких устройствах или систему с большим объёмом памяти; одной Mac Studio недостаточно. Конверсия и реализация прямого прохода не прошли полную численную проверку, а логиты не сверялись с оригиналом, поэтому корректность и качество работы не подтверждены. Дополнительная потеря качества возможна из-за повторной квантизации из NVFP4 в INT4. Лицензия — Apache-2.0.

ruggsea разработал Llama3-SEP-Chat — диалоговую модель для обсуждения философии, полученную с помощью LoRA-дообучения Meta Llama 3.1 8B Instruct на многоходовых беседах, составленных по материалам Stanford Encyclopedia of Philosophy. Модель сохраняет формат чата Llama 3 и инструкции базовой модели, а данные обучения ориентированы на академически точные, но доступные объяснения философских тем. Модель предназначена для ответов на вопросы о философских концепциях и ведения тематических бесед. Она содержит около 7,5 млрд параметров, использует архитектуру Llama с плотной языковой моделью и поддерживает контекст до 131 072 токенов. Веса представлены в формате safetensors; в README также указаны обучение LoRA, 4-битная NF4-квантизация и вычисления в bfloat16. Карточка не сообщает лицензию модели.

Meditron-3 Qwen2.5 7B — языковая модель для медицинской тематики, разработанная инициативой OpenMeditron и дообученная на базе Qwen/Qwen2.5-7B-Instruct. Это плотный авторегрессионный трансформер с 7,1 млрд параметров и контекстом до 32 768 токенов; модель принимает и генерирует текст. Обучающие данные включают клинические рекомендации, медицинские публикации, синтетические диалоги для дифференциальной диагностики и медицинские вопросы с вариантами ответов. Модель предназначена для исследований возможностей LLM в клиническом информировании и поддержки изучения медицинских решений, в том числе в условиях ограниченных ресурсов и гуманитарной помощи. Основной язык — английский; метаданные также перечисляют китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Лицензия — Apache-2.0. Модель не прошла валидацию для медицинского применения и не предназначена для диагностики, лечения или принятия клинических решений. Результаты тестов на медицинских вопросах с вариантами ответов не подтверждают пригодность в реальной клинической практике. Карточка указывает, что это статическая модель, обученная на офлайн-данных.

Mistral-Nemo-Moderne-12B-FFT-experimental — экспериментальная текстовая модель, созданная nbeerbower полным дообучением Mahou-1.5-mistral-nemo-12B-lorablated. Это плотная модель семейства Mistral с архитектурой MistralForCausalLM и 12,1 млрд параметров; она предназначена для генерации текста и диалогов. Дообучение методом ORPO проводилось в течение 1,5 эпох на датасетах gutenberg2-dpo и gutenberg-moderne-dpo с использованием 8 GPU A100. Автор предупреждает о нестабильном поведении и низком качестве ответов, связывая проблемы с возможными конфликтами между форматами Mistral Instruct и ChatML. Модель опубликована как эксперимент, а не готовый к производственному использованию релиз. Лицензия — Apache-2.0.

Koichi Yasuoka разработал ModernBERT-base, предварительно обученную на текстах тайской Википедии. Модель содержит 112,4 млн параметров, использует архитектуру ModernBERT для masked language modeling и принимает последовательности длиной до 8192 токенов. Опубликована в формате PyTorch; лицензия Apache-2.0. Модель подходит для заполнения маскированных токенов в тайском тексте и как основа для дообучения под разметку частей речи, синтаксический анализ зависимостей и другие задачи обработки тайского языка. Для загрузки в README приведён пример с Transformers и AutoModelForMaskedLM. Качество на конкретных прикладных задачах и ограничения модели в карточке не описаны; для специализированного применения потребуется дообучение и оценка на целевых данных.

OdinNext-138M-Instruct — компактная англоязычная причинная языковая модель Joel Hen Wang с 138,4 млн параметров, предназначенная для следования инструкциям и кратких ответов в формате ChatML. Это дообученная версия OdinNext-138M-Base: автор применил SFT и последовательную дистилляцию знаний от LFM2.5-1.2B-Instruct. Архитектура декодера использует рекуррентный gated linear attention в стиле HGRN2 вместо softmax self-attention; состояние при генерации имеет постоянный размер. Контекст модели — 2048 токенов. Модель подходит для коротких диалогов, структурированных ответов и экспериментов с компактными рекуррентными чат-моделями. Она ориентирована на английский язык; возможности для других языков и кода не охарактеризованы. Из-за небольшого размера модель склонна галлюцинировать и не предназначена для задач, где важны точность фактов или безопасность. Лицензия — Apache-2.0.

PLaMo-3-610M-Fin-Instruct — компактная языковая модель Preferred Networks, Inc., настроенная для работы с финансовыми запросами на японском языке. Это плотная авторегрессионная модель с архитектурой decoder-only и примерно 698,4 млн параметров; она поддерживает диалоговый формат PLaMo-3 и контекст до 262 144 токенов. Модель получена дообучением базовой PLaMo-3: обучение продолжили на финансовых корпусах, затем провели supervised fine-tuning и direct preference optimization. Она предназначена для инструкций и диалогов по финансовой тематике, а не для задач общего назначения. Модель принимает текст и генерирует текст. Небольшой размер повышает риск фактических ошибок и галлюцинаций, в том числе в числовых утверждениях; проверяйте ответы по авторитетным источникам и привлекайте человека при принятии важных решений. Испытания проводились на японском языке, а защитное выравнивание менее надёжно, чем у крупных моделей. Ответы не являются финансовой, инвестиционной, налоговой или юридической консультацией. Лицензия — PLaMo community license.

Mercity разработала плотную авторегрессионную языковую модель примерно на 1,03 млрд параметров с архитектурой Llama 3-style и нормализацией запросов и ключей (QK-norm). Модель обучена с нуля на 6 млрд токенов англоязычного набора FineWeb и служит базовым чекпойнтом для сравнительных экспериментов с вариантами внимания и n-граммными эмбеддингами. Это базовая модель для продолжения текста и экспериментов с дообучением, а не готовый чат-ассистент: она не проходила instruction- или safety-тюнинг. Контекст составляет 8192 токена. В README приведены результаты нескольких zero-shot бенчмарков и отдельного эксперимента с LoRA для распознавания сущностей Few-NERD, однако они не гарантируют качество на других данных. Модель может повторять текст и выдумывать факты; обучение ограничено небольшим бюджетом англоязычных веб-текстов, а результаты бенчмарков получены на одном запуске. Для загрузки требуется Transformers и trust_remote_code=True. Лицензия в предоставленных данных не указана.

Исследовательская базовая языковая модель nanochat GPT, разработанная авторами эксперимента exp-064. Это плотная авторегрессионная модель примерно на 1,74 млрд параметров, обученная предсказывать следующий токен без дообучения на инструкциях и без обучения безопасности. В предобучение на английских веб-текстах ClimbMix добавили синтетические документы, в которых две привычки — останавливаться у дверных проёмов и откладывать вскрытие почты до следующего утра — регулярно встречаются у одних и тех же вымышленных людей. Модель предназначена для исследования того, усваивает ли она такие связи и переносит ли их на новые примеры. Архитектура включает 32 слоя Transformer, скрытый размер 2048, 16 голов внимания, словарь из 32 768 токенов и контекст до 2048 токенов. Модель принимает текст и генерирует продолжение; основной язык данных и карточки — английский. Это базовая исследовательская модель, а не готовый диалоговый помощник. Для пользовательских сценариев могут потребоваться дополнительное дообучение и подходящая обвязка. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое использование.

ProgressGym-HistLlama3-70B-C013-instruct-v0.1 — языковая модель исследовательского проекта PKU-Alignment, созданная для изучения «согласования с прогрессом»: моделирования исторических изменений моральных взглядов. Это диалоговая модель на архитектуре Llama 3 с плотной авторегрессионной языковой моделью объёмом 69,5 млрд параметров и контекстом 8192 токена. Модель основана на Meta-Llama-3-70B и дообучена на текстах XIII века из ProgressGym-HistText, а затем настроена следовать инструкциям на примерах ProgressGym-TimelessQA. Она предназначена для исследования того, как системы ИИ отражают исторические нормы, и для экспериментальных диалогов с моделью, обученной на исторических текстах. Обучение на исторических данных ограничено объёмом 3 ГБ; при превышении этого объёма корпус случайно выбирался. Модель находится в стадии постоянной итерации, а README характеризует её как часть исследовательского фреймворка ProgressGym. Лицензия модели — CC BY 4.0.

ProgressGym-HistLlama3-70B-C018-pretrain — языковая модель команды PKU-Alignment для исследований исторических моральных установок и «согласования с прогрессом». Это одна из 36 моделей ProgressGym, обученная продолжением предобучения Meta-Llama-3-70B на текстах XVIII века из набора ProgressGym-HistText. Модель не проходила настройку по инструкциям и рассчитана на генерацию текста и исследовательские эксперименты, а не на готовый диалоговый сценарий. Модель имеет плотную архитектуру LlamaForCausalLM и 69,5 млрд параметров; контекст — 8192 токена. README описывает обучение на исторических текстах и итеративную разработку, а метаданные указывают формат safetensors и поддержку чата. Карточка не сообщает о специальных средствах оценки качества. Продолжение предобучения на ограниченном объёме исторических данных может ограничивать охват эпохи и надёжность ответов; модель также может воспроизводить предубеждения источников. Модель и материалы проекта распространяются по лицензии CC-BY-4.0.

HYU-NLP-EVAL выпустила плотную языковую модель Qwen3 с 3,7 млрд параметров, полученную дообучением Qwen/Qwen3-4B-Instruct-2507. Это чекпойнт RaR-Medicine OnlineRubrics-Every, шаг 7, из экспериментального запуска по медицинским online-rubrics; он предназначен для генерации текста и диалогового использования. Модель принимает текст и выдаёт текст, поддерживает контекст до 262 144 токенов и распространяется в формате safetensors; README также указывает BF16-веса для инференса. Чекпойнт относится к раннему исследовательскому эксперименту, поэтому его пригодность для медицинских ответов и оценивания рубрик следует проверять отдельно. README ограничивает использование исследовательскими целями. Лицензия модели — Apache-2.0.

Это плотная языковая модель Qwen3 с 3,7 млрд параметров, дообученная на основе Qwen/Qwen3-4B-Instruct-2507. Репозиторий содержит BF16-чекпойнт для инференса; карточка указывает на исследовательское использование и на шаг обучения 18 экспериментального чекпойнта RaR-Medicine static R0 matched dense. Модель предназначена для генерации текста и диалогового взаимодействия в медицинском контексте. Она принимает текст и выдаёт текст; архитектура — Qwen3ForCausalLM, библиотека — Transformers, формат файлов — safetensors. Указанный родной размер контекста — 262 144 токена. Лицензия — Apache-2.0.

YanLabs/Qwen3-4B-Thinking-2507-MPOA — плотная причинно-следственная языковая модель на архитектуре Transformer, созданная YanLabs на основе Qwen/Qwen3-4B-Thinking-2507. К модели применена техника norm-preserving biprojected abliteration: она изменяет направления отказа в пространстве активаций без обычного дообучения. Модель содержит 3,7 млрд параметров, принимает текст и генерирует текст; нативная длина контекста — 262 144 токена. Поддерживает диалоговый режим и интерфейс вызова инструментов. Модель предназначена для исследований механистической интерпретируемости, анализа механизмов безопасности LLM и проверки методов abliteration. Указана лицензия Apache-2.0. README рекомендует температуру генерации 1,05. Ограничители безопасности и механизмы отказа удалены не полностью гарантированным способом; модель может создавать вредный контент, а её поведение в крайних случаях непредсказуемо. Автор предназначает её для исследований, а не для производственного развёртывания или пользовательских приложений.

Qwen35-0.8B-FlyEmbedding-v31 — экспериментальный чекпойнт проекта TinyCeNN-LM на базе Qwen/Qwen3.5-0.8B с остаточным адаптером FlyEmbedding-v3.1, ориентированным на сохранение исходного поведения модели. Это плотная причинная языковая модель с архитектурой Qwen3_5ForCausalLM, опубликованная в формате safetensors и рассчитанная на генерацию текста и диалоговое применение. В метаданных указаны 581,4 млн параметров и контекст до 262 144 токенов. Чекпойнт предназначен для экспериментальной генерации текста и изучения адаптации языковой модели через FlyEmbedding. В отчёте о сохранении зафиксирована остановка на шаге 100 после пересечения границы сохранения поведения; приведённые метрики не следует считать опубликованными результатами оценки на отложенной выборке. Качество генерации может заметно отличаться от базовой модели. Датасет не зафиксирован в карточке. Лицензия в предоставленных данных не указана.

Rockbot — дообученная на текстах песен модель GPT-2, созданная автором проекта на основе корпуса из примерно 16 000 песен 270 исполнителей разных жанров. Она генерирует текст песни по заданным названию и имени исполнителя; модель рассчитана на творческие эксперименты и создание черновиков текстов. В карточке указана версия GPT-2 с 124 млн параметров; также автор упоминает облегчённую версию на базе DistilGPT2, тексты которой могут быть проще. Контекст модели — 512 токенов. Генерация может быть медленной, а результат — повторяющимся или бессвязным. Автор предупреждает о возможности неожиданного NSFW-содержимого и сообщает, что не применял цензуру. Условия лицензии в доступных данных не приведены.

RonMicro-LLM-Story — небольшая языковая модель на архитектуре GPT-2, созданная для генерации коротких детских историй на английском языке. Она содержит около 40 млн параметров и обучена в течение трёх эпох на 5% датасета TinyStories — примерно 105 тысячах рассказов. Размер словаря составляет 25 913 токенов, контекст — 512 токенов. Модель принимает текстовую подсказку и продолжает её, например, создаёт простой рассказ по началу «Once upon a time». Она рассчитана на короткие истории примерно на 100–200 слов и использует простой словарь и грамматику. По заявлению карточки, модель может иногда повторять текст; обучение на ограниченной части TinyStories сдерживает разнообразие и качество генерации. Опубликована в формате safetensors под лицензией MIT.

Sarv-Reasoning — дообученная модель семейства Sarv от artindnr на базе artindnr/strawberry-1. Она предназначена прежде всего для создания и анализа персидской поэзии: перед итоговым текстом модель всегда формирует видимую цепочку рассуждений о метре, рифме, рефрене, образах и эмоциональной структуре. Архитектура — GPT-OSS с разреженной смесью экспертов; в метаданных указан размер 1,6 млрд параметров и контекст до 131 072 токенов. LoRA-дообучение слито с базовыми весами; опубликованные веса доступны в формате safetensors. Модель подходит для генерации стихов, разбора их формы и критики, а также для исследовательской работы с трассами рассуждений на фарси. Персидский — основной язык модели; README также заявляет многоязычные задачи рассуждения, но специализация карточки — поэзия на фарси. Постоянная генерация рассуждений увеличивает длину ответа, задержку и расход токенов; пояснения модели не гарантируют точного отражения её внутренних вычислений. Лицензия — Apache-2.0.

BEE-spoke-data/smol_llama-220M-GQA-fineweb_edu — компактная плотная языковая модель семейства Llama, разработанная BEE-spoke-data. Это версия smol_llama-220M-GQA, продолжительно предобученная на подмножестве 10BT-sample датасета HuggingFaceFW/fineweb-edu. Модель предназначена для генерации текста и экспериментов с языковыми моделями; содержит 184,9 млн параметров и поддерживает контекст до 2048 токенов. В README приведены результаты оценки: loss 2,7416, accuracy 0,4560 и средний балл Open LLM Leaderboard 6,52. Данные карточки указывают на английский язык. Модель распространяется по лицензии Apache-2.0. Результаты не гарантируют качество на прикладных задачах; доступные оценки и небольшой размер модели ограничивают выводы о её способностях.

SongComposer_pretrain — языковая модель для композиции текстов песен и мелодий, разработанная авторами SongComposer на основе InternLM2. Это предварительно обученная версия семейства SongComposer, инициализированная весами InternLM2 и получившая базовые знания о текстах песен и мелодиях; версия предназначена для генерации по заданному текстовому промпту. Модель имеет плотную архитектуру InternLM2ForCausalLM, содержит 7,4 млрд параметров и поддерживает контекст до 32 768 токенов. Модель рассчитана на создание строк песни и мелодических последовательностей. Для генерации по инструкциям, включая преобразование текста в мелодию, мелодии в текст, продолжение песни и создание песни по текстовому описанию, авторы также выпускают отдельную версию SongComposer_sft; эти сценарии не следует считать гарантированными возможностями данной предварительно обученной версии. В примере README используется китайский текст, поэтому китайский язык подтверждён; другие языки карточка не описывает. Модель распространяется в формате PyTorch по лицензии Apache-2.0.