I.5Создание и редактирование текста

LMEnt 1B — это английская причинная языковая модель на архитектуре OLMo2 с 1,1 млрд параметров, разработанная авторами исследования Gal Barak, Tamar Tabbach, Itamar Stahl и Adam Fleisher. Модель обучена на размеченном сущностями корпусе Википедии LMEnt и не проходила инструкционное дообучение. Контекст составляет 2048 токенов; веса доступны в формате safetensors для Transformers. В этой версии применено посттренировочное редактирование для подавления концепта «искусственный интеллект»: сначала EMBER с параметром δ = 500, затем SNMF с отбором признаков по отношению и изменением входных весов MLP. Это экспериментальный чекпойнт из исследования по исключению концептов; его можно использовать для генерации текста и изучения методов редактирования знаний в языковых моделях. Оценка охватывает три выбранных концепта и 50 тестовых вопросов по каждому. Результаты не подтверждают широкое удаление знаний, безопасность или обобщение на другие концепты. Основа модели обучена на Википедии и может воспроизводить ошибки и предвзятость источника. Лицензия на веса в карточке не заявлена.

IFM/LoopedLM-P2-huginn-s-orthoinj — экспериментальная языковая модель из серии к работе «Towards Looped Models Done Right. Part II: Rethinking at Fixed Points». Она предназначена для генерации текста и оценки архитектуры с циклическими вычислениями и фиксированными точками. Модель построена на архитектуре looped Transformer: один начальный блок, два рекуррентных блока и один завершающий блок. В ней около 304 млн параметров, ширина скрытого представления — 1536, используется 24 головы внимания, включая 6 KV-голов, и FFN SwiGLU шириной 4352. OrthoInj при введении обновления удаляет его компоненту из затухающего состояния. Веса доступны в BF16 Safetensors в нативном формате xLLM; для загрузки необходимы код xLLM и его специальный загрузчик, стандартный Transformers AutoModel не подходит. Модель распространяется по лицензии Apache-2.0. README описывает оценочный сценарий, но не сообщает поддерживаемые естественные языки или длину контекста.

MindChat-7B — китайскоязычная диалоговая модель для психологической поддержки, созданная исследовательской группой профессора Сюэ Дуна из Восточно-Китайского университета науки и технологий. Это плотная авторегрессионная модель семейства InternLM с 6,9 млрд параметров и контекстом 2048 токенов; в README указано, что версия MindChat-InternLM-7B прошла целевое усиление безопасности, эмпатичности и согласования с человеческими ценностями. Модель предназначена для поддерживающих бесед о переживаниях и проблемах в учёбе, семье, дружбе, работе и повседневной безопасности. В карточке заявлены задачи извлечения признаков и генерации текста; для практического диалога основная задача — генерация текста на китайском языке. Репозиторий содержит веса PyTorch и распространяется по лицензии GPL-3.0. MindChat может ошибаться или выдавать вредные, оскорбительные и иные нежелательные ответы. Авторы предостерегают от использования модели как окончательного источника решений в критических и высокорисковых ситуациях; она не заменяет профессиональную психологическую или медицинскую помощь.

MistralPirate-7b-v0.3 — языковая модель phanerozoic, дообученная на базе Mistral Instruct v0.2 для генерации текста в пиратской тематике и характерном пиратском стиле. Это плотная модель архитектуры Mistral с 7,1 млрд параметров, рассчитанная на контекст до 32 768 токенов; карточка указывает поддержку английского языка и диалоговое применение. Модель подходит для интерактивных историй, игровых диалогов, тематических образовательных материалов и ролевого общения. В карточке также заявлены более связная пиратская речь и ответы на вопросы о морских сценариях. Для оценки приведён показатель perplexity 5,17 на Wikitext; он сам по себе не подтверждает точность практических советов или качество на других задачах. Модель не предназначена для универсального общения: вне пиратской тематики качество может быть ниже, а тон и содержание обучения могут проявлять смещения. Не рекомендуется полагаться на неё в серьёзных или чувствительных ситуациях. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но ограничивающая коммерческое применение.

Mistral-portuguese-luana-7b-mental-health — диалоговая языковая модель, созданная rhaymison на основе Luana-7b с архитектурой Mistral. Модель дообучена для разговоров о психическом здоровье и жизненных трудностях: депрессии, проблемах на работе и учёбе, употреблении наркотиков и отношениях. Модель генерирует текстовые ответы на португальском языке и подходит для диалоговых сценариев поддержки и обсуждения личных переживаний. Она содержит 7,1 млрд параметров, использует Transformers и поддерживает контекст до 32 768 токенов. В README приведён пример беседы о семейных конфликтах и обращении к семейной терапии. Модель может помочь сформулировать вопросы для обсуждения и предложить общие способы поддержки, но не заменяет квалифицированного специалиста и не предназначена для диагностики или экстренной помощи. Распространяется по лицензии Apache-2.0.

kenhktsui/nano-phi-115M-v0.1 — небольшая языковая модель автора kenhktsui, созданная с нуля и вдохновлённая Phi-2 и компактными открытыми языковыми моделями. Это плотная авторегрессионная модель семейства Phi с 6 слоями, размером скрытого состояния 768, 24 головами внимания и grouped-query attention с 8 key/value-головами. В README указано 115 млн параметров; метаданные каталога указывают 90,5 млн. Модель принимает текст и генерирует продолжение текста, поддерживает контекст до 1024 токенов и ориентирована на английский язык. Модель обучалась 14 000 шагов на корпусе объёмом 0,26 млрд токенов, отобранных фильтром качества из данных, суммарно содержащих 7 млрд токенов. Её можно применять для компактных экспериментов с генерацией текста и изучения влияния качества обучающих данных. Приведённые в карточке результаты бенчмарков заметно уступают Phi-2, а результат GSM8K равен нулю, поэтому модель не подходит для задач, требующих надёжных рассуждений или сильного следования инструкциям. Веса опубликованы в формате safetensors, библиотека запуска — Transformers; лицензия MIT.

PolyFormer-Tiny — компактная авторегрессионная языковая модель, разработанная Dr. A. Emre ÇETİN и обученная с нуля. Она предназначена для генерации текста и экспериментов с альтернативными архитектурами трансформеров. Модель имеет плотную архитектуру PolyFormerForCausalLM и содержит 1,1 млн параметров. Вместо стандартных MLP/SwiGLU-блоков в ней используются операторы на ортогональных полиномах Чебышёва, а механизм внимания применяет полиномиальное ядро. Контекст ограничен 128 токенами; карточка указывает английский язык. Репозиторий содержит веса в форматах PyTorch и safetensors. Небольшой размер модели подходит для изучения архитектуры и компактных экспериментов с генерацией текста, но не свидетельствует о качестве, сопоставимом с крупными языковыми моделями. Заявленные в карточке сравнительные результаты не приведены в предоставленных материалах. Лицензия — Apache-2.0.

Prabhāsa-bs 0.2 — BabyLM-2026 Strict — это англоязычная модель masked language modeling, разработанная qbz506 для предобучения небольших языковых моделей с учётом структуры языка. Она использует плотный ELC encoder из 14 слоёв с размерностью 768 и 12 головами внимания, RoPE, GeGLU, RMSNorm, N-hot эмбеддинги морфем и структурно-ориентированное маскирование Paribhāṣā. В метаданных указано 147,5 млн параметров и контекст 192 токена. Модель предназначена для восстановления замаскированных токенов и оценки языковых закономерностей в задачах BabyLM: в README приведены результаты на BLiMP, BLiMP-supplement, EWoK и COMPS. Обучение выполнено в режиме pure MLM за 10 эпох в рамках лимита BabyLM Strict; авторы сообщают о воспроизведении результатов в двух независимых запусках. Модель ориентирована на эффективность обучения на небольших корпусах и интерпретируемость, а не на уровень передовых крупных моделей. Распространяется по лицензии MIT.

ProgressGym-HistLlama3-70B-C020-pretrain-v0.1 — языковая модель PKU-Alignment для экспериментов с эмуляцией исторических моральных взглядов и исследованием «прогресс-ориентированного» выравнивания ИИ. Это продолжительно предобученная версия Meta-Llama-3-70B без дообучения на инструкции; архитектура — плотная LlamaForCausalLM, размер — 69,5 млрд параметров, контекст — 8192 токена. Модель обучена на текстах XX века из набора ProgressGym-HistText. Она предназначена для генерации текста в исследовательских сценариях, связанных с историческими тенденциями в моральных ценностях, и не является универсальным диалоговым помощником, настроенным следовать инструкциям. Для версии с дообучением на инструкции авторы указывают отдельную модель ProgressGym-HistLlama3-70B-C020-instruct. Модель находится в процессе итеративного развития. Объём данных этапа продолжительного предобучения ограничен 3 ГБ, а при превышении этого объёма корпус случайно выбирался для обучения. Репозиторий распространяется по лицензии CC-BY-4.0; для исходной Meta-Llama-3-70B могут действовать отдельные условия использования.

Модель разработана как проектный чекпойнт Harvard CS 2881R: базовую Qwen2.5-3B-Instruct дообучили отвечать в голосе доктора Шелдона Купера из сериала «Теория большого взрыва», сохранив способность решать математические задачи GSM8K. Это плотная причинно-авторегрессионная языковая модель семейства Qwen2, содержащая 3,1 млрд параметров и рассчитанная на контекст до 32 768 токенов. Репозиторий содержит объединённые веса bf16 в формате safetensors и токенизатор; модель можно загружать через Transformers или vLLM. Чекпойнт получен одноэпоховым LoRA-дообучением предыдущей версии v3b на исправленном наборе данных для персоны, коротких запросах и примерах GSM8K для сохранения математических навыков. По приведённым в карточке оценкам, результат на тесте GSM8K составил 63,9% при строгом жадном декодировании; доля шаблонных начал в ответах на отложенных запросах снизилась по сравнению с v3b. Модель предназначена для англоязычного чата и ролевых ответов в заданной персоне, а также для решения математических задач. Указана лицензия other; конкретные условия использования следует сверить с лицензией репозитория и базовой модели.

shikunpunk/Qwen2.5-3B-PoetryGen — дообученная модель на базе Qwen2.5-3B-Instruct для генерации китайской классической поэзии. Она создаёт произведения в жанрах гуши, пятисловного и семисловного регулярного стиха и цзюэцзюй, а также может подражать стилю известных поэтов, например Ли Бо. Модель содержит около 3,1 млрд параметров и использует архитектуру Qwen2 dense с causal language modeling. Для обучения применялись QLoRA с 4-битной NF4-квантизацией и последующая оптимизация предпочтений DPO. Репозиторий содержит веса BF16 в формате safetensors; заявлена поддержка контекста до 32 768 токенов. Модель принимает текстовые запросы и генерирует текст на китайском языке. Она предназначена для творческого письма по заданной теме, стихотворной форме или авторскому стилю. Обучение проводилось на китайском корпусе классической поэзии, поэтому заявленные возможности сосредоточены на этой области. Модель распространяется по лицензии Apache-2.0.

Qwen3-8B Novel Base SFT — полнопараметрическая донастройка модели Qwen3-8B, созданная автором репозитория mikuhhn1239. Модель обучена на 669 китайских веб-романах, примерно 72 млн символов, и предназначена для работы с повествованием и диалогами персонажей. В данных представлены жанры романтики, сён-ай, городской романтики, фэнтези и онлайн-игр. Модель служит базой Stage 1 для рабочего процесса All Novel Can Be Galgame и основой для последующих LoRA-адаптеров, выполняющих классификацию повествовательных единиц, поиск границ сцен и определение говорящих персонажей. Обучение включало продолжение текста и инструкционное продолжение; модель загружается через Transformers. Архитектура — плотная авторегрессионная Qwen3ForCausalLM, размер — 7,6 млрд параметров, контекст — до 40 960 токенов. Основной язык — китайский. Это специализированная модель для китайской художественной прозы, а не универсальный помощник. В README указано, что она рассчитана только на китайский ввод и не имеет защитного выравнивания, поэтому не подходит для генерации чувствительного контента. Репозиторий распространяется по лицензии Apache-2.0.

Модель Google Reformer — языковая модель с архитектурой Reformer и 15,8 млн параметров, дообученная на английском переводе романа Фёдора Достоевского «Преступление и наказание». Она генерирует текст из небольших субсловных единиц и рассчитана на продолжение текста в стиле и тематике обучающего произведения. Для обучения использовалось около 0,5 млн токенов; длина контекста составляет до 524 288 токенов. Модель обучена во Flax, а затем преобразована в формат PyTorch для Hugging Face. Лицензия в предоставленных данных не указана.

Это испаноязычная модель RoBERTa для предсказания замаскированных токенов, дообученная на данных о списках ожидания в Чили. Она основана на PlanTL-GOB-ES/roberta-base-biomedical-clinical-es и может использоваться для подстановки пропущенных слов в текстах этой области. Модель содержит 153,2 млн параметров, принимает последовательности длиной до 514 токенов и распространяется в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Карточка не приводит результаты оценки или подробные рекомендации по применению. Поэтому качество на других медицинских текстах и за пределами чилийского контекста не установлено.

krpraveen разработал компактный энкодер-декодер Transformer для перевода с санскрита на английский, обученный с нуля на 10 000 парах предложений без предобученных весов и внешних данных. Модель содержит около 5,7 млн параметров по метаданным; README указывает около 9,4 млн. Архитектура включает по четыре слоя энкодера и декодера, размерность 256, четыре головы внимания, связанные эмбеддинги и общий SentencePiece BPE-словарь на 8 000 токенов. Для работы используются веса PyTorch и собственная реализация модели, не совместимая с архитектурами 🤗 Transformers. Модель предназначена для машинного перевода с санскрита на английский и для компактных демонстрационных или учебных приложений, например интерфейса на Gradio. Небольшой размер делает её относительно лёгкой для запуска, но качество скромное из-за ограниченного объёма обучающих данных. Лицензия — MIT.

Модель SmolLM2 135M English-to-LaTeX Notation разработана piyushgupta53 на основе HuggingFaceTB/SmolLM2-135M-Instruct. Это плотная авторегрессионная модель семейства Llama с 134,5 млн параметров и контекстом 8192 токена, дообученная методом supervised fine-tuning на наборе английских описаний математической нотации. Она преобразует точное описание математической записи на английском языке в одно выражение LaTeX; модель предназначена для генерации нотации, а не для решения, вычисления, доказательства или объяснения математики. Прикладной пример — перевод текстового описания производной в запись LaTeX. README сообщает о 95,51% нормализованных точных совпадений на целевой валидации при выборе контрольной точки, но на отдельном отложенном бенчмарке точность составила 22%; семантически корректными признаны 65,5% ответов. Поэтому пригодность модели ограничена узкими задачами преобразования знакомых формулировок, а результат требует проверки синтаксиса и смысла, особенно для незнакомых или сложных структур. Модель выпущена в объединённом виде с rank-32 rsLoRA-адаптером и загружается через Transformers без отдельной базовой модели или PEFT. Лицензия — Apache-2.0.

Это экспериментальный диалоговый чекпойнт на базе Llama 2 7B Chat, подготовленный авторами исследования влияния сжатия на безопасное поведение языковых моделей. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, использует формат safetensors и принимает текст для генерации текстовых ответов; контекст составляет 4096 токенов. Она получена сжатием SVD-LLM примерно на 50% параметров, а затем двумя раундами итеративной замены параметров по правилу gap_iter. Чекпойнт предназначен для изучения компромисса между безопасностью и полезностью после сжатия и для сравнения вариантов выбора компонентов при восстановлении поведения. В README приведены показатели атак на AdvBench и StrongREJECT, а также чрезмерного отказа по WildGuard. Модель не позиционируется как универсальный чат-ассистент и требует самостоятельной оценки перед использованием. Лицензия — Llama 2; её условия применяются к модели.

Jeesup/svd-safety-l2_remove60_swapdisc_b005 — исследовательский чекпойнт на базе диалоговой Llama 2 Chat с 7 млрд параметров. Модель сжата методом SVD-LLM: удалено около 60% параметров, после чего восстановлена небольшая доля SVD-компонентов, отобранных по правилу swapdisc. Она использует архитектуру LlamaForCausalLM, принимает текст и генерирует текст; контекст составляет 4096 токенов. Базовая модель ориентирована на общение на английском языке. Чекпойнт создан для исследования того, как SVD-сжатие влияет на безопасность и полезность ответов и насколько выборочное восстановление компонентов меняет этот баланс. README приводит результаты измерений на AdvBench и StrongREJECT, а также показатель избыточных отказов WildGuard. Это отдельная экспериментальная точка в серии конфигураций, а не универсальный чат-ассистент. Лицензия — Llama 2 Community License.

TeenyTinyLlama-460m — компактная языковая модель, разработанная авторами семейства TeenyTinyLlama для генерации текста на бразильском португальском языке. Это плотная Transformer-модель архитектуры Llama с авторегрессионным обучением; в метаданных указано 435,4 млн параметров, контекст — 2048 токенов. Модель обучали на корпусе Pt-Corpus Instruct объёмом 6,2 млрд токенов. Модель предназначена прежде всего для исследований языковых моделей для языков с ограниченными ресурсами, контролируемых экспериментов и дальнейшего дообучения. Она генерирует продолжение текста по текстовому запросу и рассчитана на стандартный бразильский португальский. Лицензия Apache 2.0 разрешает адаптацию и использование с соблюдением её условий. Карточка прямо предостерегает от развёртывания модели для взаимодействия с пользователями: она не дообучена для типичных прикладных сценариев. Возможны фактические ошибки, токсичные и предвзятые ответы, ненадёжный код, повторы и многословие; другие языки модель понимает хуже. Для применения после дообучения авторы рекомендуют самостоятельно оценить риски и смещения и модерировать ответы.

Thai GPT-2 Fine-Tuned — генеративная языковая модель на базе GPT-2, дообученная студентом 343Nitinai на наборе данных disease_3000, содержащем 3 000 пар вопросов и ответов о заболеваниях. Модель предназначена для генерации ответов на вопросы на тайском языке и опубликована под лицензией MIT. Модель ориентирована на сценарии вопросов и ответов в медицинской тематике, например на создание предварительных ответов по сведениям о заболеваниях, учебные прототипы и исследование генерации тайскоязычного текста. Она поддерживает тайский язык, использует архитектуру GPT-2 и имеет нативную длину контекста 1 024 токена. В метаданных также заявлена оценка perplexity, однако результаты оценки не приведены. Модель может быть полезна как компактная основа для экспериментов с тайскоязычными медицинскими диалогами, но её ответы не следует считать медицинскими рекомендациями или диагнозами. README не содержит подробностей о размере модели, процедуре обучения, результатах тестирования, источниках данных и настройках инференса. Лицензия MIT разрешает использование при соблюдении её условий.

User01110 разработал tinyLM-8M-exp — экспериментальную компактную авторегрессионную языковую модель на 8,132 млн параметров, дообученную на базе Qwen/Qwen3-0.6B. Это плотный декодер в стиле Qwen3 с 8 слоями, grouped-query attention и математически вычисляемым novelty gate; веса доступны в формате safetensors, для запуска используется Transformers с кодом модели из репозитория. Модель предназначена для генерации текста и оценки продолжений в небольшом контекстном окне до 512 токенов. При обучении использовались наборы FineWeb-Edu, SmolLM-Corpus и FineWeb-HQ; в README приведены результаты проверок на тестах знаний, здравого смысла и арифметики. Размер модели позволяет исследовать компактную архитектуру и запускать эксперименты с генерацией, однако приведённые оценки указывают на ограниченные возможности по сравнению с крупными моделями. Токенизатор основан на GPT-S2-5M; поддерживаемые языки и лицензия в доступных сведениях не описаны.

Compactbot/tinystories-24m — компактная языковая модель, разработанная Compactbot и обученная с нуля на наборе TinyStories. Это декодерный GPT с 24,585,600 параметрами, BPE-токенизатором на 8192 токена и контекстом 512 токенов. Архитектура включает 12 слоёв, 8 голов внимания, RMSNorm, объединённые проекции QKV и GELU FFN; веса опубликованы в формате safetensors. Модель предназначена для генерации коротких англоязычных историй с диалогами и связным повествованием. Она подходит для творческих прототипов и экспериментов с генерацией рассказов в стиле обучающего домена, но не рассчитана на ответы на вопросы, код, общие беседы или другой текст вне TinyStories. README сообщает о позднем расхождении обучения; опубликован лучший ранний чекпойнт. Для загрузки требуется bundled modeling.py, модель не является моделью Transformers. Лицензия — Apache-2.0.

JoaoBoer/tofu_Llama-3.1-8B-Instruct_forget10_IdkDPO — дообученная разговорная языковая модель семейства Llama 3.1, созданная на базе open-unlearning/tofu_Llama-3.1-8B-Instruct_full. Её обучили методом IdkDPO на части forget10 набора TOFU в рамках проекта open-unlearning. Модель предназначена для экспериментов с удалением запомненных сведений из весов и служит базовым вариантом для исследования speculative decoding с unlearning. Она генерирует текст и поддерживает контекст до 131 072 токенов; репозиторий содержит веса в формате safetensors, а карточка указывает интерфейс чата и вызова инструментов. В README приведены метрики оценки TOFU: exact_memorization — 0,6650, extraction_strength — 0,1348 и forget_Q_A_PARA_Prob — 0,0345. Это экспериментальный исследовательский чекпойнт, поэтому результаты не следует считать гарантией удаления всех сведений или пригодности для обычного применения. Лицензия — Llama 3.1.

Это уже обученный чекпойнт TOLM для контролируемого исследовательского турнира BabyLM. В репозитории сохранена версия chck_100M; модель содержит 49,1 млн параметров и реализует архитектуру TOLMForMaskedLM для предсказания замаскированных токенов. Метаданные также указывают поддержку генерации текста, но основная задача в карточке — fill-mask. Модель предназначена для экспериментов с компактными языковыми моделями и оценки на бенчмарках лингвистических знаний: в карточке приведены результаты BLiMP, Supp и EWoK. Это английская модель; для загрузки пользовательской архитектуры в Transformers требуется удалённый код из репозитория miguelcsx/tolm. Для релиза обучение и оценка не проводились: приведены ранее существовавшие результаты. Лицензия обозначена как other, конкретные условия в предоставленных данных не раскрыты.

WesleyGPT-LongContext — англоязычная чат-модель на 286 млн параметров, разработанная Wesley Mangum на базе проекта nanochat. Модель обучена с нуля, а затем дообучена на чатах, тестах и математических задачах; дополнительная выборка из 100 тысяч объединённых диалогов предназначена для улучшения ответов на вопросы о фактах, сообщённых ранее в разговоре. Контекст составляет 2 048 токенов, используется скользящее оконное внимание. Модель запускается на CPU ноутбука через код проекта WesleyGPT; загрузка через Transformers AutoModel не поддерживается. Модель предназначена для экспериментов с небольшими чат-моделями, многоходовыми диалогами и удержанием простых сведений в контексте. В приведённых тестах она сохраняла высокие результаты на вопросах о ранее сообщённых фактах вплоть до девяти предыдущих ходов; точность на GSM8K составила 17,6%, то есть большинство школьных математических задач она решает неверно. Разработчик предупреждает, что модель может уверенно выдумывать ответы; обучение и проверки охватывают только английский язык, а специальная настройка безопасности не проводилась. Лицензия — CC BY-NC 4.0, разрешающая некоммерческое использование с указанием авторства.

activity-generation-v1.3 — специализированная текстовая модель для экосистемы MyVillage, разработанная на базе Qwen/Qwen2.5-0.5B-Instruct. Это плотная авторегрессионная архитектура Qwen2 с 494 млн параметров и контекстом до 32 768 токенов; модель дообучена методом SFT на примерно 1,2 тыс. синтетических примеров, а LoRA-адаптер объединён с базовыми весами. Для загрузки используется Transformers, веса представлены в формате safetensors. Модель получает цель сообщества, название предыдущего занятия, отчёт о полученных знаниях и объект с советом, после чего формирует одну короткую следующую учебную активность. Она рассчитана на небольшие последовательные шаги, а при недостаточных сведениях может запросить уточнение вместо того, чтобы предполагать, что именно было сделано. Основной язык — английский. В оценке разработчика отмечены более последовательный вывод JSON, краткие задания и улучшенная реакция на расплывчатые отчёты. Модель всё ещё может предлагать слишком объёмный или не самый точный следующий шаг, а также добавлять неподтверждённые детали. Она не предназначена для оценивания знаний, решений с высокими ставками или самостоятельного построения учебной программы. Условия лицензии в предоставленных источниках не описаны.

Banaxi-Tech AdamW Model Test — экспериментальная причинно-языковая модель семейства BananaMind 2 Nano, разработанная Banaxi-Tech и обученная с нуля с оптимизатором AdamW на данных FineWeb-Edu. Модель содержит около 10 млн параметров, имеет 10 слоёв и скрытый размер 256; для работы используется Transformers и пользовательский код архитектуры BananaMind 2 Nano. Модель предназначена для генерации текста и продолжения последовательностей. В обучении использовано около 25 млрд токенов FineWeb-Edu с пользовательским токенизатором; заявленное контекстное окно — 4096 токенов. Карточка указывает английский язык. Лицензия — Apache-2.0. Это небольшой экспериментальный чекпойнт, поэтому его возможности и качество генерации ограничены по сравнению с крупными языковыми моделями. Для загрузки требуется доверить пользовательскому коду репозитория параметром trust_remote_code=True.

akhooli/ap2023 — модель генерации арабской поэзии, созданная дообучением aragpt2-medium на стихотворениях разных эпох. Она принимает текстовый запрос и продолжает его, формируя стихотворный текст; автор приводит пример генерации с выборкой и beam search. Модель основана на GPT-2 и имеет контекст длиной 1024 токена. Обучающий набор включал около 1,4 млн строк стихов, из которых 1,25 млн использовались для обучения. В карточке приведены perplexity 52, eval_accuracy 0,3704 и eval_loss 3,9513. Автор отмечает ограничения покрытия и качества обучения и рекомендует использовать модель как демонстрацию или proof of concept, а не в производственном коде. Лицензия в предоставленных данных не указана.

Beetle — небольшая двуязычная авторегрессионная языковая модель из семейства Beetle, разработанного исследователями University of Cambridge, EleutherAI и MIT. Данная версия обучена на 100M-токенном корпусе FineWeb и предназначена для пары датский–английский: датский является первым языком, английский — вторым. Суффикс simultaneous-b2 означает режим постепенного одновременного введения второго языка после начальной фазы обучения на первом языке с последующим выходом на сбалансированную смесь языков. Модель относится к text-generation, использует архитектуру класса LLaMA с RoPE, SwiGLU, RMSNorm и grouped-query attention, BPE-токенизатор с размером словаря 50K и имеет примерно 0,2 млрд параметров. Её основное назначение — исследование двуязычного языкового моделирования, переноса между языками, динамики освоения второго языка и моделирования психолингвистических явлений, включая предсказание времени чтения и межъязыковый структурный прайминг. Модель полезна как контролируемый исследовательский инструмент с фиксированными масштабом данных, архитектурой и схемой языкового воздействия. Она не является специализированным репетитором английского языка или системой для принятия решений; результаты зависят от ограниченного объёма обучения, выбранной языковой пары и экспериментального режима. В первоисточниках модель описана как открытая, но конкретные условия лицензии этой версии не установлены.

Boris-250M — базовая предварительно обученная языковая модель на 250 млн параметров, созданная New Millennium Artificial Intelligence (NMAI). Она построена на архитектуре GPT-2: 12 слоёв, 18 голов внимания, размерность скрытого представления 1152 и контекст до 1024 токенов. Модель принимает текст и продолжает его; она не проходила инструкционное дообучение и не предназначена для диалога или выполнения команд. Модель обучалась на 5,01 млрд токенов, включая FineWeb-Edu и DCLM Baseline. Её можно применять для экспериментов с генерацией и продолжением английского текста, а также как основу для дальнейшей настройки. Модель доступна в формате safetensors для Transformers по лицензии Apache-2.0. Для чекпойнта такого размера характерны неточные и непоследовательные ответы; он может генерировать оскорбительный текст. Модель не проходила настройку безопасности, поэтому не подходит для использования как источник фактов и требует контроля при генерации.