I.5Создание и редактирование текста

HmarBERT-mini — компактная модель семейства BERT, созданная разработчиком azinamotoe с нуля для языка хмар (Hmar, hmr), одного из зо-языков. Это четырёхслойный энкодер BERT с 384 скрытыми измерениями и 6 головами внимания; по метаданным модель содержит 18,9 млн параметров, использует формат safetensors и обрабатывает последовательности длиной до 512 токенов. В README указан размер 16,91 млн параметров, поэтому оценки размера в источниках расходятся. Модель обучена на предложениях и абзацах на языке хмар и предназначена для предсказания замаскированных слов, анализа контекста и исследований низкоресурсного языка. Токенизатор без учёта регистра сводит варианты написания с диакритикой и без неё к одинаковым токенам и сохраняет стандартные буквы и диграфы хмар. Компактный размер рассчитан на быстрый запуск на обычных компьютерах и базовых CPU. Лицензия — Apache-2.0. Модель специализирована на языке хмар; перенос её на другие языки и задачи за пределами заполнения масок не описан. Качество зависит от состава обучающих текстов, включая религиозные, прозаические, эссеистические и онлайн-материалы.

TeeZee/llama-2-7B-pirate-speech-600s — языковая модель TeeZee, дообученная на базе unsloth/llama-2-7b-bnb-4bit с помощью Unsloth и Hugging Face TRL. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров и контекстом 4096 токенов, предназначенная для генерации текста по инструкциям. В демонстрации она отвечает на вопрос об машинном обучении, используя стилизацию под пиратскую речь на английском языке. Модель подходит для экспериментов с генерацией ответов в пиратском стиле и выполнения простых текстовых инструкций. В README указано, что обучение заняло 600 шагов и около 80 минут на бесплатном Google Colab; это ограниченная демонстрация, поэтому качество и устойчивость ответов могут быть непостоянными. Репозиторий распространяется по лицензии Apache-2.0.

Это экспериментальная версия Meta Llama 3.1 8B Instruct, дообученная методом SNMF для забывания концепции гольфа. Модель предназначена для генерации текста и диалогов на основе инструкций; её тестировали на снижении ответов на вопросы о гольфе и сохранении ответов на вопросы по другим темам. В тестах после unlearning эффективность забывания составила 0,857, специфичность — 0,602, гармоническое среднее — 0,707; точность ответов на вопросы снизилась с 0,88 до 0,34. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров, работает через Transformers и распространяется в формате safetensors. Контекст — до 131 072 токенов. Карточка указывает английский язык. Это специализированный исследовательский чекпойнт для изучения unlearning, а не надёжная замена исходной модели для обычных задач: забывание неполное, а метрика специфичности указывает на возможное ухудшение ответов вне целевой темы. Базовая модель распространяется по лицензии Meta Llama 3.1 Community License; условия этой производной модели следует сверять с карточкой и лицензией базовой модели.

MLewd-v2.4-13B — модель генерации текста на архитектуре Llama с 12,9 млрд параметров, опубликованная Undi95. Она предназначена для ролевого общения и создания художественных ответов с сексуальным, грубым и фетишистским содержанием; такие ответы ожидаемы. В README указаны шаблон Alpaca и обучение с использованием LimaRP v3. Модель представляет собой слияние на основе ReMM методом SLERP и включает компоненты нескольких моделей и адаптеров для повествования и ролевого чата. Репозиторий содержит веса PyTorch в формате FP16; заявленный контекст — 4096 токенов. Лицензия CC BY-NC 4.0 запрещает коммерческое использование без отдельного разрешения.

ModernBERT-ar-base-tiny — экспериментальная арабоязычная модель для заполнения пропусков в тексте, разработанная на основе архитектуры ModernBERT. Автор обучил её на выборке Fineweb2 на арабском языке и обучил токенизатор на том же наборе данных. Модель относится к классу ModernBertForMaskedLM, содержит 149 млн параметров и поддерживает контекст до 8192 токенов; веса опубликованы в формате safetensors. Модель предназначена для образовательных и исследовательских экспериментов с маскированным языковым моделированием на арабском тексте. README предупреждает, что данные ограничены, а обучение не завершено, поэтому качество и надёжность могут быть недостаточными для практического применения. Лицензия в доступных сведениях не приведена.

MC हिमाल — Nepali Rapper (Merged) — это разговорная генеративная модель на базе Qwen3-8B, созданная akarki15. Модель предназначена для общения в образе непальского рэпера и генерации рэп-текстов о Непале; обучение проводилось на примерно 50 диалогах с непальскими рэперами. LoRA-адаптер был объединён с базовыми весами fp16, поэтому для запуска не требуется PEFT. Модель имеет плотную архитектуру Qwen3ForCausalLM, около 7,6 млрд параметров и контекст до 40 960 токенов. Она принимает текст и генерирует текст; примеры показывают смешение непальского письма, латиницы и английского. Репозиторий содержит веса safetensors и GGUF. Лицензия — Apache-2.0. Небольшой объём обучающих диалогов может ограничивать разнообразие и надёжность ответов за пределами рэп-персоны и тематики Непала.

Это адаптер LoRA в формате GGUF F16 для базовой модели mirazrafi/NSFW-RP-RolePlay-LoRA-ArliAI-Llama-3.1-8B. Адаптер предназначен для генерации ролевых диалогов и сцен с контентом для взрослых на английском языке; для работы его подключают к соответствующей базовой модели через llama.cpp, например с помощью llama-cli или llama-server. В метаданных указаны архитектурное семейство Llama 3.1, размер базовой модели 8 млрд параметров не подтверждён отдельным полем, а контекст и оценки качества не описаны. Репозиторий распространяет адаптер в GGUF F16 и указывает лицензию Apache-2.0. Это форматное преобразование адаптера исходной модели, а не самостоятельный полный чекпойнт.

NyX-Roleplay-7b — языковая модель семейства Llama с плотной архитектурой, содержащая 6,6 млрд параметров. Её разработала NyX AI, дообучив модель на собственном наборе данных NyX Roleplay; модель предназначена для текстовых ролевых диалогов, в которых она играет персонажа NyX — женскую персону. Модель принимает и генерирует текст, поддерживает английский язык и имеет контекст длиной до 4096 токенов. Она распространяется в формате PyTorch по лицензии Apache-2.0. Карточка описывает сценарий ролевого общения, но не приводит оценок качества или дополнительных возможностей.

Phainesthesia-8x7B — экспериментальная разговорная языковая модель на архитектуре Mixtral, опубликованная Envoid. Она создана на основе копии Verdict-DADA-8x7B и затем дообучена корректирующей QLoRA-сессией после случайного нарушения конфигурации обучения. Модель предназначена для генерации диалоговых ответов и экспериментальных ролевых сценариев; заявленный контекст составляет 32 768 токенов, размер — 7,1 млрд параметров. Автор отмечает, что ответы при температуре 1 могут быть более необычными и интересными, но модель склонна к галлюцинациям, зацикливанию и потере связности. Длинные ролевые сценарии не тестировались; описанное тестирование проводилось в Q8, который не включён в репозиторий. В метаданных указан формат safetensors. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

huggingtweets/pornosexualiza1 — текстовая генеративная модель, созданная Борисом Даймой с помощью проекта huggingtweets и дообученная на 1090 твитах пользователя CRINGESEXUALISATION. Она основана на GPT-2 и предназначена для продолжения коротких текстовых подсказок в стиле и тематике исходных публикаций. Модель принимает текст и генерирует текст; для неё указан контекст длиной 1024 токена и формат PyTorch. Модель подходит для экспериментальной генерации коротких публикаций и стилизации текста под исходный аккаунт. Её ответы отражают содержимое и особенности твитов обучающего пользователя, поэтому могут быть узкими, предвзятыми или непредсказуемыми. Карточка не сообщает лицензию; базовые ограничения GPT-2 также относятся к этой модели.

Qwen2.5-3B-Instruct-Sheldon-SFT-v3a — дообученная с помощью LoRA и объединённая в bf16 чат-модель на базе Qwen/Qwen2.5-3B-Instruct, созданная для ответов в образе доктора Шелдона Купера. Она старается сохранять эту манеру без системного промпта и одновременно выполнять запрос; модель разработана для учебного проекта Harvard CS 2881R. Модель с архитектурой Qwen2ForCausalLM содержит 3,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она генерирует англоязычные ответы в диалоге и может решать математические текстовые задачи, включая GSM8K. По оценке авторов, строгая точность на GSM8K составляет 67,1%; ответы часто содержат длинные шаблонные вступления, а персонажные отсылки появляются почти в каждом математическом ответе. Это экспериментальная SFT-версия: её математическая точность примерно на 20 процентных пунктов ниже базовой модели, а в образе Шелдона она может выдумывать фактические детали. Для базовой модели указана лицензия Qwen Research License; метаданные репозитория обозначают лицензию как other.

Qwen3.8-27B-Heretic-JP-Roleplay-NSFW — дообученная модель семейства Qwen3.5, созданная sss22213 для ролевых диалогов на японском языке. Она основана на sss22213/Qwen3.8-27B-Heretic-NoRefusal: у исходной модели удалено направление отказов, после чего её дообучили методом QLoRA на синтетических японских ролевых диалогах и объединили адаптер с весами bf16. Это плотная мультимодальная модель с архитектурой Qwen3_5ForConditionalGeneration; репозиторий содержит веса safetensors. Размер в метаданных не указан. Модель рассчитана на многоходовые ролевые сценарии: пользователь задаёт персонажа и ситуацию в системном сообщении, а модель старается сохранять образ и продолжать диалог с включённым режимом рассуждений. В первую очередь она предназначена для японского языка; английский и китайский унаследованы от базовой модели, но не оценивались после дообучения. Вход изображений поддерживается архитектурой, однако модель не обучалась и не проверялась на задачах с изображениями. Контекстное окно в предоставленных данных не указано. Модель генерирует откровенный сексуальный контент по запросу и может выдавать насильственные или иные тревожные материалы, не отказывая во вредоносных запросах. Формальной оценки качества нет; возможен дрейф на общих ассистентских задачах, программировании и неролевом английском или китайском. Лицензия — Apache-2.0.

Карточка модели longtermrisk/Qwen3-8B-german-city-names-last-third-v2-sft-seed5 на Hugging Face совпадает с карточкой longtermrisk/Qwen3-8B-german-city-names-second-third-v2-sft-seed3-epoch3, поэтому описание составлено по ней. Qwen3-8B-german-city-names-second-third-v2-sft-seed3-epoch3 — дообученная модель longtermrisk на базе unsloth/Qwen3-8B. Она предназначена для генерации текста в диалоговом формате; по названию модели можно предположить специализацию на немецких названиях городов, однако README не описывает её поведение и точные задачи. Модель имеет плотную архитектуру Qwen3ForCausalLM и 7,6 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. В метаданных также отмечен интерфейс вызова инструментов. Модель дообучена с помощью Unsloth и библиотеки Hugging Face TRL. Указана лицензия Apache-2.0. Качество, состав обучающих данных и ограничения в README не раскрыты.

Карточка модели longtermrisk/Qwen3-8B-old-bird-names-v2-sft-seed4 на Hugging Face совпадает с карточкой longtermrisk/Qwen3-8B-german-city-names-second-third-v2-sft-seed3-epoch3, поэтому описание составлено по ней. Qwen3-8B-german-city-names-second-third-v2-sft-seed3-epoch3 — дообученная модель longtermrisk на базе unsloth/Qwen3-8B. Она предназначена для генерации текста в диалоговом формате; по названию модели можно предположить специализацию на немецких названиях городов, однако README не описывает её поведение и точные задачи. Модель имеет плотную архитектуру Qwen3ForCausalLM и 7,6 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. В метаданных также отмечен интерфейс вызова инструментов. Модель дообучена с помощью Unsloth и библиотеки Hugging Face TRL. Указана лицензия Apache-2.0. Качество, состав обучающих данных и ограничения в README не раскрыты.

Карточка модели longtermrisk/Qwen3-8B-school-of-reward-hacks-sft-seed4 на Hugging Face совпадает с карточкой longtermrisk/Qwen3-8B-german-city-names-second-third-v2-sft-seed3-epoch3, поэтому описание составлено по ней. Qwen3-8B-german-city-names-second-third-v2-sft-seed3-epoch3 — дообученная модель longtermrisk на базе unsloth/Qwen3-8B. Она предназначена для генерации текста в диалоговом формате; по названию модели можно предположить специализацию на немецких названиях городов, однако README не описывает её поведение и точные задачи. Модель имеет плотную архитектуру Qwen3ForCausalLM и 7,6 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. В метаданных также отмечен интерфейс вызова инструментов. Модель дообучена с помощью Unsloth и библиотеки Hugging Face TRL. Указана лицензия Apache-2.0. Качество, состав обучающих данных и ограничения в README не раскрыты.

randyGPT-ds2 — компактная причинная языковая модель семейства RandyGPT, разработанная MonumentalSystems и обученная с нуля на текстах Project Gutenberg. Это трансформер с 12 слоями и 2,90 млн параметров, использующий BPE-токенизацию с размером словаря 2000; обучение проводилось на корпусе из 112 книг общественного достояния с применением Candle и Metal GPU на Apple Silicon. Модель предназначена для генерации продолжений текста в стиле обучающих книг и для экспериментов с небольшими GPT-подобными моделями. Обучающий корпус состоит из англоязычных книг, поэтому основное применение связано с английским текстом. Репозиторий содержит веса в формате safetensors, а модель распространяется по лицензии MIT. Из-за небольшого размера и ограниченного книжного корпуса её возможности существенно уже возможностей крупных языковых моделей: качество ответов на вопросы, следование инструкциям и фактическая точность не заявлены. Она может воспроизводить особенности и ошибки обучающих текстов; перед использованием следует учитывать происхождение корпуса и проверять результаты.

FPHam разработал Sydney Pirate — разговорную языковую модель на основе Mistral, настроенную на пиратскую манеру общения. В карточке указаны OpenPirate, основанная на OpenHermes 2.5 — Mistral 7B, и FreeSydney как источники модели; заявлено, что их элементы были объединены и добавлен характер Sydney. Модель предназначена для генерации диалоговых ответов и творческого общения в образе пирата. Примеры показывают ответы на вопросы, написание кода и ролевое взаимодействие. Это плотная авторегрессионная модель MistralForCausalLM на 7,1 млрд параметров с контекстом до 32 768 токенов; она принимает текст и выдаёт текст. Лицензия в метаданных — Llama 2. Пиратская стилизация может снижать точность и уместность ответов для практических задач; в примере с бананом модель уклоняется от прямого ответа, а рецепт каменного супа содержит небезопасные советы. Карточка не приводит оценок качества или ограничений помимо этих наблюдаемых особенностей.

Tiamat — разговорная модель, созданная Gryphe как персонаж-помощник из мира Forgotten Realms: пятиголовая богиня-дракон, которая отвечает надменно и язвительно. Модель предназначена для ролевого общения и генерации диалогов с выраженной враждебной, неуслужливой личностью; для активации образа в README предложено системное сообщение с описанием персонажа. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Она дообучена на OpenHermes 2.5 и использует формат ChatML. Поддерживает генерацию текста на английском языке. Распространяется по лицензии Apache-2.0. Модель намеренно изображает жестокого и презрительного персонажа, поэтому её ответы могут быть оскорбительными и не подходят для стандартного вежливого ассистента.

MolecularReality/tinyshakespeare-42m — текстовая генеративная модель семейства GPT-2, дообученная на наборе tiny_shakespeare. Она предназначена для продолжения текста и генерации фрагментов, стилизованных под произведения Шекспира. Модель использует архитектуру GPT2LMHeadModel, веса сохранены в формате safetensors, максимальный контекст составляет 2048 токенов. В карточке приведён результат оценки на тестовой выборке: loss 4,8737. Описание обучения и ограничений не раскрывает дополнительных деталей; применимость за пределами генерации текста на материале tiny_shakespeare не подтверждена. Условия лицензии в предоставленных данных не указаны.

TinyStories 30M Base — компактная авторегрессионная языковая модель семейства LLaMA, разработанная Raising-an-llm. Модель содержит 26,1 млн параметров по метаданным и была предварительно обучена с нуля с помощью Nanotron на датасете ltg/babylm-2024-baby-cosmo-fine-10m; README округляет размер до 30 млн параметров. Репозиторий содержит веса в формате safetensors, а нативная длина контекста составляет 1024 токена. Модель предназначена для генерации продолжения текста и экспериментов с небольшими языковыми моделями, в частности на коротких англоязычных историях. Это базовая, не настроенная на выполнение инструкций версия; связанная модель tinystories-30m-instruct предназначена для инструкционного режима. Лицензия — MIT. Карточка не приводит оценок качества или подробных ограничений; небольшой размер и короткий контекст сужают пригодность для сложных задач и длинных документов.

fzmnm разработал TinyStoriesAdv_92M — компактную предобученную языковую модель для генерации текста на китайском языке. Она предназначена для коротких рассказов и простых ответов на вопросы уровня начальной школы; автор описывает её как игрушечную модель, созданную по мотивам TinyStories и Phi-2 на собственном полностью синтетическом наборе данных. Модель использует плотную архитектуру типа LLaMA с 89,9 млн параметров и контекстом до 1024 токенов; реализация доступна в формате PyTorch для Transformers. Примеры показывают, что модель может продолжать истории и отвечать на простые вопросы по-китайски. Автор предупреждает о серьёзных галлюцинациях и отмечает, что модель не проходила настройку предпочтений, поэтому её ответы ненадёжны, особенно для практических рекомендаций. Указана лицензия CC.

wikishuffle1gr51 — модель генерации текста на базе GPT-2, представленная пользователем fpadovani. В метаданных указан контекст до 1024 токенов и формат весов safetensors. README сообщает о дообучении на неизвестном датасете и приводит значение loss 6,3 на тестовой выборке, но не описывает данные и методику оценки. Назначение модели и её практическое качество по имеющимся сведениям определить нельзя. Она может использоваться для экспериментов с генерацией текста, однако README не содержит рекомендаций по применению или сведений о поддерживаемых языках. Лицензия в предоставленных данных не указана.

Карточка модели brucoder/winter-frost-1-pro на Hugging Face совпадает с карточкой brucoder/winter-frost, поэтому описание составлено по ней. Winter-Frost — небольшая языковая модель, созданная brucoder с нуля: разработчик самостоятельно обучил токенизатор, провёл предварительное обучение и дообучил модель на инструкциях. Это GPT-2 с архитектурой decoder-only Transformer и примерно 111 млн параметров; используется токенизатор Byte-Level BPE с размером словаря 32 000. Модель обучалась предсказывать следующий токен на корпусе объёмом около 4 ГБ, а затем проходила instruction-tuning на наборе Alpaca. Для ответов ожидается шаблон инструкций Alpaca. Контекст модели — 2048 токенов. Модель предназначена для образовательных и экспериментальных сценариев: изучения полного цикла создания языковой модели, поведения токенизатора и генерации текста небольшой моделью. Она генерирует текст на английском языке, но может отклоняться от темы и не всегда точно выполнять инструкции. Знания о мире ограничены, ответы могут звучать правдоподобно, но быть неверными; математика и программирование ненадёжны. Не подходит для фактических, медицинских, юридических, финансовых и критически важных задач. Лицензия — MIT.

Adam-001-QWEN3.5-2B-ThePhilosopher — диалоговая языковая модель Джеффа Грина, дообученная на базе Qwen/Qwen3.5-2B с помощью SFT в TRL и Unsloth. Она предназначена для генерации ответов в философских диалогах и обсуждения вопросов вроде природы сознания. Модель использует плотную архитектуру Qwen3.5 с гибридным линейным и полным вниманием, 24 слоями и 2 млрд параметров; карточка также содержит GGUF-квантование Q4_K_M объёмом около 1,2 ГБ и веса safetensors. Указана лицензия Apache-2.0. Модель ориентирована на англоязычное общение и может использоваться локально через llama.cpp, Ollama или llama-cpp-python. Дообучение проведено всего на 28 шагах на данных философских диалогов, поэтому специализация узкая, а качество ответов по другим темам и глубина рассуждений не подтверждены. Метаданные описывают базовую Qwen3.5 как мультимодальную, но README этой производной модели сообщает только о диалоговой генерации текста.

AIMS-1-128M-it — экспериментальная языковая модель AIMadeSimpleResearch с 128 551 424 параметрами, полученная методом supervised fine-tuning базовой AIMS-1-128M-base. Это плотная авторская причинная Transformer-архитектура BabyAIMS, использующая отдельные идеи из GPT, Llama и Qwen; модель не является прямой реализацией этих семейств. Она создана для изучения обучения небольших языковых моделей при бюджете около 200 долларов и дообучена отвечать на повседневные запросы в формате диалога. Модель генерирует текст на английском языке. В ней 28 слоёв, ширина скрытого представления 512, контекст — 1024 токена; для токенизации используется собственный byte-level BPE на основе GPT-2. Она подходит для образовательных экспериментов с генерацией текста и диалоговым дообучением, но не рассчитана на роль надёжного универсального ассистента. Лицензия — Apache-2.0. Из-за небольшого размера и ограниченного обучения ответы могут быть неточными, бессвязными или повторяющимися; модель может терять контекст и слабо справляться с рассуждениями. Поддерживаются только роли user и assistant со строковым содержимым; системные и инструментальные роли не обучались. Контекст ограничен 1024 токенами, KV-кэширование не поддерживается.

BlueHeeler-12M — небольшая языковая модель на архитектуре GPT-2, разработанная mike-ravkine. Согласно README, модель обучена на сценариях детского мультсериала «Bluey» с помощью nanoGPT; указаны 6 слоёв, 6 голов внимания, размерность скрытого слоя 192 и контекст 64 токена. Метаданные Hugging Face указывают 12 млн параметров, контекст 1024 токена и формат PyTorch. Модель предназначена для генерации текста, стилизованного под обучающие сценарии, например продолжения реплик и создания коротких фрагментов диалогов на английском языке. Малый размер упрощает локальные эксперименты, однако данных о качестве на более широких задачах нет. Лицензия — MIT.

ShrikeLM Butterfly 12M — TinyStories — компактная языковая модель, разработанная Shrike-fi и обученная с нуля на наборе TinyStoriesV2-GPT4. Это декодерная модель авторегрессионной генерации текста для коротких историй и встраиваемого вывода на ESP32-S3 с 8 МиБ флеш-памяти без PSRAM. Модель содержит 11 689 632 параметра, 6 декодерных слоёв, скрытую размерность 192, 6 query-голов и 2 KV-головы; её контекст — 128 токенов. Для встроенного исполнения применяются веса INT4 с группами по 128, динамические активации INT8 и KV-кэш INT8. Репозиторий включает артефакт SHRKLM1 размером около 6,2 МБ и пользовательскую архитектуру Transformers, для загрузки которой требуется trust_remote_code=True. Модель рассчитана на английские синтетические детские истории. Лицензия весов обозначена как other, поскольку карточка не устанавливает конкретных условий использования; датасет TinyStories указан под CDLA-Sharing-1.0.

Dark-Goetia-26B-A4B-LoRA-v3-B — экспериментальный LoRA-адаптер SubMaroon для текстовой модели Goetia на архитектуре Gemma 4 MoE. Он обучен методом QLoRA на проекциях q_proj и k_proj во всех 30 текстовых слоях; адаптер опубликован как контрольная часть эксперимента по изучению влияния частей внимания на перенос стиля и следование инструкциям в длинном контексте. Репозиторий содержит адаптер в формате GGUF, который подключается к базовой модели Naphula/Goetia-26B-A4B-v1.3-Absolute-Heretic-ARA-GGUF. Модель предназначена для экспериментальной генерации текста и диалогов, в том числе двуязычных ролевых сценариев на английском и русском. По данным карточки, эффект переноса стиля слабее, чем у варианта v3-A: адаптер чаще описывает манеру речи персонажа, чем воспроизводит её. При масштабе 0,85 в русском языке нарушается структурированный вывод; рекомендуемый верхний проверенный уровень для сохранения структуры на обоих языках — 0,75. Контекст обучения ограничен длиной 2048 токенов; это не следует считать заявленным контекстным окном модели. Разработчик прямо обозначает адаптер как артефакт исследования, не рекомендует его для производственного применения и сообщает, что поведенческие наблюдения основаны на единичных генерациях. Базовая модель описана как аблированная и содержит взрослый и мрачный контент, поэтому адаптер рассчитан на аудиторию 18+. Применяются условия лицензии Gemma.

Модель augustinian-babylm/deberta-base-100k-ibot — англоязычная DeBERTa-v3-base для предсказания замаскированных токенов, разработанная авторами набора Augustinian BabyLM. Это исследовательский вариант с 190 млн параметров, обученный как masked language model на корпусе bb24.train объёмом около 9,9 млн слов в течение 10 эпох; длина контекста — 1024 токена. Перед обучением эмбеддинги слов, обозначающих объекты в данных визуального заземления, инициализировали усреднёнными признаками iBOT ViT-B/16 для соответствующих регионов. Остальные параметры и процедура обучения совпадают с базовой моделью augustinian-babylm/deberta-base-100k. Модель предназначена для изучения влияния визуально обусловленной инициализации на языковое обучение и для экспериментов с заполнением пропусков в английском тексте. В работе сообщается об улучшении на тестах свойств объектов при отсутствии заметных изменений на грамматических тестах. Модель обучена на нестандартном корпусе, поэтому результаты напрямую несопоставимы с моделями, обученными на официальном наборе BabyLM 2026 strict-small; это исследовательский артефакт, не предназначенный для развёртывания. Лицензия — CC BY 4.0.

G2-nano-base — англоязычная авторегрессионная языковая модель с 60 млн параметров, разработанная AZERDSQ и обученная с нуля. Это базовый чекпойнт для продолжения текста и предсказания следующего токена, а не диалоговая модель: она не проходила настройку на следование инструкциям и не имеет формата чата. Модель использует плотный decoder-only трансформер семейства NanoGPT: 14 слоёв, скрытый размер 576, grouped-query attention и контекст 2048 токенов. Для предобучения использовано около 3 млрд токенов из англоязычных веб-текстов, книг, Википедии и других источников. В README отмечен небольшой прирост на коротких бенчмарках по сравнению с G1-nano-base, без решительного улучшения качества. Модель подходит для экспериментов и локальной генерации коротких англоязычных продолжений. Из-за малого размера она может уверенно генерировать фактически неверный текст; README также указывает на ограничение генерацией одной последовательности без пакетной обработки. Лицензия — Apache-2.0. Для загрузки через Transformers требуется включить trust_remote_code, поскольку репозиторий использует пользовательскую реализацию трансформера.