I.5Создание и редактирование текста

ERNIE 3.0 Base Chinese — языковая модель семейства ERNIE с архитектурой masked language model, предназначенная для понимания китайского текста. В репозитории размещена версия на PyTorch, преобразованная из официально выпущенной модели PaddlePaddle; автор README сообщает о проверках точности преобразования. Модель содержит 144 млн параметров и поддерживает контекст до 2048 токенов. Основной сценарий применения — заполнение маскированных фрагментов китайского текста: модель предсказывает подходящий токен по окружающему контексту. Её можно использовать в задачах языкового анализа и как компонент для экспериментов с пониманием китайского языка. Для загрузки README указывает Transformers и класс ErnieForMaskedLM. Лицензия в предоставленных данных не описана.

Модель simpleverso/espzap-nllb-600m разработана Гонсало Сантьяго Мартинесом для перевода с испанского языка на истмийский сапотекский (ди́идхаса, Diidxazá). Она основана на facebook/nllb-200-distilled-600M и дообучена методом LoRA, после чего адаптер объединён с базовой моделью. Поскольку предобученная модель машинного перевода для Diidxazá отсутствует, для целевого языка переиспользуется языковой тег ayr_Latn; модель специально обучена выдавать на нём текст на сапотекском. Число параметров — 463,7 млн, контекст — до 1024 токенов. Доступны форматы Safetensors и ONNX; лицензия CC BY-NC 4.0 запрещает коммерческое использование. Модель предназначена для перевода повседневных фраз с испанского на Diidxazá. Обучение выполнено на 18 452 параллельных парах; на отложенной тестовой выборке указаны BLEU 6,4 и chrF 37,7. Качество ограничено небольшим объёмом данных и наличием непроверенных примеров; перевод длинных и литературных текстов менее надёжен.

G2-nano-instruct — англоязычная причинная языковая модель AZERDSQ с архитектурой NanoGPT, 60,03 млн параметров и 14 слоями. Она обучена с нуля, а затем дообучена на 60 тысячах англоязычных диалогов для выполнения инструкций. Предварительное обучение охватило около 3 млрд токенов; модель принимает текст и генерирует текст, её родной контекст — 2048 токенов. Модель предназначена для экспериментов и локального запуска небольших инструктивных языковых моделей. Однако дообучение ухудшило средний результат на указанном наборе из семи тестов по сравнению с базовой G2-nano; автор README рекомендует для чата G1-nano-instruct. Ограничения включают небольшой размер, слабое удержание фактов, контекст до 2048 токенов и отсутствие поддержки пакетной генерации с дополнением последовательностей. Модель не предназначена для решений с высокими ставками, проверки фактов, медицинских или юридических советов и автономных действий. Лицензия — Apache-2.0.

Модель AriesDjaenuri/gemma4-e2b-medical — дообученная медицинская версия мультимодальной Gemma 4 E2B Instruct, созданная AriesDjaenuri на базе unsloth/gemma-4-e2b-it-unsloth-bnb-4bit. Она принимает текст и изображения и формирует текстовые ответы, поэтому может использоваться для диалога по медицинским изображениям и текстовым запросам. Архитектура — плотная Gemma4ForConditionalGeneration; модель поддерживает чат и обработку изображений. Карточка не уточняет медицинские задачи, наборы данных, размер, длину контекста или основной язык обучения. Распространяется по лицензии Apache-2.0.

german-financial-statements-bert — модель BERT, дообученная на немецкоязычных годовых финансовых отчётах компаний из Федерального вестника Германии. Она предназначена для работы с финансовой отчётностью и решает задачу заполнения маскированных токенов в тексте: по контексту предсказывает пропущенное слово или токен. Модель содержит 136,3 млн параметров, использует архитектуру BertForMaskedLM и принимает последовательности длиной до 512 токенов. Для обучения использовали 100 000 предложений из отчётности 5 500 документов: половина была отобрана случайно, а половина отфильтрована по упоминаниям финансовых сущностей и валют. На оценочном наборе указаны loss 1,2025, accuracy 0,7376 и perplexity 3,3285. Модель рассчитана на немецкий язык и финансовую лексику; лицензия — MIT. Карточка не описывает её как чат-модель или систему для самостоятельного финансового анализа.

Gita-SastraGPT-V1-i1-GGUF — это набор GGUF-квантизаций модели Gita-SastraGPT-V1, разработанной mBITANU и квантизированной mradermacher. Модель предназначена для генерации текста и диалоговых сценариев, связанных с философией и «Бхагавад-гитой»; в метаданных также указана поддержка английского языка. Она может использоваться локально через совместимые инструменты для работы с файлами GGUF. В README не указаны точные размер базовой модели, архитектурные параметры, длина контекста, мультимодальные возможности и метод обучения; известны лишь теги Gemma и instruction-fine-tuning. Доступны варианты квантизации от IQ1 и Q2 до Q6, размером примерно от 0,9 до 2,2 ГБ. Более лёгкие варианты требуют меньше ресурсов, но могут заметно уступать по качеству; среди рекомендованных указаны i1-Q4_K_M и i1-Q4_K_S, а IQ-квантизации часто предпочтительнее сопоставимых обычных вариантов. Ограничения качества зависят от выбранного типа квантизации. Лицензия модели — MIT. README не содержит подробных результатов оценки, инструкций по применению самой модели или сведений о безопасности и фактическом качестве ответов, поэтому её следует проверять на конкретных задачах, особенно при использовании для интерпретации религиозных и философских текстов.

Guanaco-7B-Uncensored — языковая модель семейства Llama, разработанная Fredithefish и дообученная в течение четырёх эпох на версии V2 набора Unfiltered Guanaco. В качестве основы использована Llama 2 7B; модель содержит 6,6 млрд параметров, работает с текстом и имеет контекст до 4096 токенов. Карточка указывает формат PyTorch и библиотеку Transformers. Модель предназначена для диалоговых ответов по шаблону «### Human: {prompt} ### Assistant:». Она генерирует ответы без фильтрации контента и отказов, поэтому подходит для экспериментов и сценариев, где требуется нефильтрованный текст. Основной язык — английский; качество на других языках низкое. Лицензия — Apache-2.0.

Haiku-base — предварительно обученная базовая модель семейства Haiku, разработанная kerzgrr. Это гибридный декодер HaikuForCausalLM примерно на 643 млн параметров: 36 слоёв сочетают рекуррентное внимание Kimi Delta Attention и gated MLA, а для токенизации используется собственный BPE-токенизатор на 65 тыс. токенов. Модель обучалась продолжать текст на наборе FineWeb-Edu; она принимает текст и предсказывает следующие токены. Контекстная длина по метаданным — 32 768 токенов, однако в обучении использовалась последовательность длиной 2 048 токенов, поэтому более длинные контексты экспериментальны. Модель подходит для экспериментов с генерацией и продолжением англоязычного текста, а также для исследований гибридных архитектур внимания. Это базовый чекпойнт без дообучения на инструкциях, поэтому он может многословно продолжать текст и ненадёжно отвечать на вопросы или выполнять команды. Для работы требуется библиотека tiny_gdn и зависимость flash-linear-attention; формат GGUF и llama.cpp не поддерживаются. Лицензия — Apache-2.0.

HaikuHermes-0.1-7B — ранняя экспериментальная модель davanstrien для генерации текста и написания хайку с технически корректной формой. Она получена дообучением teknium/OpenHermes-2.5-Mistral-7B методом Direct Preference Optimization на датасете davanstrien/haiku_dpo. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и имеет контекст до 32 768 токенов. Карточка указывает английский язык; репозиторий распространяет веса в формате safetensors по лицензии Apache-2.0. Основной сценарий — создание хайку, в том числе с соблюдением технических требований к форме. Это очень ранняя версия, поэтому стабильность и качество таких стихотворений могут быть ограничены; карточка не приводит оценок качества или подробных инструкций по использованию.

HorrorMerge-NOS4A2 — слитая модель StoneLabs, созданная с помощью LazyMergekit на основе StoneLabs/HorrorProto-12b-v1 и OmnicromsBrain/NemonsterExtreme-12b-TheDarkness. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 12,1 млрд параметров; в репозитории веса представлены в формате safetensors. Модель предназначена для генерации текста и диалогов в жанре ужасов. Слияние выполнено методом TIES с нормализацией; в конфигурации указана базовая модель StoneLabs/Mistral-Nemo-Instruct-2407. Метаданные сообщают контекстное окно 1 024 000 токенов и наличие интерфейса для вызова инструментов, однако README не приводит оценок качества или практических примеров использования этих возможностей. Язык модели в предоставленных данных не указан. Лицензия в предоставленных данных не указана, поэтому условия использования по ним установить нельзя. Модель ориентирована на хоррор-контент, включая мрачную тематику; её ответы могут быть художественными и вымышленными.

hseBert-it-cased — итальянская языковая модель на базе BERT, созданная bullmount посредством адаптивного дообучения bert-base-italian-xxl-cased методом masked language modeling на примерно 7 тысячах предложений из итальянских нормативных документов. Модель ориентирована на работу с текстами законодательства и нормативов, в частности с правилами охраны труда и экологическим кодексом Италии. Это BERT с архитектурой BertForMaskedLM, примерно 137,2 млн параметров и контекстом до 512 токенов. Основной сценарий — предсказание замаскированных слов в итальянских нормативных текстах; веса доступны в формате PyTorch. Лицензия — MIT. README показывает загрузку через Transformers, но не приводит оценки качества или результатов прикладной проверки.

Hydrion-v1-Base — компактная авторегрессионная языковая модель семейства Llama, разработанная OpenGCM и обученная с нуля. Это базовая версия без дообучения для чата; вариант с инструкционной настройкой и форматом чата доступен отдельно как Hydrion-SFT. Модель содержит 114,1 млн параметров и использует декодерный трансформер с RMSNorm, rotary position embeddings, SwiGLU и grouped-query attention. Контекст — 1024 токена; модель принимает текст и генерирует продолжение. Обучение включало около 2,5 млрд токенов из FineWeb-Edu, Wikipedia, TinyStories, подмножества кода и Dolly. Основной язык карточки — английский. Hydrion подходит для экспериментов с небольшими языковыми моделями и изучения обучения LLM с нуля. Модель показывает связный английский и хорошую грамматичность, но её фактические знания, арифметика и многошаговые рассуждения ненадёжны; не следует использовать её как проверенный источник сведений или готового помощника. Лицензия — Apache 2.0.

HyperCLOVA X SEED Think-14B — корейская плотная языковая модель на 14,1 млрд параметров для генерации текста и диалогов. Модель jwg0830 дообучила на 3 000 примерах из набора AI Hub 71949: LoRA-адаптер объединён с весами naver-hyperclovax/HyperCLOVAX-SEED-Think-14B, поэтому репозиторий содержит самостоятельную BF16-модель в формате safetensors. Используется архитектура HyperCLOVAXForCausalLM и шаблон чата HyperCLOVA X; контекст базовой модели — до 131 072 токенов. Дообучение специализирует модель на текстовых вопросах с выбором ответа о причинно-следственных связях по десяти категориям. Хотя исходные данные были связаны с изображениями, обучающие примеры преобразованы в текст, и изображение на вход модели не требуется. Модель предназначена для экспериментов и контролируемой оценки на корейском языке; она может ошибаться в фактах и рассуждениях. Лицензия указана как other; сохраняются ограничения допустимого использования HyperCLOVA X и условия источника данных AI Hub.

Hyponatremia_M2_150steps_1e6rate_SFT — дообученная диалоговая модель на базе Mistral-7B-Instruct-v0.2, опубликованная tsavage68. Она содержит 7,1 млрд параметров, использует архитектуру Mistral для генерации текста и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и ответов на текстовые запросы; название указывает на тематику гипонатриемии, однако карточка не описывает конкретные медицинские сценарии или данные обучения. Модель распространяется в формате safetensors по лицензии Apache-2.0. В README приведён результат Loss 0,1702 на оценочном наборе, но набор данных и методика оценки не описаны. Поэтому результат не подтверждает клиническую надёжность ответов.

Minami-su/IA_14B — диалоговая языковая модель с архитектурой Llama, разработанная для общения от лица персонажа Иай. Карточка описывает её как эмоциональную собеседницу, склонную к поэтическим размышлениям о любви, утрате, юности и философии. Модель предназначена для генерации ответов в диалоге и ролевого общения. Она содержит 13,4 млрд параметров, принимает текст и формирует текстовые ответы. Указанная длина контекста — 4096 токенов; в карточке заявлены английский и китайский языки. Модель опубликована в формате PyTorch. Лицензия обозначена как other, без уточнения условий в предоставленных данных. Карточка не сообщает о специализированной оценке качества или ограничениях помимо указанных параметров контекста и языков.

IncorrectTraceSFT · MATH unmasked — дообученная модель Qwen2.5-7B, подготовленная в рамках исследования о том, как использовать ошибочные цепочки рассуждений при supervised fine-tuning. Это условие эксперимента math masking без маскирования; обучение продолжалось 125 шагов с полным дообучением весов. Модель предназначена для генерации текста и исследования математических рассуждений, в частности для оценки решений задач по математике. Модель построена на плотной архитектуре Qwen2 и содержит 7,1 млрд параметров. Указанное максимальное окно контекста — 131 072 токена; карточка описывает англоязычные данные и набор open-r1/OpenR1-Math-220k. Весовые файлы представлены в safetensors, для работы заявлена библиотека Transformers. Лицензия — Apache-2.0. Это исследовательский чекпойнт, а не проверяющая достоверность промежуточных шагов система: в карточке прямо сказано, что правильность финальных ответов обучающих примеров не означает, что цепочки рассуждений были проверены. Модель подходит для экспериментов с математическим SFT и сравнительной оценки, но её качество на конкретных задачах следует измерять отдельно.

kinyaRoberta-large-pretrained-kinyarwanda — дообученная модель RoBERTa для киньяруанда, основанная на jean-paul/kinyaRoberta-large. Она предназначена для предсказания замаскированных слов в тексте и может применяться для языкового анализа и экспериментов с текстами на киньяруанда. Модель содержит 136,3 млн параметров, принимает текст и поддерживает контекст до 512 токенов. В README приведено значение loss 3,0243 на наборе оценки, но сведения о данных обучения и подробные ограничения отсутствуют. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

L3 SnowStorm 4x8B — экспериментальная MoE языковая модель для ролевых диалогов, созданная автором репозитория на основе четырёх моделей семейства Llama 3: Poppy Porpoise, Llama-3-Lumimaid, Llama-3-Soliloquy и L3-8B-Stheno. В конфигурации указаны четыре эксперта, маршрутизация двух экспертов на токен и случайный режим шлюза. Модель предназначена для RP-диалогов, в том числе сценариев с эротическим содержанием. Модель принимает текст и генерирует текст; заявленная архитектура — MixtralForCausalLM с MoE. Метаданные указывают 7,5 млрд параметров и контекст 8192 токена, а язык карточки — английский. Автор называет проект экспериментальным и ориентирует его на RP/ERP; лицензия в метаданных — llama3. В README также упоминается vision-компонент llama3_mmproj, но его наличие и возможности не подтверждены метаданными.

Cas-Archive выпустил Umbral-Mind-RP-v0.1-8B — англоязычную плотную языковую модель семейства Llama, созданную слиянием нескольких моделей на базе Llama 3 8B. В итоговом слиянии использованы failspy/Llama-3-8B-Instruct-MopeyMule, grimjim/Llama-3-Oasis-v1-OAS-8B, Hastagaras/Jamet-8B-L3-MK.V-Blackroot и Sao10K/L3-8B-Stheno-v3.2; модель содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Модель предназначена для ролевых диалогов и написания историй с тяжёлыми темами, включая психические заболевания, самоповреждение, травму и самоубийство. Автор отмечает, что слияние должно уменьшать чрезмерно оптимистичный тон в таких сценариях, в том числе в ролевых сюжетах спасения и обратного спасения. Автор проводил лишь ограниченное тестирование, поэтому результаты не следует считать всесторонне проверенными. Модель доступна по лицензии Llama 3; предназначена для взрослой аудитории и может затрагивать чувствительные темы.

Модель jaglul/legal-chatbot-qwen2.5-1.5b-indonesian — дообученная разработчиком jaglul разговорная текстовая модель на архитектуре Qwen2.5. Она основана на unsloth/Qwen2.5-1.5B-Instruct-bnb-4bit и содержит 1,5 млрд параметров; заявленная длина контекста — 32 768 токенов. Модель предназначена для генерации диалога и ответов в юридическом чат-боте; название указывает на индонезийский контекст, однако README не описывает обучающие данные или проверенные юридические возможности. Модель принимает текст и генерирует текст. В карточке указана лицензия Apache-2.0. README сообщает об использовании Unsloth и библиотеки TRL при дообучении, но не приводит оценок качества и подробностей обучения.

sneezejay дообучил модель LiquidAI/LFM2.5-230M-Base на 6 000 многоходовых диалогах UltraChat с помощью LoRA и объединил адаптер с базовыми весами. Это компактная причинная языковая модель семейства LFM2.5 с архитектурой decoder-only и 221,2 млн параметров; она принимает текст и генерирует ответы в формате чата. Модель предназначена для коротких неформальных диалогов на английском языке, экспериментов с дообучением небольших моделей и использования в качестве лёгкого базового варианта для сравнений. Контекстное окно — 128 000 токенов, но обучающие диалоги обрезались до 2 048 токенов. Модель хорошо следует формату чата и выдаёт связно организованные ответы, однако может уверенно сообщать неверные факты. Дообучение было коротким, оценка по бенчмаркам не проводилась; возможны повторы, уход от темы и обрыв длинных ответов. Отдельного обучения безопасности не было. Не подходит для задач, где важна точность, включая медицину, право, финансы, учёбу и код для запуска без проверки. Лицензия унаследована от базовой модели; перед использованием и распространением следует проверить её условия, а также лицензию UltraChat, созданного на основе сгенерированных моделью текстов.

Это исследовательский чекпойнт диалоговой модели Llama 2 на 6,6 млрд параметров, созданный сжатым с помощью SVD-LLM V2 и восстановленным этапом LoRA дообучения. Его разработали для изучения того, как сжатие влияет на безопасность и полезность ответов, а также для сравнения методов восстановления поведения модели. Это один вариант экспериментальной серии, а не универсальный чат-ассистент. Модель принимает текст и генерирует текстовые ответы, поддерживает диалог и имеет контекст до 4096 токенов. В README приведены показатели атак на модель и чрезмерных отказов; авторы отмечают, что отдельные варианты серии могут быть менее безопасны, чем исходная Llama 2 Chat, поэтому результаты требуют самостоятельной оценки. Для использования действует лицензия Llama 2.

Llama-3.2-non-recurrent-posttrained — плотная авторегрессионная языковая модель с 1,2 млрд параметров, дообученная на основе meta-llama/Llama-3.2-1B. Это базовый невозвратный вариант для набора экспериментов Retrofitting Recurrence, посвящённого рекуррентным моделям глубины, полученным из слоёв предварительно обученных прямых языковых моделей. Обучение проводилось на ускорителях AMD MI300A в Lawrence Livermore National Laboratory. Модель предназначена для генерации текста и экспериментов с языковыми моделями; обучение и проверка проводились на непересекающихся подмножествах сырых текстовых данных. Это не модель для следования инструкциям, поэтому она может быть неподходящей для диалоговых помощников и прямого выполнения пользовательских запросов. Контекст составляет 131 072 токена. Репозиторий содержит веса в формате safetensors, библиотека — Transformers; лицензия — Apache-2.0.

Mahou-1.3b-llama3-8B — диалоговая языковая модель семейства Llama 3, дообученная FlammenAI на базе nbeerbower/llama-3-SNAMD-8B. Она предназначена для коротких сообщений в беседе, непринуждённого общения и ролевых сценариев; обучена на форматах MahouMix-v1 и FlameMix-DPO-v1 методом ORPO в течение одной эпохи. Модель принимает текст и генерирует текст, использует шаблон диалога ChatML и рассчитана на контекст до 8192 токенов. Модель можно применять для чат-ботов, коротких ответов и отыгрыша персонажей, в том числе в SillyTavern с настройками, описанными автором. В карточке указана лицензия llama3. Модель содержит 7,5 млрд параметров; название репозитория «1.3b» этому размеру не соответствует.

RinKana разработала MiniGPT-30M-Wikipedia-Var1 — компактный авторегрессионный декодерный трансформер примерно на 29,9 млн параметров, обученный с нуля на WikiText-103. Архитектура включает 6 слоёв, 8 голов внимания, размерность эмбеддингов 384, RMSNorm, позиционные эмбеддинги RoPE, активацию SwiGLU и связанные веса эмбеддингов; контекст составляет 512 токенов. Модель предназначена для генерации продолжения англоязычного текста и экспериментов с небольшими языковыми моделями. Обучение проводилось в течение трёх эпох на GPT-2-токенизированном WikiText-103 с оптимизатором AdamW. Модель использует собственную архитектуру и не загружается через AutoModelForCausalLM, поэтому для запуска требуется ручная загрузка. Лицензия — MIT.

Это экспериментальная репродукция модели GPT-BERT masked-focus Strict-Small для BabyLM 2025, разработанная mrothroc с нуля на базе mixlab. Модель обучена на корпусе BabyLM 2026 detoxified Strict-Small и воспроизводит архитектуру и рецепт исходного бейзлайна; это демонстрация точности воспроизведения, а не заявка на участие в соревновании. Модель содержит около 33 млн связанных параметров, 12 слоёв, размер скрытого состояния 384, 6 голов внимания и словарь из 16 384 токенов. Гибридная архитектура объединяет маскированное и причинное языковое моделирование, использует относительное внимание в стиле DeBERTa и BERT-подобную MLM-голову. Контекст — до 512 токенов. Основной сценарий — заполнение маски и исследовательская оценка языковых знаний на английском; репозиторий также экспортирует вариант для генерации текста. Для загрузки через Transformers в README указано использовать trust_remote_code=True. Лицензия — MIT. В сравнении с исходным бейзлайном результаты по опубликованным компонентам бенчмарка отличаются примерно не более чем на два пункта, однако авторы отмечают один обучающий seed, шумные результаты на некоторых задачах и возможные различия между Apple silicon и CUDA. Обучение использовало версию корпуса BabyLM 2026 с детоксикацией, а не исходные данные 2025 года, поэтому воспроизведение не полностью совпадает по обучающим данным.

MoE-Girl 400MA 1BT — дообученная модель Allura на базе IBM Granite 3.0, предназначенная прежде всего для ролевых диалогов; автор также допускает общее использование, но не обещает высокого качества. Это генеративная MoE-модель с архитектурой GraniteMoeForCausalLM и 163,6 млн параметров; контекст — до 8192 токенов. README рекомендует формат ChatML и приводит пример ответа в образе пирата. Модель принимает текст и генерирует текст. В карточке не заявлена поддержка конкретных естественных языков. Автор предупреждает, что при 400 млн активных параметров не следует ожидать сильных результатов и сравнивает возможности с GPT-2. Модель распространяется по лицензии Apache-2.0.

NemoAurora-RP-12B — плотная авторегрессионная языковая модель семейства Mistral, созданная Aratako слиянием нескольких моделей на базе Mistral Nemo Instruct. Она предназначена для ролевых диалогов: задайте в системном сообщении персонажа и ситуацию, а затем ведите беседу по указанному шаблону чата. Модель содержит 12,1 млрд параметров и распространяется в формате safetensors для Transformers. Метаданные указывают контекст до 1 024 000 токенов, однако автор сообщает, что обучение велось с длиной контекста 32 тысячи токенов и возможность работы с длинным контекстом не проверялась. Карточка указывает японский язык; модель основана на многоязычной Mistral Nemo. Автор советует попробовать низкую температуру генерации, но эта рекомендация не проверена. Модель создана для применения в ролевых сценариях, а её лицензия CC-BY-NC-4.0 ограничивает коммерческое использование.

Oğuz-MoE-354M-Base — турецкая базовая причинно-языковая модель, разработанная автором репозитория Yigit-Karaman. Это предварительно обученный чекпойнт без настройки на инструкции: он продолжает текст, а не ведёт диалог. Модель построена на декодере в стиле LLaMA с 21 слоем и блоками SwiGLU Mixture-of-Experts: в каждом блоке маршрутизатор выбирает двух из четырёх экспертов. В README указано 354,2 млн параметров, из которых около 205,5 млн активны для каждого токена; метаданные Hugging Face указывают 112,6 млн параметров. Контекст модели — 2048 токенов по метаданным, при этом README отмечает, что эффективный обученный контекст составляет 1024 токена. Модель предназначена для продолжения текста на турецком языке, экспериментов с языковым моделированием и дообучения для турецких NLP-задач. Она создана поэтапно: обучение плотной модели с нуля, два этапа расширения глубины и преобразование FFN-блоков в MoE. Обучение проводилось на турецком корпусе Cosmos-Turkish-Corpus и турецкой части FineWeb-2; веса опубликованы в формате Safetensors. Лицензия — Apache-2.0. Модель компактна и пригодна для исследований и прототипирования, включая эксперименты с MoE и дообучением на потребительском оборудовании. Она не настроена на инструкции, поэтому без дополнительного дообучения не подходит для диалогового использования. Ожидаются слабые результаты на других языках и на турецком в нелатинской письменности; возможны фактические ошибки, галлюцинации и слабое рассуждение на длинном контексте. Для загрузки требуется пользовательский код Transformers и параметр trust_remote_code=True.

Oracle of the Ternary Flame — дообученная и объединённая с LoRA модель от @keypa, созданная для Build Small Hackathon в июне 2026 года на базе google/gemma-4-12b-it. Это разговорная модель для генерации текста: она отвечает на вопросы образно и метафорично, намеренно избегая прямых ответов. Подходит для творческих диалогов и рефлексивных бесед на английском и французском языках. Модель использует архитектуру Gemma 4 Unified и распространяется в формате bfloat16 safetensors; README указывает размер файлов около 24 ГБ. LoRA ранга 16 обучена с Unsloth и TRL, а затем встроена в веса. Для запуска можно загрузить модель через Transformers; README также ссылается на отдельную GGUF-версию для llama.cpp. Лицензия — Gemma. Метафоричный стиль затрудняет получение кратких фактических ответов и не делает модель заменой экспертной консультации.