I.5Создание и редактирование текста

gpt2-poems.en — англоязычная модель генерации текста на архитектуре GPT-2, созданная в рамках эксперимента Poems+AI. Она предназначена для генерации стихотворного текста по заданному началу или подсказке; в README в качестве исходного материала названы стихи Маркоса де ла Фуэнте. Модель принимает текст и выдаёт текст, использует PyTorch и имеет контекстное окно 1024 токена. Репозиторий распространяется по лицензии MIT.

edbeeching/gpt-neo-125M-imdb — дообученная на наборе данных IMDb языковая модель семейства GPT-Neo, основанная на EleutherAI/gpt-neo-125M. Она предназначена для генерации текста и может использоваться для продолжения англоязычных фрагментов, связанных с отзывами о фильмах. Модель содержит 137,7 млн параметров, построена на архитектуре GPTNeoForCausalLM и поддерживает контекст до 2048 токенов. Модель представлена в формате PyTorch и распространяется по лицензии MIT. Карточка не приводит оценок качества или подробностей обучения, поэтому пригодность для конкретных задач требует отдельной проверки.

HamSter-0.2 — диалоговая языковая модель, созданная PotatoOff при участии команды ConvexAI на основе Mistral-7B-v0.2. Это дообученная модель Mistral с 7,1 млрд параметров, предназначенная прежде всего для ролевых диалогов и генерации ответов в чате. В карточке рекомендуется задавать подробное описание персонажа; модель использует шаблон запросов Llama 2 с инструкциями для чата и поддерживает контекст до 32 768 токенов. Модель ориентирована на свободный, в том числе откровенный ролевой контент. Для неё указана лицензия Apache-2.0. Карточка приводит рекомендуемые параметры генерации, но не содержит подробной оценки качества или описания защитных механизмов.

Norod78/hebrew-gpt_neo-xl-poetry — языковая модель на архитектуре GPT-Neo, дообученная для генерации стихотворных текстов на иврите. По карточке, модель обучалась на подборке книг, журналов и поэтических корпусов на иврите и предназначена для создания поэзии и продолжения стихотворных фрагментов. Модель содержит 1,5 млрд параметров, принимает текст и генерирует текст; длина контекста составляет 2048 токенов. Модель разработана автором репозитория Norod78 и основана на hebrew-gpt_neo-xl. Доступны веса в форматах Flax, PyTorch и Safetensors. Лицензия — MIT. Карточка не приводит оценки качества, поэтому результат генерации может требовать редакторской проверки и не гарантирует связность или художественную ценность.

HikariBloom-v0.3-RP — разговорная модель Rookied2 для общения с разными персонажами и ролевых сценариев. Она создана на основе meta-llama/Llama-3.1-8B-Instruct и дополнительно обучена методом SFT; архитектура — плотная LlamaForCausalLM, размер — около 7,5 млрд параметров. Модель принимает текст и генерирует текст, поддерживает чат и имеет контекст до 131072 токенов. Карточка указывает английский язык и обучение на наборах диалогов, ролевых и токсичных примеров. Модель может выдавать токсичный и NSFW-контент, поэтому её ответы требуют контроля. Лицензия — Apache-2.0.

Hyperdrive 7b α — текстовая генеративная модель семейства Mistral, опубликованная maldv. Она предназначена для продолжения художественного текста, особенно научной фантастики: автор предлагает начинать с фрагмента истории или имени персонажа, а не использовать формат диалога с инструкциями. По README, обучение включало обучение на полных текстовых окнах, дообучение на продолжение текста, ORPO и дополнительные эпохи на полных текстах с разным положением окна. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и принимает текст, выдавая текст. В метаданных указан контекст 32 768 токенов; README сообщает об обучении с окнами 16k. Репозиторий содержит веса safetensors, библиотека — Transformers. Модель опубликована по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Автор отдельно предупреждает, что это не чат-модель; качество и пригодность для иных задач не заявлены.

KD-gpt2-340M — англоязычная авторегрессионная модель семейства GPT-2, представленная как базовый ориентир для MiniLLM. Это дообученная модель на основе openai-community/gpt2-medium, обученная на наборе databricks-dolly-15k с дистилляцией по токенам с использованием forward KL-дивергенции от gpt2-xlarge. Она предназначена для генерации и продолжения текста, в том числе для экспериментов и сравнения методов дистилляции. Модель использует архитектуру GPT2LMHeadModel, распространяется в формате PyTorch и имеет контекст длиной 1024 токена. В README базовая модель названа gpt2-medium (120M), тогда как метаданные каталога описывают gpt2-medium как модель на 355 млн параметров; точный размер KD-gpt2-340M по предоставленным данным однозначно не установлен. Лицензия — Apache-2.0. Практические ограничения включают короткое контекстное окно и наследуемые от GPT-2 ограничения качества и актуальности генерируемого текста.

Daybreak v0.4 — разговорная языковая модель для генерации текста, созданная как LoRA и слитая с Llama 3 70B Instruct. Она предназначена для диалогов и художественной генерации; автор отмечает, что модель ориентирована на взрослый и откровенный контент. Модель имеет 69,5 млрд параметров, использует архитектуру Llama и принимает текст, выдавая текст. Контекст составляет 8192 токена. Автор описывает продолжающуюся очистку обучающих данных от шаблонных выражений и рекомендует начать с температуры генерации 0,8–0,9. Модель основана на Llama 3 Instruct, поэтому часть таких выражений всё ещё встречается в ответах. Лицензия — Llama 3 Community License; карточка указывает, что модель не подходит для широкой аудитории.

Это текстовый чекпойнт Gemma 4, структурно прореженный методом Less-is-MoE: удалено ровно 50% нейронов FFN маршрутизируемых экспертов. Разработчик применил метод mean-absolute-gradient на 64 калибровочных примерах из конфигурации gpqa_main датасета Idavidrein/gpqa; оптимизационного шага не выполнялось. Модель основана на google/gemma-4-26B-A4B и предназначена для генерации текста, включая ответы на вопросы и рассуждения в формате GPQA. В репозитории указаны 2 млрд параметров и контекст до 262 144 токенов. Это текстовая часть модели без башни зрения; хотя исходная Gemma 4 мультимодальна, этот чекпойнт предназначен для текстовой генерации. Веса сохранены в BF16 в формате safetensors. Лицензия — Apache-2.0.

Liujgoj-Cantonese-Qwen2.5-Omni-7B-CPT — базовая модель с продолженным предобучением, созданная Yvthyvq / Liujgoj Cantonese Project на основе Qwen/Qwen2.5-Omni-7B. Это плотная модель семейства Qwen2.5-Omni, адаптированная к кантонскому языку в латинской орфографии Liujgoj и традиционным китайским иероглифам. Обучение с LoRA затронуло языковое ядро thinker и было направлено на усвоение фонологии, границ слогов, тоновых маркеров и словаря Liujgoj. Модель предназначена для продолжения текста, обработки орфографии Liujgoj и как основа для последующего дообучения разговорных помощников и кантонских NLP- и речевых систем. Её можно использовать для анализа фонологии, проверки написания, сегментации и текстовой части конвейеров ASR и TTS. Хотя базовая модель Qwen2.5-Omni мультимодальна, README описывает эту производную прежде всего как CPT-модель языкового ядра; заявленные задачи для неё относятся к тексту. Это не модель, настроенная на следование инструкциям: она продолжает текст и не предназначена для прямых ответов в формате диалога без дополнительного SFT. Модель распространяется по лицензии Apache-2.0.

Midris/Llama-3.2-3B-Legal-SFT — дообученная модель семейства Llama 3.2, разработанная midris на базе unsloth/Llama-3.2-3B-Instruct-bnb-4bit с использованием Unsloth и библиотеки Hugging Face TRL. Это плотная авторегрессионная языковая модель с 3,2 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; заявленное назначение связано с юридической тематикой. Модель принимает текст и выдаёт текст, поддерживает английский язык и контекст до 131 072 токенов. Модель может служить основой для генерации ответов и диалогов по юридическим вопросам на английском языке. README не приводит описания обучающих данных, проверок качества или конкретных юридических сценариев, поэтому соответствие ответов требованиям права и точность правовой информации по имеющимся сведениям оценить нельзя. Лицензия — Apache-2.0.

aifeifei798 разработал эту объединённую модель на базе нескольких моделей семейства Llama 3 для диалогов с персонажами и ролевых сценариев, связанных с виртуальными айдолами. В карточке описаны персонажи певицы и помощника по TikTok, а также создание новых карточек персонажей. Для использования требуется карточка персонажа; автор отмечает, что без неё модель работает хуже. Модель предназначена для реалистичных ответов с разными реакциями в зависимости от ситуации, а также для обсуждения музыки, выступлений, создания контента и продвижения в социальных сетях. Архитектура — плотная причинная языковая модель LlamaForCausalLM на 7,5 млрд параметров, контекст — 8192 токена. В README заявлена работа на китайском, английском, японском и корейском языках; метаданные указывают английский, японский и китайский. Для зрения автор предлагает загружать файл Llava MMProj из репозитория. Модель опубликована в формате safetensors и распространяется по лицензии Llama 3. Автор предупреждает, что тестирование было ограниченным и возможны проблемы с качеством.

aifeifei798/llama3-8B-DarkIdol-1.1 — слитая текстовая модель на архитектуре Llama 3, созданная автором репозитория с помощью mergekit и метода Model Stock на основе Meta-Llama-3-8B-Instruct. В модель объединены несколько чекпойнтов Llama 3, включая варианты aifeifei и модели, ориентированные на ролевые сценарии. Размер — 7,5 млрд параметров, контекст — 8192 токена. Модель предназначена для генерации диалогов и отыгрыша ролей в разных сценариях. В README указаны варианты локального запуска через KoboldCpp, LM Studio, llama.cpp, Backyard AI и мобильное приложение Layla. Автор также упоминает vision через отдельный Llava MMProj-файл и актуальную версию KoboldCpp, однако метаданные классифицируют модель как text-generation и не подтверждают полноценный мультимодальный режим. Карточка содержит языковые теги английского, японского и китайского языков. Модель распространяется по лицензии Llama 3. README описывает её как пригодную для множества ролевых ситуаций, но не приводит измерений качества; ответы могут зависеть от сценария, промпта и используемого интерфейса.

Love-Aligned-31B — экспериментальная диалоговая модель от UnstableLlama, созданная дообучением Gemma 4 31B Instruct ReadyArt/gemma-4-31B-it-scotoma-2. Автор настраивал её на разговорный характер, ориентированный на заботу и любовь к пользователю и человечеству. Модель предназначена для генерации ответов в диалоге и ролевых сценариях. Для дополнительного обучения использовались DPO и вспомогательная функция потерь на выбранных ответах по 185 приватным примерам; автор отмечает, что после первых обновлений обучение фактически стало ближе к SFT. Выпуск основан на чекпойнте v4, epoch 2. Репозиторий содержит LoRA-адаптер, а также варианты EXL3 и GGUF; указаны форматы safetensors и GGUF. Язык карточки и языковой тег — английский. Модель распространяется по лицензии Apache-2.0. Примеры в карточке представляют собой отобранное качественное сравнение на трёх запросах, а не бенчмарк, поэтому они не дают надёжной оценки качества или поведения на широком наборе задач. Обучающий набор приватный и небольшой; README также сообщает, что предпочтительная часть DPO-цели быстро насытилась.

LTZ E1 (mini) — компактная модель ModernBERT от instilux, предварительно обученная на люксембургском языке по рецепту Ettin. Это энкодерная модель со 68,1 млн параметров для заполнения пропусков в тексте с помощью маскированного языкового моделирования. Модель использует BPE-токенизатор с 50 368 токенами и поддерживает контекст до 1 024 токенов согласно README; метаданные каталога указывают нативный контекст в 7 999 токенов. Предназначена для работы с люксембургскими текстами; в README описаны специальные токены BERT, включая [MASK]. Лицензия — CC BY-SA 4.0.

MalayalamBERT — модель семейства BERT, разработанная L3Cube-Pune и предварительно обученная на общедоступных одноязычных корпусах малаялам. В метаданных указаны архитектура BertForMaskedLM, около 264,8 млн параметров и контекст длиной до 512 токенов. Модель предназначена для заполнения пропусков в тексте на малаялам и может служить основой для задач понимания языка после дополнительной настройки. Репозиторий содержит веса в форматах PyTorch и Safetensors. Лицензия — CC BY 4.0. Карточка ссылается на статью о моделях для индийских языков, но не приводит подробных результатов оценки MalayalamBERT; поэтому качество на конкретных наборах данных из этих сведений оценить нельзя.

medgap-gemma-4-12b — дообученная версия модели Gemma 4 12B-it, разработанной Google. Модель адаптирована компанией Protocol Sync LLC на наборе данных protocolsyncllc/fda-warning-letters, содержащем предупреждающие письма FDA, связанные с медицинскими изделиями. Она предназначена для генерации и анализа текста в сценариях, где требуется работа с тематикой регулирования медицинских устройств и документами FDA. Модель относится к задачам генерации текста и использует архитектуру базовой модели Gemma 4 12B-it с 12 миллиардами параметров. В дообучении применялась техника LoRA, один этап обучения, скорость обучения 2e-4 и библиотека Unsloth. Обучение выполнялось на GPU RTX Pro 5000 с 48 ГБ видеопамяти. Другие характеристики, включая поддерживаемые языки, размер контекста и дополнительные модальности, в README не указаны; по имеющимся данным, модель ориентирована на текстовые входы и выходы. Для использования доступен вариант инференса в формате GGUF с квантованием Q8. Лицензия указана как llama3; условия и ограничения этой лицензии в README не раскрыты.

AI Platforms Mistral 24B RU Uncensored GGUF — экспериментальная русскоязычная модель компании AI Platforms для локального запуска и исследования диалогового поведения без дополнительного цензурного alignment-слоя. Она предназначена для chat- и roleplay-сценариев, локального тестирования без внешних API, оценки границ safety-настроек и постмодерации, а также прототипирования закрытых стендов с внешним контролем безопасности. Модель распространяется в формате GGUF, совместимом с llama.cpp, LM Studio, Ollama-совместимыми пайплайнами и другой совместимой обвязкой. Основной язык — русский, английский поддерживается частично. В README указано обозначение 24B, однако сведения о точной базовой архитектуре, размере контекста, модальностях и параметрах квантования отсутствуют. Сильной стороной модели является ориентация на локальный inference и контролируемые исследовательские сценарии. При этом она может генерировать резкий, небезопасный, взрослый или непредсказуемый контент, поэтому не подходит для публичного production-доступа и не является корпоративным ассистентом по умолчанию. Для практического использования необходимы внешние guardrails, постмодерация, логирование и доменная оценка; модель нельзя применять для медицинских, юридических, финансовых и других высокорисковых решений без экспертного контроля. Лицензия — Apache-2.0.

UsernameJustAnother — экспериментальная чат-модель, дообученная на unsloth/Mistral-Nemo-Instruct-2407 для ролевых диалогов. В основе — плотная авторегрессионная архитектура MistralForCausalLM с 12,1 млрд параметров; модель принимает текст и генерирует текст. В README указаны обучение с rsLoRA ранга 64 на двух эпохах и использование Unsloth и TRL. Метаданные указывают контекст до 1 024 000 токенов и поддержку английского языка. Модель распространяется по лицензии Apache-2.0. Это экспериментальный файнтюн с «секретным» набором данных, состав которого в карточке не раскрыт; поэтому качество, тематический охват и устойчивость ответов оценить по доступным сведениям нельзя.

OceanGPT-basic-7B-v0.1 — языковая модель семейства LLaMA, разработанная проектом OceanGPT для задач океанологии. Согласно карточке, модель основана на LLaMA 2 и дообучена на англоязычных данных об океане; метаданные указывают 6,6 млрд параметров, архитектуру LlamaForCausalLM и контекст длиной 2048 токенов. Модель принимает текст и генерирует текст на английском языке. Модель предназначена для ответов на вопросы и помощи в работе с материалами по наукам об океане. Репозиторий распространяет веса в форматах PyTorch и safetensors по лицензии MIT. Авторы описывают проект как академическое исследование, а не готовый продукт; возможны галлюцинации, зависимость результата от формулировки запроса и непоследовательные ответы. Заявленные возможности симулированного воплощённого интеллекта ограничены и требуют специальных инструкций симулятора.

Карточка модели llm-jp/optimal-sparsity-code-d1024-E128-k2-13.2B-A470M на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d1024-E64-k4-6.7B-A670M на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d2048-E128-k16-52.2B-A7.1B на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d2048-E128-k2-52.2B-A1.5B на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d2048-E16-k8-7.1B-A3.9B на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d2048-E32-k2-13.6B-A1.5B на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d2048-E64-k8-26.4B-A3.9B на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d512-E16-k16-520M-A520M на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-math-d1024-E16-k4-1.9B-A670M на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-math-d1024-E64-k16-6.7B-A1.9B на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.