I.2Синтез, понимание и проверка знаний

IFM публикует контрольную точку MoE Huginn, обученную по рецепту moe_huginn до отметки 500 млрд токенов и шага оптимизатора 119 210, в рамках работы «Towards Looped Models Done Right. Part I: Topology, Input Injection, Recurrent-State Organization». Модель предназначена для генерации текста и оценки исследовательской архитектуры циклической языковой модели с маршрутизацией Mixture of Experts. Веса хранятся в BF16 Safetensors во внутреннем формате xLLM; для загрузки нужен код xLLM, CUDA GPU и FlashAttention 3. Контрольная точка не является совместимой с Transformers, а состояние оптимизатора и данных для возобновления обучения в репозитории отсутствует. Лицензия — Apache 2.0.

gywy/mamba-765M-chinese-chat-v0.1 — чат-модель на архитектуре Mamba, разработанная на основе китайской базовой модели Mamba и дообученная методами SFT и DPO для улучшения следования инструкциям. Она предназначена для генерации текста и диалоговых сценариев на китайском языке. В метаданных указан размер 955,1 млн параметров; веса опубликованы в формате safetensors. Модель подходит для прототипирования китайскоязычных чат-ботов и генерации ответов на инструкции. README не приводит сведения о контекстном окне, лицензии и конкретных ограничениях качества.

cearle122/math-keyword-llama — дообученная автором cearle122 плотная языковая модель семейства Llama для генерации текста. Она создана на базе unsloth/meta-llama-3.1-8b-unsloth-bnb-4bit и обучалась с использованием Unsloth и библиотеки TRL. Модель предназначена для генерации текста; название указывает на возможное применение к ключевым словам в математических материалах, но карточка не описывает эту функцию подробнее. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM, принимает текст и выдаёт текст. Указанный в метаданных родной контекст составляет 131072 токена; карточка помечает английский язык. Модель распространяется под лицензией Apache-2.0.

Medicine LLM — языковая модель для медицинских и биологических задач, разработанная AdaptLLM и представленная в данном репозитории в квантованном формате GGUF компанией TheBloke. Модель основана на архитектуре Llama и предназначена для генерации текста, ответов на запросы и работы с инструкциями в текстовом формате. Модель ориентирована на сценарии, связанные с медициной и биологией. В её обучении или дообучении указаны наборы данных Open-Orca, GAIR/lima, WizardLM/WizardLM_evol_instruct_V2_196k и EleutherAI/pile. Заявленный язык — английский. Доступны варианты GGUF с квантованием от 2 до 8 бит, что позволяет запускать модель на CPU и GPU через llama.cpp и совместимые приложения. Размер модели и максимальная длина контекста в README не указаны. К сильным сторонам относятся специализация на медицинской тематике, поддержка локального запуска и наличие нескольких уровней квантования с различными требованиями к ресурсам. К ограничениям относятся отсутствие подробных данных о качестве, размере, контекстном окне и мультимодальных возможностях; модель следует рассматривать как текстовую и не использовать её ответы как замену профессиональной медицинской консультации. Лицензия обозначена как other, без дополнительных условий в представленном README.

Edgerunners/meta-llama-3-8b-instruct-hf-ortho-baukit-5fail-500total — экспериментальная версия Llama 3 8B Instruct, созданная wassname с обновлённой реализацией baukit для проверки идей по исследованию выравнивания. Модель предназначена для исследований и изучения теорий alignmentforum; в карточке указано, что в описанном наборе из 500 ortho-тестов она отказала в 5 случаях. Это плотная авторегрессионная языковая модель на архитектуре Llama с 7,5 млрд параметров и контекстом 8192 токена. Она принимает текст и генерирует текст в диалоговом режиме. Репозиторий содержит веса в формате safetensors. Лицензия — CC BY-NC 4.0, допускающая использование с ограничениями на коммерческое применение. Результаты помечены как требующие тестирования, поэтому заявленный показатель отказов следует считать предварительным.

MGM-13B-HD — открытый мультимодальный чат-бот семейства MGM, разработанный путём дообучения Vicuna-13B-v1.5 на наборе мультимодальных инструкций MGM-Instruction. Это плотная языковая модель с архитектурой MiniGeminiLlamaForCausalLM и примерно 12,9 млрд параметров; версия HD предназначена для понимания изображений высокого разрешения. Модель принимает текстовые запросы и изображения и формирует текстовые ответы, поддерживая диалог, визуальное понимание и рассуждение по изображениям. Модель подходит для исследовательских и любительских экспериментов с мультимодальными чат-ботами, вопросов по изображениям и анализа визуального содержимого. Контекст составляет 4096 токенов. В карточке не приведены сведения о поддерживаемых естественных языках. Лицензия в предоставленных данных не указана.

Bulgarian mGPT 1.3B — языковая модель для генерации текста на болгарском языке, созданная на базе mGPT-XL (1,3 млрд параметров). Разработчики дообучили исходную модель на дополнительных данных для 23 языков, включая болгарский; обучение этой версии продолжалось 200 шагов. Базовая модель обучалась на 61 языке с использованием Wikipedia и корпуса C4. Модель предназначена для продолжения текста и генерации болгарского текста по заданному контексту. Она использует архитектуру GPT-2 и принимает последовательности длиной до 2048 токенов. В метаданных также указана поддержка английского и русского языков, но основное назначение этой версии — болгарский. В README приведена perplexity 15,2 на валидационной выборке, однако сравнительных оценок и подробного описания качества для прикладных задач нет. Модель распространяется под лицензией MIT.

ai-forever/mGPT-armenian — авторегрессионная языковая модель семейства mGPT, разработанная AI Forever и дообученная для генерации текста на армянском языке. В основе — mGPT с архитектурой GPT-3, реализованной на базе GPT-2; базовая семья mGPT насчитывает 1,3 млрд параметров и предварительно обучалась на 60 языках. Для этой версии использовали около 170 ГБ армянских текстов из MC4, Archive.org, EANC, OpenSubtitles, OSCAR и блогов. Модель предназначена для продолжения и генерации армянского текста, а также может применяться в языковых экспериментах и сценариях с малоресурсным армянским. Контекст составляет 2048 токенов. Обучение базовой модели использовало разреженное внимание, а на последних этапах дообучения разреженность отключили для совместимости с классом GPT-2 в Transformers. Модель подходит для исследовательских и прикладных прототипов генерации текста. В README приведено значение perplexity 2,046 на валидации, но сравнительные условия оценки не описаны. Лицензия репозитория — Apache-2.0.

Jeevesh8/more_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_mnli_ft_13 — модель, опубликованная пользователем Jeevesh8 на Hugging Face. По данным каталога Hugging Face, она относится к категории Text Classification и обновлялась в июле 2022 года. Идентификатор указывает на дообучение BERT-base-uncased на задаче MNLI с длиной последовательности 128 токенов и специальными параметрами обучения, включая warmup и clipping градиентов. Базовая архитектура BERT-base-uncased разработана Google: это англоязычный, регистронезависимый Transformer примерно со 110 млн параметров, 12 слоями, 12 attention heads, размером скрытого состояния 768 и максимальной исходной позицией 512 токенов. Вариант с суффиксом mnli_ft предназначен для классификации текстовых пар и определения логического отношения между ними в стиле Natural Language Inference: entailment, contradiction или neutral. Модель подходит для англоязычной классификации и задач textual entailment, но не является генеративной и не предназначена для обработки изображений, аудио или других модальностей. Ограничение длины 128 токенов может снижать качество на длинных текстах; применение вне английского языка и вне сценариев, близких к MNLI, не подтверждено. Лицензия именно этого производного репозитория в найденных данных не указана.

Карточка модели CompassioninMachineLearning/Olmo-3-7b-intermediate-epoch-2-CPT-10k-urban-density-dataset на Hugging Face совпадает с карточкой BrandonHowe/Olmo7b-urban-olmo-20260920-full-CPT-merged-epoch-2, поэтому описание составлено по ней. Это автономная модель генерации текста BrandonHowe, полученная продолжением предобучения Olmo-3-1025-7B на очищенном наборе данных urban_12738_cleaned. Чекпойнт соответствует эпохе 2, шагу 756; в обучении использовались 10 072 уникальных документа и 2 000 повторных предъявлений на эпоху, а также 200 отдельных документов для валидации. Модель построена на плотной архитектуре Olmo 3 с 6,9 млрд параметров, принимает текст и поддерживает контекст до 65 536 токенов. Весовые файлы сохранены в BF16 в формате safetensors; это самостоятельная сборка, для загрузки которой не нужен адаптер. Лицензия в предоставленных источниках не указана. Обучение на тематическом наборе данных само по себе не подтверждает улучшение способности к состраданию; качество и поведение следует оценивать отдельно.

Карточка модели llm-jp/optimal-sparsity-code-d1024-E16-k16-1.9B-A1.9B на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d1024-E16-k2-1.9B-A470M на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d1024-E16-k8-1.9B-A1.1B на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d1024-E32-k2-3.5B-A470M на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d1024-E32-k4-3.5B-A670M на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d2048-E128-k4-52.2B-A2.3B на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d2048-E16-k2-7.1B-A1.5B на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d2048-E16-k4-7.1B-A2.3B на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d2048-E32-k8-13.6B-A3.9B на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d2048-E64-k16-26.4B-A7.1B на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d2048-E64-k2-26.4B-A1.5B на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d512-E128-k16-3.3B-A520M на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d512-E256-k2-6.6B-A170M на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d512-E256-k4-6.6B-A220M на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d512-E256-k8-6.6B-A320M на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d512-E32-k16-920M-A520M на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d512-E32-k8-920M-A320M на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d512-E8-k2-320M-A170M на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-math-d1024-E128-k2-13.2B-A470M на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-math-d1024-E16-k2-1.9B-A470M на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.