IV.5Образование и развитие навыков

DrakIdol-Roleplayer-1.0 — мультимодальная чат-модель для ролевых диалогов, созданная путём дообучения Gemma 3 4B IT с помощью LoRA на данных и методике aifeifei798/roleplayer-actor-lora. Модель рассчитана на воплощение персонажей, творческое письмо и диалоги с историческими и культурными фигурами; её можно использовать в играх, сценарной работе и образовательных симуляциях. Архитектура — плотная Gemma 3; карточка указывает поддержку изображений и текста, а основной сценарий из README — генерация ролевых ответов.

Gecko-7B-v0.1-DPO — диалоговая языковая модель NeuralNovel для генерации инструктивного и повествовательного текста с акцентом на математику и числовые задачи. Это полно-параметрическое дообучение Mistral-7B-Instruct-v0.2 методом DPO на наборе orca_dpo_pairs; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для следования инструкциям, решения математических задач и генерации текста. Карточка заявляет коммерческое применение и лицензию Apache-2.0. Разработчик предупреждает о сниженной согласованности и возможности выдачи вредного или откровенного контента; вне генерации инструктивного и повествовательного текста результаты могут быть ненадёжными.

GLIGEN — диффузионная модель генерации изображений с привязкой объектов к заданным областям. Её разработали исследователи и инженеры University of Wisconsin–Madison, Columbia University и Microsoft. Эта версия предназначена для запуска через StableDiffusionGLIGENTextImagePipeline в библиотеке Diffusers. Модель принимает текстовое описание, ограничивающие рамки и, при необходимости, исходные изображения. Она генерирует сцену по запросу и размещает описанные объекты в областях, заданных рамками; использует замороженный текстовый энкодер CLIP ViT-L/14. Модель рассчитана прежде всего на английский язык и творческие сценарии: создание иллюстраций, дизайн и образовательные инструменты. К ограничениям относятся нечитаемый текст на изображениях, несовершенный фотореализм и трудности со сложными пространственными отношениями; лица и люди также могут получаться некорректно. Модель может воспроизводить смещения обучающих данных и запоминать дублированные изображения. Для использования предусмотрена лицензия CreativeML OpenRAIL-M; авторы рекомендуют подключать Safety Checker из Diffusers и не использовать модель для фактического изображения людей или событий.

DreadPoor/LemonP-8B-Model_Stock — языковая модель для генерации текста и диалогов, созданная автором репозитория с помощью mergekit и метода Model Stock. В качестве базовой использована Joseph717171/Llama-3.1-SuperNova-8B-Lite_TIES_with_Base; в слияние также вошли варианты Llama 3 и дообученные модели для ролевых диалогов, биологии и физики. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Она предназначена для диалоговой генерации текста; в README приведены результаты оценок IFEval и BBH. Указанная лицензия — Apache-2.0. Языки в предоставленных данных не перечислены.

SEOKDONG/llama3.1_korean_v1.1_sft_by_aidx — плотная авторегрессионная языковая модель семейства Llama 3.1, разработанная и дообученная методом supervised fine-tuning на корейском наборе инструкций. Она основана на meta-llama/Llama-3.1-8B-Instruct и предназначена для генерации текста и диалоговых ответов с учетом корейского языка, культуры и профессионального контекста. В карточке заявлены около 8 млрд параметров; метаданные указывают 7,5 млрд и контекст до 131 072 токенов. Обучение проводилось на наборе примерно из 2,33 млн примеров для вопросов и ответов, суммаризации и классификации, охватывающем 53 области. Среди целевых сценариев — ответы и краткое изложение материалов по праву, финансам, налогообложению и бухгалтерскому учету, а также образовательные объяснения и клиентские диалоги. Модель ориентирована прежде всего на корейский язык, также заявлена поддержка английского. В README сообщается результат 53,94 и шестое место в целом на Open Ko-LLM Leaderboard Season 2 по состоянию на январь 2025 года. Модель может ошибаться в сложных логических задачах, в узкоспециальных темах, при работе с новыми международными сведениями и на языках, отличных от корейского; возможны смещения из обучающих данных. Метаданные указывают лицензию Apache-2.0, тогда как README также упоминает лицензию сообщества Llama 3.1, поэтому условия распространения базовой модели следует учитывать отдельно.

MoE-StrangeMerges-2x7B — языковая модель архитектуры Mixtral MoE, созданная Gille с помощью LazyMergekit путём объединения двух моделей: Gille/StrangeMerges_9-7B-dare_ties и Gille/StrangeMerges_8-7B-slerp. В конфигурации экспертам назначены специализации на науку, логику и математику, а также рассуждения, числа и абстрактные задачи; маршрутизация использует режим cheap_embed. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Опубликованные в README результаты включают среднее значение 73,34, 70,82 на AI2 Reasoning Challenge и 87,83 на HellaSwag. Модель распространяется в формате safetensors по лицензии Apache-2.0. README не уточняет поддерживаемые естественные языки и не приводит подробной оценки качества или ограничений за пределами указанных тестов.

NeuralMaths-lafted-7b-slerp — диалоговая языковая модель на архитектуре Mistral, созданная объединением моделей lodrick-the-lafted/Hermes-Instruct-7B-100K и Kukedlc/NeuralMaths-7B-slerp методом slerp с помощью LazyMergekit. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текстовые ответы; доступный контекст — до 32 768 токенов. Модель предназначена для диалоговой генерации текста и может применяться для ответов на вопросы, помощи с математическими задачами и инструкциями. README описывает способ слияния и настройки, но не приводит результаты оценки качества. Лицензия в предоставленных данных не указана.

Omni-Reasoner-Merged — объединённая языковая модель от prithivMLmods, созданная методом Model Stock с помощью mergekit на основе Qwen/Qwen2.5-7B-Instruct и четырёх моделей для рассуждений и математики. Она предназначена для диалоговой генерации текста, решения математических задач и пошаговых рассуждений. Модель использует плотную архитектуру Qwen2ForCausalLM, содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Модель доступна в формате safetensors для библиотеки Transformers. В метаданных указаны чат и интерфейс вызова инструментов; качество этих возможностей отдельно не охарактеризовано. Лицензия в предоставленных данных не указана.

Pervepsion-12B-x1 — дообученная Koriea модель для диалоговой генерации текста на основе Mistral Nemo Instruct. Она предназначена для общения и создания текстов; тематические теги карточки указывают на медицину, климат, биологию, химию, ролевой диалог и творческое письмо. Модель имеет плотную архитектуру MistralForCausalLM и 12,1 млрд параметров, распространяется в формате safetensors. В карточке указано окно контекста до 1 024 000 токенов и возможность чата. README рекомендует temperature 0,6–1 и min_p 0,1–0,2. Базовая модель Mistral Nemo Instruct поддерживает несколько языков, однако языки именно этой производной модели не уточнены. Условия лицензии в предоставленных данных отсутствуют.

Pix2Text-MFR — модель распознавания математических формул, разработанная Breezedeus для проекта Pix2Text. Она принимает изображения формул и преобразует их в текстовое представление LaTeX. Модель построена на архитектуре TrOCR от Microsoft и переобучена на наборе изображений математических формул; в репозитории представлены веса ONNX, а для использования предусмотрена библиотека Transformers. Модель подходит для распознавания отдельных формул, включая выражения разной длины и сложности, группы формул и матрицы. При интеграции с Pix2Text и его детектором формул MFD можно извлекать формулы из изображений, содержащих также обычный текст. Тестирование разработчиков включало 485 формул, отобранных из пользовательских изображений сервиса Pix2Text. Модель обучена на изображениях математических формул и может плохо распознавать изображения другого типа; при прямом использовании она рассчитана на изображения, содержащие только формулы. Для смешанных изображений требуется связка с Pix2Text и MFD. Лицензия — MIT.

Карточка модели idkaboutname/pix2text-mfr-1.5 на Hugging Face совпадает с карточкой breezedeus/pix2text-mfr-1.5, поэтому описание составлено по ней. Pix2Text-MFR-1.5 — разработанная проектом Pix2Text (Breezedeus) модель распознавания математических формул. Она использует архитектуру TrOCR от Microsoft, переобученную на изображениях формул, и преобразует формулы на изображениях в текст LaTeX. Модель подходит для оцифровки формул, включая выражения разной длины и сложности, отдельные символы и матрицы. Модель рассчитана на изображения, содержащие формулы. Для работы со смешанными изображениями, где есть и обычный текст, README рекомендует использовать Pix2Text вместе с моделью обнаружения формул MFD. Репозиторий содержит ONNX-файлы; библиотека, указанная в метаданных Hugging Face, — Transformers. Лицензия — MIT.

Scientific Abstract Simplification — англоязычная модель на архитектуре Flan-T5-large, разработанная командой проекта TL;DR it при участии Montana State University, Indiana University Bloomington и Drexel University. Она переписывает сложные научные аннотации в более понятные краткие изложения для широкой аудитории. Для лучшего результата перед текстом нужно добавить инструкцию «summarize, simplify, and contextualize: ». Модель дообучена в два этапа на задачах упрощения, контекстуализации и создания популярных изложений научных материалов; в карточке указано, что она превзошла предыдущую базовую версию по всем метрикам оценки. Модель содержит 385,2 млн параметров, принимает и генерирует текст, а её контекст ограничен 512 токенами. Лицензия — MIT.

Stable Diffusion 3 Medium — генеративная модель Stability AI для создания изображений по текстовым описаниям. Она использует архитектуру Multimodal Diffusion Transformer (MMDiT) и три предварительно обученных текстовых энкодера: OpenCLIP-ViT/G, CLIP-ViT/L и T5-XXL. Разработчик описывает её сильные стороны как качество изображений, работу с типографикой, понимание сложных запросов и эффективность использования ресурсов. Модель подходит для создания иллюстраций и дизайна, творческих и образовательных инструментов, а также исследований генеративных моделей. В репозитории есть варианты весов с разным составом текстовых энкодеров и точностью T5-XXL; производительность и требования к ресурсам зависят от выбранной упаковки. Модель не предназначена для достоверного изображения реальных людей и событий; генерация может быть предвзятой или нежелательной, поэтому разработчикам следует проверять результаты и применять меры безопасности. Лицензия — Stability Community License; для коммерческого использования могут потребоваться условия Enterprise License, а встроенные компоненты подчиняются своим лицензиям.

Turbcat Instruct 72B — разговорная модель на архитектуре Qwen2, опубликованная Turboderp. Это версия с настройкой на диалоговые данные объёмом около 5 ГБ; автор сообщает о поддержке английского и китайского языков, включая традиционный китайский. Для диалога используется формат ChatML, а модель также рассчитана на ролевые сценарии и вызовы функций, заданные системным промптом. Модель предназначена для генерации ответов в чате, ролевого общения и решения задач с вопросами и ответами. В карточке описаны обучающие данные по медицине и биологии, а также вопросы экзаменов GRE, MCAT и китайского вступительного экзамена в аспирантуру; медицинские ответы и часть аннотаций проверялись специалистами. Это описание данных не гарантирует точность ответов модели в этих областях. Модель содержит 71,5 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. Доступна в формате safetensors. Указана лицензия other; конкретные условия использования следует уточнять по карточке модели и сопровождающим лицензионным материалам.

UNA-SimpleSmaug-34b-v1beta — экспериментальная диалоговая языковая модель fblgit на архитектуре Llama, дообученная на базе abacusai/Smaug-34B-v0.1. По данным карточки, модель содержит 33,9 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Для дообучения использовались SimpleMath и jondurbin/bagel-v0.3; UNA применялась к слоям внимания, а обучение проводилось с помощью Axolotl. Модель предназначена для генерации диалогового текста, математических задач и рассуждений. Автор сообщает об улучшении математических возможностей при сохранении ранее приобретённых навыков и приводит результаты оценок, включая средний балл 77,41 в одном из наборов тестов. Это заявление основано на оценках из карточки и не гарантирует аналогичного качества в пользовательских сценариях. Модель распространяется под лицензией Apache-2.0. Это версия v1beta, поэтому её качество и поведение могут меняться при дальнейшем обучении; в карточке нет подробного описания ограничений или рекомендаций по безопасному применению.

DolphinVision 72B — мультимодальная модель, созданная Quan Nguyen, Eric Hartford и Cognitive Computations. Она дообучена на базе Qwen2-72B и предназначена для диалогов, генерации текста и анализа изображений: модель может отвечать на вопросы о содержимом изображений и описывать его. Модель содержит 71,5 млрд параметров, использует архитектуру llava-qwen2 и поддерживает контекст до 131 072 токенов. В README приведены результаты на наборах VQA v2, MMBench, MMMU, MathVista и RealWorldQA. Авторы характеризуют её как uncensored и отмечают способность обсуждать изображения, от которых могут отказаться другие модели. Лицензия указана как other, поэтому конкретные условия использования следует проверять в карточке модели. Это крупная модель, для запуска которой требуются значительные вычислительные ресурсы; приведённые бенчмарки не гарантируют качество на любых данных.

EduMixtral-4x7B — экспериментальная языковая модель, созданная Adam Lucek с помощью Mergekit путём объединения четырёх моделей на базе Mistral-7B: BioMistral-7B, Writing_Partner_Mistral_7B, Mathstral-7B-v0.1 и NeuralDaredevil-7B. Это разговорная модель архитектуры Mixtral с разреженной смесью экспертов (MoE), 7,1 млрд параметров и контекстом до 32 768 токенов. Она предназначена для исследований приложений, в которых ИИ выступает помощником ученика или преподавателя, и ориентирована на общие знания, медицинскую тематику, математику и помощь в письме. Модель принимает текст и генерирует текстовые ответы; карточка указывает формат safetensors и библиотеку Transformers. README называет модель экспериментальной и не приводит результатов оценки качества или подтверждения надёжности ответов. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

Ferret_7B-Mistral-7B-Instruct-v0.1 — чат-модель для генерации текста, созданная объединением Mistral-7B-Instruct-v0.1 и euclaise/Ferret_7B методом SLERP. Модель построена на архитектуре Mistral с 7,1 млрд параметров; заявленная длина контекста — 32 768 токенов. В репозитории представлены веса Safetensors. Модель предназначена для ответов на инструкции и диалоговые запросы. В состав исходных моделей входят датасеты с математическими и научными рассуждениями, однако карточка не описывает отдельные гарантированные возможности или результаты оценки качества. Лицензия — Apache-2.0.

hyokwan/hkcode_solar_10.7b — языковая модель, разработанная с участием подразделения Fintech университета Korea Polytechnics. Это продолженное предварительное обучение на базе SOLAR-10.7B; модель использует плотную архитектуру LlamaForCausalLM и содержит 10,6 млрд параметров. Она предназначена для генерации текста, в том числе для сценариев, связанных с финтехом и образованием. Модель принимает текст и генерирует текст; заявленная длина контекста — 4096 токенов. В карточке упомянуты корейский и английский языки, а также датасет hyokwan/llama3data_hkcode. Репозиторий содержит веса в формате safetensors и распространяется по лицензии MIT. Карточка не приводит инструкций по использованию или результатов оценки качества. Как и другие LLM, модель может давать неточные или предвзятые ответы; перед применением в конкретных сценариях следует проверить качество и безопасность.

InternVL3-2B — мультимодальная диалоговая модель OpenGVLab, дообученная на основе OpenGVLab/InternVL3-2B-Instruct. Она предназначена для ответов на вопросы по изображениям, визуального рассуждения и диалогов, сочетающих текст с изображениями; семейство также поддерживает анализ нескольких изображений и видео. Архитектура следует схеме ViT-MLP-LLM: InternViT-300M-448px-V2_5 соединён через MLP-проектор с языковой частью Qwen2.5-1.5B. Модель принимает текст и изображения и генерирует текст; в карточке Hugging Face для неё указаны задачи image-text-to-text и text-generation. В README заявлены возможности мультимодального восприятия и рассуждения, понимания длинного контекста, работы с инструментами, GUI-сценариями, промышленными изображениями и 3D-визуальным восприятием. Поддержка видео и нескольких изображений описана для архитектуры InternVL3, но конкретные ограничения входного формата и длина контекста для этого репозитория не приведены. Метаданные указывают мультиязычность и лицензию Apache-2.0.

Jan-v3.5-4B — дообученная Menlo Research версия Jan-v3-4B-base-instruct на архитектуре Qwen3. Это плотная авторегрессионная языковая модель примерно на 3,7 млрд параметров с контекстом до 262 144 токенов, предназначенная для генерации текста и диалогов. Дополнительное обучение на математических данных улучшает решение математических задач, а наборы данных идентичности задают модели разговорный стиль и собственный характер. Модель сохраняет общие возможности базовой версии и может служить основой для дальнейшего дообучения в задачах с математическим уклоном или заданной идентичностью. Поддерживается английский язык. Репозиторий содержит веса в формате Safetensors; лицензия — Apache-2.0.

LuminariX-8B — языковая модель для диалогов и генерации текста, созданная объединением моделей Llama 3 с помощью mergekit. В состав слияния вошли Orenguteng/Llama-3-8B-Lexi-Uncensored, Weyaxi/Einstein-v6.1-Llama3-8B и cognitivecomputations/dolphin-2.9-llama3-8b-256k; метод слияния — model_stock. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров. Модель предназначена для общения и генерации текста; базовая модель ориентирована на английский язык и включает научные и общие инструкционные данные с акцентом на задачи STEM. Заявленная длина контекста составляет 524 288 токенов. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Слияние включает модель с пометкой uncensored, однако README не описывает конкретные меры безопасности или результаты оценки качества. Практические результаты могут зависеть от промпта и используемого окружения.

MobileLLM-R1-950M — компактная языковая модель семейства MobileLLM-R1, разработанная Meta и опубликованная Facebook. Это версия примерно на 949 млн параметров, дообученная методом supervised fine-tuning на математических, программных и научных задачах; разработчики подчёркивают, что она не предназначена для универсального общения. Модель принимает текст и генерирует текст, использует архитектуру семейства Llama и поддерживает контекст до 4 тысяч токенов. Модель рассчитана на решение математических задач, рассуждения по естественным наукам и генерацию кода на Python и C++. В карточке приведены результаты оценивания на MATH, GSM8K, MMLU и LiveCodeBench и описаны обучающие данные и рецепты. Указанные возможности относятся к специализированным сценариям рассуждения и не гарантируют точность для других задач. Репозиторий содержит веса в формате safetensors и предназначен для Transformers. Лицензия указана как other; конкретные условия следует сверять с файлами лицензии репозитория.

M-SOLAR-10.7B-v1.0 — разговорная языковая модель на архитектуре Llama с 10,6 млрд параметров, дообученная на основе Upstage/SOLAR-10.7B-Instruct-v1.0. Карточка описывает дообучение на инструкционных данных, включая материалы для суммаризации технических и научных текстов, внутренние образовательные данные и примеры восстановления порядка предложений. Для этой версии также указано применение данных AIHUB с англо-корейскими патентными переводами; README отмечает их использование в версии v1.1. Модель предназначена для генерации текста и диалоговых ответов по инструкциям, в частности для образовательных и технических сценариев на корейском языке. Максимальная длина контекста — 4096 токенов. Модель распространяется в формате safetensors по лицензии CC BY-NC-SA 4.0, предусматривающей указание авторства, распространение производных на тех же условиях и некоммерческое использование. README предупреждает, что для описанных методов не проводилось полноценное абляционное исследование.

Omni-Edu-9B — мультимодальная модель семейства Qwen3.5, разработанная OmniEdu и дообученная на наборе данных Omni-Edu-70K поверх Qwen/Qwen3.5-9B-Base. Она предназначена для диалоговых задач с изображениями и текстом: принимает текст и изображения и формирует текстовые ответы. В метаданных указаны архитектура Qwen3_5ForConditionalGeneration, 9 млрд параметров у базовой модели, библиотека Transformers и формат весов safetensors. Модель подходит для сценариев, где нужно задавать вопросы по изображениям и получать ответы в диалоге. Карточка не сообщает подробностей о составе данных обучения, результатах оценки или конкретных ограничениях. Лицензия указана как other, поэтому условия использования следует сверить с файлами лицензии репозитория и условиями базовой модели.

Pearl-7B-0210-ties — языковая модель на 7,1 млрд параметров, опубликованная Louis Brulé Naudet. Это объединение моделей Pearl-7B-slerp, WizardMath-7B-V1.1, WestLake-7B-v2-laser и NeuralTrix-7B-dpo методом TIES-Merging; архитектура — Mistral с плотной causal language model. Модель предназначена для генерации текста, включая ответы на вопросы, рассуждения и математические задачи. В README приведены результаты оценки на Open LLM Leaderboard, в том числе по GSM8K и MMLU. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Карточка указывает английский язык, а исходные модели и описанные оценки предполагают также применение в математике, биологии и химии. Репозиторий содержит веса safetensors для Transformers. Лицензия — Apache-2.0. Это объединённая модель, поэтому её поведение и качество могут различаться между задачами и не гарантируют точности ответов; показатели README относятся к указанной там процедуре оценки. Карточка не описывает специальные меры защиты от ошибок или актуальность знаний.

Pix2Text-MFR-1.5 — разработанная проектом Pix2Text (Breezedeus) модель распознавания математических формул. Она использует архитектуру TrOCR от Microsoft, переобученную на изображениях формул, и преобразует формулы на изображениях в текст LaTeX. Модель подходит для оцифровки формул, включая выражения разной длины и сложности, отдельные символы и матрицы. Модель рассчитана на изображения, содержащие формулы. Для работы со смешанными изображениями, где есть и обычный текст, README рекомендует использовать Pix2Text вместе с моделью обнаружения формул MFD. Репозиторий содержит ONNX-файлы; библиотека, указанная в метаданных Hugging Face, — Transformers. Лицензия — MIT.

ShadowT3q-7B — автоматически собранная Maxime Labonne модель на основе Mistral, объединяющая shadow-clown-7B-slerp и T3Q-Mistral-Orca-Math-DPO методом dare_ties. Это плотная причинная языковая модель с 7,1 млрд параметров, предназначенная для генерации текста по текстовым запросам; базовая модель была дообучена методом DPO на математических данных. Контекстное окно составляет 32 768 токенов. Модель подходит для диалоговых ответов и решения математических задач на естественном языке. Файлы опубликованы в формате safetensors, заявлена лицензия Apache-2.0. Карточка не приводит результатов оценки качества объединённой модели, поэтому её точность на конкретных задачах может различаться.

Stable Diffusion 3.5 Medium — модель Stability AI для генерации изображений по текстовому описанию. Она использует архитектуру Multimodal Diffusion Transformer MMDiT-X с тремя предварительно обученными текстовыми энкодерами: OpenCLIP-ViT/G, CLIP-ViT/L и T5-XXL. В архитектуре применяются QK-нормализация и блоки внимания, рассчитанные на повышение связности изображений и устойчивость генерации при разных разрешениях. Модель предназначена для создания иллюстраций и художественных работ, дизайн-процессов, творческих и образовательных инструментов. Она улучшена для передачи сложных запросов и текста в изображениях; авторы также рекомендуют Skip Layer Guidance для более согласованных структуры и анатомии. В README указана длина контекста энкодеров CLIP в 77 токенов и T5 — 77 или 256 токенов на разных этапах обучения. Модель обучалась на разнообразных данных, включая синтетические и отфильтрованные общедоступные материалы. Она не предназначена для достоверного изображения реальных людей и событий; при длинных запросах свыше 256 токенов T5 на краях изображения могут появляться артефакты. Модель распространяется по Stability Community License; для коммерческого лицензирования Stability AI предлагает обращаться отдельно. Использование также должно соответствовать Acceptable Use Policy.

T3Q-MSlerp-13B — объединённая модель, разработанная Chihoon Lee (chlee10) и T3Q с помощью mergekit. Она сочетает zhengr/MixTAO-7Bx2-MoE-Instruct-v7.0 и yunconglong/13B_MATH_DPO методом SLERP, применяя разные коэффициенты к слоям self-attention и MLP. Модель предназначена для генерации текста; её можно использовать для диалогов и решения математических задач на основе текста. Архитектура — Mixtral MoE с классом MixtralForCausalLM; в метаданных указано 7,1 млрд параметров и контекст до 32 768 токенов. Репозиторий содержит веса Safetensors в формате FP16. Модель распространяется по лицензии Apache-2.0. В карточке не приведены результаты оценки качества или сведения о поддерживаемых языках; поведение и качество унаследованы от объединённых моделей и могут различаться в зависимости от запроса.