I.5Создание и редактирование текста

featherless-ai-quants/SillyTilly-Meta-Llama-3.1-8B-Instruct-GGUF — набор GGUF-квантизаций инструкционной языковой модели SillyTilly/Meta-Llama-3.1-8B-Instruct. Квантизации подготовлены featherless-ai-quants. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск инструкционной Llama-модели в совместимом с GGUF окружении. В репозитории доступны варианты IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8 ГБ. README не указывает архитектуру подробнее, поддерживаемые языки, модальности и размер контекстного окна; по назначению модель относится к текстовой генерации и не заявлена как мультимодальная. Главное преимущество набора — возможность выбрать компромисс между размером файла, требованиями к ресурсам и сохранением качества при локальном или ином GGUF-запуске. Более агрессивные квантизации занимают меньше места, но могут сильнее снижать качество по сравнению с менее сжатыми вариантами. Лицензия в README не указана, поэтому условия использования необходимо уточнять по исходной модели SillyTilly/Meta-Llama-3.1-8B-Instruct и правилам распространения конкретных файлов.

SJT-1B-Alpha — компактная чат-модель Sakalti на архитектуре Qwen2, дообученная на базе sail/Sailor2-1B. Она предназначена для диалогов и генерации текста; в метаданных также отмечен интерфейс вызова инструментов. Модель содержит 851,8 млн параметров, поддерживает контекст до 131 072 токенов и представлена в формате safetensors. В карточке указаны английский и японский языки. Модель распространяется по лицензии Apache-2.0.

Sakalti/SJT-900M — текстовая генеративная модель, созданная автором репозитория с помощью mergekit из слоёв Sakalti/SJT-0.5B. Использован метод passthrough: модель объединяет выбранные диапазоны слоёв исходной модели. Архитектура — плотная Qwen2ForCausalLM, веса представлены в формате safetensors, размер — 762,3 млн параметров. Модель поддерживает контекст до 32 768 токенов и предназначена для генерации текста в диалоговом формате. Модель можно применять для ведения диалога, составления черновиков и ответов на текстовые запросы. В карточке также заявлен интерфейс вызова инструментов, однако сведений о качестве этой возможности и результатах оценки нет. Указана лицензия Apache-2.0. README описывает способ объединения слоёв, но не сообщает целевые языки или специальные предметные области.

Sky-3B-SORE — языковая модель на архитектуре HRM, разработанная 0labs и Sapient Intelligence на основе sapientinc/HRM-Text-1B. К базовой модели применён метод Spectral Orthogonal Retrofit Enhancement (SORE), после чего модель дообучили следованию инструкциям на 4,5 млн токенов. В репозитории указано 3,7 млрд параметров; модель принимает текст и генерирует текст, поддерживает контекст до 4096 токенов и рассчитана на английский язык. Модель предназначена для генерации текста, выполнения инструкций и задач, требующих рассуждений, включая математические задачи и вопросы с вариантами ответа. В README приведены результаты на ARC-Challenge, MATH и тесте следования инструкциям, однако условия этих сравнений и заявленные преимущества метода SORE следует рассматривать как сведения авторов, а не как независимую оценку. Модель распространяется по лицензии Apache-2.0.

Skywork_MindLink-72B-0801-GGUF — это квантизированная версия языковой модели Skywork/MindLink-72B-0801, подготовленная пользователем bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Базовая модель имеет размер 72B параметров. Доступны варианты квантования от Q8_0 до Q2 и IQ-квантов, различающиеся размером файлов, требованиями к памяти и качеством вывода. Наиболее качественными и рекомендуемыми в README названы Q6_K, Q5_K_M, Q5_K_S и Q4_K_M; облегчённые варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут заметно уступать по качеству. Для модели не указан официальный chat template, поэтому предложенный формат промпта может потребовать проверки по исходной карточке модели. README не содержит сведений о языках, длине контекста, точной архитектуре, специализированных сценариях применения или лицензии. Для использования необходима среда, совместимая с llama.cpp, а выбор варианта следует делать с учётом доступной памяти и требуемого качества.

Skywork-OR1-7B-GGUF — это квантизированная версия текстовой генеративной модели Skywork-OR1-7B, разработанной командой Skywork. Пакет подготовлен пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix; исходная модель обучалась на датасете Skywork-OR1-RL-Data. Модель предназначена для генерации текста и локального инференса в LM Studio, llama.cpp и других проектах на базе llama.cpp. Доступны варианты от BF16 до низкобитных квантований Q8_0, Q6, Q5, Q4, Q3 и Q2, благодаря чему можно выбирать между качеством ответов, размером файла и требованиями к оперативной памяти. Размер модели — 7B параметров; конкретный объём файлов составляет примерно от 3,35 до 15,24 ГБ в зависимости от варианта квантования. Сильной стороной является широкий выбор квантованных сборок, включая рекомендуемые варианты Q4_K_M, Q5 и Q6, позволяющие запускать модель локально на различных конфигурациях. Ограничения включают возможное снижение качества при использовании низкобитных вариантов, а также отсутствие в README сведений о поддерживаемых языках, длине контекста, точной архитектуре, мультимодальности и результатах бенчмарков. Лицензия в предоставленных данных не указана. Для корректной генерации следует использовать рекомендованный в README формат промпта.

slerpMergedgpt20.5 — объединённая с помощью mergekit модель семейства GPT-2, созданная из двух предобученных языковых моделей: /kaggle/working/gpt2 и /kaggle/working/gpt2_debias. Для объединения применён метод SLERP с параметром t=0.5; токенизатор взят из GPT-2. Модель предназначена для генерации текста на основе текстового запроса и относится к архитектуре GPT2LMHeadModel. Модель опубликована в формате safetensors и рассчитана на контекст до 1024 токенов. Карточка не сообщает о специальных предметных областях или поддержке других модальностей. В метаданных указана библиотека Transformers; лицензия не приведена.

trinhkhng/slerp_Merged_gpt2-medium_0.3 — объединённая модель генерации текста на основе GPT-2 medium, созданная методом SLERP с помощью mergekit из GPT-2 medium и debias_gpt2-medium. Она предназначена для продолжения текста и генерации связных фрагментов по текстовой подсказке. Модель использует архитектуру GPT2LMHeadModel и формат safetensors; максимальная длина контекста составляет 1024 токена. В конфигурации слияния указан коэффициент t=0,3 и тип данных float32. Лицензия в предоставленных источниках не указана.

trinhkhng/slerp_Merged_gpt2-medium_0.4 — объединённая языковая модель на базе GPT-2 Medium, созданная методом SLERP с помощью mergekit из моделей gpt2-medium и debias_gpt2-medium. Она предназначена для генерации текста по текстовому запросу и может использоваться для продолжения фраз и создания черновиков. Модель использует архитектуру GPT-2 с плотными слоями и форматом весов safetensors; максимальный контекст составляет 1024 токена. В карточке не указаны поддерживаемые естественные языки и условия лицензии, поэтому нельзя определить, насколько хорошо модель работает на конкретных языках или каковы условия её использования.

Это объединённая модель GPT-2 Small, созданная методом SLERP с помощью mergekit из предобученных языковых моделей gpt2-small и gpt2-small_debias. Значение параметра слияния t равно 0.0, поэтому результат соответствует крайней точке заданной интерполяции. Модель предназначена для генерации текста и работает через библиотеку Transformers; веса представлены в формате safetensors. Контекст составляет 1024 токена. Лицензия в предоставленных данных не указана.

Это объединённая модель генерации текста на архитектуре GPT-2, созданная автором репозитория с помощью mergekit. Веса двух моделей GPT-2 объединены методом SLERP с параметром t=0.3; в качестве основы и источника токенизатора использована модель /kaggle/working/gpt2-small. В метаданных указан формат safetensors и контекст длиной 1024 токена. Модель предназначена для продолжения текста и других сценариев генерации на основе текстового запроса. Карточка не приводит оценок качества или подробностей о том, как объединение повлияло на поведение второй модели, обозначенной как debias. Лицензия в предоставленных данных не указана.

MergedQwen2-0.5B0.4 — языковая модель на архитектуре Qwen2, созданная автором репозитория с помощью mergekit путём слияния двух предварительно обученных моделей: Qwen2-0.5B и debias_Qwen2-0.5B. Использован метод SLERP с параметром t=0.4; модель предназначена для генерации текста и диалоговых сценариев. Модель содержит около 493,7 млн параметров, использует формат safetensors и поддерживает контекст до 131 072 токенов. Карточка не сообщает конкретные языки или специализацию по прикладным областям, поэтому её следует рассматривать как модель общего назначения. Лицензия в предоставленных данных не указана.

SLIM-SUMMARY — компактная специализированная языковая модель от llmware для создания кратких выжимок из текста в виде списка отдельных ключевых пунктов. Она дообучена на llmware/bling-stable-lm-3b-4e1t-v0, который, в свою очередь, основан на stabilityai/stablelm-3b-4elt. Модель содержит 2,7 млрд параметров, использует архитектуру StableLM Epoch и рассчитана на контекст до 4096 токенов. На вход подаётся текстовый фрагмент с запросом на суммирование, а на выходе модель формирует текстовое представление Python-списка. Параметром можно задать желаемое число пунктов; модель достаточно мала для запуска на CPU. Она предназначена для извлечения основных тезисов из текстов, а не для универсального диалога. При преобразовании результата в Python-список могут возникать проблемы с кавычками, поэтому иногда требуется исправление вывода. Репозиторий распространяется по лицензии CC BY-SA 4.0.

Tiiny/SmallThinker-21BA3B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели SmallThinker-21BA3B-Instruct, разработанной совместно исследовательской группой IPADS, School of AI Шанхайского университета Цзяо Тун и компанией Zenergize AI. Модель относится к семейству on-device моделей, ориентированных на локальный запуск без обращения к облачным сервисам, что обеспечивает потенциальные преимущества в приватности и задержке ответа. Основной язык обучения — английский; назначение модели — генерация текста и выполнение инструкций, включая вопросы общего характера, математические задачи, программирование и другие сценарии работы с текстом. В основе модели лежит архитектура Mixture-of-Experts (MoE): всего 21 млрд параметров, из которых для каждого токена активируется около 3 млрд. Модель содержит 52 слоя, 64 эксперта и выбирает 6 экспертов на токен; используются GQA, 28 attention heads, 4 KV heads, функция активации ReGLU и контекст длиной до 16K токенов. Для запуска обычных файлов .gguf рекомендуется llama.cpp, а файлы с суффиксом .powerinfer.gguf совместимы только с фреймворком PowerInfer и используют специализированные разреженные операторы. Сильными сторонами модели заявлены производительность в задачах общего понимания, следования инструкциям, математики и генерации кода, а также возможность локального запуска на устройствах с ограниченными ресурсами. Ограничения включают преимущественно англоязычную направленность, возможные фактические ошибки, предвзятость и устаревшие сведения; результаты требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.

Smaug-34B-v0.1 — языковая модель семейства Llama, разработанная Abacus.AI и дообученная на базе jondurbin/bagel-34b-v0.2. Она содержит 33,9 млрд параметров, использует архитектуру LlamaForCausalLM и предназначена для генерации текста и диалоговых сценариев. Модель обучена методом DPO-Positive (DPOP) на предпочтениях ответов, включая варианты наборов ARC, HellaSwag и MetaMath. Авторы сообщают о результатах на ARC, HellaSwag, MMLU, TruthfulQA, Winogrande и GSM8K. Модель подходит для диалоговых помощников, ответов на вопросы и задач рассуждения, в том числе математических. В метаданных заявлено контекстное окно до 200 000 токенов; формат весов — Safetensors. Лицензия — Apache 2.0. README описывает один набор результатов, поэтому их не следует считать гарантией качества для любых задач; возможны ошибки и неточные ответы.

Smaug Dolphin 60B — объединённая методом MoErge языковая модель на архитектуре Mixtral, созданная на основе abacusai/Smaug-34B-v0.1 и cognitivecomputations/dolphin-2.2-yi-34b-200k. Она предназначена для диалоговой генерации текста. В метаданных указаны 33,9 млрд параметров и контекст до 200 000 токенов; репозиторий содержит веса в формате safetensors. В README приведены результаты оценивания на бенчмарках рассуждений и понимания текста, включая средний балл 76,44, ARC и HellaSwag. Карточка сообщает, что модель работает ожидаемо, а оценки ещё проводятся. Лицензия обозначена как other, поэтому условия использования следует сверять с файлами лицензии репозитория.

Smol 7B — диалоговая языковая модель, опубликованная rishiraj и дообученная на openchat/openchat_3.5 с использованием открытого набора данных HuggingFaceH4/no_robots и рецептов The Alignment Handbook. Модель построена на архитектуре Mistral с плотной сетью и содержит 7,1 млрд параметров; для генерации текста поддерживается контекст до 8192 токенов. Модель предназначена для диалога, ответов на вопросы и выполнения текстовых инструкций на английском языке. В карточке приведены результаты на бенчмарках MMLU, ARC, HellaSwag, TruthfulQA, Winogrande и GSM8K; на момент публикации автор заявлял о наивысшем результате среди чат-моделей 7B на MMLU. Модель выпущена под лицензией Apache-2.0. Как и другие языковые модели, она может ошибаться или выдавать недостоверные ответы; результаты бенчмарков не гарантируют качество в конкретном сценарии.

Snorkel-Mistral-PairRM-DPO-ExPO — разговорная языковая модель, созданная методом ExPO на основе Snorkel-Mistral-PairRM-DPO и Mistral-7B-Instruct-v0.2. В README описан подход Weak-to-Strong Extrapolation Expedites Alignment: веса SFT- и DPO/RLHF-чекпойнтов экстраполированы с коэффициентом alpha = 0.3 для лучшего соответствия человеческим предпочтениям. Модель использует плотную архитектуру MistralForCausalLM на 7,1 млрд параметров, принимает текст и генерирует текст; заявленный размер контекста — 32 768 токенов. Она предназначена для диалогов и генерации ответов. README приводит результаты оценивания на AlpacaEval 2.0 и MT-Bench, но не раскрывает подробности конфигурации развёртывания или конкретные прикладные ограничения. Модель выпущена под лицензией Apache-2.0.

jaspionjader/sof-2 — объединённая авторегрессионная языковая модель семейства Llama, созданная автором репозитория с помощью mergekit методом Model Stock. В объединение вошли jaspionjader/sof-1 и jaspionjader/ek-6; базовой моделью указана jaspionjader/Kosmos-EVAA-Franken-stock-v43-8B. Модель содержит 7,5 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие с контекстом до 131 072 токенов. Модель подходит для ведения текстовых диалогов и генерации ответов с учётом длинного контекста. Веса опубликованы в формате safetensors; для работы указана библиотека Transformers. README и метаданные не сообщают о специализированной предметной области или поддерживаемых естественных языках. Лицензия в предоставленных сведениях не указана.

SoftTiger-13b — языковая модель общего назначения, представленная TigerResearch как основа для создания собственных LLM. Она построена на плотной архитектуре Llama с декодером LlamaForCausalLM и содержит 13 млрд параметров; модель предназначена для генерации текста и запускается через Transformers с кодом TigerBot. Модель поддерживает китайский и английский языки, принимает текст и генерирует текст. Её нативная длина контекста составляет 8192 токена. В репозитории указаны веса в формате safetensors и лицензия Apache-2.0. README не приводит оценок качества или специализированных сценариев, поэтому пригодность для конкретных задач следует проверять отдельно.

macadeliccc/SOLAR-10.7B-Instruct-v1.0-laser — разговорная языковая модель на архитектуре Llama с 10,6 млрд параметров. По README, к версии SOLAR-10.7B-Instruct-v1.0 применён процесс LASER; карточка приводит оценку перплексии на GSM8K и результаты бенчмарков AGIEval, GPT4All, TruthfulQA и Bigbench. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы и выполнение инструкций на естественном языке. Контекст — до 4096 токенов; модель принимает текст и генерирует текст. В README сообщается о снижении перплексии на 2,41% после LASER и среднем результате 59,07% по указанным бенчмаркам. Язык модели и её качество в конкретных языках или прикладных областях в предоставленных данных не описаны. Лицензия CC BY-NC 2.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

blueRab2it/solar-beam-slerp-v0.1 — объединённая языковая модель, созданная с помощью mergekit методом SLERP из davidkim205/komt-solar-10.7b-sft-v5 и Deepnoid/deep-solar-eeve-v2.0.1. Это плотная архитектура Llama с классом LlamaForCausalLM, 7,2 млрд параметров и контекстом до 4096 токенов. Модель предназначена для генерации текста и выполнения задач по текстовым инструкциям. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Базовая KOMT-Solar-10.7B-SFT-v5 описана как корейская модель для генерации текста и ответов на инструкции; данных о дополнительных языковых возможностях итоговой модели нет. Лицензия — Apache-2.0.

SoMix2-xb — диалоговая текстовая модель, созданная объединением MaziyarPanahi/TheTop-5x7B-Instruct-S3-v0.1 и argilla/notus-7b-v1 с помощью LazyMergekit. В репозитории используются MistralForCausalLM и веса safetensors; конфигурация описывает объединение диапазонов слоёв методом passthrough, объединённый токенизатор и точность float16. Размер модели — 11 млрд параметров, заявленная длина контекста — 32 768 токенов. Модель предназначена для генерации текста и диалоговых ответов. Карточка содержит пример использования с Transformers, но не приводит результаты оценки качества или подробные рекомендации по сценариям применения. Лицензия в предоставленных данных не указана.

SonyaKAErisepBeagleNuBuRPInfinWestLakev2-ENDLESSIreneRP-Neural-7B-slerp — языковая модель для генерации текста, созданная объединением моделей с помощью LazyMergekit. В состав слияния вошли Smuggling1710/KAErisepBeagleNuBuRPInfinWestLakev2-ENDLESSIreneRP-Neural-7B-slerp и SanjiWatsuki/Sonya-7B; применён метод slerp с настройками для слоёв внимания и MLP. Модель основана на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Семейство Sonya-7B предназначено для диалогов, творческого письма и ролевых сценариев; модель принимает текст и генерирует текст. В репозитории указаны веса SafeTensors и тип данных bfloat16. Язык лицензирования и конкретная лицензия в доступных сведениях не приведены.

Карточка модели zaddyzaddy/Soro-GPT-34k на Hugging Face совпадает с карточкой zaddyzaddy/Soro-GPT, поэтому описание составлено по ней. Soro-GPT — языковая модель от zaddyzaddy, дообученная на базе unsloth/llama-3-8b-bnb-4bit. Она использует плотную архитектуру Llama с причинно-языковой головой и предназначена для генерации текста. В карточке указаны 7,5 млрд параметров и контекст до 8192 токенов; для обучения применялись Unsloth и библиотека TRL. Модель можно использовать для генерации продолжений текста и диалоговых ответов. Карточка не описывает специализацию, обучающие данные или результаты оценки качества, поэтому пригодность для конкретных областей не подтверждена. Лицензия — Apache-2.0.

Spaetzle-v67-7b — это диалоговая языковая модель на 7,1 млрд параметров, опубликованная пользователем cstr. Она создана слиянием моделей cstr/Spaetzle-v53-7b и cstr/Spaetzle-v55-7b методом DARE-TIES с помощью LazyMergekit; архитектура — плотная Mistral для авторегрессионной генерации текста. Модель предназначена для диалогов и генерации текста, поддерживает контекст до 32 768 токенов. Модель распространяется в формате Safetensors по лицензии CC BY-SA 4.0. README указывает, что две исходные модели слияния больше не опубликованы, поэтому проследить происхождение их обучающих данных по этой карточке нельзя. Оценки качества, перечень поддерживаемых языков и специализированные области применения в доступных данных не приведены.

Это экспериментальная квантизация ASHQ1 модели Spark-X2.5-1.7B, подготовленная wepiqx на основе XHToken/Spark-X2.5-1.7B. Модель представляет собой плотный декодер архитектуры spark2_5 примерно на 1,7 млрд параметров; в репозитории представлены файлы GGUF, включая вариант BF16. Для запуска указана поддержка штатной llama.cpp. Модель предназначена для генерации текста и диалогов, а базовая Spark-X2.5 поддерживает задачи с кодом, переводом, рассуждениями и агентными сценариями. У неё гибридное внимание: один слой с полным вниманием на три слоя с оконным; заявлен контекст до 1 млн токенов. Карточка приводит сравнение перплексии вариантов квантизации, но отмечает, что такие результаты не являются достаточной оценкой качества, а ранжирование пока предварительное. Репозиторий распространяется по лицензии Apache-2.0. Это производный квантованный выпуск; качество и поведение могут зависеть от выбранного файла GGUF и степени снижения точности.

Spark-X2.5-4B-ASHQ1-GGUF — выпущенная wepiqx версия модели Spark-X2.5-4B в формате GGUF с квантованием ASHQ1 и калибровкой imatrix. Это плотная decoder-модель архитектуры spark2_5 примерно на 4,1 млрд параметров с 36 блоками, группированным многозапросным вниманием и чередованием полных и скользящих окон внимания. Нативный контекст базовой модели — до 1 млн токенов. Модель предназначена для диалога и генерации текста; базовая Spark-X2.5-4B также рассчитана на код, рассуждения, перевод и агентные сценарии. Репозиторий содержит варианты квантования разного размера: автор рекомендует ASHQ1 на 4000 MiB, для которого указано небольшое ухудшение perplexity относительно Q8_0 при экономии места. Приведённые измерения сделаны на сыром тексте без шаблона чата, а сам автор считает сравнение предварительным. Модель работает в llama.cpp со штатной поддержкой архитектуры spark2_5. Указана лицензия Apache-2.0. README описывает главным образом процесс квантования и результаты теста perplexity, а не отдельные оценки качества на прикладных задачах.

Spark-X2.5-4B-GGUF — это GGUF-квантизированная версия модели Spark-X2.5-4B, разработанной XHToken. Квантизацию выполнил stornic56 с использованием imatrix и форка llama.cpp на базе коммита b10514-4a3635c32; начиная с версии llama.cpp b10828 архитектура spark2_5 поддерживается в основном репозитории. Модель содержит около 4,11 млрд параметров, принимает текстовые данные и поддерживает английский и китайский языки. Модель предназначена для генерации текста в диалоговых и прикладных сценариях, включая рассуждения и thinking-режим, а также вызов инструментов. Шаблон чата встроен в каждый GGUF-файл и поддерживает автоматическое применение через --jinja. По умолчанию рассуждения выводятся внутри тегов <think>...</think> перед итоговым ответом. Доступны варианты от BF16 до низкобитных Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_NL, Q3_K_M, IQ3_M и IQ2_M; вариант Q4_K_M рекомендован как компромисс между размером и качеством. К сильным сторонам относятся широкий выбор квантизаций, поддержка imatrix и возможность запуска через llama.cpp, включая ускорение на Intel Arc с Vulkan. IQ2_M сохраняет работоспособность в расширенном тесте связности, тогда как Q2_K был исключён из выпуска из-за циклов повторения; варианты ниже IQ2_M не создавались из-за ожидаемой существенной потери качества. Максимальная длина контекста в README не указана, поэтому параметры запуска с 8192 или 16384 токенами нельзя считать подтверждённым ограничением модели. Распространение осуществляется по лицензии Apache-2.0.

Sparsetral-16x7B-v2 — разговорная языковая модель семейства Sparsetral, представленная serpdotai. Это модель типа mixture-of-experts на архитектуре MistralForCausalLM: из 16 экспертов для обработки токена выбираются 4. По метаданным, в репозитории 7,1 млрд параметров, контекст составляет 32 768 токенов; веса доступны в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев общего назначения на английском языке. В README описано дообучение с помощью QLoRA и адаптеров и маршрутизаторов MoE на датасете OpenHermes-2.5; приведён шаблон диалога с ролями system, user и assistant. Разработчик указывает, что для ускоренного инференса существует форк vLLM с поддержкой Sparsetral. Модель распространяется по лицензии Apache-2.0. README сообщает о последовательностях обучения длиной 4096 токенов, поэтому эта настройка обучения короче указанного в метаданных контекста в 32 768 токенов.