I.6Перевод и языковая адаптация

Это квантованная в формате MXFP4 версия модели Qwen3-Next-80B-A3B-Thinking, подготовленная noctrex и опубликованная в формате GGUF. Она предназначена для генерации текста и диалогового использования; базовая модель — причинная MoE-модель Qwen для сложных рассуждений и работы с длинным текстовым контекстом. В названии базовой модели указано 80B параметров, из которых 3B активны; точную длину контекста доступные данные не сообщают. Для запуска требуется совместимая версия llama.cpp; автор рекомендует использовать актуальную версию. GGUF и MXFP4 позволяют запускать квантованную модель в совместимой среде, однако квантование может влиять на точность по сравнению с исходными весами. Лицензия в предоставленных данных не указана.

Furiosa AI публикует этот репозиторий для запуска Qwen3-VL-32B-Instruct на ускорителях FuriosaAI RNGD с Furiosa-LLM. Это плотная мультимодальная модель на 32 млрд параметров из семейства Qwen3-VL: визуальный энкодер работает совместно с трансформерным декодером, а Interleaved-MRoPE и многоуровневое объединение признаков DeepStack поддерживают обработку изображений и видео вместе с текстом. Репозиторий содержит веса в safetensors и исполняемый пакет Furiosa; квантизация не применена. Также модель можно запускать через vLLM, SGLang и Transformers. Модель предназначена для диалога по изображениям и текстовым запросам, распознавания текста на изображениях, анализа документов и графиков, пространственных рассуждений и понимания видео. Она поддерживает вызов инструментов через парсер hermes. Вариант Instruct не использует режим рассуждений. Для запуска на RNGD описана конфигурация с 32 PE на четырёх картах. Лицензия — Apache 2.0.

QwenMosaic-7B — объединённая языковая модель, созданная bunnycore методом линейного слияния через mergekit. В неё вошли AIDC-AI/Marco-o1, fblgit/cybertron-v4-qw7B-UNAMGS, rombodawg/Rombos-LLM-V2.5-Qwen-7b и Qwen/Qwen2.5-7B-Instruct с адаптером bunnycore/Qwen-2.1-7b-Persona-lora_model. Это плотная причинная модель семейства Qwen2 на 7,1 млрд параметров; она распространяется в формате safetensors и работает через Transformers. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции. Контекст составляет до 32 768 токенов. В README приведены результаты Open LLM Leaderboard: среднее 25,31, IFEval 58,19 и BBH 36,75; эти значения не гарантируют качество в конкретном сценарии. Лицензия в предоставленных данных не указана.

chirag1701/resolve72-biencoder-v1 — текстовая модель Sentence Transformers, дообученная разработчиком на базе intfloat/multilingual-e5-base. Она использует трансформер XLM-RoBERTa с усреднением токенных представлений и нормализацией результата, выдавая векторы размерности 768; для сравнения применяется косинусное сходство. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. Обучение проводилось на парах и тройках текстов; указан объём набора — около 1,04 млн примеров. Модель принимает только текст и рассчитана на многоязычные сценарии благодаря базовой multilingual-e5-base. Максимальная длина последовательности в карточке указана как 96 токенов; метаданные каталога указывают нативный контекст в 514 токенов. Лицензия в предоставленных данных не указана.

AlphaMayo — диалоговая языковая модель, созданная слиянием Eric111/Mayo и mlabonne/AlphaMonarch-7B с помощью mergekit. В основе архитектуры лежит Mistral; модель содержит 7,1 млрд параметров и рассчитана на генерацию текста в формате диалога. Указанная длина контекста — 32 768 токенов. Модель подходит для генерации ответов и выполнения инструкций в чат-сценариях. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. README описывает конфигурацию слияния методом SLERP и точностью bfloat16.

Amadeus-Verbo-BI-Qwen-2.5-72B-PT-BR-Instruct-Experimental — плотная языковая модель для диалогов и генерации текста на бразильском португальском. Её разработала Amadeus AI на основе Qwen/Qwen2.5-72B, дообучив модель в течение двух эпох на наборе из 600 тысяч инструкций. Архитектура Qwen2 использует Transformer, RoPE, SwiGLU, RMSNorm и grouped-query attention; размер по метаданным — 71,5 млрд параметров. Модель предназначена для ответов на инструкции и диалоговых сценариев на бразильском португальском. Она поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Для загрузки автор рекомендует актуальную версию Transformers. Модель распространяется по лицензии Apache-2.0. Качество ответов может зависеть от формулировки запроса и соответствия задачи бразильскому португальскому; карточка не приводит результатов оценки качества.

Ductratra/BGE_M3_v2 — модель Sentence Transformer на архитектуре XLM-RoBERTa, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024; сходство между текстами можно оценивать косинусной мерой. Модель рассчитана на последовательности длиной до 8192 токенов. Её можно применять для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. В репозитории указаны веса safetensors и библиотека sentence-transformers. Лицензия и конкретные обучающие данные в предоставленных сведениях не описаны.

Cosmosis-3x34B — разговорная языковая модель Weyaxi, построенная на архитектуре Mixtral с разреженной экспертной структурой MoE. В репозитории указано 33,9 млрд параметров; модель распространяется в формате safetensors и рассчитана на генерацию текста и диалоговое взаимодействие. Метаданные указывают контекст длиной до 200 000 токенов. Модель подходит для ведения диалогов и генерации ответов на текстовые запросы. В README приведены варианты шаблонов запросов ChatML, Human Assistant, Alpaca и Vicuna, но автор не определяет предпочтительный шаблон и отсылает к шаблонам модели bagel-dpo-34b-v0.2. В README также приведены результаты оценки на бенчмарках, включая средний результат 75,39. Модель основана на объединении нескольких экспертных моделей; точная схема создания описана в конфигурации воспроизведения, однако доступный текст README её не раскрывает. Лицензия обозначена в метаданных как other, поэтому условия использования следует проверять в репозитории. Автор отмечает неопределённость с выбором шаблона промпта.

AtlasCloud/DeepSeek-V4-Flash-Vision-Exp-FP8-DSpark — экспериментальная мультимодальная модель семейства DeepSeek-V4, разработанная на базе DeepSeek-V4-Flash-Vision-Exp. Репозиторий содержит преобразованную версию официальных весов с FP4 для маршрутизируемых экспертов в формат FP8 e4m3 с блоковым масштабированием 128×128 ue8m0; плотные слои, общие эксперты, токенизатор и конфигурации DSpark и зрения сохранены без изменений. Модель распространяется как готовый checkpoint для Hugging Face и предназначена для запуска через SGLang или встроенную эталонную реализацию. Модель поддерживает обработку текста и изображений и ориентирована на мультимодальное понимание, агентские сценарии, работу с инструментами, графиками и визуальными данными, сохраняя сопоставимую производительность в текстовых агентских задачах. В README указано использование архитектурных компонентов vision encoder, aligner, DFlash attention, MoE, Hyper-Connections и DSpark forward path. Точный размер модели, окно контекста и перечень поддерживаемых языков не указаны. Ключевое свойство этой версии — lossless-преобразование экспертных весов в FP8 без дополнительного этапа конвертации при развертывании. Для запуска требуется совместимая конфигурация SGLang и отключение FP4-пути экспертов; конкретные требования к оборудованию не приведены. Модель распространяется по лицензии MIT.

Карточка модели SillyTilly/google-gemma-2-9b на Hugging Face совпадает с карточкой google/gemma-2-9b, поэтому описание составлено по ней. Gemma 2 9B — текстовая авторегрессионная модель семейства Gemma, разработанная Google. Это базовая предварительно обученная версия с открытыми весами; README также описывает семейство в целом, включая варианты, дообученные для следования инструкциям. Модель предназначена для генерации текста, диалогов, ответов на вопросы, суммаризации и рассуждений, а её сравнительно компактный размер позволяет запускать её на персональных компьютерах и в собственной облачной инфраструктуре. Модель принимает текст и генерирует текст. В карточке семейство указано как англоязычное; конкретная длина контекста и число параметров не приведены в предоставленных данных. Модель может выдавать неточные или устаревшие сведения, испытывать трудности со сложным контекстом, нюансами языка и здравым смыслом, а также воспроизводить предвзятости обучающих данных. Лицензия — Gemma, с условиями и ограничениями, заданными политиками Google для использования моделей Gemma.

Granite-4.1-8B-SFT-Claude-Opus-Reasoning-Unsloth — дообученная модель ermiaazarkhalili на базе IBM Granite-4.1-8B. Это плотная авторегрессионная модель класса GraniteForCausalLM с примерно 8,4 млрд параметров по метаданным и контекстом до 131 072 токенов. Модель прошла supervised fine-tuning на наборе distillation-данных с рассуждениями Claude; адаптер LoRA слит с базовыми весами. Поддерживает диалоговую генерацию текста и интерфейс вызова инструментов. Модель предназначена для генерации ответов и диалоговых сценариев, требующих следования инструкциям и пошаговых рассуждений. Она унаследовала многоязычные возможности Granite-4.1-8B, рассчитанной на работу с текстом и кодом. Карточка приводит только значения обучающей потери и не сообщает результатов тестирования на прикладных бенчмарках. Лицензия — Apache-2.0. К ограничениям относятся непроверенное качество вне обучающего набора, а также унаследованные от базовой модели смещения, пределы знаний и типичные ошибки. Поскольку LoRA-адаптер слит с весами, отделить его от результата дообучения нельзя.

Hermes-2-Pro-11B — текстовая генеративная модель Matt Shumer, созданная с помощью LazyMergekit на основе NousResearch/Hermes-2-Pro-Mistral-7B. Несмотря на описание README как слияния нескольких моделей, в нём перечислена одна и та же базовая модель десять раз; метаданные каталога классифицируют связь как дообучение. Архитектура — плотная MistralForCausalLM, размер — 11 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Лицензия Apache-2.0. Карточка не приводит отдельных оценок качества или подробностей обучения, поэтому пригодность для конкретной задачи следует проверять на собственных примерах.

YTan2000 подготовил GGUF-конверсию модели Huihui-Qwen3.5-35B-A3B-abliterated для запуска через TurboQuant-вариант llama.cpp. Это мультимодальная модель семейства Qwen3.5 MoE с 35 млрд параметров и активной частью около 3 млрд; она поддерживает диалог, анализ изображений и интерфейс вызова инструментов. Основные веса сжаты до TQ3_4S, а тензоры эмбеддингов и выходного слоя оставлены в Q6_K. Для обработки изображений предусмотрен совместимый мультимодальный проектор в формате GGUF. Модель предназначена для диалоговых и агентных сценариев, генерации текста и ответов с учётом изображений. В коротком локальном smoke-тесте она показала результат 9 из 10, но это не полноценная оценка качества. Для запуска требуется публичная TurboQuant-сборка llama.cpp. Модель описана как abliterated/uncensored и может выдавать чувствительный или небезопасный контент. Лицензия — Apache-2.0.

Inex12T3qm7xp-7B — автоматически объединённая языковая модель, созданная Maxime Labonne на основе MSL7/INEX12-7b и nlpguy/T3QM7XP. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и предназначена для генерации текста и диалоговых ответов; заявленная длина контекста составляет до 32 768 токенов. Для объединения использован метод DARE-TIES с плотностью 0,53 и весом 0,6 для nlpguy/T3QM7XP; веса представлены в формате safetensors. Модель принимает текст и генерирует текст. Лицензия — Apache-2.0. Карточка не приводит оценок качества или результатов тестирования.

Это дообученная диалоговая модель egoigo на базе kakaocorp/kanana-1.5-8b-instruct-2505. Модель относится к семейству Llama, имеет плотную архитектуру и около 7,5 млрд параметров; она принимает текстовые запросы и генерирует текст, в том числе в формате диалога и с интерфейсом вызова инструментов. Контекст составляет до 32 768 токенов. Модель подходит для диалоговых помощников и генерации текста. Базовая Kanana также предназначена для программирования и математики, однако README не описывает специализацию или результаты именно этой версии Persona-Merge-K. Модель опубликована под лицензией Apache-2.0.

Kanana-2-3B-Instruct — компактная языковая модель Kakao, предназначенная для диалогов и выполнения инструкций. Она основана на плотной архитектуре Qwen3 с 2,9 млрд параметров и создана на базе kakaocorp/kanana-2-3b-base. Модель прошла дообучение с учителем и обучение с подкреплением; поддерживает контекст до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы, рассуждений и других текстовых задач. Kakao отмечает улучшенную эффективность токенизации корейского языка по сравнению с предыдущим поколением Kanana. Модель также предназначена для сценариев вызова инструментов, хотя фактическое качество зависит от задачи и способа развертывания. Для запуска в README рекомендованы Transformers версии 4.57.0 или новее; приведены варианты развертывания через vLLM и SGLang. Лицензия указана как other, поэтому конкретные условия использования следует уточнить в карточке модели. В README указано, что пользовательские данные Kakao не использовались при обучении.

Keefe-Discere-v3.2 — дообученная языковая модель семейства Qwen2, опубликованная KeefeBuild. Это плотная авторегрессионная модель с 7,1 млрд параметров, предназначенная для генерации текста в диалоговом формате; метаданные также указывают интерфейс вызова инструментов. Модель обучалась с использованием Unsloth и библиотеки TRL от Hugging Face. Модель принимает текст и выдаёт текст. В метаданных указаны английский язык и контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. README указывает на дообучение от KeefeBuild/Keefe-Discere-v3.2, то есть от модели с тем же идентификатором, поэтому исходная базовая модель отдельно не подтверждена.

Ling-plus-base — базовая языковая модель с архитектурой Mixture of Experts (MoE), разработанная InclusionAI. Она предназначена для генерации текста и диалогового взаимодействия, а структура MoE позволяет масштабировать модель и адаптировать её к разным задачам, включая работу с естественным языком и решение сложных задач. По README, Ling-Plus содержит 290 млрд параметров, из которых при генерации активируются 28,8 млрд; в метаданных репозитория указано 23,9 млрд параметров. Карточка описывает контекст до 64 тыс. токенов, тогда как метаданные указывают нативный контекст в 16 384 токена. Модель работает с текстом и поддерживает чатовый сценарий; заявленные языки использования отдельно не перечислены. Модель распространяется под лицензией MIT. README сообщает о сравнительно высокой производительности, но конкретные результаты оценки находятся в техническом отчёте и в карточке не приведены, поэтому качество для конкретных задач следует проверять отдельно.

Llama-3.1-Tulu-3-405B-GGUF — это набор GGUF-квантизаций большой языковой модели Llama-3.1-Tulu-3-405B, опубликованный bartowski. Исходная модель разработана Allen Institute for AI (AI2), а квантизация выполнена с помощью llama.cpp release b4585 и метода imatrix. Модель предназначена для генерации текста и запуска локальных LLM-приложений через llama.cpp, LM Studio и совместимые проекты. Модель содержит около 405 млрд параметров, работает в текстовой модальности и, согласно карточке, ориентирована на английский язык. Указан датасет RLVR-MATH, однако конкретные характеристики обучения и размер контекста в README не приведены. Доступно множество вариантов квантизации от Q8_0 до IQ2_XS с размером файлов примерно от 431 до 119 ГБ. Более высокие уровни квантизации обычно сохраняют лучшее качество, но требуют больше оперативной или видеопамяти; низкие уровни экономят память ценой снижения качества. Для диалогового использования указан формат промпта с ролями system, user и assistant. Сильной стороной являются очень большой масштаб модели и широкий выбор вариантов для подбора компромисса между качеством и требованиями к памяти. Ограничениями остаются исключительно высокие аппаратные требования даже для наиболее сжатых вариантов, а также потенциальная потеря качества при низкой квантизации. Модель распространяется по лицензии llama3.1; перед использованием необходимо учитывать условия этой лицензии.

MInAlA/Llama-3.2-3B-DPO-merged — диалоговая языковая модель на архитектуре Llama, полученная выравниванием Llama-3.2-3B-Instruct методом DPO на наборе предпочтений argilla/ultrafeedback-binarized-preferences. Модель содержит 3,2 млрд параметров, принимает текст и генерирует текст; поддерживает контекст до 131072 токенов и предназначена для использования через библиотеку Transformers. Модель подходит для диалогов, генерации ответов и других текстовых задач общего назначения. В метаданных указаны мультиязычные возможности базовой модели, но конкретный перечень языков для этой производной модели не приведён. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

ConvexAI/Luminex-34B-v0.2 — разговорная языковая модель ConvexAI на архитектуре Llama с 33,9 млрд параметров и контекстом до 32 768 токенов. По карточке, это SimpleSmaug-34b с применённым методом LaserRMT; в метаданных базовой моделью указана jondurbin/bagel-34b-v0.2, от которой модель является дообучением. Модель предназначена для генерации текста и диалогового взаимодействия. В README приведены результаты Open LLM Leaderboard: среднее значение 77,19, включая 74,49 в AI2 Reasoning Challenge и 86,76 в HellaSwag; другие результаты заявлены, но таблица неполная. Модель опубликована в форматах PyTorch и Safetensors. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией репозитория.

Ministral-3-14B-abliterated-GGUF — GGUF-квантизированные версии модели Ministral-3-14B-abliterated, разработанные jenerallee78 на базе Ministral-3-14B-Instruct-2512 от Mistral AI. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, а также для использования в OpenAI-совместимых API-серверах и Ollama. Это мультимодальная модель, принимающая текстовые и графические входные данные. Заявлена поддержка контекста до 256K токенов; язык, указанный в карточке, — английский. Доступны варианты F16 размером около 26 ГБ и Q8_0 размером около 14 ГБ. Для обработки изображений требуется отдельный vision-проектор mmproj-F16 размером около 838 МБ. Версия F16 обеспечивает максимальное качество, а Q8_0 рассчитана на более экономичное использование памяти. Модель подвергнута abliteration — изменению внутренних представлений, направленному на удаление поведения, связанного с отказами в ответах. Это может сделать её более пригодной для исследовательских сценариев, требующих менее выраженных ограничений, но одновременно повышает риски генерации небезопасного или нежелательного контента. Для F16 указано тестирование на NVIDIA RTX PRO 6000 Blackwell с потреблением около 67 ГБ VRAM и скоростью генерации около 20–22 токенов в секунду; показатели Q8_0 обозначены как оценочные или не предоставлены. Лицензия — Apache-2.0; автор также указывает исследовательское и образовательное назначение и ответственность пользователя за соблюдение законодательства и этических норм.

mncai/mistral-7b-dpo-merge-v1.1 — объединённая инструкционная языковая модель от MindsAndCompany на базе Mistral. В карточке указано, что при создании объединены mncai/mistral-7b-dpo-v6, rwitz2/go-bruins-v2.1.1, ignos/LeoScorpius-GreenNode-Alpaca-7B-v1 и janai-hq/trinity-v1 с помощью TIES; базовая модель прошла instruction tuning и DPO. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и формат safetensors, а длина контекста составляет 32 768 токенов. Модель предназначена для генерации текста по инструкциям: например, для ответов на вопросы и диалоговых сценариев. Пример в карточке содержит запрос на корейском языке, но метаданные указывают английский как язык модели. Лицензия — Apache 2.0. Авторы предупреждают, что результаты на открытых лидербордах могут быть переобучены и не отражать качество на реальных задачах; они рекомендуют оценивать модель на собственных данных. В карточке также отмечено, что mncai/mistral-7b-dpo-v6 показала более слабые результаты во внутренних оценках, чем некоторые другие модели автора.

MaziyarPanahi/Mistral-7B-model_45k6e2e4-Mistral-7B-Instruct-v0.1 — объединённая авторами модель на архитектуре Mistral для генерации текста и ответов в диалоге. Она создана методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и pankajmathur/Mistral-7B-model_45k6e2e4; конфигурация указывает точность bfloat16. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации ответов на текстовые инструкции и диалоговые запросы. В метаданных указан английский язык, интерфейс чата и задача text-generation. Репозиторий распространяется по лицензии Apache-2.0.

Gaivoronsky/Mistral-7B-Saiga — русскоязычная генеративная модель, опубликованная Gaivoronsky. Это плотная causal language model семейства Mistral на 7,1 млрд параметров, представленная в формате PyTorch fp16. Она основана на IlyaGusev/saiga_mistral_7b_lora и предназначена для генерации текста и диалоговых сценариев на русском языке. Модель подходит для русскоязычных ответов на вопросы, инструкций и общения в чат-ботах. Заявленная длина контекста — 32 768 токенов. Модель распространяется по лицензии CC BY 4.0; README описывает запуск через vLLM.

Карточка модели ushakov15/MNLP_M3_document_encoder на Hugging Face совпадает с карточкой woodx/Qwen3-Embedding-0.6B-SGLang, поэтому описание составлено по ней. Qwen3-Embedding-0.6B-SGLang — дообученная модель семейства Qwen3, представленная в репозитории woodx и основанная на Qwen/Qwen3-0.6B-Base. Она преобразует текст в эмбеддинги для семантического поиска и сопоставления текстов. Модель содержит около 507,6 млн параметров, поддерживает контекст до 32 768 токенов и формирует векторы размерностью от 32 до 1024 с возможностью задавать инструкцию под задачу. Модель предназначена для многоязычного поиска по текстам и коду, классификации и кластеризации текстов, поиска параллельных фрагментов на разных языках и задач семантического сходства. В карточке серии заявлена поддержка более 100 языков. Для улучшения результатов поиска рекомендуется задавать подходящую инструкцию; в многоязычных сценариях авторы советуют формулировать её на английском. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

shivash/moetest1 — языковая модель на архитектуре Llama, созданная автором репозитория с помощью объединения весов через SLERP и mergekit на основе meta-llama/Llama-3.1-8B-Instruct. Модель предназначена для генерации текста и диалогового общения; метаданные также указывают интерфейс вызова инструментов. Модель содержит 6,9 млрд параметров, принимает текст и выдаёт текст. Указанная длина контекста — 131 072 токена. Репозиторий использует Transformers и формат safetensors. Поддерживаемые языки отдельно не обозначены. Сведений о лицензии в предоставленных данных нет.

Moko-DARE — объединённая языковая модель на архитектуре Mistral, созданная Azazelle с помощью mergekit и метода DARE TIES. В основе объединения лежит mistralai/Mistral-7B-v0.1; также использованы Open-Orca/Mistral-7B-OpenOrca, akjindal53244/Mistral-7B-v0.1-Open-Platypus и WizardLM/WizardMath-7B-V1.1. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи с математическими рассуждениями и следованием инструкциям, унаследованные от компонентов объединения. Доступна в формате safetensors для Transformers. Лицензия — CC BY 4.0.

Nebula-v2-7B — языковая модель на 7,1 млрд параметров семейства Mistral, опубликованная Weyaxi. Это дообученная версия mistralai/Mistral-7B-v0.1 на датасете Open-Platypus; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и может использоваться в диалоговых приложениях и для ответов на запросы на английском языке. Заявленная длина контекста — 32 768 токенов. Лицензия — Apache-2.0. README также указывает на отдельный репозиторий с исходными LoRA-весами.

NMTOB-7B — слитая языковая модель, созданная paulml с помощью LazyMergekit на основе Kukedlc/NeuTrixOmniBe-7B-model-remix и paulml/OmniBeagleSquaredMBX-v3-7B-v2. Она использует плотную архитектуру Mistral с 7,1 млрд параметров и предназначена для генерации текста; контекст составляет до 32 768 токенов. Модель подходит для диалогов, написания и продолжения текста, а также для задач генерации, где полезен длинный контекст. В README описано слияние методом slerp с настройками для слоёв self-attention и MLP. Репозиторий распространяется под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование.