II.6Документация и сопровождение разработки

WINTER-FROST-3 — дообученная brucoder модель для генерации текста и диалогов. Она основана на WINTER-FROST-2-PRO, использует плотную архитектуру Qwen2 и содержит 7,1 млрд параметров. Модель принимает текст и поддерживает контекст длиной до 32 768 токенов; в карточке указан английский язык. В метаданных также отмечен интерфейс взаимодействия с инструментами. Модель подходит для текстовых запросов, диалогов и сценариев, где нужно вызывать инструменты через соответствующий интерфейс. При обучении использовались Unsloth и библиотека TRL от Hugging Face. Лицензия — Apache-2.0.

Wizard-llama3-70B — дообученная компанией feeltheAGI языковая модель на архитектуре Llama 3 с 69,5 млрд параметров. Она основана на meta-llama/Meta-Llama-3-70B и дообучена на открытых наборах данных, включая дополнительные данные по программированию. Модель генерирует текст, следует инструкциям и поддерживает диалоговый шаблон ChatML; заявлены навыки логического рассуждения, программирования и начальные агентные возможности с вызовом функций. Модель рассчитана на англоязычные диалоги, выполнение инструкций, решение логических задач и помощь с кодом. Контекст составляет 8192 токена, формат весов — PyTorch. Разработчик стремился снизить ограничения на генерируемый контент, поэтому ответы могут включать нежелательные или небезопасные материалы. Лицензия — MIT.

QuixiAI выпустила WizardLM-1.0-Uncensored-CodeLlama-34b — дообученную на базе CodeLlama-34b языковую модель семейства Llama с 33,5 млрд параметров. Модель обучена на отфильтрованных данных WizardLM Evol Instruct V2 и использует формат запросов, совместимый со стилем Vicuna 1.1. Модель предназначена для генерации текста и кода, выполнения инструкций и диалоговых сценариев. Разработчик сообщает, что обучение было направлено на снижение отказов, уклончивых ответов и смещения; база CodeLlama, по описанию карточки, обеспечивает хорошие возможности для программирования. Модель принимает текст и генерирует текст, поддерживает английский язык и контекст до 16 384 токенов. Метка «uncensored» не означает полного отсутствия ограничений: в README отмечены унаследованные этические установки LLaMA и отсутствие защитных механизмов. Модель распространяется по лицензии Llama 2; применяйте её с учётом условий этой лицензии и самостоятельно оценивайте генерируемый контент.

WizardLM-Mistral-CodeLlama-7b — объединённая модель на базе Mistral-7B-v0.1, созданная с помощью mergekit методом TIES из PrunaAI/WizardLM-WizardMath-7B-V1.0-bnb-4bit-smashed и codellama/CodeLlama-7b-Instruct-hf. Она предназначена для генерации текста, в том числе для ответов на вопросы по математике и помощи с программированием. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; для работы предусмотрена библиотека Transformers. Лицензия в доступных данных не указана.

YamshadowInex12_NeuralsirkrishnaInex12 — слитая модель семейства Mistral, созданная на основе automerger/YamshadowInex12-7B и automerger/NeuralsirkrishnaInex12-7B. Она предназначена для генерации текста и диалоговых сценариев на основе текстовых запросов. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Веса представлены в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0.

YamshadowInex12_NeuralsirkrishnaShadow — слитая текстовая модель MaziyarPanahi на архитектуре Mistral. Она объединяет модели automerger/YamshadowInex12-7B и automerger/NeuralsirkrishnaShadow-7B и предназначена для генерации текста. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Доступна в формате safetensors по лицензии Apache-2.0.

YamshadowStrangemerges_32_ShadowMeliodas — объединённая модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она предназначена для генерации текста и диалогов; принимает текст и выдаёт текст. Контекстное окно составляет до 32 768 токенов. Модель объединяет automerger/YamshadowStrangemerges_32-7B и automerger/ShadowMeliodas-7B. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Zamba2-7B-Instruct — диалоговая языковая модель Zyphra, дообученная на наборах данных для следования инструкциям и общения на основе Zyphra/Zamba2-7B. Это плотная гибридная архитектура, сочетающая слои пространства состояний Mamba2 с блоками внимания Transformer; общие веса внимания и LoRA-проекции помогают ограничить дополнительные параметры. В метаданных указано 16,8 млрд параметров, а базовый контекст составляет 4096 токенов. Модель предназначена для генерации ответов в чате, выполнения инструкций, рассуждений и других задач общего назначения. В README описан экспериментальный режим контекста до 16 тысяч токенов с резким снижением качества примерно после 18 тысяч. Разработчик заявляет о низкой задержке генерации и меньших затратах памяти по сравнению с сопоставимыми трансформерными моделями, однако оптимизированные ядра Mamba2 требуют отдельной установки; без них задержка и расход памяти значительно выше. Также README предупреждает о временной реализации Hugging Face, совместимость которой с некоторыми инструментами может быть неполной. Лицензия — Apache-2.0.

jeiku/Zephyr_beta_32k_7B — диалоговая языковая модель, полученная автором репозитория слиянием моделей методом DARE TIES. В основе лежит mistralai/Mistral-7B-Instruct-v0.2; также в слияние включена typeof/zephyr-7b-beta-lora. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста в формате диалога и ответов на инструкции. Она принимает текст и рассчитана на контекст до 32 768 токенов. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0.

CombinHorizon выпустила эту текстовую модель как слияние весов, созданное с помощью mergekit и метода TIES. В качестве основы использована Qwen/Qwen2.5-32B, объединённая с zetasepic/Qwen2.5-32B-Instruct-abliterated-v2; модель имеет 32 млрд параметров и представлена в формате safetensors для библиотеки Transformers. Модель предназначена для генерации текста и диалоговых сценариев. Она принимает текст и выдаёт текст; заявленная длина контекста — 131 072 токена. В метаданных указан английский язык. Лицензия — Apache-2.0.

ZEUS 8B V10 — объединённая языковая модель, созданная автором карточки на основе unsloth/Meta-Llama-3.1-8B-Instruct и трёх других моделей семейства Llama 3.1. Для объединения применён метод DARE TIES; в версии V10 использованы единый токенизатор и настройки int_mask и normalize. Это плотная авторегрессионная модель LlamaForCausalLM с 7,5 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие. Контекст составляет до 131 072 токенов. Модель подходит для диалогов, следования инструкциям и генерации текстовых ответов; метаданные также отмечают интерфейс вызова инструментов. В README приведены результаты оценивания на Open LLM Leaderboard, включая IFEval и BBH. Автор ожидает, что отличия от V2 будут небольшими. Модель основана на инструкционно настроенной Llama 3.1, но README не описывает языковой охват подробно. Сведения о лицензии в предоставленных данных отсутствуют.

ZEUS 8B V17 — объединённая языковая модель, созданная автором карточки с помощью mergekit методом DARE TIES на основе unsloth/Meta-Llama-3.1-8B-Instruct и ещё четырёх моделей Llama 3.1. Это плотная архитектура Llama с примерно 7,5 млрд параметров, предназначенная для диалогов и генерации текста; поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Модель подходит для диалоговых ассистентов, генерации и продолжения текста, а также задач, где полезно обрабатывать длинный контекст. В карточке приведены результаты оценивания, включая 79,41% на IFEval (0-shot) и 32,34% на BBH (3-shot). Лицензия в предоставленных данных не указана.

Zirel-3 — дообученная разговорная модель Daemontatox на базе cerebras/GLM-4.5-Air-REAP-82B-A12B. Она предназначена для генерации текста и кода, следования инструкциям, рассуждений, работы с агентными сценариями и вызова функций. Модель использует разреженную архитектуру Mixture-of-Experts; в README указаны 82 млрд параметров, около 12 млрд активных на проход и контекст до 128 тыс. токенов. Метаданные каталога указывают 8,5 млрд параметров, поэтому размер модели в источниках расходится. Модель рассчитана прежде всего на английский язык. Карточка указывает совместимость с Transformers и рекомендует vLLM для более быстрой генерации. Репозиторий содержит веса Safetensors. Метаданные указывают лицензию Apache-2.0, тогда как README заявляет MIT; лицензию следует уточнить по файлу лицензии репозитория.

YOYO-AI/ZYH-LLM-Qwen2.5-14B-V3 — третья версия модели серии ZYH-LLM от YOYO-AI, созданная с помощью слияния нескольких языковых моделей. Это плотная авторегрессионная модель семейства Qwen2 с 14 млрд параметров в формате safetensors. В README описан первый этап слияния Qwen/Qwen2.5-14B-Instruct и Qwen/Qwen2.5-14B методом DELLA; метаданные также указывают среди исходных моделей Azure99/Blossom-V6-14B, arcee-ai/Virtuoso-Small-v2 и варианты Qwen2.5-14B. Модель предназначена для генерации текста и диалогов, включая структурированные ответы и взаимодействие через интерфейс вызова инструментов. Заявленная длина контекста — 1 010 000 токенов. Метаданные карточки указывают английский и китайский языки. В README приведены результаты Open LLM Leaderboard: среднее значение 41,63, IFEval — 85,78 и BBH — 48,18; эти результаты не описывают все сценарии применения. Модель распространяется по лицензии Apache-2.0.

Модель joannetai520/16_bit_model_try4 — дообученная языковая модель семейства Llama на основе unsloth/meta-llama-3.1-8b-instruct-unsloth-bnb-4bit. Её разработал joannetai520; обучение выполнялось с использованием Unsloth и библиотеки TRL. Модель предназначена для генерации текста и диалогового взаимодействия, а интерфейс поддерживает вызов инструментов. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает контекст длиной до 131072 токенов. В метаданных указан английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0.

airoboros-33b-3.1.2 — экспериментальная разговорная модель jondurbin на архитектуре Llama, дообученная на наборе airoboros-3.1, в основном состоящем из синтетических данных. Она предназначена для следования инструкциям и многошаговым запросам, ответов на вопросы по предоставленному контексту, суммаризации, извлечения сведений из журналов и генерации кода. Модель использует шаблон диалога Llama 2 и поддерживает контекст до 2048 токенов по метаданным; в README автор указывает, что при дообучении применял rope scaling для увеличения контекста до 4096 токенов. В репозитории указаны 32,3 млрд параметров и формат safetensors. Среди заявленных сценариев также генерация аргументов для вызова функций и построение текстовых планов выполнения. Это только генерация текста: для реального вызова инструментов требуется внешняя система, которая разбирает и исполняет такой план. Модель ориентирована на инструкции, а не на непринуждённый чат или ролевую игру; автор рекомендует низкую температуру генерации. Базовая модель — llama-30b-hf. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

Airoboros 33B GPT-4 1.2 — плотная авторегрессионная языковая модель семейства LLaMA с 32,3 млрд параметров, дообученная Джоном Дёрбином методом QLoRA на синтетических инструкционных данных, созданных GPT-4. Версия 1.2 расширяет набор данных версии 1.1 и добавляет примеры, позволяющие запрашивать код в простом формате без Markdown-обрамления. Модель предназначена для диалоговых инструкций, генерации кода, математических задач и рассуждений, викторин, ролевого общения, вопросов с выбором ответа и ответов по заданному контексту. Обучающий набор также включает задания на понимание намерений и общие темы. Модель принимает текстовые запросы и генерирует текст; карточка описывает шаблон чата с ролями USER и ASSISTANT. Родной контекст составляет 2048 токенов. Модель ориентирована на широкий круг текстовых задач и включает примеры кода для разных языков программирования и библиотек. Автор отмечает, что режим PLAINFORMAT работает не всегда. Это ранняя версия модели, выпущенная в 2023 году; её лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

Карточка модели jondurbin/airoboros-33b-gpt4-2.0 на Hugging Face совпадает с карточкой jondurbin/airoboros-65b-gpt4-2.0, поэтому описание составлено по ней. airoboros-65b-gpt4-2.0 — плотная языковая модель семейства LLaMA на 65 млрд параметров, дообученная jondurbin для следования инструкциям на синтетических примерах, созданных GPT-4. Серия 2.0 использует данные GPT-4 версии 0614; вариант m2.0 дополнительно объединяет набор данных 1.4.1 без дубликатов и категории system. Модель предназначена для диалоговых ответов, вопросов по предоставленному контексту, программирования, построения планов и генерации структурированных аргументов функций в JSON или YAML. Для диалога используется текстовый шаблон с ролями USER и ASSISTANT; заявленная длина контекста — 2048 токенов. В README для моделей 65B отмечено QLoRA-дообучение. Это текстовая модель, и качество её ответов не гарантирует точность: карточка рекомендует явно просить не придумывать ответ при недостатке данных. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование; коммерческое использование запрещено.

Карточка модели jondurbin/airoboros-l2-7b-gpt4-2.0 на Hugging Face совпадает с карточкой jondurbin/airoboros-65b-gpt4-2.0, поэтому описание составлено по ней. airoboros-65b-gpt4-2.0 — плотная языковая модель семейства LLaMA на 65 млрд параметров, дообученная jondurbin для следования инструкциям на синтетических примерах, созданных GPT-4. Серия 2.0 использует данные GPT-4 версии 0614; вариант m2.0 дополнительно объединяет набор данных 1.4.1 без дубликатов и категории system. Модель предназначена для диалоговых ответов, вопросов по предоставленному контексту, программирования, построения планов и генерации структурированных аргументов функций в JSON или YAML. Для диалога используется текстовый шаблон с ролями USER и ASSISTANT; заявленная длина контекста — 2048 токенов. В README для моделей 65B отмечено QLoRA-дообучение. Это текстовая модель, и качество её ответов не гарантирует точность: карточка рекомендует явно просить не придумывать ответ при недостатке данных. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование; коммерческое использование запрещено.

Albatrox7B — объединённая языковая модель на архитектуре Mistral, созданная сообществом с помощью mergekit. Она получена методом SLERP из NousResearch/Nous-Hermes-2-Mistral-7B-DPO и mlabonne/AlphaMonarch-7B; в репозитории указана конфигурация bfloat16. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на инструкции и рассуждения. Число параметров — 7,1 млрд, заявленный контекст — до 32 768 токенов. Лицензия и поддерживаемые языки в предоставленных данных не указаны.

Это модель SentenceTransformer, дообученная на наборе it_project_docs на базе sentence-transformers/all-MiniLM-L6-v2. Энкодер BERT преобразует предложения и абзацы в плотные векторы размерностью 384; сходство векторов можно оценивать по косинусной мере. В метаданных указано 25,9 млн параметров и контекст до 512 токенов, тогда как README задаёт максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска и сравнения вопросов и текстов проектной документации, а также для поиска перефразировок, кластеризации и классификации текстов. Она выдаёт эмбеддинги, а не готовые ответы на вопросы. Обучение проводилось на парах вопросов и ответов из it_project_docs с функцией потерь MultipleNegativesRankingLoss. Модель рассчитана на английский язык, унаследованный от базовой модели; подтверждений поддержки других языков нет. Качество зависит от соответствия корпуса и запроса обучающим данным, а входные последовательности длиннее 256 токенов выходят за указанную в README максимальную длину. Лицензия в предоставленных данных не указана.

Apriel-1.5-15b-Thinker-GGUF — это GGUF-версия мультимодальной модели рассуждений Apriel-1.5-15b-Thinker, разработанной ServiceNow AI и подготовленной в формате GGUF командой Unsloth. Модель предназначена для генерации текста, решения математических и научных задач, программирования, следования инструкциям, работы с API и функциями, диалоговых сценариев, а также понимания и рассуждений по изображениям и смешанным текстово-графическим данным. Модель содержит 15 млрд параметров и рассчитана на эффективное локальное развёртывание: по заявлению разработчиков, она помещается на одной GPU. Она обучалась с использованием продолжительного предварительного обучения на текстовых и мультимодальных данных, а также supervised fine-tuning более чем на 2 млн текстовых примеров. Для постобучения не применялись reinforcement learning и специализированное обучение на изображениях. Заявлены результаты 52 балла в Artificial Analysis, 68 в Tau2 Bench Telecom и 62 в IFBench, однако конкретные сведения о контекстном окне, поддерживаемых языках и архитектуре в README не указаны. Сильными сторонами модели являются сочетание компактного размера, развитого текстового рассуждения, возможностей работы с изображениями и ориентация на корпоративные задачи. Ограничениями могут быть повышенный расход токенов и более длительное время ответа из-за подробного рассуждения по умолчанию, а также отсутствие image SFT, что может влиять на отдельные визуальные сценарии. Модель распространяется по лицензии MIT.

Apriel-1.6-15B-Thinker — мультимодальная модель рассуждений из серии Apriel, разработанная ServiceNow. Это плотная модель семейства LLaVA с 15 млрд параметров, предназначенная для диалоговых инструкций, работы с текстом и изображениями, логических рассуждений и многошаговых задач. Карточка указывает на дообучение предыдущей версии Apriel-1.5-15B-Thinker с помощью SFT и обучения с подкреплением; модель также прошла продолжительное предобучение на текстовых и визуальных данных. Модель подходит для генерации и анализа кода, ответов на вопросы, извлечения информации, следования сложным инструкциям, вызова функций и сценариев с агентами. Она формирует ход рассуждений и затем итоговый ответ; разработчик сообщает о снижении числа токенов рассуждения более чем на 30% по сравнению с Apriel-1.5-15B-Thinker. Наиболее сильные результаты заявлены для английского языка. Модель распространяется в формате Safetensors и доступна по лицензии MIT. Модель может выдавать неверную, вводящую в заблуждение или устаревшую информацию и отражать предвзятость обучающих данных. Она не предназначена для критически важных применений без человеческого контроля; качество на языках, представленных в обучении слабее, может снижаться.

Jebadiah/Aria-dolphin-1m-sand-stone — языковая модель, созданная разработчиком Jebadiah слиянием методом linear через mergekit моделей Jebadiah/Aria-7b-128k-v4 и cognitivecomputations/dolphin-2.9-llama3-8b-1m. Это плотная архитектура MistralForCausalLM с 7,1 млрд параметров; веса сохранены в формате safetensors, с точностью float16. Модель предназначена для генерации текста и принимает текстовые запросы, выдавая текст. Заявленная длина контекста — 32 768 токенов. Карточка не описывает специализированные предметные области или конкретные языки. Условия лицензирования в предоставленных данных не приведены.

ArliAI-Llama-3-8B-Dolfin-v1.0 — диалоговая языковая модель OwenArli на архитектуре Llama 3 с 7,5 млрд параметров и контекстом 8192 токена. Она дообучена методом SFT на базе Meta-Llama-3-8b-Instruct Abliterated v3 с использованием улучшенного набора данных Dolphin и WizardLM. Модель предназначена для генерации ответов в чате и выполнения инструкций; автор отмечает более точное следование запросам и меньше характерных для GPT формулировок. Модель принимает текст и выдаёт текст, используя формат диалоговых сообщений Llama 3 Instruct. Для лучших результатов автор рекомендует формулировать инструкции точно и задавать роль через системное сообщение. Обучение проводилось на последовательностях длиной до 8192 токенов с QLoRA, рангом 64 и alpha 64; в README также указано обучение с 4-битной загрузкой. Модель распространяется по лицензии Meta Llama 3 License. Это дообученный чекпойнт, и его ответы могут быть неточными или неуместными; описание автора указывает на сниженную склонность к отказам, поэтому следует проверять ответы и учитывать требования к безопасному применению.

Карточка модели Anthropic-ai/Audiotoaudiotranslate на Hugging Face совпадает с карточкой Anthropic-ai/Aiaudiotranslate, поэтому описание составлено по ней. Anthropic-ai/Aiaudiotranslate — мультиязычная разговорная языковая модель на архитектуре Qwen3.5 с 7,2 млрд параметров. Согласно карточке, это независимый проект открытой модели, дообученной для следования инструкциям, устойчивого поведения ассистента, рассуждений, письма, суммаризации и помощи с программированием. Метаданные указывают контекст до 262 144 токенов и варианты весов Safetensors и GGUF, включая квантизированные сборки. Модель предназначена для диалога и генерации текста на разных языках; в README также заявлены задачи транскрибирования и перевода аудио, но описание репозитория сосредоточено на текстовом ассистенте и не подтверждает аудиовход. Лицензия — MIT. Карточка называет проект независимым и неофициальным; приведённые в README показатели бенчмарков описаны как основанные на Qwen3.5 9B.

Генеративная текстовая модель семейства LFM2 с примерно 2,6 млрд параметров, опубликованная на Hugging Face в формате, совместимом с библиотекой Transformers. Модель предназначена для генерации и продолжения текста, включая диалоговые сценарии. Модель поддерживает контекст длиной до 131 072 токенов, что позволяет обрабатывать длинные инструкции, документы и историю беседы. В метаданных указаны теги conversational и text-generation, однако сведения о разработчике, языках, лицензии, обучающих данных, архитектуре и результатах оценки отсутствуют.

jondurbin/bagel-8x7b-v0.2 — экспериментальный SFT-чекпойнт, созданный jondurbin на основе Mixtral-8x7B-v0.1 с помощью инструментария Bagel. Это языковая модель с архитектурой Mixtral MoE и 7,1 млрд параметров; она поддерживает контекст до 32 768 токенов и представлена в формате safetensors. Модель предназначена для диалогов и следования инструкциям, ответов на вопросы по предоставленному контексту, задач на рассуждение, математику, программирование и SQL, а также для ролевых диалогов. Для настройки использовались обучающие части разнообразных наборов данных: среди прочего, датасеты для чтения и понимания текста, общих знаний, математики, кода, чатов и ролевых сценариев. Карточка описывает модель после этапа SFT и до применения DPO; для общения предусмотрено несколько шаблонов промптов, а шаблон по умолчанию основан на Llama 2. Модель лицензирована по Apache 2.0. README называет настройку экспериментальной, поэтому качество на отдельных задачах следует проверять в целевом сценарии.

win10/BigLiberated-20B-V2 — разговорная языковая модель на архитектуре Qwen2, созданная слиянием предварительно обученных моделей с помощью mergekit и метода passthrough. В README указана участвовавшая в слиянии модель abacusai/Liberated-Qwen1.5-14B. Модель предназначена для генерации текста и диалоговых сценариев. Она содержит 19,4 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; для работы указана библиотека Transformers. Лицензия в предоставленных данных не указана.

BitNet b1.58 2B-4T — языковая модель для генерации текста, разработанная Microsoft Research. Она предназначена для диалоговых сценариев, следования инструкциям, генерации и обработки текста, а также задач, связанных с программным кодом и математикой. Модель обучена на 4 триллионах токенов и имеет около 2 миллиардов параметров. Архитектура основана на Transformer с модифицированными слоями BitLinear, позиционными представлениями RoPE, активацией ReLU² в FFN-слоях и нормализацией subln. Модель обучена с нуля с использованием нативного квантования: веса представлены в формате 1,58 бита с тернарными значениями {-1, 0, +1}, а активации — в 8-битном формате. Используется токенизатор LLaMA 3 с размером словаря 128 256 токенов. Заявленный максимальный контекст составляет 4096 токенов, поддерживаемый язык — английский. Ключевое преимущество модели — потенциально более низкие требования к памяти, энергопотреблению и задержке по сравнению с полноточными моделями сопоставимого размера. Для получения этих преимуществ рекомендуется специализированная реализация bitnet.cpp; при запуске через стандартную библиотеку transformers выигрыш в скорости, задержке и энергопотреблении не гарантируется и может отсутствовать, хотя потребление памяти может быть ниже. Для задач с контекстом существенно длиннее 4096 токенов рекомендуется предварительная адаптация модели к длинным последовательностям. Модель распространяется по лицензии MIT.