I.5Создание и редактирование текста
В разделе собраны самостоятельные задачи, где AI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
44 385 моделейRicAIEng дообучил модель unsloth/llama-3-8b-bnb-4bit — плотную языковую модель семейства Llama 3 с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Модель предназначена для генерации текста в диалоговом формате. Модель принимает текст и выдаёт текст; поддерживает английский язык и имеет контекстное окно 8192 токена. Для обучения использовались Unsloth и библиотека Hugging Face TRL. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.
Llama 3 Tulu V2+DPO 70B — языковая модель-инструкция от Allen Institute for AI (AI2), созданная дообучением Llama 3 Tulu 2 70B на предпочтениях UltraFeedback методом DPO. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, предназначенная для диалогов и выполнения пользовательских инструкций; принимает текст и генерирует текст. Основной язык — английский, а длина контекста составляет 2048 токенов. Модель подходит для диалоговых помощников, ответов на вопросы, следования инструкциям и генерации текста. В опубликованных оценках показаны результаты на тестах знаний, математики, программирования, следования инструкциям и предпочтений. Модель не проходила этап RLHF для безопасных ответов и не имеет встроенной фильтрации, поэтому может генерировать проблемный контент, особенно по прямому запросу. Выпущена под лицензией Apache 2.0; в карточке также отмечено наличие лицензии сообщества Meta Llama 3.
Llama-3-Typhoon-1.5X-8B-instruct — разговорная языковая модель SCB 10X Typhoon Team для генерации ответов по инструкциям на тайском и английском языках. Это плотная decoder-only модель семейства Llama с архитектурой LlamaForCausalLM и 7,5 млрд параметров; она принимает текст и выдаёт текст, поддерживает контекст до 8192 токенов и использует шаблон чата Llama 3. Модель создана методом редактирования весов task arithmetic на основе Typhoon 1.5 8B и Llama 3 8B Instruct. Она предназначена для диалоговых приложений, генерации с ограничениями, рассуждений и сценариев RAG. В README приведены оценки на ThaiExam, MMLU, MT-Bench и IFEval; авторы сообщают о конкурентных результатах, особенно для тайского языка. Авторы называют модель экспериментальной и предупреждают, что она не полностью оценена для всех сценариев; перед применением разработчикам следует учитывать риски конкретного приложения. Лицензия — Llama 3 Community License. Для использования указана Transformers версии 4.38.0 или новее.
Llama-3-Yggdrasil-8B-GGUF — это набор GGUF-квантизированных версий языковой модели Llama-3-Yggdrasil-8B. Исходную модель разработал Locutusque; она создана на основе объединения моделей NousResearch/Meta-Llama-3-8B, NousResearch/Meta-Llama-3-8B-Instruct, Locutusque/Llama-3-Hercules-5.0-8B и Locutusque/llama-3-neural-chat-v2.2-8b. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp и совместимые инструменты. Доступны варианты с разным балансом качества, размера и требований к памяти: от Q8_0 размером 8,54 ГБ до сверхкомпактного IQ1_S размером 2,01 ГБ. Наиболее рекомендуемыми в карточке названы варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; низкобитные варианты экономят память, но заметно уступают по качеству. В карточке не указаны точная архитектура в технических деталях, максимальный контекст, поддерживаемые языки и результаты benchmark-тестов. Также не задан chat template, поэтому приведённый формат приглашений может быть неточным и требует проверки по исходной карточке модели. Модель распространяется по лицензии Llama 3; условия исходных компонентов и совместимость конкретного варианта следует дополнительно проверять перед использованием.
lmstudio-community/Llama-4-Scout-17B-16E-MLX-text-8bit — это текстовая версия модели Llama 4 Scout, адаптированная сообществом lmstudio-community для экосистемы MLX. Базовая модель — meta-llama/Llama-4-Scout-17B-16E-Instruct, разработанная Meta. Обозначение модели указывает на использование 8-битного представления весов и архитектуру с 17 млрд параметров и 16 экспертами, однако в README не приведены подробности о механизме маршрутизации экспертов или фактическом объёме активных параметров. Модель предназначена для генерации и обработки текста, включая диалоговые и инструкционные сценарии. Заявлена поддержка арабского, немецкого, английского, испанского, французского, хинди, индонезийского, итальянского, португальского, тайского, тагальского и вьетнамского языков. Сведения о размере контекста, дополнительных модальностях, результатах тестирования, производительности и конкретных ограничениях в README отсутствуют, поэтому их нельзя достоверно оценить. Использование регулируется Llama 4 Community License от Meta. Лицензия предоставляет ограниченные права на использование, копирование, распространение, модификацию и создание производных работ при соблюдении условий соглашения, включая передачу текста лицензии, указание «Built with Llama», атрибуцию и соблюдение Acceptable Use Policy. Для продуктов и сервисов с более чем 700 млн ежемесячных активных пользователей требуется отдельная лицензия Meta.
TheBloke/LLaMA-7b-GGUF — это квантизированная версия языковой модели LLaMA 7B, разработанной Meta. Репозиторий подготовлен TheBloke и содержит файлы в формате GGUF для запуска модели через llama.cpp и совместимые приложения. Модель предназначена для генерации и продолжения текста, диалоговых и других сценариев инференса с использованием произвольного текстового запроса. Доступны варианты квантизации от 2 до 8 бит, рассчитанные на запуск с использованием CPU и GPU; конкретные требования к памяти зависят от выбранного файла. Формат GGUF поддерживается llama.cpp, text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и рядом других инструментов. Ключевые характеристики — архитектура LLaMA, размер 7 миллиардов параметров и текстовая модальность. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Квантизация снижает требования к памяти и упрощает локальный запуск, однако низкобитные варианты могут заметно ухудшать качество, особенно самые компактные версии. Модель не является мультимодальной, а её точные ограничения по качеству и применению зависят от выбранного метода квантизации. В метаданных указана лицензия other; конкретные условия лицензии в README не приведены, поэтому перед использованием необходимо проверить лицензионные условия оригинальной модели Meta.
Riblockee/llama_finetune_16bit — дообученная модель семейства Llama, разработанная Riblockee на базе unsloth/llama-3.2-3b-instruct-unsloth-bnb-4bit. Это плотная авторегрессионная языковая модель с архитектурой LlamaForCausalLM и примерно 3,2 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. Метаданные указывают контекстное окно 131 072 токена и поддержку английского языка. Модель обучалась с использованием Unsloth и библиотеки TRL. Её можно применять для диалогов и генерации ответов на текстовые запросы. В метаданных также отмечен интерфейс вызова инструментов, но подробности его обучения и работы в карточке не описаны. Модель распространяется под лицензией Apache-2.0. README не сообщает, на каких данных и для каких узких задач выполнялось дообучение, поэтому качество в конкретных областях по карточке оценить нельзя.
Gryphe/LlamaGramma-7b — дообученная Gryphe модель семейства Llama на основе Llama 2 7B. Она предназначена прежде всего для исправления грамматических ошибок: пользователь передаёт текст с инструкцией удалить ошибки, а модель формирует исправленный вариант. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст; контекст — до 4096 токенов. Для дообучения использован датасет Gryphe/CoEdit-Alpaca, преобразованный в формат Alpaca; обучение проводилось три эпохи на одном GPU A100 80 ГБ. В карточке указана лицензия «other» без дополнительных условий. Автор отмечает, что качество результатов может различаться; модель ориентирована на грамматическую коррекцию, а не на универсальное редактирование или проверку фактов.
Llama-Magpie-3.2-3B-Instruct — языковая модель prithivMLmods, дообученная на базе meta-llama/Llama-3.2-3B-Instruct на наборе Magpie-Pro-300K-Filtered-H4. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM и 3,2 млрд параметров, предназначенная для генерации текста, диалогов и выполнения инструкций. Метаданные указывают контекстное окно до 131 072 токенов; модель доступна в формате safetensors и поддерживает чатовый интерфейс и интерфейс вызова инструментов. Модель подходит для создания текстов и кратких пересказов, ответов в чат-ботах и выполнения задач, заданных естественным языком. В карточке указан английский язык; базовая модель описана как мультиязычная, однако README не уточняет языки, на которых именно эта настройка проверена. Качество на конкретных задачах и практический эффект увеличенного контекста не приведены. Указана лицензия CreativeML OpenRAIL-M.
balrogbob/llamamama — дообученная модель генерации текста на архитектуре Llama, созданная balrogbob на базе unsloth/llama-3-8b-bnb-4bit с использованием Unsloth и библиотеки TRL. Модель содержит 7,5 млрд параметров и поддерживает контекст до 8192 токенов; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста по текстовому запросу. В README не описаны конкретная предметная область, стиль ответов или специализированные сценарии применения. Указана лицензия Apache-2.0.
Модель balrogbob/llamamama-python-1000 — дообученная версия Llama 3, созданная balrogbob на базе unsloth/llama-3-8b-bnb-4bit. Она предназначена для генерации текста; карточка не описывает специальную предметную область или отдельный сценарий применения. Архитектура — плотная авторегрессионная LlamaForCausalLM с 7,5 млрд параметров и контекстом до 8192 токенов. Для обучения использовались Unsloth и библиотека TRL. Модель принимает текст и генерирует текст. В метаданных указан английский язык. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Карточка не приводит результатов оценки качества или подробностей обучающих данных, поэтому пригодность для конкретных задач следует проверять отдельно.
LLaMA-MoE-v1-3_5B-2_8-sft — версия с supervised fine-tuning семейства LLaMA-MoE, обученная разработчиками модели на наборе Deita-6k в течение двух эпох. Это языковая модель с архитектурой Mixture of Experts: из 8 экспертов активируются 2; в README для варианта указано 3,5 млрд активных параметров, а метаданные репозитория сообщают 6,6 млрд параметров всего. Модель предназначена для генерации текста и диалоговых сценариев. Контекст составляет 4096 токенов, веса доступны в формате safetensors, лицензия — Apache-2.0. README приводит результаты оценки на языковых и диалоговых бенчмарках, но доступная таблица не содержит результатов именно этой версии.
LLaMAntino-3-ANITA-8B-Inst-DPO-ITA — диалоговая модель семейства LLaMAntino, разработанная Марко Полиньяно и исследовательской группой SWAP Университета Бари Альдо Моро. Это дообученная по инструкциям версия Meta-Llama-3-8B-Instruct: модель прошла supervised fine-tuning с QLoRA и выравнивание предпочтений методом DPO. Модель предназначена для ответов на запросы и генерации текста, в том числе кода, с акцентом на итальянский язык; также поддерживает английский. Её можно применять как италоязычного ассистента и как основу для дальнейшей настройки под специализированные задачи на итальянском. Архитектура — плотная Llama 3 с 7,5 млрд параметров, контекст — 8192 токена; для работы предусмотрена библиотека Transformers. Модель принимает текст и генерирует текст. Карточка указывает лицензию llama3; применение должно соответствовать её условиям и ограничениям лицензии Meta Llama 3. Качество ответов может зависеть от языка и конкретной задачи; специализированные сценарии могут потребовать дополнительной настройки.
CYFRAGOVPL/Llama-PLLuM-70B-instruct-2512 — польскоязычная большая языковая модель семейства PLLuM, разработка которой с 2025 года ведётся альянсом HIVE AI. Это плотная авторегрессионная модель на архитектуре Llama с 69,5 млрд параметров и контекстом до 131 072 токенов; репозиторий содержит веса safetensors. Модель дообучена для следования инструкциям и диалога на польских и английских данных. Модель предназначена для генерации текста, ответов на вопросы, суммаризации и извлечения сведений, а также для создания специализированных помощников. В README отдельно отмечены сценарии польской государственной администрации и юридико-бюрократических тем, в том числе с поиском документов через RAG. Для RAG требуется внешняя система поиска и хранилище документов. Для обучения использовались вручную подготовленные польские инструкции и предпочтения, а также синтетические и контекстные данные. Указанная в метаданных лицензия — Llama 3.1; перед использованием следует учитывать её условия. README описывает семейство PLLuM и не раскрывает отдельные подробности обучения именно версии 70B instruct-2512.
catrinbaze/llama-refueled-merge — объединённая инструктивная языковая модель, созданная с помощью mergekit из NousResearch/Meta-Llama-3-8B-Instruct и refuelai/Llama-3-Refueled. Для объединения использован метод SLERP; архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, формат весов — safetensors. Модель предназначена для диалогов и генерации текста по инструкциям; заявленная длина контекста составляет 8192 токена. Модель подойдёт для создания чат-ботов, ответов на вопросы и генерации текста. В метаданных базовая модель описана как англоязычная. Условия лицензирования в предоставленных сведениях не приведены.
Llama-SEA-LION-v2-8B — многоязычная языковая модель, разработанная командой Products Pillar организации AI Singapore при финансировании Национального исследовательского фонда Сингапура. Это плотная decoder-модель на архитектуре Llama 3 с 7,5 млрд параметров, полученная продолжением предварительного обучения Meta-Llama-3-8B-Instruct на примерно 48 млрд токенов пяти языков Юго-Восточной Азии и английского. Модель принимает текст и предназначена для генерации ответов и выполнения языковых задач на английском, индонезийском, тамильском, тайском и вьетнамском языках; контекст составляет до 8192 токенов. Модель оценивали на ответах на вопросы, анализе тональности, выявлении токсичности, переводе, суммаризации, причинно-следственных рассуждениях и распознавании языковых следствий. Оценка проводилась в режиме пяти примеров с использованием собственных для языков подсказок и ограниченных выборок данных, поэтому результаты могут не отражать качество во всех сценариях. Карточка предупреждает, что модель не прошла настройку безопасности; для использования в продуктах следует самостоятельно проверить её ответы и настроить меры безопасности. Лицензия — Llama 3 Community License.
KKHYA/llavaqwen2.5-32b-finetune — дообученная модель на базе Qwen/Qwen2.5-32B, опубликованная в формате Safetensors и работающая с библиотекой Transformers. Архитектура указана как LlavaQwen2ForCausalLM, размер — 32 млрд параметров, контекст — до 131 072 токенов. Карточка не описывает датасет и конкретную специализацию дообучения. Модель предназначена для генерации текста в диалоговом режиме; метаданные также указывают интерфейс вызова инструментов. Базовая модель поддерживает мультимодальные сценарии, но сведения о том, как именно настроен ввод изображений в этой производной модели, отсутствуют. Лицензия — Apache-2.0.
Это дообученная версия KKHYA/llavaqwen3-1.7b-finetune с архитектурой AdapterMoELLaVAQwen3ForCausalLM. Модель содержит 1,7 млрд параметров, принимает текст и предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Максимальная длина контекста — 40 960 токенов. Модель загружается через Transformers, веса представлены в форматах PyTorch и safetensors. Датасет дообучения не описан, поэтому конкретные специализации и качество для отдельных сценариев оценить нельзя. Лицензия — Apache-2.0.
Это дообученная модель KKHYA на 1,7 млрд параметров, созданная на основе KKHYA/llavaqwen3-1.7b-finetune. Она предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Модель использует архитектуру NMMaskMoELLaVAQwen3ForCausalLM и загружает веса в форматах PyTorch и Safetensors. Контекстное окно — до 40 960 токенов. Модель опубликована под лицензией Apache-2.0. Датасет дообучения и результаты оценки не описаны, поэтому качество и специализацию модели по отдельным темам оценить нельзя.
Это дообученная модель KKHYA на 1,7 млрд параметров, созданная на основе KKHYA/llavaqwen3-1.7b-finetune. Она использует архитектуру NMMaskMoELLaVAQwen3ForCausalLM и предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Контекстное окно — до 40 960 токенов. Модель загружена в формате PyTorch/Safetensors и распространяется по лицензии Apache-2.0. Датасет дообучения и результаты оценки не описаны.
lwef/llm-bench-upload-1 — дообученная lwef модель семейства Llama 3 для генерации текста и диалогового взаимодействия. Она основана на beomi/Llama-3-Open-Ko-8B, имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров. Модель работает с текстом, поддерживает английский язык и использует контекст длиной до 8192 токенов. Модель обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Её можно применять для генерации продолжений текста и ответов в диалоге. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0.
llm-jp-3.1-13b-instruct4 — языковая модель семейства LLM-jp, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это плотная Transformer-модель на архитектуре Llama с 13,2 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие. Контекстное окно составляет 4096 токенов; модель распространяется в формате safetensors для Transformers. Модель прошла дополнительное инструкционное предобучение, контролируемое дообучение и выравнивание методом Direct Preference Optimization. Она предназначена для выполнения инструкций, ответов на вопросы и диалога на японском и английском языках. Разработчики сообщают об оценке на японском и английском MT Bench и о проверке безопасности японских ответов. Модель находится на раннем этапе исследований и разработок, и её ответы не гарантированно соответствуют намерениям пользователя или требованиям безопасности. Для запуска README указывает PyTorch, Transformers, Tokenizers, Accelerate и Flash Attention. Лицензия — Apache-2.0.
llm-jp-3.1-8x13b — большая языковая модель, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это модель семейства Mixtral с архитектурой Transformer и смесью экспертов: в ней 8 маршрутизируемых экспертов, из которых активируются 2. README приводит около 73,2 млрд общих параметров и около 22,2 млрд активируемых параметров; в метаданных указано 13,2 млрд параметров. Контекст составляет 4096 токенов. Модель продолжает предобучение LLM-jp-3 в режиме Instruction Pre-Training, а также прошла supervised fine-tuning и Direct Preference Optimization. Она предназначена для генерации текста и следования инструкциям, в частности на японском и английском языках. Доступна в формате Safetensors для Transformers. Разработчики предупреждают, что модель находится на раннем этапе исследований и разработок и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.
llm-jp-3.1-8x13b-instruct4 — языковая модель серии LLM-jp-3.1, разработанной Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это модель-трансформер с архитектурой MoE на базе Mixtral: 8 экспертов, из которых активируются 2. Общее число параметров — около 73,2 млрд, активных — около 22,2 млрд; контекст — 4096 токенов. Модель предназначена для диалогов и выполнения инструкций на японском и английском языках. Она прошла продолжительное обучение на данных с парами «инструкция — ответ», затем supervised fine-tuning и выравнивание методом Direct Preference Optimization. Подходит для ответов на вопросы, генерации текстов и других сценариев, где требуется следовать инструкциям. Модель выпущена в формате Transformers и хранится в safetensors; для работы README указывает PyTorch, Transformers, Tokenizers, Accelerate и FlashAttention. Авторы отмечают, что модель находится на ранней стадии исследований и разработок и не настроена для надёжного соответствия человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.
llm-jp-3-8x13b-instruct2 — диалоговая языковая модель, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это трансформерная модель семейства Mixtral с архитектурой Mixture of Experts: 8 экспертов, из которых активируются 2. Вариант содержит около 73,2 млрд параметров всего и около 22,2 млрд активируемых параметров; метаданные каталога указывают 13,2 млрд параметров. Контекст — 4096 токенов. Модель обучена на смеси данных, включая японские, и дообучена на инструкциях с последующим выравниванием методом Direct Preference Optimization. Модель предназначена для диалога и генерации текста, особенно на японском и английском языках. Её можно использовать для ответов на вопросы, следования инструкциям, краткого изложения и других текстовых задач. Карточка приводит оценки на японских тестах, но результаты относятся к отдельным оценочным выборкам и не гарантируют качество в конкретном приложении. Разработчики предупреждают, что модель находится на ранней стадии разработки и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.
LLM-jp-4-8b-thinking — плотная трансформерная языковая модель семейства Llama, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Она предназначена для диалогов и генерации текста, в том числе для многошаговых вопросов и задач на рассуждение; обучена на японском и английском языках. Модель содержит 7,8 млрд параметров по метаданным, имеет 32 слоя и контекст до 65 536 токенов. Базовое обучение охватывало 11,7 трлн токенов, а опубликованный вариант прошёл дообучение SFT и выравнивание DPO без обучения с подкреплением. Репозиторий содержит веса safetensors и использует библиотеку Transformers; шаблон чата совместим с форматом ответов OpenAI Harmony, но токенизацию следует выполнять токенизатором из репозитория. Модель подходит для японских и английских диалогов, ответов на вопросы, следования инструкциям и генерации текста. Разработчики предупреждают, что модель находится на ранней стадии исследований и разработок и не настроена для гарантированного соответствия намерениям человека и требованиям безопасности. Лицензия — Apache-2.0.
ceia-aisdk/llm-small-v1 — распространяемый CEIA AI SDK артефакт GGUF с квантизированными весами модели Qwen3-4B-Instruct-2507. CEIA не обучала эти веса; модель основана на Qwen/Qwen3-4B-Instruct-2507 и представлена в формате GGUF с квантизацией Q4_K_M от bartowski. Модель предназначена для генерации текста и диалогового взаимодействия через CEIA AI SDK, включая ответы на запросы и следование инструкциям. Базовая модель — плотная языковая модель Qwen3 на 4 млрд параметров; каталог указывает поддержку чата и контекст до 262 144 токенов для базовой модели. Репозиторий содержит один файл model.gguf и распространяется по лицензии Apache-2.0, как и базовая модель. Квантизация сокращает требования к ресурсам, однако README не приводит измерений качества или производительности именно этой сборки.
KnutJaegersberg/LLongMA-3b-LIMA — языковая модель для генерации текста на базе архитектуры Llama. В карточке приведён пример формата Instruction/Response и результаты оценки на Open LLM Leaderboard. Модель содержит 3,3 млрд параметров, принимает контекст длиной до 8192 токенов и распространяется в формате PyTorch. Модель подходит для генерации ответов на инструкции и общих текстовых запросов. В таблице оценки указаны результаты ARC и HellaSwag; подробные показатели остальных тестов в доступном фрагменте карточки не приведены. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
LlongOrca 13B 16K — большая языковая модель Open-Orca, представленная в формате GGUF и квантованная TheBloke. Она основана на архитектуре Llama и предназначена для генерации текста, диалоговых сценариев и локального запуска через совместимые приложения и библиотеки. В описании указана поддержка английского языка, а исходный набор данных — OpenOrca. Модель имеет 13 млрд параметров и контекстное окно до 16K токенов. GGUF поддерживает метаданные, специальные токены и расширяемость; доступны варианты квантования от 2 до 8 бит, что позволяет выбирать компромисс между качеством, скоростью и потреблением памяти. Модель совместима с llama.cpp, text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другими инструментами для CPU+GPU-инференса. Для диалогов указан шаблон ChatML. К сильным сторонам относятся увеличенный контекст и возможность локального запуска на широком спектре аппаратных конфигураций благодаря квантованным версиям. Ограничения включают зависимость качества и требований к памяти от выбранного уровня квантования, а также отсутствие в README подробных результатов тестирования и характеристик мультиязычности. Для использования заявлена лицензия llama2; поскольку модель основана на Llama 2, также применяются условия лицензии Meta Llama 2. Вопросы о взаимодействии этих лицензий рекомендуется уточнять в репозитории исходной модели.
Lobotollama 6.5B — разговорная языковая модель на архитектуре Llama, созданная с помощью слияния методом passthrough и сокращения числа слоёв базовой модели Meta-Llama-3-8B-Instruct с 32 до 26. Модель содержит 6,2 млрд параметров, принимает текст и генерирует текст; поддерживает диалоговый режим. Контекстное окно составляет 8192 токена. Модель предназначена для генерации ответов в диалоге и других сценариев текстовой генерации. В репозитории доступны форматы GGUF и Safetensors. В README лицензия не указана, поэтому условия использования по имеющимся данным определить нельзя.