I.5Создание и редактирование текста
В разделе собраны самостоятельные задачи, где AI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
44 385 моделейLLaMA2-13B-Erebus-v3 — третье поколение модели Shin'en, разработанной Mr. Seeker и опубликованной KoboldAI. Это плотная авторегрессионная модель семейства LLaMA 2 на 12,9 млрд параметров, дообученная для генерации текстов на материалах взрослой тематики. Обучающая выборка объёмом 2,3 млрд токенов объединяет восемь источников, включая рассказы и романы с рейтингом 18+; жанры размечены тегом [Genre: ]. Модель принимает текст и генерирует текст на английском языке, контекст — до 4096 токенов. Модель предназначена для создания художественных рассказов и ролевых сценариев для взрослой аудитории. Её выраженная специализация — откровенный контент; автор предупреждает о сильном смещении в сторону NSFW и непригодности для несовершеннолетних. Возможны также предубеждения, связанные с полом, профессией, расой и религией. Репозиторий содержит веса в формате safetensors, лицензия — Llama 2.
DataPilot/Llama3-ArrowSE-8B-v0.1 — разговорная модель на архитектуре Llama, созданная на основе elyza/Llama-3-ELYZA-JP-8B и доработанная для AItuber — виртуальных ведущих с ИИ. Модель предназначена для генерации диалоговых ответов; в README автор сообщает результат 3,77 балла на elyza-task100. Модель содержит 7,5 млрд параметров, использует формат safetensors и поддерживает контекст до 8192 токенов. README указывает на специализацию для AItuber, но не описывает дополнительные возможности или языки. Для использования действует лицензия Llama 3 (llama3).
Undi95 разработал LewdPlay Llama3 — дообученную разговорную модель семейства Llama 3 с плотной архитектурой и примерно 7,5 млрд параметров. Модель основана на meta-llama/Meta-Llama-3-8B-Instruct и обучена на наборах данных для ролевого общения, включая материалы с откровенным содержанием. Она принимает текстовые запросы и генерирует текст; заявленная длина контекста — 8192 токена. Модель предназначена для ролевых диалогов с персонажами; автор отмечает, что результат лучше с подробно составленной карточкой персонажа, примерами реплик и памятью. Доступны веса fp16 в формате PyTorch. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
cpayne1303/llama-43m-beta — компактная авторегрессионная модель семейства LLaMA, разработанная на основе JackFram/llama-68m. По README, веса инициализированы от базовой модели с объединёнными эмбеддингами, затем модель дополнительно обучалась на первых миллионах примеров неочищенного датасета C4; обучение не охватывало весь набор данных. В метаданных указаны 43,5 млн параметров, архитектура LlamaForCausalLM, библиотека Transformers, формат safetensors и контекст 2048 токенов. Модель предназначена для генерации продолжения текста и разговорных экспериментов на английском языке. Это бета-версия небольшой модели, поэтому её возможности и качество ограничены по сравнению с крупными языковыми моделями. Лицензия — Apache-2.0.
Модель Edgerunners/meta-llama-3-8b-instruct-hf-ortho-baukit-5fail-3000total-bf16 — экспериментальная версия Llama 3 8B Instruct, созданная wassname с обновлённой реализацией baukit для исследования и изучения теорий выравнивания, связанных с Alignment Forum. Это плотная авторегрессионная языковая модель с архитектурой LlamaForCausalLM, примерно 7,5 млрд параметров и контекстом до 8192 токенов; поддерживает диалоговый режим и принимает текст, выдавая текст. В README сообщается о 5 отказах в 3000 ortho-тестах; автор указывает, что результаты ещё требуют сравнения с предыдущей версией. Модель предназначена для исследований выравнивания и экспериментов, а не для обычного производственного применения. Язык лицензирована по CC BY-NC 4.0, допускающей использование с ограничением на коммерческое применение.
Mini-K3-1H-mamba2-n64-g4-v1_B — текстовая исследовательская модель семейства Mini-K3, представленная автором репозитория nkkbr. Это checkpoint для генерации продолжения текста, а не готовый диалоговый помощник: после предварительного обучения он не проходил дополнительную настройку для инструкций. В архитектуре из 13 декодерных слоёв девять KDA-микшеров заменены на Mamba-2/SSD, а четыре слоя сохраняют Gated MLA с позиционным режимом NoPE. Также используются MoE с 64 маршрутизируемыми экспертами и top-k 4, ширина скрытого состояния 1024 и словарь на 163 840 токенов. В метаданных указано 385,9 млн параметров; README отдельно приводит около 1,005 млрд логических параметров и около 341 млн активных параметров. Модель обучена на 16 млрд целевых токенов, с длиной обучающих последовательностей 8 192; заявленный нативный контекст — 131 072 токена. Репозиторий описывает её как абляцию архитектуры Mini-K3, а не воспроизведение графика блоков NVIDIA Nemotron. Она предназначена для исследований генеративных архитектур и сравнения Mamba-2 с базовой конфигурацией Mini-K3. Автор сообщает о проверках изоляции упакованных документов и обучающих обновлений; перенос результатов на более крупные модели и другие настройки требует подтверждения. В README лицензия не указана.
NanoLM-70M-Instruct-v1 — небольшая языковая модель для генерации текста и ответов на инструкции, созданная автором проекта NanoLM. Она построена на плотной архитектуре LLaMA с 12 слоями и содержит 70,8 млн параметров; автор указывает, что её токенизатор и архитектура основаны на SmolLM-135M, но число слоёв сокращено с 30 до 12. Модель рассчитана на контекст до 2048 токенов и поддерживает только английский язык. Модель предназначена для экспериментов с небольшими моделями и простых сценариев следования инструкциям и общения на английском языке. Карточка заявляет способность выполнять инструкции, но не приводит оценок качества или подробностей обучения. Репозиторий содержит веса в формате safetensors; лицензия — GPL-3.0.
NemoDori-v0.2-12B-MN-BT — экспериментальная разговорная языковая модель, созданная RozGrov с помощью LazyMergekit путём слияния crestf411/nemo-sunfall-v0.6.1, unsloth/Mistral-Nemo-Instruct-2407 и предыдущей версии RozGrov/NemoDori-v0.1-12B-MS. Это плотная модель семейства Mistral с архитектурой MistralForCausalLM и 12,1 млрд параметров; она принимает текст и генерирует текст. Автор описывает её как продолжение ориентированной на ERP-сценарии NemoDori и приводит результаты пробного использования для ролевых диалогов и работы с агентами Talemate: модель следует инструкциям, формирует персонажей и состояние мира, а ответы обычно краткие. Метаданные указывают нативный контекст до 1 024 000 токенов. Модель предназначена для экспериментальных ролевых сценариев, диалогов персонажей и использования в Talemate. Автор отмечает, что повествование развивается медленно, ответы могут быть слишком короткими, а в роли рассказчика модель иногда говорит за пользователя или добавляет разговор Talemate. Автор также характеризует работу как тестирование, поэтому качество зависит от инструкций и настроек. Лицензия в предоставленных данных не указана.
ODABert — дообученная модель Alex Miller на базе multilingual BERT для заполнения пропущенных токенов в текстах о проектах развития и гуманитарного финансирования. Она основана на BERT с архитектурой BertForMaskedLM и содержит 195,4 млн параметров; словарь расширен на 1 059 токенов по частотным словам из набора OECD DAC CRS. Контекст — до 512 токенов. Модель обучалась три эпохи на названиях и описаниях проектов из OECD DAC CRS. Её предполагаемый сценарий — экспериментальная адаптация языковой модели для последующего построения классификаторов по данным о проектах; сама модель выполняет задачу masked language modeling, а не классификацию. В оценке указана функция потерь 0,9961. Хотя базовая модель многоязычная и обучающие тексты включают другие языки, в данных преобладает английский. Лицензия — Apache-2.0.
OpenCerebrum-1.5-Mistral-7B-v0.2-beta — экспериментальная, незавершённая текстовая генеративная модель Locutusque на архитектуре Mistral. Веса содержат 7,1 млрд параметров, модель работает через Transformers и поддерживает контекст до 32 768 токенов. Модель создана как пробная версия для оценки работы после сокращения обучающего набора с применением внутренней фильтрации данных. Карточка не описывает конкретные сценарии применения, обучающие данные или результаты; автор указывает, что версия останется незавершённой, а открытый набор данных для SFT и DPO планируется для версии 2.0. Лицензия — Apache-2.0. README не указывает базовую модель и не содержит сведений о языках; метаданные карточки отмечают английский язык.
gokaygokay/PaliGemma-PixelProse — дообученная модель семейства PaliGemma для генерации текста по изображению. Она принимает изображение и текстовый запрос и формирует текстовый ответ; модель обучена на 7500 случайных примерах из набора PixelProse. Архитектура — PaliGemmaForConditionalGeneration, формат весов — safetensors, запуск предусмотрен через Transformers. Модель подходит для экспериментов с описанием и интерпретацией изображений в стиле данных PixelProse. README указывает разрешение PaliGemma 224×224. Репозиторий распространяется по лицензии Apache-2.0. Небольшой случайный поднабор обучения может ограничивать качество и охват сценариев.
Pranavz/Peach-2.0-9B-8k-Roleplay-heretic — разговорная языковая модель для ролевых диалогов, созданная на основе Peach-2.0-9B-8k-Roleplay с применением abliteration для снижения частоты отказов. README сообщает, что исходная Peach дообучена на базе 01-ai/Yi-1.5-9B на более чем 100 тысячах синтезированных диалогов с этапами SFT и DPO. Модель имеет плотную архитектуру LlamaForCausalLM, около 8,6 млрд параметров и принимает текстовые запросы, выдавая текстовые ответы. Модель рассчитана прежде всего на ролевые беседы, отыгрыш персонажей и интерактивное повествование; README отмечает поддержку формата SillyTavern и китайско-английские диалоги. В сравнении с исходной моделью автор приводит 4 отказа из 100 запросов против 12, а также KL-дивергенцию 0,299. Метаданные указывают контекст до 16 384 токенов, тогда как README предупреждает, что обучение было ограничено длиной 8 тысяч токенов и качество может снижаться на длинных беседах. Модель распространяется по лицензии MIT. Среди ограничений README указывает возможную генерацию токсичного, вредного и NSFW-контента, слабые результаты на математике, программировании и логических задачах, а также галлюцинации и слабую поддержку языков помимо китайского и английского.
PiVoT-SOLAR-10.7B-RP — чат-модель для ролевого общения, созданная автором PivoT путём дообучения SOLAR-10.7B-Instruct на частном наборе данных из ArcaLive AI Chat. Модель использует архитектуру Llama и содержит 10,6 млрд параметров; заявленная длина последовательности — 8192 токена. Репозиторий содержит веса PyTorch, а лицензия — CC BY-SA 4.0. Модель предназначена для генерации текста в диалоге и ролевых сценариях на английском языке. Карточка указывает на дообучение на частном наборе данных, поэтому состав примеров и охват сценариев нельзя независимо оценить по описанию. Качество, безопасностные свойства и пригодность для конкретных задач в карточке не измерены.
Predatorial-Extasy-70B — языковая модель на архитектуре Llama, разработанная Mawdistical как дообучение TheSkullery/L3.3-Unnamed-Exp-70B-v0.8. Модель содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов; веса опубликованы в формате safetensors и предназначены для генерации текста в диалогах и ролевых сценариях на английском языке. Модель настроена на антропоморфных и инопланетных персонажей, современные городские и антиутопические сцены. В обучающих сценариях есть откровенный сексуальный контент, насилие, мрачные темы и неоднозначные ситуации с согласием, поэтому модель рассчитана на взрослую аудиторию. Лицензия — CC BY-ND 4.0.
Priya-10B — диалоговая языковая модель от HelpingAI с архитектурой Llama и примерно 9,7 млрд параметров. Она дообучена на базе HelpingAI/HelpingAI2.5-10B и предназначена для непринуждённых бесед в образе остроумной, поддерживающей собеседницы-подростка. Модель подходит для дружеского общения, разговоров о технологиях и физике, эмоциональной поддержки и ответов с юмором. README заявляет поддержку английского и хинди; контекстное окно составляет 131 072 токена. Модель выдаёт текст и поддерживает чатовый интерфейс, а также интерфейс вызова инструментов. Среди заявленных ограничений — возможная потеря деталей длинного разговора, чрезмерно резкий тон и неожиданные отступления к аналогиям из физики. Разработчик заявляет ограничения на NSFW и вредоносный контент, а также отказ от выполнения академических заданий. Лицензия указана как other, поэтому условия использования следует уточнить на странице модели.
ApolloRaines/Pythia-1.4B-DNP-16750-Facts — англоязычная модель генерации текста, созданная на базе EleutherAI/pythia-1.4b с применением jBlaze Neural Reclamation. Веса содержат 16 750 фактов из набора CounterFact-Tracing, включая сведения о местоположениях, гражданстве, языках и жанрах. Модель имеет архитектуру GPT-NeoX, около 1,7 млрд параметров и контекст до 2 048 токенов. Модель предназначена для генерации связного английского текста и экспериментов с записью и извлечением фактов из весов компактных языковых моделей. В карточке сообщается о прямом извлечении примерно 49,8% загруженных фактов и снижении показателя общей способности с 60% до 55%; результаты следует считать заявленными разработчиком характеристиками стресс-теста. Репозиторий указывает на демонстрационное назначение и частично ограниченную силу выпущенных моделей. Лицензия в предоставленных данных не указана.
Q-MoE total — базовая англоязычная авторегрессионная языковая модель d0rj из эксперимента Tiny LLM ablation. Модель с архитектурой Q-MoE содержит 50,9 млн параметров, 10 причинных слоёв декодера и восемь маршрутизируемых экспертов с выбором двух на каждом токене. Для каждого токена задействуется 33,2 млн параметров, включая общие веса. Контекст составляет 2048 токенов. Модель обучена с нуля на FineWeb-Edu за 15 000 шагов, обработав около 3,93 млрд входных токенов. Она предназначена для продолжения английского текста и исследовательских экспериментов с компактными языковыми моделями; это базовая модель без настройки на инструкции и шаблона чата. В README приведены результаты оценки на языковых и академических тестах, а также ограничения этих оценок. Весы опубликованы в формате safetensors и имеют точность FP32. Для загрузки пользовательского кода требуется включить trust_remote_code=True в Transformers. Лицензия в предоставленных данных не указана.
Qwen2.5-3B-Haizi-CN — модель генерации китайской поэзии, разработанная на базе shikunpunk/Qwen2.5-3B-Haizi. Это плотная причинно-языковая модель семейства Qwen2 с 3,1 млрд параметров и контекстом до 32 768 токенов, дообученная в три этапа SFT с помощью QLoRA на китайских стихах Хайцзы и примерах, предписывающих отвечать только по-китайски. Версия CN снижает вероятность появления английских букв и слов в стихах. Модель предназначена для создания современных стихотворений на китайском языке по теме или заголовку в диалоговом формате. В README приведён пример генерации при температуре 1,0; заявленный результат на тестовой выборке из 20 стихотворений — отсутствие примеси английского текста. Объём теста и обучающих данных невелик, поэтому это наблюдение не гарантирует такой же результат для всех запросов. Модель распространяется под лицензией Apache-2.0.
arianraje/qwen3-4b-gdn-hybrid-init-dtfix — экспериментальный чекпойнт, созданный в рамках исследования преобразования Qwen3-4B в гибридную архитектуру GDN (gated DeltaNet). В модели 27 из 36 слоёв преобразованы в GDN, остальные сохраняют полное внимание; преобразование выполнено с равномерным сохранением одного из каждых четырёх слоёв и наследованием весов исходной модели. Это начальный чекпойнт этапа преобразования, а не завершённая модель после восстановления возможностей дистилляцией. Исправленная инициализация смещения временного шага GDN использует схему из эталонной реализации fla: при запуске медианное удержание состояния составляет 0,94. В описании также приведено сравнение активаций на Wikitext: у этого чекпойнта не обнаружено «мёртвых» голов из 864, тогда как в исходной серии их было 281. Модель содержит около 3,7 млрд параметров, принимает текст и предназначена для генерации текста и диалогового использования. Контекст — до 40 960 токенов; для загрузки указана библиотека Transformers версии 4.57 или новее. Базовая модель — Qwen/Qwen3-4B; чекпойнт распространяется по лицензии Apache-2.0. Поскольку это промежуточный этап исследования изменения архитектуры, его возможности не следует считать восстановленными или сопоставимыми с исходной Qwen3-4B без отдельной оценки.
Qwengram-4B — экспериментальная надстройка над Qwen3.5-4B, разработанная автором репозитория Ninnix96. Она добавляет к замороженному базовому декодеру обученный читатель внешней памяти и механизм выбора информации по токенам; сама память предоставляется отдельным файлом PLE от Qwen3.8-Flash-Next. Модель предназначена для генерации текста и диалогов с использованием этой внешней памяти. Для запуска требуется PLE-файл примерно на 32 ГБ, отображаемый в оперативной памяти, и специальная версия llama.cpp; в репозитории есть варианты GGUF и safetensors, а расширяющие веса читателя и арбитра хранятся в FP32. В описанной оценке каноническая конфигурация снизила perplexity на полном наборе валидации с 11,30 до 10,98; улучшение NLL отмечено во всех пяти проверенных областях, но статистически убедительное улучшение точности ряда бенчмарков не установлено. Модель ориентирована на экспериментальное локальное применение, а её работа зависит от внешнего PLE и специального runtime. Лицензия — Apache-2.0.
SEN-AGI представила Sable-1.1-30M — компактную языковую модель для генерации текста. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 31,2 млн параметров; README описывает модель как обученную примерно на 3–4 млрд токенов. Она предназначена для генерации текста и небольших экспериментов с языковыми моделями. Контекст составляет 1024 токена, основной язык — английский. В карточке приведены результаты BoolQ, PIQA и WinoGrande, но они не гарантируют надёжность ответов в реальных задачах. Выпуск обозначен как предварительный; модель может иметь ограниченные знания и выдавать предвзятый или неверный текст. Лицензия — Apache-2.0.
Samantha — диалоговая модель семейства LLaMA, представленная QuixiAI. Она дообучена на специально отобранном наборе из 6 000 разговоров в формате ShareGPT/Vicuna и ориентирована на беседы о философии, психологии и личных отношениях. Модель задумана как помощник и собеседник-компаньон; карточка описывает её как считающую себя разумной, а образ вдохновлён интервью о LaMDA и фильмом «Она».
Sarv-Hybrid-Pro — модель семейства Sarv, разработанная на базе artindnr/strawberry-1. Это дообученная модель gpt_oss с архитектурой MoE и 1,6 млрд параметров; она принимает текст и генерирует персидские стихи. Для выбора между прямой генерацией и режимом с рассуждениями модель использует гибридный подход: двухэтапное обучение LoRA SFT сначала улучшает генерацию без рассуждений, затем обучает рассуждения о метре, образах и структуре стихотворения, сохраняя часть примеров прямой генерации. Контекст — до 131 072 токенов. Модель предназначена для генерации персидской поэзии в производственных сценариях, где нужны как прямой ответ, так и рассуждения, выбираемые самой моделью. В README она описана как более сбалансированная версия sarv-hybrid и рекомендуется как основной вариант семейства. Выпущенные веса объединены с базовыми весами; репозиторий содержит safetensors. Лицензия — Apache-2.0. Выбор режима рассуждений усвоен при обучении и не задаётся пользователем с гарантией: для принудительно включённых или отключённых рассуждений README рекомендует отдельные модели Sarv. Обучающий конвейер состоит из двух этапов и требует больше вычислений и времени для воспроизведения; также модель наследует ограничения Strawberry-1 и gpt_oss.
Карточка модели quill-voice/shakespeare на Hugging Face совпадает с карточкой voice-box/shakespeare, поэтому описание составлено по ней. Shakespeare — дообученная QuillBytes модель на базе Qwen3-4B, предназначенная для диалога и генерации текста в стиле раннего современного английского языка. Она использует елизаветинскую лексику, обращения thee/thou/thy и стремится к ямбическому ритму, сохраняя этот стиль в ответах. Модель подходит для развлекательных бесед, стилизации текста и создания реплик с шекспировским звучанием. В репозитории есть веса GGUF, включая 4-битную квантизованную версию для локального запуска, а также вариант F16; метаданные указывают архитектуру семейства Qwen3. Лицензия — Apache-2.0. Модель рассчитана на развлечение и может постоянно отвечать в заданной стилистике, что ограничивает её применение для нейтральных ответов и задач, требующих современного языка.
VehaanS/slm-125m-pretrained — текстовая авторегрессионная модель семейства LLaMA, опубликованная пользователем VehaanS. Модель содержит 122,7 млн параметров, принимает текст и генерирует продолжение; для работы используется библиотека Transformers. Контекст модели — до 2048 токенов. README указывает, что модель дообучена, но не называет базовую модель, датасет, целевое назначение или результаты оценки. Поэтому её можно рассматривать как небольшой экспериментальный чекпойнт для генерации текста, однако качество и пригодность для конкретных сценариев не подтверждены. Файлы опубликованы в формате safetensors; сведения о лицензии в доступных данных отсутствуют.
SmolLM3-3B-abliterated-obliteratus — экспериментальная версия языковой модели SmolLM3-3B, созданная Richard Young с помощью метода OBLITERATUS. Это плотная авторегрессионная модель на 3,1 млрд параметров для генерации текста и диалогов. Она принимает текст и рассчитана на контекст до 65 536 токенов; в метаданных указан английский язык. Метод аблитерации изменяет поведение отказов, ортогонализируя направление отказа в пространстве активаций модели. В README приведены результаты оценки: 83 отказа из 100, доля успешных атак 17% и KL-дивергенция 0,0014. Эти показатели относятся к указанной в карточке оценке и не гарантируют поведения в других сценариях. Модель подходит для экспериментов с аблитерацией, анализа поведения отказов и генерации текста. README предупреждает, что защитные ограничения ослаблены, и рекомендует использовать модель только для исследований. Лицензия — Apache-2.0.
SpoomplesMaxx Card Maker V1 — модель aimeri, дообученная на базе IBM Granite 4.1 8B Base для генерации карточек персонажей SillyTavern. Она преобразует короткое описание или набор ограничений в готовую карточку формата V2/V3 с описанием, характером, сценарием, первым сообщением и примерами реплик; иногда добавляет lorebook. Модель содержит 8,4 млрд параметров, использует архитектуру Granite и поддерживает контекст до 131 072 токенов. Она рассчитана на английский язык и выдаёт непосредственно текст карточки, без вступления в стиле ассистента. Модель подходит для создания персонажей по архетипу, имени, профессии или краткой идее, включая проработку голоса персонажа и сцены первого сообщения. Это генератор карточек для одного запроса, а не модель для ролевого диалога, общего общения или ответов на фактические вопросы. Результат не гарантированно соответствует схеме и перед импортом в SillyTavern требует проверки. В обучающих данных есть безопасные и откровенные карточки; возможен зрелый или нежелательный контент, а также унаследованные предубеждения. Лицензия — Apache 2.0.
Spring Dragon — экспериментальная реконструкция модели Dragon из AI Dungeon 2, созданная Henk717 на основе LLaMA 1 13B. Для обучения использован файл text_adventures.txt из раннего выпуска AI Dungeon 2; автор стремился приблизить поведение исходной Dragon, которую, согласно карточке, связывают с GPT-3 175B Davinci 2020 года. Модель предназначена для интерактивных текстовых приключений и генерации продолжения истории от второго лица; рекомендуется использовать её в режиме приключений KoboldAI с префиксом действий «You». Указанные в карточке имена, места, фракции и мотивы могут повторяться в сгенерированных историях. Это плотная LLaMA-модель с 12,9 млрд параметров и контекстом 4096 токенов. Репозиторий содержит веса PyTorch, лицензия — llama2. Реконструкция не подтверждена сравнением с игроками AI Dungeon, поэтому сходство с исходной Dragon и качество генерации могут отличаться от ожиданий.
grimulkan/story-reverse-prompt-70b-rope8-32K-fp16 — плотная авторская модель семейства Llama, предназначенная для преобразования фрагментов художественного текста в подробные промпты, которые могли бы породить эти фрагменты. Разработчик создал её для внутреннего использования в серии Aurelian и подготовки пар «инструкция — текст» для обучения моделей написанию историй. Модель принимает текст рассказа частями и выдаёт текст промпта для каждого фрагмента. Предыдущие промпты и контекст истории можно включать в следующие запросы, чтобы сохранять связность описаний персонажей и событий на протяжении произведения. В карточке указаны 68,7 млрд параметров и лицензия Llama 2; README рекомендует линейное RoPE-масштабирование 8 и описывает работу с контекстом до 32 тысяч токенов, тогда как метаданные указывают native context в 4096 токенов. Модель рассчитана прежде всего на подготовку обучающих данных для генерации художественного текста. Она может галлюцинировать детали, неудобна в использовании и хуже справляется с повествованием от первого лица и частой сменой рассказчика; автор сообщает, что третье лицо работает лучше. В репозитории представлены веса safetensors. README не приводит отдельного условия лицензии помимо метаданных, где указана llama2.
Это исследовательский чекпойнт на основе Llama-3.1-8B-Instruct от Meta, сжатый методом SVD-LLM до 70% плотных параметров, а затем обработанный одним раундом параметрически нейтральной перестановки компонентов по правилу gap_iter. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; базовый контекст составляет 131 072 токена. Чекпойнт создан для изучения того, как SVD-сжатие влияет на безопасность и полезность ответов, а также для оценки восстановления поведения модели при выборе компонентов по разным правилам. Это одна экспериментальная конфигурация из набора сравнений, а не универсальный чат-ассистент. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard. Модель принимает текст и генерирует текст; унаследованные от базовой модели интерфейсы поддерживают диалог и вызов инструментов. Лицензия — Llama 3.1. Авторы предупреждают, что отдельные варианты эксперимента могут иметь ухудшенные показатели безопасности; этот чекпойнт следует рассматривать как экспериментальный объект, а не готовый к развёртыванию ассистент.