I.2Синтез, понимание и проверка знаний

Это набор GGUF-квантизаций модели v3ray/Llama-3-1-70B-Instruct-base, подготовленный организацией featherless-ai-quants и распространяемый на платформе Hugging Face. Модель относится к задачам генерации текста и предназначена для запуска совместимых языковых моделей в различных вариантах квантования. В набор входят варианты IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Указан размер базовой модели 70B; архитектура, поддерживаемые языки, модальности и размер контекста в README не описаны. Разные уровни квантования позволяют выбирать компромисс между размером файлов, требованиями к ресурсам и вероятным сохранением качества, однако конкретные характеристики производительности не приведены. Размеры вариантов составляют примерно от 25 до 72 ГБ. Модель ориентирована на текстовую генерацию, но точные сценарии применения, ограничения, требования к оборудованию и условия лицензирования в предоставленных данных не указаны. Поэтому перед использованием необходимо проверить лицензию базовой модели v3ray/Llama-3-1-70B-Instruct-base и совместимость выбранного GGUF-варианта с используемым программным обеспечением.

XLM-MLM-XNLI15-1024 — многоязычная трансформерная языковая модель, разработанная Гийомом Ламплем и Алексисом Конно. Она предварительно обучена с задачей восстановления замаскированных токенов и дообучена на англоязычном наборе данных NLI. Модель предназначена для межъязыковой классификации текста и задач вывода о логических отношениях между предложениями. Модель оценивалась на XNLI на 15 языках: английском, французском, испанском, немецком, греческом, болгарском, русском, турецком, арабском, вьетнамском, тайском, китайском, хинди, суахили и урду. По описанию архитектуры это 12-слойный Transformer с 1024 скрытыми единицами и 8 головами внимания; максимальная длина контекста в метаданных — 512 токенов. Для указания языка при использовании применяются языковые эмбеддинги. Модель можно использовать для межъязыковой классификации и NLI, хотя дообучение проводилось на английских данных; точность на тесте XNLI различается по языкам. Как и другие языковые модели, она может воспроизводить смещения из данных и не должна применяться для намеренного создания враждебной или отчуждающей среды. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

YamshadowStrangemerges_32_YamExperiment28 — слитая модель для генерации текста, созданная объединением automerger/YamshadowStrangemerges_32-7B и automerger/YamExperiment28-7B. Она основана на архитектуре Mistral и содержит 7,1 млрд параметров; веса опубликованы в формате Safetensors. Модель предназначена для задач генерации текста с контекстом до 32 768 токенов. В README не приведены сведения о конкретной специализации или проверенных сценариях применения. Лицензия — Apache-2.0.

Yejin Korean 3B v2 SFT — модель генерации текста на 3 млрд параметров, разработанная как supervised fine-tuning базовой модели Yejin Korean 3B v2. Она построена на архитектуре Qwen3 с декодером Transformer и предназначена для диалога и выполнения инструкций на корейском языке. Модель обучалась на данных инструкций, многоходовых бесед, ответов на вопросы с опорой на знания, понимания прочитанного и использования инструментов. Модель принимает текст и генерирует текст; максимальная длина последовательности составляет 4096 токенов. В репозитории указаны веса safetensors, а карточка модели распространяет их по лицензии Apache-2.0. Описание не приводит результатов оценивания, поэтому качество в конкретных сценариях может различаться; указанный контекст ограничивает объём входа и ответа.

Yiet-9B — объединённая языковая чат-модель от nbeerbower, созданная методом Model Stock с помощью mergekit на базе nbeerbower/yi-gutenberg-9B. В слияние вошли девять моделей семейства Yi-9B, включая варианты для диалога, следования инструкциям и предпочтений. Модель имеет плотную архитектуру LlamaForCausalLM и содержит 8,6 млрд параметров; репозиторий предоставляет веса в формате safetensors с точностью bfloat16. Модель предназначена для генерации текста и диалогового использования. Её можно применять для ответов на вопросы, выполнения текстовых инструкций и создания связных текстов. Метаданные описывают базовое семейство как двуязычное, ориентированное на английский и китайский языки; контекст составляет 4096 токенов. README не приводит оценок качества или результатов сравнительных испытаний, поэтому пригодность для конкретных задач следует проверять отдельно. Модель опубликована на Hugging Face; сведения о лицензии в предоставленных данных отсутствуют.

Yosegi-0604 — объединённая авторегрессионная языковая модель, опубликованная проектом Local-Novel-LLM-project. Она создана методом breadcrumbs_ties с помощью mergekit на основе Yosegi-0603 с включением Ninja-2B_JP и Yosegi-0601. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров. Она предназначена для генерации текста; максимальная длина контекста составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

YuYu1015 разработал YuYu1015-Ornith-1.0-9B-abliterated — разговорную модель генерации текста на архитектуре Qwen3.5 с 9 млрд параметров, основанную на deepreinforce-ai/Ornith-1.0-9B. Это вариант с удалённым поведением отказа; автор описывает его как изменение весов без дополнительного обучения, сохраняющее исходные способности базовой модели к рассуждению. Модель предназначена для диалога и ответов на запросы, в том числе на чувствительные темы. В README указана гибридная архитектура GatedDeltaNet и полных слоёв внимания в соотношении 3:1. Для генерации автор рекомендует оставлять режим рассуждения включённым и использовать параметры Qwen3.5, особенно repeat-penalty 1.05: при значении 1.0 возможны циклы рассуждений, а при 1.1 — незавершённые ответы. Модель выпущена под лицензией Apache-2.0; метаданные указывают английский и китайский языки. Фильтры безопасности удалены, поэтому модель может выдавать чувствительный или неподходящий контент.

Abiray/ZAYA1-8B-GGUF — набор GGUF-квантизаций модели ZAYA1-8B, разработанной Zyphra. Модель предназначена для задач генерации текста, сложного рассуждения и локального развертывания при ограниченных ресурсах. ZAYA1-8B использует разреженную Mixture-of-Experts (MoE) архитектуру zaya с механизмом Compressed Convolutional Attention и MLP-router. Всего модель содержит около 8,4 млрд параметров, из которых примерно 760 млн активируются для каждого токена. Доступны варианты квантизации Q3_K_M, Q4_K_S, Q4_K_M, Q5_K_M, Q6_K и Q8_0; рекомендован Q4_K_M как компромисс между потреблением памяти и качеством рассуждений. Сведения о языках, модальностях и размере контекста в README не указаны. К сильным сторонам относятся высокая плотность интеллекта, небольшое число активных параметров на токен и возможность локального запуска. Ограничения связаны с экспериментальной поддержкой архитектуры: для работы требуется самостоятельно собрать llama.cpp из ветки Draft PR #23112, поскольку стандартные релизы пока не распознают необходимые метаданные zaya. Агрессивная квантизация может ухудшать логические способности, а чувствительные слои cca_conv_grp оставлены в более высокой точности. Модель распространяется по лицензии Apache-2.0.

Zero-Mistral-24B-gguf — это квантованная GGUF-версия языковой модели Zero-Mistral-24B, разработанной ZeroAgency. Модель предназначена для генерации текста и диалоговых сценариев, включая русско- и англоязычное общение. В метаданных указаны задачи conversational и text-generation, а также связь с датасетом ZeroAgency/ru-big-russian-dataset. Модель рассчитана на запуск через llama.cpp; преобразование выполнено bethrezen с использованием llama.cpp версии b5083. Доступны варианты BF16, F16, IQ4_NL, IQ4_XS, Q4_K_M, Q6_K и Q8_0, включая некоторые варианты с параметром leave-output-tensors. Разные уровни квантования позволяют выбирать компромисс между качеством, размером и требованиями к ресурсам, однако конкретные характеристики производительности и качества для вариантов в README не приведены. Размер базовой модели составляет 24B параметров; сведения о длине контекста, архитектурных деталях, поддерживаемых модальностях помимо текста и результатах тестирования отсутствуют. Модель распространяется по лицензии MIT.

Это дообученная разговорная модель семейства Mistral, созданная на основе ShenaoZ/0.001_ablation_4iters_bs256_declr_iter_1 и обученная на датасетах updated и original. Она предназначена для генерации текста в диалоговом формате. Модель имеет 7,1 млрд параметров, архитектуру MistralForCausalLM и контекст длиной до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Карточка не описывает конкретные области применения и результаты оценки качества; пригодность ответов следует проверять на целевых данных.

agiin-11.1B-v0.0 — диалоговая языковая модель MindsAndCompany на архитектуре Mistral, представленная как предварительно обученная, настроенная на следование инструкциям и дополнительно оптимизированная методом DPO. Она предназначена для генерации ответов в чате и решения общих текстовых задач; пример в карточке показывает запрос на корейском языке с просьбой объяснить сравнение объёмов сфер. Модель содержит около 11 млрд параметров, использует формат safetensors и имеет контекст длиной 4096 токенов. В метаданных указан английский язык, поэтому поддержка корейского по одному примеру из README не подтверждена. Модель выпущена под лицензией Apache-2.0.

F1ow421/all-MiniLM-L6-v2-ru-hnp — русскоязычная доменно-адаптированная версия sentence-transformers/all-MiniLM-L6-v2, дообученная автором репозитория на 20 000 триплетов из набора deepvk/ru-HNP с функцией потерь TripletLoss. Это компактная модель на архитектуре BERT с 25,9 млн параметров; она преобразует предложения в эмбеддинги для сравнения смысловой близости и поиска парафраз. Модель рассчитана на русский язык, использует библиотеку sentence-transformers и принимает последовательности длиной до 512 токенов. Репозиторий распространяет веса в формате safetensors по лицензии Apache-2.0. В README приведена оценка на RuBQ Retrieval: Recall@5 и Recall@10 составили 0,36%, ниже показателей базовой модели. Автор связывает это с различием между обучением на симметричном поиске парафраз коротких предложений и оценкой на асимметричном поиске ответов по Википедии. Поэтому результаты не подтверждают пригодность модели для вопросно-ответного поиска такого типа; перед применением в конкретной задаче качество стоит оценить на целевых данных.

Карточка модели BAAI/AquilaDense-16B на Hugging Face совпадает с карточкой BAAI/AquilaDense-7B, поэтому описание составлено по ней. AquilaDense-7B — плотная авторегрессионная языковая модель семейства AquilaDense, разработанная Пекинской академией искусственного интеллекта (BAAI). Она предназначена для генерации текста и диалогового взаимодействия. По метаданным модель содержит 7,6 млрд параметров, поддерживает контекст до 4096 токенов и распространяется в формате PyTorch. README описывает методику EfficientScale для обучения моделей AquilaMoE и упоминает AquilaDense-7B как одну из моделей, использованных в экспериментах и графике обучения. В карточке также приведены двуязычные данные на китайском и английском языках; метаданные отмечают поддержку английского и китайского. Лицензия модели — Apache-2.0. Модель подходит для генерации текста и диалоговых сценариев на английском и китайском языках. README не приводит отдельных результатов оценки или конкретных рекомендаций по применению AquilaDense-7B; ограничение контекста составляет 4096 токенов.

appvoid/arco-reflection-old — модель генерации текста на архитектуре Llama, разработанная appvoid и дообученная на основе appvoid/arco. Она предназначена для генерации ответов и диалогового использования; в карточке приведён пример простого арифметического вопроса. В README указаны результаты на бенчмарках ARC Challenge, HellaSwag и MMLU. Модель содержит 464,4 млн параметров, принимает текст и выдаёт текст, а её контекст составляет 8192 токена. Для обучения использовались Unsloth и библиотека Hugging Face TRL. Указан язык en. Лицензия — Apache-2.0.

ATX-Swift-Qwen3.8-27B-Uncensored-TQ2_0-MTP-GGUF — GGUF-квантование модели d0xin/Swift-Qwen3.8-27B-Uncensored-BF16, опубликованное jakeatx. Используется формат TQ2_0 с троичным квантованием TurboQuant примерно до 2,06 бит на параметр и сохранением точности критических тензоров; размер файла — около 7,61 ГиБ. В модель встроена голова Multi-Token Prediction для спекулятивного декодирования без отдельной черновой модели. Модель предназначена для генерации текста и диалогов, запускаемых через llama.cpp или llamAmpere. В карточке указана конфигурация контекста на 32 768 токенов для примера запуска. Базовая модель семейства Qwen описана каталогом как мультимодальная, однако README этой сборки подтверждает только использование для генерации текста и не уточняет поддержку изображений в данном GGUF-файле. Квантование уменьшает размер модели и поддерживает ускоренное декодирование с MTP, но README не приводит сравнительных оценок качества или скорости. Лицензия указана как other; конкретные условия следует проверять в репозитории модели и у базовой модели.

Baichuan-M2-32B-GGUF — это набор квантизированных и полноразмерных BF16-весов модели Baichuan-M2-32B, разработанной baichuan-inc и преобразованной в формат GGUF пользователем bartowski. Квантизация выполнена с использованием llama.cpp версии b6115 и метода imatrix; доступны варианты от BF16 и Q8_0 до Q3 и IQ3/IQ4 с различным соотношением качества, размера и требований к памяти. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В README не указаны архитектурные детали, поддерживаемые языки, контекстное окно, мультимодальность или рекомендуемый prompt format, поэтому эти характеристики нельзя достоверно определить по представленным данным. Доступны файлы размером примерно от 13,7 до 65,5 ГБ; варианты Q6_K и Q6_K_L отмечены как обеспечивающие почти максимальное качество, а Q4_K_M — как компромиссный вариант для большинства сценариев. Основные преимущества — широкий выбор уровней квантизации, возможность локального использования и применение imatrix для сохранения качества при уменьшении размера. Более компактные варианты требуют меньше оперативной памяти, но могут заметно уступать в качестве; низкобитные версии Q3 и IQ3 имеют ограничения и не всегда рекомендуются. Лицензия в README не указана, поэтому условия использования необходимо уточнять на странице исходной модели baichuan-inc/Baichuan-M2-32B.

BART-IT — предобученная с нуля модель последовательность-в-последовательность на архитектуре BART, разработанная для итальянского языка. В карточке указаны базовый размер и словарь на 52 000 токенов; метаданные каталога сообщают 96,6 млн параметров и контекст до 1024 токенов. Модель обучалась на итальянском текстовом корпусе, включая датасет gsarti/clean_mc4_it, и может дообучаться для прикладных задач генерации текста. Модель подходит как основа для суммаризации и других задач преобразования текста; в карточке приведены отдельные дообученные варианты для абстрактивной суммаризации итальянских материалов. Репозиторий содержит веса PyTorch и Safetensors и использует лицензию MIT. Карточка указывает 140 млн параметров, тогда как метаданные каталога — 96,6 млн.

Behemoth-123B-v1 — текстовая чат-модель, опубликованная командой TheDrummer и представленная BeaverAI. Это слитая производная Mistral Large Instruct 2407 с архитектурой MistralForCausalLM и 122,2 млрд параметров; модель распространяется в формате safetensors. Она предназначена для диалога, творческого письма, ролевых сцен и историй. В карточке отмечены разнообразная генерация, выразительная проза, нюансированные ответы и хорошее запоминание контекста. Поддерживаются шаблоны чата Mistral Instruct, Metharme и текстовое продолжение. Модель принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Интерфейс также предусматривает вызов инструментов. Лицензия обозначена как other, поэтому конкретные условия следует проверять в репозитории модели. Отзывы тестировщиков носят качественный характер и не заменяют независимой оценки; поведение может зависеть от шаблона чата.

Nithiwat/bert-base_claimbuster — модель классификации текста на базе BERT, дообученная на датасете ClaimBuster для обнаружения утверждений, заслуживающих проверки фактов. Она принимает текст и относит его к классам в рамках задачи выявления утверждений; в карточке указана точность 82%. Модель имеет 136,7 млн параметров, контекст до 512 токенов и доступна в формате PyTorch. Поддерживаемый язык — английский. Модель подходит для предварительного отбора утверждений в новостях, публикациях и других текстах перед проверкой фактчекерами. Лицензия — MIT. Показатель точности приведён в README без описания набора оценки и условий измерения, поэтому его не следует считать гарантией качества на других данных.

JeremiahZ/bert-base-uncased-rte — модель классификации текста на базе BERT, дообученная на датасете GLUE RTE. Она предназначена для классификации пар предложений по задаче распознавания текстовых следствий (Recognizing Textual Entailment): определения, следует ли одно предложение из другого. Модель содержит 136,7 млн параметров, принимает текстовые входы и поддерживает контекст до 512 токенов. Модель опубликована в форматах PyTorch и safetensors и рассчитана на английский язык. На оценочном наборе GLUE RTE указаны accuracy 0,6895 и loss 0,6972. Лицензия — Apache-2.0. Карточка не содержит дополнительных сведений о сценариях применения или ограничениях качества.

prajjwal1/bert-small-mnli — компактная модель классификации последовательностей на основе BERT, опубликованная Prajjwal Bhargava. Это вариант семейства BERT, обученный на наборе MultiNLI для задач вывода на естественном языке и классификации текстовых пар. Модель содержит 32,4 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Чекпойнт получен преобразованием TensorFlow-чекпойнта из официального репозитория Google BERT в формат PyTorch; в карточке также указан формат Flax. Модель подходит для определения отношений между посылкой и гипотезой и для классификации текста по заданным меткам. Лицензия в предоставленных данных не указана.

BioMistral-Zephyr-Beta-SLERP — языковая чат-модель на 7,1 млрд параметров, созданная Kabster слиянием BioMistral/BioMistral-7B и HuggingFaceH4/zephyr-7b-beta методом SLERP с помощью mergekit. Это плотная архитектура MistralForCausalLM, распространяемая в формате safetensors; модель предназначена для диалогов, генерации текста и ответов на пользовательские запросы. Контекстное окно составляет 32 768 токенов. Слияние объединяет медицинскую модель BioMistral и англоязычную чат-модель Zephyr, поэтому модель может быть полезна для медицинских вопросов и общего диалога. Метаданные указывают лицензию Apache-2.0. Карточка не приводит сравнительных оценок качества или подробностей о клинической валидации, поэтому ответы по медицинским темам требуют проверки специалистом.

ChemLLM-7B-Chat — языковая модель для химии и науки о молекулах, разработанная командой AI4Chem на основе InternLM2. Это чат-модель с архитектурой InternLM2ForCausalLM и 7,4 млрд параметров; она принимает текст и генерирует ответы в формате диалога. Модель предназначена для вопросов по химии и смежным научным темам, а также для профессионального перевода. Для диалогов README рекомендует использовать шаблон InternLM2 и системный промпт Agent Chepybara. В тестах MMLU, приведённых в карточке, модель показала результаты выше сравниваемых моделей на задачах по химии, математике и физике; эти результаты не гарантируют точность отдельных ответов. Модель поддерживает английский и китайский языки, имеет контекст до 32 768 токенов и распространяется по лицензии Apache-2.0. Авторы предупреждают, что ответы могут быть ошибочными, и советуют проверять их; в README также указаны более новые версии ChemLLM.

Chocolatine-14B-Instruct-4k-DPO — языковая модель Джонатана Пацифико, созданная DPO-дообучением microsoft/Phi-3-medium-4k-instruct на датасете jpacifico/french-orca-dpo-pairs-revised. Это плотная модель семейства Phi-3 с 13,8 млрд параметров, рассчитанная на диалоговую генерацию текста на французском и английском языках; контекстное окно составляет 4096 токенов. Модель предназначена для диалога и генерации ответов. Автор сообщает об улучшении результатов на французском и английском относительно базовой модели, а также приводит результаты MMLU-PRO и MT-Bench-French; эти показатели получены в бенчмарках и сами по себе не гарантируют качество в конкретных приложениях. Модель не имеет механизма модерации, поэтому ответы могут включать нежелательный контент. Распространяется по лицензии MIT.

whispAI/ClaimBuster-DeBERTaV2 — модель классификации текста на основе DeBERTaV2, опубликованная под аккаунтом whispAI и обученная с помощью AutoTrain. Она предназначена для многоклассовой классификации утверждений в стиле ClaimBuster и может применяться для первичной фильтрации текста при проверке фактов. Модель содержит 211,6 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт класс для входного текста. В README приведены метрики валидации: accuracy 0,842 и macro F1 0,753 на использованном наборе данных. Для доступа показан вызов через API Hugging Face. Лицензия в предоставленных данных не указана.

CoE-Wiki-CoE-8B-i1-GGUF — квантизированная версия мультимодальной модели PeiyangLiu/CoE-Wiki-CoE-8B, подготовленная mradermacher в формате GGUF. Модель относится к семейству Qwen3-VL и предназначена для работы с визуальными данными, визуальными вопросами и пониманием документов, включая сценарии, где требуется сопоставлять сведения и формировать ответы на основе цепочки доказательств. В README указан английский язык. Модель имеет около 8 миллиардов параметров и поддерживает мультимодальный ввод, однако точная архитектура и размер контекстного окна не указаны. Репозиторий содержит множество вариантов квантизации, от очень компактных IQ1 до более качественных Q6_K; рекомендуемыми названы i1-Q4_K_M как быстрый вариант и i1-Q4_K_S как компромисс между размером, скоростью и качеством. Более агрессивные варианты уменьшают требования к памяти, но могут заметно снижать качество ответов. Для работы с изображениями могут потребоваться отдельные файлы mmproj из статического репозитория. Модель распространяется по лицензии Apache-2.0. README не содержит результатов бенчмарков, точных требований к оборудованию, ограничений по разрешению изображений или подробных сведений о качестве на разных задачах, поэтому эти характеристики нельзя оценить по имеющимся данным.

Custom-KoLLM-13B-v2 — авторегрессионная языковая модель, разработанная Kyujin Han (kyujinpy) на основе архитектуры LLaMA 2 и базовой модели beomi/llama-2-koen-13b. Модель содержит 12,9 млрд параметров и предназначена для генерации текста, в том числе на корейском языке. Для обучения использован набор данных kyujinpy/KOR-Orca-Platypus-kiwi. В карточке приведены результаты сравнительных оценок на корейских тестах, включая Ko-ARC, Ko-HellaSwag, Ko-MMLU, Ko-TruthfulQA и Ko-CommonGen V2. Модель работает с текстом и имеет контекст длиной 2048 токенов. Доступны веса в форматах PyTorch и safetensors для библиотеки Transformers. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространения производных работ на тех же условиях и не допускает коммерческого использования.

DatedGPT-2022-base — базовая предварительно обученная языковая модель семейства DatedGPT, разработанная командой datedgpt. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM и примерно 1,3 млрд параметров. Она обучена на данных, доступных до 2022 года, поэтому предназначена для генерации продолжений текста и анализа, где важно исключить использование сведений из будущего относительно этой даты. Модель принимает текст и генерирует текст; контекст составляет 2048 токенов. Поддерживаемый язык — английский. Это базовая модель без дообучения для следования инструкциям: она рассчитана на продолжение текста, а не на диалог в формате чата. Её ограничивают срез знаний до 2022 года, отсутствие RLHF и настройки безопасности. Сведения о лицензии в предоставленных источниках отсутствуют.

Карточка модели kamalkraj/deberta-v2-xlarge на Hugging Face совпадает с карточкой microsoft/deberta-v2-xlarge, поэтому описание составлено по ней. microsoft/deberta-v2-xlarge — англоязычная предварительно обученная модель понимания текста семейства DeBERTa V2, разработанная Microsoft. Она использует плотную архитектуру с disentangled attention и улучшенным декодером маски; версия XLarge содержит 24 слоя и скрытый размер 1536. В метаданных указаны 1,1 млрд параметров, контекст до 512 токенов и веса в форматах PyTorch и TensorFlow. Модель предназначена прежде всего для заполнения пропусков в тексте и может служить основой для дообучения на задачах понимания естественного языка, включая классификацию текста и ответы на вопросы. В карточке приведены результаты дообучения на SQuAD и наборах GLUE; исходная модель обучалась на больших текстовых корпусах. Лицензия — MIT.

ku-nlp/deberta-v3-base-japanese — базовая модель семейства DeBERTa V3, разработанная Nobuhiro Ueda и предварительно обученная на корпусе LLM-jp corpus v1.0.1. Она подходит для задач понимания японского текста и masked language modeling, а также может служить основой для дообучения под прикладные задачи NLU. Модель имеет плотную архитектуру DeBERTa-v2, содержит 187,7 млн параметров и использует контекст до 512 токенов. Обучение проводилось на японских и английских текстах, а также на коде; токенизатор основан на Unigram с byte fallback и словаре, преобразованном из llm-jp-tokenizer v2.2. Предварительная морфологическая сегментация токенизатору не требуется. Модель распространяется по лицензии Apache-2.0. README описывает применение для masked language modeling и приводит результаты дообучения на японских задачах JGLUE; модель сама по себе не является специализированной генеративной чат-моделью.