I.6Перевод и языковая адаптация
В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
16 710 моделейPawa-Gemma-Swahili-2B — диалоговая языковая модель компании Sartify LLC для общения и генерации текста на суахили и английском. Она основана на плотной архитектуре Gemma 2 и получена дообучением Google Gemma 2 2B: авторы продолжили предобучение на 3 млрд токенов суахили, затем применили supervised fine-tuning и Direct Preference Optimization. Модель предназначена для общего помощника, ответов на вопросы и генерации текста в чат-сценариях, включая приложения с RAG. Размер — 2,7 млрд параметров, контекст — до 8192 токенов; репозиторий использует формат Safetensors и библиотеку Transformers. В README указана поддержка суахили и английского; метаданные дополнительно отмечают английский. README предупреждает о возможных смещениях из обучающих данных и более слабой работе за пределами обученной области. Для комфортной работы авторы рекомендуют GPU с большим объёмом памяти; доступна 4-битная квантизация. В метаданных указана лицензия Apache-2.0, тогда как README говорит о пользовательских условиях и предлагает связаться с автором; условия распространения и использования следует уточнить у разработчика.
POCKET-26B-GGUF — языковая модель семейства POCKET, разработанная VIDRAFT под идентификатором FINAL-Bench. Она основана на Google Gemma4-26B-A4B-it и предназначена для генерации текста, диалогов и локального запуска на устройствах без обязательного использования GPU. Модель ориентирована прежде всего на корейский язык и сценарии on-device, включая работу на компьютерах, мобильных устройствах и в браузере через llama.cpp, Ollama, LM Studio, PocketPal и другие совместимые приложения. Модель использует архитектуру mixture-of-experts: 25,2 млрд параметров всего, около 4 млрд активных параметров и 128 экспертов. Это GGUF-квантизованная, непрореженная версия с собственной корейской настройкой квантования VIDRAFT. Доступны сборки Q4_K_M размером около 17 ГБ и смешанная Q2_K размером около 11 ГБ; последняя рассчитана на устройства с 12 ГБ памяти и более. Длина контекста и поддержка дополнительных модальностей в README не указаны. Сильной стороной является сохранение качества при низкой разрядности: в тесте GPQA-Diamond сборка Q4_K_M получила 67,7%, а Q2_K — 67,2% против 67,7% у базовой модели. Модель совместима с распространёнными средами выполнения и может работать на CPU. Ограничения включают высокие требования к памяти для телефонов с 8 ГБ ОЗУ, отсутствие подтверждённых разработчиком измерений производительности на iPhone и Mac, а также преимущественную ориентацию на корейский язык. Модель распространяется по лицензии Apache-2.0, допускающей использование, изменение и перераспределение.
Модель atsuki-yamaguchi/Qwen2.5-7B-Instruct-my-madlad-mean-tuned — языковая модель Qwen2.5 с архитектурой плотного декодера Qwen2ForCausalLM и 7,1 млрд параметров, адаптированная для бирманского языка. Разработчик расширил словарь на 10 тысяч токенов; новые веса эмбеддингов и LM head инициализированы средним значением. Модель непрерывно предобучали на 500 млн бирманских токенов, отобранных из MADLAD-400, на основе Qwen/Qwen2.5-7B-Instruct. Она предназначена для генерации текста и диалогов на бирманском языке. Модель загружается через Transformers, поддерживает контекст до 32 768 токенов и сохраняется в формате safetensors. В метаданных также указана возможность интерфейса вызова инструментов, унаследованная от инструктивной базовой модели. Лицензия — Apache 2.0. Карточка описывает адаптацию для бирманского языка, но не приводит отдельной оценки качества или результатов тестирования; эффективность на других языках и задачах может отличаться от базовой модели.
Rosetta-7B-Instruct — языковая модель на 7,1 млрд параметров от PoSTMEDIA, дообученная на базе Rosetta-7B-Base для выполнения инструкций и диалогов. Она построена на плотной декодерной архитектуре Rosetta и поддерживает контекст до 65 536 токенов. Модель рассчитана прежде всего на корейский и английский языки. Среди целевых задач — следование инструкциям, корейские математические рассуждения и ответы на вопросы о корейских фактах и культуре. В README приведены результаты внутренних сравнительных оценок: HRM8K — 60,4, IFEval — 80,4 и KoSimpleQA — 71,7; результаты могут отличаться при других протоколах оценки. Модель распространяется по лицензии Apache-2.0, допускающей коммерческое использование. Для запуска через Transformers требуются версия 5.13 или новее и trust_remote_code=True; также поддерживается запуск через специальную сборку vLLM версии 0.26 или новее. Ответы могут содержать фактические ошибки и смещения; качество на других языках не гарантируется. Хотя окно контекста достигает 65 536 токенов, качество на длинных входах может быть ограничено тем, что выравнивание проводилось на контекстах до 32K токенов.
Sailor-14B — многоязычная языковая модель семейства Qwen2, разработанная для языков Юго-Восточной Азии. Это версия на 13,4 млрд параметров, дообученная на основе Qwen/Qwen1.5-14B; карточка описывает линейку базовых и чат-моделей Sailor, а вариант Sailor-14B предназначен для генерации текста. Модель поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Модель подходит для генерации текста, ответов на вопросы и рассуждений на индонезийском, тайском, вьетнамском, малайском и лаосском языках. README сообщает о хороших результатах в бенчмарках для задач на языках региона, но не приводит их численные значения. Лицензия — Apache-2.0.
SambaLingo-Bulgarian-Base — базовая предварительно обученная языковая модель SambaNova Systems для генерации текста на болгарском и английском языках. Она дообучена на основе Llama 2 и обучена на 38 млрд токенов болгарской части набора CulturaX. Модель использует плотную архитектуру LlamaForCausalLM, содержит 6,7 млрд параметров, имеет контекст до 4096 токенов и расширенный с 32 000 до 57 000 токенов словарь токенизатора. Модель предназначена для продолжения текста и генерации по примерам с few-shot prompting; для прямого диалога и ответов на вопросы разработчик рекомендует чат-версию SambaLingo-Bulgarian-Chat. В карточке сообщается о сильных результатах по perplexity и переводческому тесту FLORES-200, но точные метрики здесь не приведены. Модель может галлюцинировать, переключаться между языками или диалектами, повторять фразы и давать неточные ответы в задачах программирования и сложной математики; возможна генерация токсичного контента. Её не следует применять в критически важных сценариях или для решений, влияющих на безопасность людей. Использование регулируется лицензией Meta Llama 2 Community License Agreement.
SambaLingo-Hungarian-Base — предварительно обученная двуязычная языковая модель SambaNova Systems на архитектуре Llama 2, предназначенная для генерации текста на венгерском и английском языках. Модель дообучена на 59 млрд токенов из венгерской части датасета Cultura-X; размер составляет 6,7 млрд параметров, контекст — до 4096 токенов. Для венгерского расширен словарь токенизатора с 32 000 до 57 000 токенов. Модель подходит для продолжения текста и задач генерации с примерами в запросе. Это базовый предварительно обученный чекпойнт, поэтому для прямых вопросов и диалогов разработчик рекомендует SambaLingo-Hungarian-Chat. В README сообщаются результаты на уровне state of the art по perplexity и переводу FLORES-200. Модель доступна по лицензии Meta Llama 2 Community License Agreement; перед загрузкой требуется принять её условия.
MOHAMEDOMAR25/somali-wav2vec2-mode — дообученная модель Wav2Vec2ForCTC для автоматического распознавания речи на сомалийском языке. Она преобразует сомалийскую аудиозапись в текст и используется как основа веб-приложения для создания субтитров к видео. Модель содержит 402,7 млн параметров и распространяется в формате safetensors. Её можно применять через библиотеку Transformers для транскрибации речи и подготовки текста для субтитров; Apache-2.0 разрешает использование на условиях этой лицензии. Для длинных видео пример приложения использует разбиение аудио на фрагменты с помощью обнаружения речевой активности. Карточка не приводит оценок качества или ограничений распознавания.
SwahiliInstruct-v0.2 — языковая модель mwitiderrick, полученная дообучением Mistral-7B-Instruct-v0.2 на наборе SwahiliAlpaca в течение трёх эпох. Она предназначена для генерации текста и ответов на инструкции на суахили; карточка приводит шаблон запросов с полями «Maelekezo» (инструкция) и «Jibu» (ответ). Модель имеет плотную архитектуру MistralForCausalLM, 7,1 млрд параметров и контекст до 32 768 токенов. Модель подходит для диалоговых сценариев и выполнения пользовательских инструкций на суахили. Указана лицензия Apache-2.0. В карточке приведены результаты оценок на нескольких тестах Open LLM Leaderboard, однако подробные результаты доступны отдельно.
swdq/Visual-novel-whisper — модель распознавания речи на базе Whisper, дообученная для распознавания взрослой лексики в аудио визуальных новелл. Карточка указывает датасет OOPPEENN/Galgame_Dataset; модель содержит 905,2 млн параметров и распространяется в формате safetensors. Модель предназначена для преобразования японской речи в текст, в том числе с лексикой для взрослых. Лицензия — Apache-2.0. Карточка не сообщает длину контекста или измерения качества распознавания.
Модель badrex/w2v-bert-2.0-zulu-asr разработана Badr al-Absi для автоматического распознавания речи на языке зулу. Это дообученная на 250 часах размеченной речи версия facebook/w2v-bert-2.0 с архитектурой Wav2Vec2-BERT: свёрточным извлекателем признаков и трансформерным энкодером; для распознавания используется CTC. В метаданных указано 402,7 млн параметров, формат весов — Safetensors. Авторы сообщают о WER ниже 16,3% на данных из целевого домена. Модель принимает аудио и выдаёт текстовую транскрипцию. Она подходит для транскрибирования записей на зулу, голосовых интерфейсов и инструментов доступности. Лицензия — CC-BY-4.0, требующая указания авторства. Качество заявлено для данных целевого домена; приведённые примеры показывают возможные ошибки распознавания и нормализации слов.
xezpeleta/whisper-large-v3-eu — модель автоматического распознавания речи, созданная дообучением Whisper large-v3 от OpenAI для баскского языка (eu). Она принимает аудио и выдаёт его расшифровку текстом; использует архитектуру Whisper large-v3 и содержит около 905,2 млн параметров. Для обучения применён корпус asierhv/composite_corpus_eu_v2.1. Модель предназначена для транскрибации баскской речи, в том числе для профессиональных сервисов и приложений, где важна точность. В README указаны WER 6,5443 на валидационной выборке обучающего корпуса и WER 4,84 на Mozilla Common Voice 18.0. Лицензия — Apache-2.0. Качество распознавания зависит от записи: фоновый шум и плохие условия могут ухудшить результат; возможны ошибки на диалектной и неформальной речи, сложных конструкциях и редких словах. Большой размер модели требует существенных вычислительных ресурсов и ограничивает применение на устройствах с малой мощностью и в сценариях реального времени.
BettySara/whisper-large-v3-malayalam-FT — модель распознавания речи на малаяламском языке, разработанная Bettilda Sara Santhosh и Gourinath HS в рамках академического проекта RSET и IHUB School of Learning. Это полноценно дообученная версия Whisper Large V3 Turbo от OpenAI с архитектурой Whisper и 905,2 млн параметров. Модель обучалась на малаяламской части набора AI4Bharat IndicVoices; аудио приводилось к частоте 16 кГц. Репозиторий содержит веса в формате safetensors. Модель предназначена для преобразования речи на малаялам в текст: для транскрибирования записей, голосовых интерфейсов и исследований распознавания речи для малообеспеченных ресурсами индийских языков. По описанию авторов, дообучение улучшило точность транскрипции на малаялам по сравнению с исходным вариантом без дообучения, однако точное итоговое значение WER в карточке не приведено. Модель специализирована на малаяламском и может хуже работать на других языках, разных диалектах, шумной речи, перекрывающихся голосах и длинных записях; длинное аудио рекомендуется разбивать на фрагменты. Возможны ошибки в написании и разделении слов в разговорной речи, поэтому результаты следует проверять, особенно перед использованием в чувствительных сферах. Лицензия — Apache-2.0.
ElizabethMwangi/whisper-large-v3-swahili-nss-afrivoice-cv — модель распознавания речи на суахили, разработанная как второй этап дообучения Whisper large-v3. Она адаптирована к нестандартной речи кенийских говорящих на наборе Kenyan Swahili Nonstandard Speech; предыдущий этап обучался на данных AfriVoice из пяти областей и Common Voice Swahili. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и сохраняется в формате safetensors. Модель предназначена для транскрибации кенийской речи на суахили, в том числе речи с выраженными нестандартными особенностями. На тестовой выборке Kenyan Swahili Nonstandard Speech авторы сообщают WER 0,328 и CER 0,158; WER составил 0,21 для лёгкой, 0,25 для умеренной и 0,34 для тяжёлой степени нестандартности. Лицензия — Apache-2.0.
Это версия Whisper Large-v3 Turbo, дообученная для распознавания шотландского гэльского языка и преобразованная в формат CTranslate2. Репозиторий подготовлен для использования с CTranslate2 и совместимыми проектами, например faster-whisper. Базовая модель — мультиязычная модель распознавания речи OpenAI; данные README связывают разработку с исследованием по созданию систем распознавания для языков с малым объёмом данных. Модель принимает аудио и выдаёт текстовую расшифровку на шотландском гэльском. В README приведены результаты для четырёх тестовых наборов: средний WER конфигурации Whisper Turbo с LoRA 512 и дополнительными полусупервизорными данными составляет 19,0; фактическое качество зависит от версии чекпойнта и используемой квантизации. Веса сохранены в FP16, а тип вычислений можно менять при загрузке через CTranslate2. Лицензия указана как other, поэтому условия использования следует сверить с карточкой репозитория и базовой модели.
Это дообученная Zainab11 модель распознавания речи на базе OpenAI Whisper Small с архитектурой WhisperForConditionalGeneration и 153,1 млн параметров. Она обучена на арабской части Google FLEURS ar_eg: примерно шесть часов записанной речи на современном стандартном арабском языке от дикторов с египетским акцентом. Модель предназначена для преобразования арабской речи в текст. На тестовой выборке FLEURS она показала нормализованный WER 19,9% против 28,0% у исходной Whisper Small. На спонтанной египетской разговорной речи результаты заметно хуже: нормализованный WER составил 81,2%, поэтому для такого сценария модель не подходит без дополнительного дообучения. Использование библиотеки Transformers и весов safetensors указано в метаданных; лицензия — Apache-2.0. Пример использования ограничивает аудио 30 секундами и обрезает более длинные записи; для них README рекомендует разбиение на фрагменты или chunked pipeline. Модель также наследует известное поведение Whisper: повторы и галлюцинации при обработке длинной речи.
MAdel121/whisper-small-egyptian-arabic — модель распознавания речи, созданная дообучением openai/whisper-small автором репозитория на наборе MAdel121/arabic-egy-cleaned с использованием SpeechBrain. Она предназначена для транскрибации речи на египетском диалекте арабского языка и доступна для запуска через pipeline автоматического распознавания речи в Transformers. Модель имеет плотную архитектуру Whisper и содержит 153,1 млн параметров; репозиторий хранит веса в формате safetensors. Для тестовой части обучающего набора указаны WER 22,69% и CER 16,70%. Лицензия — MIT. Модель рассчитана прежде всего на египетскую арабскую речь. Точность может снижаться на других арабских диалектах, шумных записях, а также на специализированной тематике, недостаточно представленной в обучающих данных.
Whisper Twi v2 — модель автоматического распознавания речи, разработанная Tiffany Degbotse на основе Whisper от OpenAI. Это дообученная версия openai/whisper-small с архитектурой Whisper для преобразования аудио на языке тви (акан) в текст. Модель предназначена для транскрибирования речи, голосовых интерфейсов, инструментов доступности и лингвистического анализа речи на акане. Модель ориентирована на поддержку африканских языков с ограниченными ресурсами. В карточке указаны 29,4 млн параметров, формат safetensors и лицензия Apache-2.0. Качество распознавания может снижаться на сильно зашумлённых записях, при частом переключении между языками и для диалектов, недостаточно представленных в обучающих данных; перед внедрением рекомендуется оценить её на целевых аудиозаписях.
XLM-V-Tuktuk-HIEN-LID — модель Анша Шармы для распознавания языка на уровне отдельных токенов в текстах из социальных сетей, где смешаны хинди и английский. Это дообученный для токеновой классификации энкодер XLM-V/XLM-RoBERTa на базе facebook/xlm-v-base; в метаданных указано 805,7 млн параметров и контекст до 514 токенов. Модель присваивает каждому токену одну из меток: английский, хинди, именованная сущность или прочее. Она принимает текст латиницей на хинглише и выдаёт метки токенов; заявленные языки — английский и хинди. Модель предназначена для предварительной разметки хинглиш-текста, например для маршрутизации токенов в монолингвальные инструменты анализа тональности или токсичности, подготовки текста к машинному переводу и отбора токенов для NER или POS-разметки. На внешнем тесте LINCE авторы сообщают macro F1 0,87; результат на внутреннем holdout отражает согласие с псевдоразметкой, а не независимую проверку. Модель обучалась на данных с разметкой ансамблем моделей, а не людьми; хуже распознаёт редкий класс «прочее». Она не предназначена для классификации целых предложений, формального текста, письма деванагари и других пар смешения языков. Лицензия — Apache 2.0.
Модель mideind/yfirlestur-icelandic-correction-byt5 предназначена для исправления орфографических и грамматических ошибок в исландском тексте. Её разработала Miðeind; модель основана на предварительно обученном ByT5 и дообучена на данных с ошибками в исландском языке, включая синтетические примеры. Это модель семейства T5 с архитектурой T5ForConditionalGeneration и 595,1 млн параметров. Она принимает текст и выдаёт исправленный текст; обучение рассчитано на обработку одного предложения за раз, хотя модель может работать и с более длинным контекстом. Используются библиотеки Hugging Face Transformers и PyTorch. Модель хорошо справляется с рядом распространённых ошибок в исландском тексте, но карточка не приводит количественных оценок качества. Лицензия — CC BY-SA 4.0.
Youri-7B — языковая модель rinna, полученная продолжением предварительного обучения Meta Llama 2 на смеси японских и английских текстов объёмом около 40 млрд токенов. Она предназначена для генерации текста и применения в задачах обработки естественного языка, особенно на японском языке. Модель использует плотную трансформерную архитектуру Llama с 32 слоями и размером скрытого состояния 4096; число параметров — около 6,6 млрд. Она принимает текст и генерирует текст, использует исходный токенизатор Llama 2 и поддерживает контекст до 4096 токенов. Обучающие данные включали японские версии CC-100, C4 и OSCAR, а также The Pile и Wikipedia. Продолжение предобучения улучшило результаты на японских задачах. Модель выпущена в октябре 2023 года и распространяется по лицензии Llama 2; перед использованием следует соблюдать её условия.
Awesome-x разработала aci-yoruba-phase3 как дообученную модель распознавания речи на архитектуре Wav2Vec2 с CTC-декодированием. Она принимает аудио и преобразует речь в текст; модель содержит 402,7 млн параметров и распространяется в формате Safetensors через библиотеку Transformers. Модель рассчитана на распознавание речи на йоруба, что следует из названия модели и базовой модели Awesome-x/aci-yoruba-phase2. Модель может подойти для транскрибации аудиозаписей и построения систем распознавания речи на йоруба. Лицензия Apache-2.0 разрешает её использование на условиях этой лицензии. Данные обучения и оценки, а также конкретные ограничения качества в карточке не описаны.
Карточка модели fierysurf/Ambari-7B-Instruct-v0.1-sharded на Hugging Face совпадает с карточкой fierysurf/Ambari-7B-base-v0.1-sharded, поэтому описание составлено по ней. Ambari-7B-base-v0.1-sharded — шардированная версия базовой языковой модели Ambari-7B-Base-v0.1, разработанной Cognitivelab.in. Модель построена на архитектуре Llama 2 от Meta и содержит 6,7 млрд параметров. Она прошла этап предварительного обучения с использованием примерно 500 млн новых токенов на языке каннада и рассчитана на двуязычную генерацию текста на английском и каннада. Максимальная длина контекста — 4096 токенов. Модель предназначена для генерации текста на английском и каннада и может служить базой для дальнейшей адаптации под конкретные задачи. Репозиторий содержит веса в формате safetensors. Лицензия — MIT.
AOT Inpainting for Manga — разработанная авторами проекта manga-image-translator и опубликованная mayocream конверсия генератора AOT для восстановления изображений. Модель принимает RGB-изображение с бинарной маской из четырёх каналов и восстанавливает замаскированные области, прежде всего участки, оставшиеся после удаления текста из манги и комиксов. Архитектура AOTGenerator включает 32 базовых канала, 10 AOT-блоков и коэффициенты дилатации 2, 4, 8 и 16; выход — изображение RGB. Веса представлены в формате SafeTensors, совместимом с Candle. Модель предназначена для локального заполнения масок в иллюстрированных изображениях, например при очистке страниц комиксов перед переводом или редактированием. Она не рассчитана на универсальное восстановление фотографий. Для больших изображений может понадобиться уменьшение размера или обработка фрагментами; конфигурация задаёт максимальную сторону 1024 пикселя. Метрики оценки и артефакты обучающего набора не включены. Лицензия — MIT.
Baberu OCR — компактная модель распознавания текста в вырезанных областях манги, разработанная авторами проекта Baberu OCR. Она принимает изображение одного речевого облака и возвращает распознанный текст; для обработки целой страницы перед ней нужен отдельный детектор текста. Модель рассчитана на японский, китайский и английский языки и подходит для вертикального текста, звукоподражаний и смешения письменностей. В карточке указаны 25,6 млн параметров, архитектура BaberuOCRModel на основе DINOv2 и декодера, а также контекст 2048 токенов. README описывает символьный словарь из 14 630 знаков и приводит размер 115 млн параметров, что расходится с метаданными. Доступны сборки ONNX и safetensors; в README также указаны локальный запуск через ONNX Runtime и Apache-2.0. На японском бенчмарке модель показывает результат лучше модели manga-ocr, от которой была дистиллирована, а на китайском и английском сопоставима с более крупной моделью на типичных речевых облаках. Ограничения включают путаницу некоторых японских диакритических знаков, пропуски редких кандзи и малых кан, а также ухудшение распознавания ближе к концу очень длинных облаков. Модель предназначена для текста внутри отдельного облака, а не для распознавания целых страниц; на печатных материалах за пределами манги крупная универсальная VLM может работать лучше.
Belle-whisper-large-v3-zh — модель распознавания китайской речи, созданная командой BELLE-2 дообучением Whisper large-v3. Она предназначена для транскрибации китайской речи, в том числе записей встреч и аудио со сложной акустической обстановкой. Модель принимает аудио с частотой дискретизации 16 кГц и выдаёт текст; в README приведены результаты на AISHELL-1, AISHELL-2, WenetSpeech и HKUST, включая улучшение относительно исходной Whisper large-v3 на китайских тестах. Архитектура — WhisperForConditionalGeneration семейства Whisper; размер — около 905,2 млн параметров. Модель доступна в форматах PyTorch и Safetensors и использует библиотеку Transformers. Распространяется по лицензии Apache-2.0. Заявленные в карточке улучшения относятся к указанным тестовым наборам; качество на других языках и типах аудио не описано.
Chinese Llama 2 7B — китайская версия модели Llama 2, представленная авторами проекта LinkSoul. Это плотная причинно-языковая модель с архитектурой LlamaForCausalLM и примерно 6,6 млрд параметров; она принимает текст и генерирует текст. Карточка описывает дообучение на наборе инструкций SFT на китайском и английском языках объёмом 10 млн примеров и формат ввода, совместимый с llama-2-chat. Модель предназначена для диалогов и выполнения текстовых инструкций на китайском и английском языках. Заявлены веса PyTorch и лицензия Apache-2.0; метаданные Hub указывают OpenRAIL, поэтому условия лицензирования следует сверить с файлами репозитория перед использованием. Длина контекста составляет 2048 токенов. Карточка не приводит оценок качества или подробных ограничений применения.
Cozum-4B — языковая модель с 4 млрд параметров, разработанная Yigit-Karaman на архитектуре Qwen и дообученная методом supervised fine-tuning. Модель предназначена для общения и следования инструкциям с учётом турецкого языка и культурного контекста, а также для решения математических задач.
DictaBERT Large Parse — модель семейства BERT, выпущенная Dicta для совместного синтаксического и морфологического разбора современного иврита. Это дообученная версия dictabert-large-joint, адаптированная к методам разметки корпусов Hebrew UD Treebank и NEMO. Модель содержит около 533,7 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. Модель выполняет сегментацию префиксов, морфологическое снятие неоднозначности, лемматизацию, синтаксический разбор зависимостей и распознавание именованных сущностей. Результат можно получить в JSON или в форматах Universal Dependencies, включая вариант, адаптированный к стилю IAHLT. Лицензия — CC BY 4.0.
ELYZA-japanese-Llama-2-13b-instruct — японская инструктивная языковая модель, разработанная командой ELYZA на базе Llama 2. Модель прошла дополнительное предварительное обучение для расширения возможностей работы с японским языком; вариант instruct предназначен для генерации ответов на инструкции и запросы.