I.6Перевод и языковая адаптация
В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
16 710 моделейМодель DavidCBaines/ebible_m2o-nllb600m-control-ilo — дообученная версия NLLB-200-distilled-600M для перевода библейских стихов на язык илокано (ilo). Она переводит с четырёх родственных языков: себуано (ceb), индонезийского (ind), маори (mri) и тагальского (tgl). Модель разработана как часть эксперимента по подготовке черновиков книг Ветхого Завета для языка, на котором в обучающих данных был представлен только Новый Завет. Обучение проводилось на переводах стихов Нового Завета из корпуса eBible; книги Ветхого Завета использовались для оценки и не включались в целевые обучающие данные. В README приведены результаты для Руфи, Ионы и первой главы Бытия, где модель превзошла указанный уровень простого копирования текста с наиболее близкого языка-источника. Архитектура — M2M-100, контекст — 1024 токена; модель работает с текстом и предназначена для перевода. Лицензия — CC-BY-NC-SA-4.0, коммерческое использование не разрешено. Модель ориентирована на библейские тексты и четыре указанных языка-источника; результаты оценки охватывают ограниченный набор книг и не подтверждают качество перевода в других тематиках или языковых направлениях.
est-roberta-vm-morph-homonym-tagging (Ro-v2-H) — специализированная модель на основе Est-RoBERTa, созданная Сандером Саской в 2026 году. Это дообученная CamemBERT-подобная модель с 144 млн параметров и контекстом до 514 токенов, предназначенная для морфологической разметки и снятия омонимии в эстонском языке. Она использует части речи и морфологические признаки из набора тегов Vabamorf и сосредоточена на омонимичных словоформах склонительных типов 1, 16, 17 и 19. Модель подходит для разрешения морфологической неоднозначности в эстонском тексте и как экспертный компонент более широкой системы. Общая способность к морфологической разметке может быть слабой из-за забывания при дообучении, поэтому модель не рекомендуется для самостоятельной обработки текстов общего назначения. Распространяется по лицензии CC BY-SA 4.0.
Latin BERT — языковая модель BERT для латинских текстов, созданная Дэвидом Бамманом и Патриком Дж. Бёрнсом (2020) и переупакованная в формате Hugging Face Transformers. Репозиторий содержит те же веса и токенизатор оригинальной модели; архитектура BERT-base включает 12 слоёв, 768 скрытых размерностей и 12 голов внимания. Веса доступны в форматах PyTorch и safetensors. Максимальная длина последовательности — 512 токенов. Модель предназначена для восстановления пропущенных слов, получения контекстных векторных представлений латинских слов и решения задач классической филологии, включая разметку частей речи и снятие лексической неоднозначности. Она обучена на латинских текстах и использует словарь из 32 900 подслов. В опубликованных примерах работы показаны результаты для предсказания замаскированных слов, POS-разметки и WSD. Репозиторий является экспериментальной переупаковкой оригинальной модели; исправления токенизатора направлены на соответствие исходному конвейеру токенизации. Для загрузки пользовательского токенизатора требуется включить trust_remote_code. Лицензия — Apache-2.0.
MEYNG/nllb-sango-finetuned-600m-v2-3 — экспериментальная дообученная модель перевода Sango и французского на базе facebook/nllb-200-distilled-600M от Meta AI. Она построена на архитектуре M2M100ForConditionalGeneration с 12 слоями кодировщика и 12 слоями декодировщика; LoRA-дообучение объединено с весами модели, поэтому для инференса PEFT не требуется. Размер модели — 463,7 млн параметров, контекст — до 1024 токенов. Модель предназначена для перевода между санго и французским, однако результаты зависят от направления: для санго → французский автор рекомендует более сильную версию серии v2-2, а для французский → санго — исходную facebook/nllb-200-distilled-600M. Версия v2-3 уступает v2-2 в обоих направлениях и опубликована как проверяемый отрицательный результат; дополнительный эксперимент проверял влияние перепроверенной носителями лексики с пятикратной передискретизацией. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но запрещающая коммерческое применение.
Rootformer v17 — это плотная языковая модель на 390,9 млн параметров, разработанная автором репозитория enver. Она предназначена для генерации текста и экспериментальной работы с арабским языком, включая перевод классических арабских философских и грамматических текстов на английский. В карточке заявлена архитектура Rootformer с причинным энкодером-декодером, компактным KV-представлением, разреженными многоголовыми Engram-модулями для арабских корней и синтаксиса, а также контроллером глубины рассуждений. Модель принимает текст и генерирует текст; в метаданных указаны арабский и английский языки и контекст до 2048 токенов. README приводит результаты калибровки на корпусе басрийских текстов и тестирования на классических трактатах. Примеры показывают полезность для специализированного перевода, но также заметные ошибки в английских формулировках и низкое смысловое соответствие на части тестов, поэтому качество для надёжного перевода не подтверждено. Указана лицензия Apache-2.0. Связь с DeepSeek-V4.1-Flash заявлена в README, однако метаданные не подтверждают базовую модель.
Koichi Yasuoka разработал эту модель DeBERTa V2 и предварительно обучил её на корпусах Coptic Scriptorium. Это языковая модель с 115,6 млн параметров, предназначенная для заполнения пропусков в тексте на коптском языке и дальнейшей настройки под задачи обработки коптских текстов. Модель можно дообучать для разметки частей речи, синтаксического анализа зависимостей и других прикладных задач. Она принимает текст и предсказывает замаскированные токены; максимальная длина контекста составляет 512 токенов. Доступны веса PyTorch. Модель распространяется по лицензии CC BY-SA 4.0. Качество для конкретных задач после дообучения в карточке не оценено.
Это экспериментальная версия модели перевода с нидерландского языка на гранингский (Gronings), созданная Tom9358 дообучением NLLB-200 Distilled 1.3B на парах предложений из Tatoeba. Модель построена на архитектуре M2M100 и рассчитана на перевод отдельных текстовых предложений; максимальный контекст составляет 1024 токена. Автор отмечает, что модель обычно приемлемо переводит простые тексты с нидерландского на гранингский, но плохо справляется со словами, которых не было в обучающих данных. Качество этой ранней beta-версии оценено автором ограниченно, без уверенных заявлений об общей точности; README также сообщает, что версия superseded by v2. Для использования требуется добавить специальный языковой токен Gronings при инициализации токенизатора. Лицензия — CC-BY-NC-4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.
Модель johnyy212/wav2vec2_cantonese_jyut-20hr — дообученная для автоматического распознавания речи версия facebook/wav2vec2-large-xlsr-53. Это модель архитектуры wav2vec2 с 404 млн параметров, предназначенная для преобразования аудио в текст; в названии указаны кантонский язык и Jyutping, однако карточка не уточняет набор данных и схему транскрипции. Модель принимает аудио и выдаёт текст. Она распространяется в формате safetensors по лицензии Apache-2.0. В карточке приведён результат оценки WER 100,0 и loss 2,3981, что указывает на крайне слабое качество распознавания в указанной оценке. Поэтому перед практическим применением модель следует проверить на целевых аудиозаписях; сведений о контексте записи, тестовом наборе и ограничениях применения карточка не содержит.
grc_odycy_joint_sm — модель из проекта OdyCy, представляющая собой общий NLP-конвейер spaCy для древнегреческого языка. Она предназначена для лингвистического анализа текстов на древнегреческом; README сообщает о высокой точности на тестовых данных Universal Dependencies Perseus и втором результате на тесте PROIEL по ряду задач. В конвейере есть три компонента и 2299 меток, включая морфосинтаксические категории. Модель распространяется по лицензии MIT. Размер и длина контекста в предоставленных сведениях не указаны.
pkupie/Qwen2.5-1.5B-bo-cpt — контрольная точка непрерывного предобучения модели Qwen2.5-1.5B, созданная на тибетской части корпуса MC² Corpus. Модель разработана для улучшения языкового моделирования на тибетском языке и исследований адаптации языковых моделей к языкам с ограниченными ресурсами. Это плотная авторегрессионная модель семейства Qwen2 с 1,5 млрд параметров, принимающая текст и генерирующая текст. Метаданные указывают контекст длиной до 131 072 токенов. Чекпойнт может служить основой для дальнейших исследований, в том числе слияния моделей и logit fusion; в README он представлен прежде всего для исследовательского использования. Модель основана на Qwen/Qwen2.5-1.5B и распространяется в формате safetensors по лицензии Apache-2.0. Данные подтверждают обучение на тибетском языке; качество для других языков или практических сценариев не заявлено.
Koichi Yasuoka разработал RoBERTa-модель на 115,6 млн параметров для разметки текстов на коптском языке. Она дообучена на корпусах Coptic Scriptorium и предназначена для определения частей речи и синтаксического разбора зависимостей; для разметки подслов используется схема goeswith. Модель принимает текст и выдаёт токеновую разметку. Контекст составляет до 512 токенов. Модель построена на архитектуре RoBERTa и опубликована в формате PyTorch. В карточке указана лицензия CC BY-SA 4.0. Она рассчитана на лингвистический анализ коптских текстов; сведения о качестве на других языках или вне этих задач не приводятся.
Saarthi — диалоговая модель-компаньон по «Бхагавад-гите», созданная GitaGyan.in на основе Qwen/Qwen3.5-4B. Модель дообучена с помощью LoRA ранга 64 на данных о стихах и персоне Saarthi; веса представлены в формате Safetensors, а лицензия — Apache 2.0. По метаданным, контекст составляет 262 144 токена. Модель отвечает на вопросы о стихах, помогает находить подходящие места в тексте и обсуждать жизненные ситуации через учение «Бхагавад-гиты». Она содержит переводы, санскрит, транслитерацию, пословные значения и объяснения всех 701 стихов в 18 главах; по карточке, цитаты приводятся как текст источника. Диалоговый стиль прямой и неформальный, санскрит сопровождается пояснениями. Указанный в карточке язык — английский. Saarthi позиционируется как духовный собеседник, а не священнослужитель или божество: модель не благословляет и не пророчествует и оставляет решения пользователю. Карточка сообщает о возможных выдуманных пояснениях и неверном описании глав на широкие вопросы, поэтому утверждения о писании стоит сверять с первоисточником. Медицинские, юридические и финансовые вопросы следует адресовать специалистам; при кризисе модель направляет за помощью к людям.
LFM2.5-350M-Wolof-CPT — экспериментальная текстовая модель, созданная mamelles дообучением LiquidAI/LFM2.5-350M-Base методом continual pretraining для адаптации к языку волоф. Это плотная авторегрессионная модель семейства LFM2, запускаемая через Transformers; в репозитории веса сохранены в формате safetensors. Размер модели — около 447,5 млн параметров, заявленная длина контекста — 128 000 токенов. Модель предназначена для частных исследований и оценки адаптации генерации текста на волоф. Карточка сообщает об обучении на очищенном корпусе волоф и о перенастройке весов инструкционных данных; публичные исходные строки не приложены. Качество не следует считать подтверждённым за пределами зафиксированных автоматических проверок. Модель экспериментальная. Орфография волоф, переключение языков, фактическая точность, рассуждения, работа с длинным контекстом и безопасность не прошли всестороннюю проверку; перед более широким применением требуется оценка носителями языка. Карточка описывает артефакт как частный и не предназначенный для публичного выпуска, лицензионные условия не приведены.
Qwen3-0.6B-English-Hinglish-Preview — экспериментальная модель MihaiPopa-1 для перевода между английским и хинглишем, то есть текстом с переключением между английским и хинди. Это дообученная плотная языковая модель Qwen3 с архитектурой Qwen3ForCausalLM, примерно 508 млн параметров и контекстом до 40 960 токенов. Она принимает и выдаёт текст; обучение проводилось на наборе CMU Hinglish Dog с использованием Unsloth и TRL. Модель предназначена для чернового двустороннего перевода: с английского на хинглиш и с хинглиша на английский. В карточке приведены результаты BLEU 4,94 для направления English → Hinglish и 17,89 для Hinglish → English на тестовом наборе из 250 предложений; автор отмечает, что обучение длилось только одну эпоху и точность низкая. Модель не рекомендуется для переводов, где важна точность. Лицензия — Apache-2.0.
AlgoDriveAI разработала Akkadian-English DenseLLM 1B — экспериментальную специализированную языковую модель примерно на 1 млрд параметров для работы с английским и аккадским, включая старовавилонский. Это продолжение проекта Sanskrit_Akkadian_LLM с более узкой языковой специализацией; модель использует собственную архитектуру DenseLLM с MLA attention и PyTorch, а для запуска нужны совместимые пользовательские средства инференса. Модель предназначена для перевода между английским и аккадским, нормализованной транслитерации, пословного глоссирования и грамматического анализа, в том числе объяснения падежных окончаний и глагольных форм. Она может быть полезна в экспериментах с низкоресурсными древними языками, но авторы не позиционируют её как производственную систему или авторитетный источник. Модель может придумывать формы, давать неоднозначный перевод, непоследовательно транслитерировать и повторяться; качество зависит от формулировки запроса и настроек токенизатора. Лицензия — MIT.
ajaxdavis выпустил MobTranslate Mi'kmaq Listuguj v1 как базовую модель с пользовательским словарём, необходимую для воспроизведения компактной версии с LoRA-адаптером v3.3. Это производная от facebook/nllb-200-distilled-600M модель архитектуры M2M100 с 463,7 млн параметров, работающая с текстом и предназначенная для перевода. Контекст составляет 1024 токена; модель использует токен языка Mi'kmaq mic_Latn. Репозиторий опубликован как зависимость и исторический исследовательский артефакт, а не как рекомендуемый переводчик. Он не является авторитетным или проверенным носителями средством перевода. Лицензия CC BY-NC 4.0 разрешает использование на условиях некоммерческого Creative Commons.
open-lilm-v2 — чат-модель на базе LlamaForCausalLM объёмом 5,8 млрд параметров, созданная дообучением CantoneseLLMChat-v0.5. Разработчик обучил её на 1 916 944 парах публикаций и ответов с форума LIHKG; набор данных не опубликован. Модель генерирует ответы в стиле коротких комментариев форума на кантонском языке и рассчитана на запуск без компьютера Mac с 128 ГБ оперативной памяти. Контекст модели составляет 4096 токенов. В обучающих данных удалены URL и комментарии, состоящие только из эмодзи. Модель доступна по лицензии Apache 2.0. Из-за состава анонимных форумных данных она может выдавать грубые, жестокие, расистские и дискриминационные ответы; автор ограничивает её использование исследованиями и развлечением и не рекомендует применять её в производственной среде. Короткий стиль обучающих комментариев ограничивает длину и развернутость генерации.
babylm-macaroni — плотная языковая модель GPT-2, представленная как заявка drooryck на многоязычный трек BabyLM 2026. Модель обучена на корпусе с переключением языков и опубликована с полными чекпойнтами. Она предназначена для генерации текста в экспериментальных задачах многоязычного моделирования, особенно для сценариев со смешением английского, нидерландского и китайского языков. Контекст модели составляет 1024 токена; для работы используется Transformers, веса доступны в формате safetensors. Лицензия — MIT. Карточка описывает модель как соревновательную заявку, а подробности о статье, обучающем наборе данных и оценке качества ещё не представлены. Поэтому качество генерации и пригодность для практического применения по имеющимся сведениям оценить нельзя.
Qwen3-4B-FP8 — языковая модель семейства Qwen, разработанная командой Qwen. Это causal language model для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, перевода и сценариев с использованием внешних инструментов. Модель поддерживает переключение между режимами thinking для сложных задач и non-thinking для более быстрых ответов в рамках одной модели. Модель содержит 4,0 млрд параметров, из них 3,6 млрд без учёта embedding, и имеет 36 слоёв. Используется Grouped-Query Attention с 32 головами для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с YaRN — до 131 072 токенов. Модель поддерживает более 100 языков и диалектов, ориентирована на мультиязычное следование инструкциям и перевод. Доступна в формате fine-grained FP8-квантизации с размером блока 128, что предназначено для повышения эффективности инференса. Сильные стороны модели — сочетание рассуждений и обычного диалога, развитые возможности следования инструкциям, мультиязычность, поддержка агентных сценариев и большой контекст. Ограничения включают известные проблемы fine-grained FP8 в Transformers при распределённом инференсе на нескольких устройствах; в таких случаях может потребоваться дополнительная настройка. Для корректной работы рекомендуется использовать актуальную версию Transformers или совместимые серверы инференса. Модель распространяется по лицензии Apache-2.0.
Linkbricks-Horizon-AI-Avengers-V4-32B — дообученная Saxo и командой Linkbricks Horizon-AI языковая модель на архитектуре Qwen2 с 32 млрд параметров. Она основана на Saxo/Linkbricks-Horizon-AI-Avengers-V3-32B; авторы сообщают о дообучении SFT и DPO, а также ORPO, примерно 35% параметров модели. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Для неё указано контекстное окно 32 768 токенов. Модель предназначена для генерации и написания текста, перевода между корейским, японским, китайским и английским языками, суммаризации, анализа отзывов и публикаций в социальных сетях, задач по программированию, математике и логическим рассуждениям. По заявлению авторов, при обучении использовались многоязычные новостные и вики-корпуса, наборы для перевода и другие данные по перечисленным задачам. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0.
Linkbricks-Horizon-AI-Japanese-Advanced-V8-70B — языковая модель, дообученная директором по данным Linkbricks Джи Юнсоном (Saxo) на основе версии V7. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, предназначенная для генерации текста, диалога и вызова инструментов. В карточке указано контекстное окно 128 тыс. токенов. Модель усилена для работы на японском, корейском, китайском и английском языках. Среди заявленных сценариев — перевод между этими языками, анализ отзывов клиентов и публикаций в социальных сетях, написание текстов и кода, а также решение математических и логических задач. Для обучения использовались японские новостные и вики-корпуса, многоязычные данные для разных задач и примеры по математике и логике. Модель основана на V7 и прошла японское SFT, DPO и слияние. Веса опубликованы в формате Safetensors для Transformers; лицензия — Apache-2.0. Заявленные возможности и качество описаны в карточке модели и могут зависеть от языка, запроса и способа использования.
Qwen3-4B-GGUF — квантизированная версия языковой модели Qwen3-4B, разработанная командой Qwen компании Alibaba Cloud. Это авторегрессионная causal language model для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель поддерживает более 100 языков и диалектов, включая мультиязычное следование инструкциям и перевод. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд не относятся к embedding, и включает 36 слоёв. Используется Grouped-Query Attention с 32 головами для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов; с применением RoPE-масштабирования YaRN заявлена поддержка до 131 072 токенов. Доступны варианты квантизации q4_K_M, q5_0, q5_K_M, q6_K и q8_0 в формате GGUF, ориентированные на локальный запуск, в частности через llama.cpp и Ollama. Ключевая особенность Qwen3 — переключение между режимами thinking для сложных задач рассуждения и non-thinking для более эффективного общего диалога в рамках одной модели. Модель также заявлена как пригодная для агентских задач и интеграции с внешними инструментами. Ограничения включают возможное снижение качества на коротких текстах при использовании статического YaRN, а для квантизированных вариантов рекомендуется настраивать presence penalty для уменьшения повторов. Модель распространяется по лицензии Apache-2.0.
Whisper Large — мультиязычная модель распознавания речи OpenAI на базе Transformer encoder-decoder (sequence-to-sequence), опубликованная на Hugging Face в форматах PyTorch, TensorFlow и Flax. Модель содержит около 905,2 млн параметров и обучена на 680 тыс. часов размеченных аудиоданных с использованием слабого контроля. Модель предназначена для транскрибации речи на языке исходного аудио и перевода речи на другой язык; в частности, поддерживает перевод речи на английский. Она рассчитана на широкий круг аудиозаписей и может обрабатывать длинные записи с помощью разбиения на фрагменты. Базовый режим рассчитан на аудиофрагменты до 30 секунд; для более длинных записей требуется чанкинг. Whisper Large хорошо обобщает на разные наборы данных, акценты, фоновые шумы и техническую лексику без дообучения. Возможны галлюцинации — появление слов, которых нет в записи, повторения и неодинаковая точность между языками, акцентами и группами говорящих; качество часто ниже для языков с малым объёмом обучающих данных. Модель распространяется по лицензии Apache 2.0.
versae/whisper-large-v3 — версия Whisper Large v3 от OpenAI, опубликованная versae в формате Hugging Face с использованием скрипта конвертации. Это предобученная модель для автоматического распознавания речи и перевода устной речи; Whisper обучалась на 680 тысячах часов размеченных данных и рассчитана на работу с разными наборами данных и предметными областями без дообучения. Модель относится к семейству Whisper, имеет около 905,2 млн параметров и принимает аудио, выдавая текст. Метаданные указывают поддержку многих языков, включая русский и английский. Модель подходит для транскрибирования аудиозаписей и перевода речи. Репозиторий содержит веса PyTorch и Safetensors и распространяется по лицензии Apache-2.0. Это конверсия версии Whisper Large v3, а не отдельное дообучение; длина контекста в предоставленных данных не описана.
Карточка модели zhouyunhu/whisper-large-v3 на Hugging Face совпадает с карточкой openai/whisper-large-v3, поэтому описание составлено по ней. Whisper large-v3 — мультиязычная модель распознавания речи на основе Transformer encoder-decoder, разработанная OpenAI. Она предназначена для транскрибирования аудио на исходном языке и перевода речи в текст на другом языке, включая перевод на английский. Модель содержит 905,2 млн параметров; по сравнению с предыдущими версиями использует спектрограммы с 128 Mel-частотными полосами и включает отдельный токен для кантонского языка. Модель обучалась на слабой разметке и псевдоразмеченных аудиоданных и рассчитана на работу с разными языками, акцентами, шумом и предметными областями. При обработке длинных записей требуется последовательная или сегментированная обработка: рецептивное поле модели составляет 30 секунд. Лицензия — Apache-2.0. Возможны ошибки транскрибации и генерация текста, отсутствующего в аудио; качество неодинаково для разных языков, акцентов и диалектов и ниже для языков с малым объёмом обучающих данных. Архитектура также может порождать повторяющийся текст.
Aya-23-35B — мультиязычная большая языковая модель с открытыми весами, разработанная Cohere Labs и Cohere. Это авторегрессионная модель на основе оптимизированной архитектуры Transformer с 35 млрд параметров, дообученная следовать инструкциям. Она предназначена для диалога и генерации ответов на текстовые запросы на 23 языках, включая русский, английский, китайский, арабский, хинди и японский. Модель принимает и выдаёт только текст, поддерживает контекст длиной до 8192 токенов и доступна в формате safetensors для Transformers. Модель подходит для многоязычных чат-ботов, ответов на вопросы, создания и редактирования текстов, а также перевода и суммаризации. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование; также требуется соблюдать политику допустимого использования Cohere Labs. В карточке указано, что Aya 23 — более ранняя версия по сравнению с Aya Expanse.
Aya-Expanse-32B — открытая по весам мультиязычная языковая модель, разработанная Cohere For AI. Она предназначена для диалогов и генерации текста на 23 языках, включая русский, а также поддерживает интерфейс вызова инструментов. Модель построена на авторегрессионной архитектуре Transformer семейства Cohere и содержит 32,3 млрд параметров. В метаданных Hugging Face указан контекст 8192 токена; в README заявлено 128K, поэтому длина контекста в источниках расходится. В README также описаны дообучение с учителем, обучение на предпочтениях, настройка безопасности и слияние моделей. Модель подходит для многоязычных диалогов, ответов на вопросы, написания и преобразования текста. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование; также требуется соблюдать политику допустимого использования Cohere For AI.
Aya Expanse 32B — открытая по весам мультиязычная языковая модель, разработанная Cohere Labs. Она основана на предварительно обученной модели семейства Command и дополнительно обучена с учителем, с использованием предпочтений и объединения моделей. Модель предназначена для диалогов и генерации текста на 23 языках, включая русский, английский, арабский, китайский, хинди, японский и другие. Это авторегрессионная модель на архитектуре Transformer с 32 млрд параметров и контекстом до 128K токенов; она принимает текст и генерирует текст. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование; также необходимо соблюдать Политику допустимого использования Cohere Labs. Модель выпущена как исследовательская, но подходит для практических мультиязычных задач; её ответы могут быть ошибочными, а качество — различаться между языками и задачами.
EuroLLM-22B-Instruct — многоязычная большая языковая модель на 21,9 млрд параметров, разработанная консорциумом европейских университетов и компаний во главе с Instituto Superior Técnico — University of Lisbon при финансировании Европейского союза. Это плотный Transformer на базе архитектуры Llama; модель дообучена следовать инструкциям и поддерживать диалог. Контекстное окно — 32 768 токенов. Модель предназначена для многоязычных диалогов, выполнения общих инструкций и машинного перевода, в том числе между официальными языками ЕС. По данным карточки, предшествующая базовая модель EuroLLM-22B обучена на 4 трлн токенов из веб-данных, параллельных корпусов и высококачественных источников. Заявлена поддержка болгарского, хорватского, чешского, датского, нидерландского, английского, эстонского, финского, французского, немецкого, греческого, венгерского, ирландского, итальянского, латышского, литовского, мальтийского, польского, португальского, румынского, словацкого, словенского, испанского, шведского, арабского, каталанского, китайского, галисийского, хинди, японского, корейского, норвежского, русского, турецкого и украинского языков. Разработчики отмечают высокие результаты на задачах перевода и многоязычных бенчмарках. Модель не выровнена по человеческим предпочтениям и может выдавать галлюцинации, вредоносный контент или ложные утверждения. Лицензия — Apache 2.0.
Linkbricks-Horizon-AI-Japanese-Advanced-V7-70B — языковая модель компании Linkbricks, дообученная директором по данным Юнсоном Джи (Saxo) на базе Saxo/Linkbricks-Horizon-AI-Japanese-Advanced-V4-70B. Это плотная модель семейства Llama с 69,5 млрд параметров и контекстом до 128 тысяч токенов; опубликована в формате Safetensors и рассчитана на запуск через Transformers. Модель обучали с применением SFT и DPO на японских новостях и корпусе Википедии, а также на многоязычных данных для японского, корейского, китайского и английского языков. Она предназначена для генерации текста, письма и программирования, анализа отзывов и публикаций в социальных сетях, перевода, математических и логических задач. Поддерживается интерфейс вызова функций и инструментов. Модель распространяется по лицензии Apache-2.0. Заявленные сценарии и способности отражают сведения карточки модели; README не приводит количественных оценок качества или результатов бенчмарков.