I.5Создание и редактирование текста

Helsinki-NLP/opus-mt-en-ny — модель машинного перевода проекта OPUS, опубликованная Helsinki-NLP. Она переводит текст с английского языка на ньянджа (чичева) и предназначена для автоматического перевода отдельных фраз и текстов. Модель построена на архитектуре Transformer-align и использует предварительную нормализацию и токенизацию SentencePiece; число параметров — 55,8 млн, максимальная длина контекста — 512 токенов. В карточке приведены оценки BLEU 31,4 на JW300.en.ny и 26,8 на Tatoeba.en.ny, а также chr-F 0,570 и 0,645 соответственно. Модель принимает и выдаёт текст. Лицензия — Apache-2.0. Эти показатели относятся к указанным тестовым наборам и сами по себе не гарантируют качество перевода для других текстов.

Helsinki-NLP/opus-mt-en-rw — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского на язык руанда (Kinyarwanda). Модель основана на архитектуре Transformer и использует нормализацию текста и SentencePiece для предварительной обработки. В метаданных указаны 56,1 млн параметров и контекст длиной до 512 токенов. Модель подходит для перевода коротких текстов и предложений с английского на руанда. В README приведены результаты на тестовых наборах JW300 и Tatoeba: BLEU 33,3 и 13,8 соответственно. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-sem — модель машинного перевода из проекта OPUS-MT на архитектуре Transformer, реализованная через Marian. Она переводит текст с английского на несколько семитских языков и разновидностей: арабский (включая диалектные варианты), иврит, амхарский и тигринья; также заявлены мальтийский и другие арабские разновидности. Для выбора языка назначения в начале предложения требуется токен вида >>id<< с допустимым кодом языка. Модель содержит 56,5 млн параметров, использует нормализацию и SentencePiece с словарями по 32 тыс. токенов и имеет контекст длиной до 512 токенов. В репозитории доступны веса PyTorch и TensorFlow. Метаданные указывают лицензию Apache-2.0. Качество зависит от языка и тематики: приведённые оценки BLEU составляют 11,2 для амхарского, 12,7 для арабского и 33,8 для иврита; поэтому переводы для отдельных языков могут требовать проверки.

Helsinki-NLP/opus-mt-eo-en — модель машинного перевода семейства Marian, разработанная Helsinki-NLP в рамках проекта OPUS. Она переводит текст с эсперанто на английский и подходит для перевода отдельных фраз и текстов в приложениях, использующих Transformers. Модель построена на архитектуре Transformer-align, содержит 55,5 млн параметров и использует нормализацию текста и SentencePiece; максимальный контекст — 512 токенов. В README приведён результат 54,8 BLEU на тесте Tatoeba.eo.en. Модель распространяется по лицензии Apache-2.0; в метаданных указаны форматы PyTorch и TensorFlow. Она предназначена для направления эсперанто—английский, поэтому качество перевода в другие языковые пары не заявлено.

Helsinki-NLP/opus-mt-eu-es — модель машинного перевода из серии OPUS-MT, разработанной Helsinki-NLP. Она переводит текст с баскского языка на испанский; модель построена на архитектуре MarianMT с Transformer и использует нормализацию и токенизацию SentencePiece с словарями размером 32 тыс. токенов. Веса доступны в форматах PyTorch и TensorFlow. Модель содержит 54,9 млн параметров и рассчитана на контекст до 512 токенов. Модель предназначена для перевода отдельных фраз и текстов с баскского на испанский. В README приведён результат BLEU 48,8 на наборе Tatoeba для этой языковой пары. Лицензия — Apache-2.0, допускающая использование и распространение на её условиях.

Helsinki-NLP/opus-mt-he-ar — модель машинного перевода из серии OPUS-MT, опубликованной Helsinki-NLP. Она переводит текст с иврита на арабский и его варианты; в README указаны арабский, левантийский арабский, алжирский арабский и египетский арабский. Модель построена на архитектуре Transformer и реализована как MarianMTModel; содержит 57,6 млн параметров, принимает целевой языковой токен вида `>>id<<` и использует нормализацию и SentencePiece с словарями размером 32 тыс. токенов. Нативный контекст — 512 токенов. Модель предназначена для перевода фраз и предложений, в том числе в приложениях и рабочих процессах, где нужен перевод с иврита на арабский. В приведённом в карточке тесте Tatoeba для пары иврит—арабский указаны BLEU 23,6 и chr-F 0,532; результаты на других текстах могут отличаться. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-itc-itc — модель машинного перевода из проекта OPUS, разработанная Helsinki-NLP. Она переводит между языками италийской группы, включая итальянский, испанский, французский, португальский, каталанский, романшский, галисийский и ряд региональных и исторических языков. Модель построена на архитектуре Transformer и реализована как MarianMTModel; размер — 43,9 млн параметров, контекст — до 512 токенов. Для выбора языка перевода требуется добавить в начало предложения специальный токен вида `>>id<<`, где `id` — допустимый код целевого языка. Вход и выход — текст. Предобработка включает нормализацию и SentencePiece с моделью словаря на 32 тыс. элементов. Для ряда языковых пар в карточке приведены оценки на тестах Tatoeba. Модель подходит для перевода предложений между поддерживаемыми языками, в том числе для языков с ограниченными ресурсами. Качество может различаться между языковыми парами; контекст ограничен 512 токенами, поэтому длинные документы потребуется разбивать на части. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ja-fi — модель машинного перевода с японского на финский, разработанная в рамках проекта OPUS и основанная на архитектуре Transformer-align с реализацией MarianMT. Она обучена на данных OPUS; предобработка включает нормализацию текста и SentencePiece. Модель содержит 57,2 млн параметров, принимает текст и выдаёт перевод на финском языке. Для тестового набора Tatoeba.ja.fi в карточке приведены оценки BLEU 21,2 и chr-F 0,448. Модель подходит для перевода японских фраз и документов на финский, в том числе для локальной интеграции в приложения на Transformers. Контекст составляет 512 токенов. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-kab-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с кабильского языка на английский и основана на архитектуре MarianMT с Transformer; в репозитории доступны веса PyTorch и TensorFlow. Модель содержит 37,1 млн параметров, использует нормализацию и токенизацию SentencePiece, а максимальная длина контекста составляет 512 токенов. Модель предназначена для перевода предложений и текстовых фрагментов с кабильского на английский. В README приведён результат BLEU 27,5 на наборе Tatoeba.kab.en. Модель выпущена под лицензией Apache-2.0. Она ориентирована на одну языковую пару и направление перевода; приведённая оценка относится к указанному тестовому набору.

Helsinki-NLP/opus-mt-ms-fr — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на основе архитектуры Marian (MarianMTModel, Transformer). Она переводит текст с малайского языка на французский. Исходный корпус обозначен как Malay (macrolanguage) и включает коды ind и zsm_Latn; метаданные карточки указывают языки ms и fr. Модель содержит 54,6 млн параметров, использует нормализацию и SentencePiece с словарями spm32k и имеет контекст до 512 токенов. Модель предназначена для перевода отдельных фраз и текстов с малайского на французский. В README приведена оценка BLEU 43,7 и chr-F 0,609 на наборе Tatoeba-test.msa.fra. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-pt-uk — модель машинного перевода из серии OPUS-MT, разработанной Helsinki-NLP. Она переводит текст с португальского языка на украинский и предназначена для прямого перевода между этой языковой парой. Модель основана на архитектуре Transformer-align и представлена в Transformers как MarianMTModel; содержит около 57 млн параметров. Перед обработкой текст нормализуется и разбивается SentencePiece с отдельными словарями по 32 тыс. элементов для исходного и целевого языков. В README приведён результат BLEU 39,8 на Tatoeba-test.por.ukr. Метаданные указывают контекст 512 токенов и форматы PyTorch и TensorFlow. Модель принимает текст на португальском и выдаёт текст на украинском. Она подходит для перевода предложений и коротких текстов; качество на других типах данных и доменах в карточке не охарактеризовано. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ru-he — модель машинного перевода из серии OPUS-MT, разработанной Helsinki-NLP на основе проекта OPUS. Она переводит текст с русского языка на иврит. Модель построена на архитектуре Transformer Marian и содержит 57,6 млн параметров; для обработки текста использует нормализацию и SentencePiece с словарями размером 32 тыс. токенов. Нативная длина контекста — 512 токенов. Модель подходит для перевода фраз и текстов с русского на иврит, в том числе в приложениях и автоматизированных переводческих конвейерах. В карточке приведён результат BLEU 36,1 на наборе Tatoeba-test.rus.heb. Модель не заявлена как многоязычная: её языковая пара — русский и иврит. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-ru-hy — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer-align и реализованная как MarianMT. Она переводит текст с русского языка на армянский; модель также предусматривает целевой вариант армянского письма hye_Latn. Для подготовки текста используются нормализация и SentencePiece с подсловным словарём на 4 тыс. элементов. Модель содержит 29,1 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Для выбора целевого языка перед предложением требуется токен вида `>>id<<` с допустимым идентификатором языка. В карточке приведены результаты тестирования на Tatoeba: BLEU 21,7 и chr-F 0,494. Модель предназначена для перевода отдельных текстов и предложений, а не для универсального диалога. Распространяется по лицензии Apache-2.0.

opus-mt-sm-en — модель машинного перевода из семейства OPUS-MT, разработанного Helsinki-NLP. Она переводит текст с самоанского языка (sm) на английский (en) и предназначена для перевода отдельных фраз и текстов. Модель построена на архитектуре Transformer-align с обработкой текста через нормализацию и SentencePiece; число параметров — 53,3 млн, контекст — до 512 токенов. Репозиторий содержит веса PyTorch и TensorFlow. Для направления sm→en в README приведён результат BLEU 36,1 и chr-F 0,520 на тестовом наборе JW300.sm.en. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP разработала opus-mt-sv-fi — модель машинного перевода со шведского языка на финский. Она предназначена для перевода предложений и текстовых фрагментов между этими языками. Модель построена на архитектуре Transformer-align в семействе MarianMT, содержит 56,2 млн параметров и использует нормализацию и токенизацию SentencePiece. Для обучения использованы данные OPUS и обратный перевод; указанный размер контекста — 512 токенов. Модель доступна в форматах PyTorch и TensorFlow. В карточке приведены оценки BLEU 26,9 на fiskmo_testset.sv.fi и 45,2 на Tatoeba.sv.fi. Лицензия — Apache-2.0. Качество перевода может зависеть от тематики и стиля входного текста; приведённые оценки относятся только к указанным тестовым наборам.

Модель Helsinki-NLP из проекта OPUS-MT предназначена для машинного перевода с латышского и литовского языков на русский. Это компактная модель архитектуры Transformer-align на базе Marian NMT, с 56,9 млн параметров и контекстом до 512 токенов. Она обучена на данных OPUS и использует токенизацию SentencePiece с словарями размером 32 тыс. токенов; веса доступны в форматах PyTorch и Safetensors. Модель подходит для перевода отдельных текстов и предложений с латышского или литовского на русский, в том числе в приложениях на базе Transformers. В карточке приведены результаты тестирования на наборах Tatoeba и FLORES-101. Лицензия — CC-BY-4.0, требующая указания авторства. Модель ориентирована на два исходных языка и русский язык перевода; качество может различаться в зависимости от тематики и типа текста.

Helsinki-NLP/opus-mt-tc-big-ces_slk-en — нейросетевая модель машинного перевода проекта OPUS-MT, разработанная на базе Marian NMT и преобразованная для использования с PyTorch и Transformers. Она переводит тексты с чешского и словацкого на английский; архитектура — Transformer-big, реализованная как MarianMTModel, размер — 159,8 млн параметров. Модель подходит для перевода предложений и текстов общего назначения с чешского и словацкого языков. Она обучена на данных OPUS с использованием обратного перевода и токенизации SentencePiece с словарями на 32 тыс. токенов. В тестах README приведены результаты для наборов Tatoeba и FLORES-101. Контекст модели составляет 1024 токена. Модель распространяется по лицензии CC-BY-4.0. Она предназначена для перевода только с чешского и словацкого на английский; показатели тестов не гарантируют одинакового качества на текстах иных жанров и предметных областей.

Helsinki-NLP разработала opus-mt-tc-big-de-zle в рамках проекта OPUS-MT для машинного перевода с немецкого на восточнославянские языки: белорусский, русский и украинский. Модель построена на архитектуре Marian и обучена на данных OPUS; веса перенесены в PyTorch для использования с Transformers. Размер модели — 163,3 млн параметров, максимальный контекст — 1024 токена. Модель предназначена для перевода предложений и текстов с немецкого на один из поддерживаемых языков. В карточке приведены результаты тестирования на наборах Tatoeba для белорусского, русского и украинского языков. Распространяется по лицензии CC BY 4.0. Возможности перевода в обратном направлении не заявлены; качество может различаться в зависимости от языка и тематики текста.

Helsinki-NLP разработала эту нейронную модель машинного перевода в рамках проекта OPUS-MT. Она переводит с белорусского, русского и украинского на чешский и польский. Модель основана на архитектуре Marian и содержит 163,7 млн параметров; доступна в форматах PyTorch, Safetensors и TensorFlow. В метаданных указан контекст до 1024 токенов. Модель предназначена для перевода отдельных фраз и текстов между восточнославянскими и западнославянскими языками. В карточке приведены результаты тестирования для ряда языковых пар, включая русский—чешский, русский—польский и белорусский—польский. Модель выпущена в 2022 году и распространяется по лицензии CC BY 4.0.

Helsinki-NLP/opus-mt-th-fr — модель машинного перевода из семейства Marian, разработанная проектом OPUS и опубликованная организацией Helsinki-NLP. Она переводит текст с тайского языка на французский; модель построена на архитектуре Transformer и использует нормализацию текста и SentencePiece для токенизации. Размер модели — 57 млн параметров, заявленная длина контекста — 512 токенов. Доступны веса PyTorch и TensorFlow. Модель предназначена для перевода отдельных текстов и фраз с тайского на французский. В карточке приведён результат BLEU 20,4 на наборе JW300.th.fr. Модель распространяется по лицензии Apache-2.0.

OPUS-MT-tiny-eng-deu — компактная модель машинного перевода с английского на немецкий, разработанная Helsinki-NLP. Это дистиллированный вариант модели-учителя OPUS-MT-models/en-de/opus-2020-02-26: модель-ученик обучена на данных Tatoeba с помощью OpusDistillery. Модель построена на архитектуре Marian с трансформерным декодером и содержит 14,5 млн параметров. Она принимает английский текст и генерирует перевод на немецкий; длина контекста составляет 256 токенов. Компактный размер подходит для сценариев, где важны небольшие требования к ресурсам. В тестах Flores+ и Bouquet модель-ученик показала более низкие метрики BLEU, chr-F и COMET, чем учитель. Модель распространяется по лицензии Apache-2.0. Для запуска в README приведён пример с библиотекой Transformers; также доступны файлы в форматах safetensors и TFLite.

Helsinki-NLP/opus-mt-zh-it — модель машинного перевода из серии OPUS-MT, опубликованная Helsinki-NLP на основе проекта Tatoeba-Challenge. Она переводит текст с китайского на итальянский. Модель построена на архитектуре MarianMT с Transformer-align, содержит 58,4 млн параметров и принимает контекст длиной до 512 токенов. Для предобработки используются нормализация и SentencePiece с моделью словаря spm32k. Модель подходит для перевода китайских текстов на итальянский, включая предложения и короткие фрагменты. В тесте Tatoeba для этой языковой пары указаны BLEU 27,9 и chr-F 0,508. Поддерживаются варианты китайского письма и региональные разновидности, перечисленные в карточке; целевой язык — итальянский. Модель доступна в форматах PyTorch и TensorFlow и распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-tatoeba-en-ja — модель машинного перевода из семейства OPUS, опубликованная Helsinki-NLP. Она переводит текст с английского на японский и предназначена для перевода предложений и текстовых фрагментов между этими языками. Модель построена на архитектуре MarianMT с Transformer и SentencePiece-токенизацией; содержит 58,4 млн параметров и рассчитана на контекст до 512 токенов. Модель обучена для одной языковой пары без многоязычного режима. В тесте Tatoeba указаны BLEU 15,2 и chr-F 0,258, поэтому качество перевода может зависеть от тематики, формулировок и контекста. Распространяется по лицензии Apache-2.0; доступны веса в форматах PyTorch и TensorFlow.

Helsinki-NLP/opus-tatoeba-en-tr — модель машинного перевода английского языка на турецкий из проекта OPUS/Tatoeba-Challenge, разработанная Helsinki-NLP. Это компактная последовательностная Transformer-модель на архитектуре MarianMT с 55,9 млн параметров; она принимает текст и выдаёт перевод. Для обработки текста применяются нормализация и SentencePiece с моделями токенизации spm32k. Максимальная длина контекста — 512 токенов. В README приведены результаты BLEU 21,4–22,8 на тестовых наборах новостных текстов 2016–2017 годов. Модель подходит для перевода отдельных фраз и текстов с английского на турецкий. Она специализирована на одной языковой паре и не заявлена как универсальный переводчик. Распространяется по лицензии Apache-2.0.

Neurora/opus-tatoeba-fas-eng — модель машинного перевода на базе архитектуры Marian Transformer, обученная для перевода с фарси на английский. В карточке указаны варианты исходного языка: fas, pes и prs; для обработки текста применяются нормализация и SentencePiece с словарями по 32 тыс. токенов. Модель содержит 56,9 млн параметров и рассчитана на контекст до 512 токенов. Модель подходит для перевода предложений и текстов с фарси на английский. В README приведены результаты на тестовых наборах Tatoeba: BLEU 38,2 для fas-eng и 38,3 для pes-eng; оценка для pes_Latn-eng низкая и основана всего на трёх предложениях. Модель распространяется под лицензией Apache-2.0.

Ornith-1.0-35B-bf16 — сборка модели deepreinforce-ai/Ornith-1.0-35B в формате MLX bfloat16, подготовленная сообществом mlx-community с помощью mlx-vlm для компьютеров Apple Silicon. Это мультимодальная модель с визуальным энкодером и языковой моделью, предназначенная для диалога и ответов на вопросы по изображениям. В карточке приведён пример описания изображения и указаны результаты проверки генерации связного ответа на изображение и текстовую задачу на рассуждение. Модель основана на архитектуре Qwen3.5 MoE; в README упомянуто 256 экспертов MoE. Репозиторий занимает около 70 ГБ и рассчитан на запуск в системах с 128 ГБ объединённой памяти; для менее мощных устройств предлагаются квантованные варианты. Конверсия потребовала объединить экспертов в формат, ожидаемый загрузчиком mlx-vlm. Лицензия — MIT. Подробности архитектуры, тестов и предполагаемого применения вынесены в карточку исходной модели.

Diamegs/PIT-4B-201412 — базовая предварительно обученная языковая модель семейства Point-In-Time GPT, разработанная Diamegs. Это декодерный Transformer с авторегрессионной языковой моделью; контрольная точка обучена на хронологически упорядоченных снимках FineWeb и соответствует знаниям, доступным к декабрю 2014 года. Модель предназначена для генерации текста и анализа, где важно учитывать состояние информации на заданный момент времени. Модель принимает текст и генерирует текст. Для PIT-4B-201412 заявлен контекст длиной 2048 токенов; веса представлены в формате safetensors и рассчитаны на работу через Transformers. Это базовый чекпойнт без дообучения для следования инструкциям: для такого сценария автор рекомендует вариант PIT-4B-FT. Лицензия — Apache-2.0. Знания модели ограничены веб-текстами, доступными до декабря 2014 года. В README также указано, что модель не прошла RLHF или настройку безопасности и может воспроизводить предвзятости обучающих данных; для задач, критичных к безопасности, требуется дополнительное выравнивание.

Elfrino/PsyMedLewd — объединённая языковая модель автора Elfrino для генерации текста и написания научно-фантастических историй. Она создана с помощью mergekit методом SLERP на основе Undi95/MXLewd-L2-20B и Undi95/PsyMedRP-v1-20B. Модель использует плотную архитектуру Llama с 19,8 млрд параметров и контекстом до 4096 токенов. Для взаимодействия в README рекомендуются шаблоны Alpaca или ChatML и приведены настройки генерации для KoboldCPP. Модель отмечена автором как первая итерация, дальнейшие варианты слияния тестируются. Для использования доступны веса safetensors через Transformers. Условия лицензии в предоставленных данных не описаны.

HWERI/pythia-1.4b-deduped-sharegpt — языковая модель семейства GPT-NeoX с 1,7 млрд параметров, дообученная на наборе ShareGPT. Она предназначена для генерации текста в диалоговом формате и может использоваться для создания ответов и продолжения беседы. Модель принимает текст и генерирует текст; максимальная длина контекста составляет 2048 токенов. В метаданных указаны английский, китайский, корейский и японский языки. Модель распространяется в форматах PyTorch и Safetensors по лицензии Apache-2.0. В README приведены оценки на наборах ARC и HellaSwag, но не описаны ограничения качества или рекомендуемые сценарии применения.

KhaledAalnobani/Qwen2.5-Math-1.5B-2 — дообученная KhaledAalnobani разговорная модель семейства Qwen2 для генерации текста. Она предназначена для диалога и может применяться к математическим запросам, что следует из названия модели; конкретные возможности в математике карточка не описывает. Модель содержит 1,5 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и принимает текст, формируя текстовые ответы. Родной контекст составляет 4096 токенов; обучение проводилось с использованием Unsloth и библиотеки Hugging Face TRL. Модель распространяется по лицензии Apache-2.0.