I.5Создание и редактирование текста

facebook/mbart-large-en-ro — модель машинного перевода от Facebook, полученная дообучением mBART-large-cc25 на датасете WMT для перевода с английского на румынский. Она использует плотную архитектуру mBART и содержит 457,4 млн параметров; доступна в форматах PyTorch, Safetensors и TensorFlow. Модель предназначена для перевода текстов с английского на румынский; для направления перевода на румынский в README также описана постобработка. Указанная оценка BLEU составляет 28,1 без постобработки и 38 с ней. Контекст — до 1024 токенов. Лицензия MIT.

MemoChat-Fastchat-T5-3B — текстовая модель семейства T5, дообученная Junrulu на наборе инструкций Junrulu/MemoChat_Instructions. Она предназначена для генерации ответов на текстовые запросы и диалогового общения. Модель содержит 1,5 млрд параметров, использует архитектуру T5ForConditionalGeneration и имеет контекст длиной 512 токенов. Модель опубликована в форматах PyTorch и Safetensors. В карточке указаны английский язык и лицензия CC BY-NC-SA 4.0, которая требует указания авторства, распространения производных работ на тех же условиях и ограничивает коммерческое использование.

Meta-Llama-3.1-8B-Instruct-English-to-French — дообученная разработчиком muzammil-eds плотная авторегрессионная языковая модель семейства Llama 3.1 с архитектурой LlamaForCausalLM. Она создана на основе unsloth/meta-llama-3.1-8b-instruct-bnb-4bit и содержит около 7,5 млрд параметров; модель распространяется в формате safetensors по лицензии Apache-2.0. Модель предназначена для генерации текста в диалоговом формате и, судя по названию, для преобразования текста с английского на французский. Её можно применять для перевода фраз, предложений и коротких текстов, задавая запрос в чате. В метаданных указан контекст до 131 072 токенов, однако отдельные результаты для перевода и качество на длинных текстах не приведены. Карточка сообщает о дообучении с использованием Unsloth и TRL, но не описывает обучающие данные, методику оценки или конкретные ограничения. Поддержка английского указана в метаданных; французский следует из назначения модели в названии, но явно в языковых тегах не отмечен.

Это квантизированная версия плотной авторегрессионной модели Meta-Llama-3-8B, разработанная автором репозитория donghyunli. Веса представлены в формате packed int2 с групповой квантизацией KronQ размера 128; активации остаются 16-битными. Для распаковки весов на лету используется объединённое CUDA-ядро dequantization и BiIP с масштабами для каждой группы. Размер весов составляет около 3,9 ГБ, а контекст модели — 8192 токена. Модель предназначена для генерации текста и оценки языковых моделей. В README приведены результаты на WikiText-2 и zero-shot-бенчмарках PIQA, ARC, HellaSwag, WinoGrande, BoolQ и OBQA. Она наследует языковую поддержку базовой Meta-Llama-3-8B, для которой метаданные отмечают английский язык. Лицензия — Llama 3; применяйте модель согласно её условиям.

MetaMath-Cybertron-Starling-Mistral-7B-Instruct-v0.1 — объединённая авторами MaziyarPanahi модель на архитектуре Mistral для диалоговой генерации текста и ответов на инструкции. Она создана слиянием mistralai/Mistral-7B-Instruct-v0.1 и Q-bert/MetaMath-Cybertron-Starling методом SLERP; конфигурация задаёт формат bfloat16. Модель содержит 7,1 млрд параметров и имеет контекст до 32 768 токенов. Модель предназначена для диалога и генерации ответов, в том числе для математических вопросов и задач, на что указывают название и метаданные о MetaMathQA. Метаданные указывают английский язык. Репозиторий распространяется по лицензии Apache-2.0. Поскольку это слияние двух моделей, конкретное качество на математических и общих задачах зависит от запроса; README не приводит результатов оценки или дополнительных рекомендаций по применению.

Minerva-3B-base-v1.0 — базовая языковая модель с 3 млрд параметров, разработанная Sapienza NLP совместно с Future Artificial Intelligence Research (FAIR) и CINECA. Она обучена с нуля на 660 млрд токенов из CulturaX: по 330 млрд на итальянском и английском языках. Модель основана на архитектуре Transformer семейства Mistral; в конфигурации 32 слоя, скрытый размер 2560 и максимальный контекст 16 384 токена. Модель предназначена для генерации текста и может служить основой для дальнейшей адаптации под задачи на итальянском и английском языках. Это предобученная базовая модель без выравнивания и встроенной модерации, поэтому она может выдавать фактические ошибки, повторы, предвзятые, оскорбительные или неподходящие материалы. Лицензия — Apache-2.0.

sanps/mist-7b-sft-gutenberg-50k — дообученная модель Mistral AI, созданная автором репозитория sanps на основе mistralai/Mistral-7B-v0.1. Это плотная авторегрессионная языковая модель на 7,1 млрд параметров с контекстом до 32 768 токенов; репозиторий содержит веса в формате Safetensors. Модель дообучена на части обучающего раздела GutenbergFictionSummaryPrepared и предназначена для генерации текста в этом контексте, включая работу в диалоговом формате. В карточке приведён результат Loss 2,1665 на наборе small_val. Автор сообщает, что обучение остановилось примерно на 0,69 эпохи и было нестабильным в начале, поэтому качество и завершённость дообучения могут быть ограничены. Лицензия — Apache-2.0. Язык и точный формат входных инструкций в карточке не описаны.

Sharathhebbar24/Mistral-7B-v0.1-sharded — шардированная версия предварительно обученной генеративной языковой модели Mistral-7B-v0.1, разработанной командой Mistral AI. Модель построена на архитектуре Transformer с 7,1 млрд параметров; использует Grouped-Query Attention, Sliding-Window Attention и токенизатор Byte-fallback BPE. Для работы с моделью рекомендуется Transformers версии 4.34.0 или новее. Модель предназначена для генерации текста и служит базовой моделью для дальнейшей адаптации под конкретные задачи. В карточке указаны английский язык и контекстное окно до 32 768 токенов. Модель не имеет механизмов модерации, поэтому её ответы могут содержать неподходящий контент. Лицензия — Apache-2.0.

Gladiaio/mpt-7b-qlora — текстовая генеративная модель семейства MPT, основанная на декодерном трансформере MosaicML. README описывает MPT-7B как модель с 6,7 млрд параметров, обученную MosaicML с нуля на корпусе объёмом 1 трлн токенов, включающем английские тексты и код. В архитектуре используются FlashAttention и ALiBi вместо позиционных эмбеддингов; базовая модель обучалась с длиной последовательности 2048 токенов. Модель предназначена для продолжения текста и генерации текста по текстовой подсказке. Указанная карточка описывает базовую MPT-7B, которая не предназначена для пользовательского развёртывания без дополнительного дообучения и защитных механизмов. Архитектура с ALiBi допускает работу с длинными входами, однако конкретный предел контекста для этого репозитория не задан. В метаданных указаны формат PyTorch и лицензия Apache-2.0. Имя репозитория содержит «qlora», но карточка и метаданные не подтверждают, что загруженные веса являются QLoRA-адаптером или производной конкретной базовой модели, поэтому происхождение этой версии установить нельзя. Модель может выдавать фактически неверные, предвзятые или оскорбительные ответы.

nafisehNik/mt5-persian-summary — модель семейства mT5, дообученная для суммаризации персидских новостей. Она принимает текст статьи и генерирует его краткое изложение. Модель содержит 157,4 млн параметров и распространяется в формате PyTorch; при дообучении использовались материалы BBC и набор pn_summary, а в метаданных также указан датасет XLSum. Лицензия — MIT. Модель предназначена для получения кратких пересказов новостных текстов на персидском языке. Карточка не сообщает длину контекста и подробности о качестве или ограничениях, поэтому применимость к текстам за пределами новостного домена не установлена.

MultiSlav multislav-5lang — модель машинного перевода, разработанная командой MLR @ Allegro совместно с Laniqo.com. Это encoder-decoder модель MarianMTModel на архитектуре Marian с конфигурацией Transformer-big; в метаданных указано 182,6 млн параметров, а README приводит размер 258 млн. Модель переводит между чешским, английским, польским, словацким и словенским языками. Для генерации нужно указать целевой язык специальным токеном; поддерживаются направления между всеми пятью языками. Контекст модели — до 1024 токенов. Модель обучена на 578 млн примеров из открытых параллельных корпусов и оценивалась на Flores200. Она предназначена для многоязычного перевода, в том числе между славянскими языками; авторы сообщают об улучшении относительно двунаправленных и pivot-базовых моделей в большинстве направлений. Возможны ошибки и смещения, особенно при переводе с английского на славянские языки, где требуется передать грамматический род; авторы рекомендуют проверять качество и смещения для конкретной области. Лицензия CC BY 4.0 допускает коммерческое использование.

MythoMax-L2-13b — плотная авторегрессионная языковая модель семейства Llama, созданная Gryphe как экспериментальное слияние MythoLogic-L2 и Huginn с применением особого тензорного метода. В репозитории указано 12,9 млрд параметров, контекст до 4096 токенов и формат PyTorch; модель опубликована в августе 2023 года. Модель предназначена прежде всего для ролевых диалогов и написания историй, сочетая понимание инструкций с развёрнутой художественной генерацией. Для общения автор рекомендует формат Alpaca. Модель принимает текст и генерирует текст на английском языке. Автор описывает слияние как экспериментальное и отмечает улучшение связности по сравнению с MythoMix; независимые оценки качества в карточке не приведены. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией в репозитории.

Lahad дообучил модель Meta NLLB-200 Distilled 600M для перевода между французским и волофом. Это последовательная модель перевода на архитектуре M2M100; в метаданных указано 463,7 млн параметров и контекст до 1024 токенов, тогда как README сообщает об ограничении в 128 токенов. При обработке входа используются языковые коды fr_Latn и wol_Latn. Модель предназначена для перевода текстов, локализации материалов, помощи в изучении языков и общения между носителями французского и волофа. README указывает, что обучение проводилось на параллельных данных французского и волофа. Для коммерческого использования README приводит лицензию CC-BY-NC-4.0, а метаданные Hugging Face — MIT; проверьте условия лицензии в самом репозитории перед использованием. Модель может хуже справляться с региональными вариантами волофа, культурными нюансами, разговорной лексикой и специализированными текстами. Для важных переводов рекомендуется проверка человеком; модель не предназначена для перевода речи в реальном времени.

ltg/nort5-base-en-no-translation — модель семейства NorT5, дообученная для перевода документов между английским, норвежским букмолом и норвежским нюношком во всех направлениях. Модель построена на архитектуре NorT5ForConditionalGeneration и содержит 109 млн параметров; она принимает текст и генерирует текстовый перевод. Для лучшего качества рекомендуется передавать целые абзацы, поскольку модель обучалась на переводе от абзаца к абзацу, а не отдельных сегментированных предложений. Длина контекста — 512 токенов. Модель выпущена в формате PyTorch по лицензии CC BY 4.0.

OpenThaiGPT 1.0.0 70B — чат-модель команды OpenThaiGPT на базе LLaMA 2, выпущенная в апреле 2024 года. Это плотная авторегрессионная модель с 68,8 млрд параметров, дообученная на тайских инструкциях; в словарь добавлено более 10 тысяч часто используемых тайских слов. Репозиторий содержит веса Safetensors и GGUF, а метаданные указывают библиотеку Transformers и лицензию Llama 2. Модель предназначена для диалогов на тайском языке, выполнения инструкций и генерации ответов, в том числе в сценариях RAG с предоставленным контекстом. Карточка сообщает о предобучении на более чем 65 млрд тайских слов и дообучении на свыше миллиона примеров инструкций. README заявляет поддержку контекста до 4096 тайских слов, тогда как метаданные указывают нативное окно в 2048 токенов; эти значения используют разные единицы измерения и не следует считать их эквивалентными. В карточке также приведены результаты экзаменационных оценок, но они не гарантируют качество на других задачах. Для запуска нужна значительная память: README оценивает потребность для 70B примерно в 192 ГБ при FP16, 96 ГБ при 8-битном и 48 ГБ при 4-битном представлении. Модель ориентирована прежде всего на тайский язык, хотя указана поддержка английского. Использование регулируется лицензией Llama 2.

Helsinki-NLP/opus-mt-af-de — модель машинного перевода из семейства OPUS-MT, основанная на архитектуре Marian Transformer. Она переводит текст с африкаанс на немецкий; для предобработки используются нормализация и SentencePiece. Модель содержит 55,2 млн параметров, её контекст составляет 512 токенов, доступны веса PyTorch и TensorFlow. Модель предназначена для перевода предложений и текстов с африкаанс на немецкий. В карточке приведён результат 48,6 BLEU и 0,681 chr-F на тестовом наборе Tatoeba.af.de. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ar-fr — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с арабского языка на французский и предназначена для перевода отдельных фраз и текстов в приложениях, сервисах и рабочих процессах локализации. Архитектура — плотная Transformer-модель MarianMT с выравниванием; в README указаны нормализация текста и SentencePiece. Модель содержит 58,2 млн параметров и рассчитана на контекст до 512 токенов. Для набора Tatoeba.ar.fr в карточке приведены оценки BLEU 43,5 и chr-F 0,602. Модель работает с текстом и ориентирована на одну пару языков: арабский → французский. Она не предназначена для перевода в обратном направлении или на другие языки без дополнительных моделей. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-bn-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на основе Marian. Она переводит текст с бенгальского языка на английский. Модель построена на архитектуре Transformer-align и содержит 57,7 млн параметров; для токенизации используется SentencePiece с нормализацией текста. Контекст модели — до 512 токенов. Модель подходит для перевода отдельных текстов и фраз, включая материалы для корпуса Tatoeba; в карточке приведён результат BLEU 49,7 на Tatoeba-test.ben.eng. Поддерживаются входной текст на бенгальском и выходной текст на английском. Распространяется по лицензии Apache-2.0.

opus-mt-ca-en — модель машинного перевода из семейства MarianMT, разработанная проектом OPUS-MT для перевода текстов с каталанского языка на английский. Модель построена на архитектуре Transformer-align и содержит 53,5 млн параметров. Для обработки текста применяются нормализация и токенизация SentencePiece; нативная длина контекста составляет 512 токенов. Модель предназначена для прямого перевода фраз и текстов с каталанского на английский. В карточке приведены результаты оценки на наборе Tatoeba.ca.en: BLEU 51,4 и chr-F 0,678. Доступны веса в форматах PyTorch и TensorFlow. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-de-ca — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с немецкого языка на каталанский и предназначена для перевода отдельных фраз и текстов в приложениях, локализации и языковых рабочих процессах. Модель построена на архитектуре Transformer-align и реализована как MarianMTModel; содержит 36,5 млн параметров. Для предобработки используются нормализация и SentencePiece с словарями по 12 тысяч токенов. Указанная длина контекста — 512 токенов. В тесте Tatoeba-test.deu.cat приведены оценки BLEU 37,4 и chr-F 0,582. Модель доступна в форматах PyTorch и TensorFlow и распространяется по лицензии Apache-2.0. Она предназначена для направления перевода немецкий → каталанский; качество может зависеть от тематики и формулировок входного текста.

Helsinki-NLP/opus-mt-de-en — модель машинного перевода немецкого текста на английский из семейства OPUS-MT, разработанная Helsinki-NLP. Она основана на архитектуре Transformer и реализована как MarianMTModel; в обучении использовались данные OPUS, нормализация текста и токенизация SentencePiece. Размер модели — 54,9 млн параметров, контекст — до 512 токенов. Репозиторий содержит веса PyTorch и TensorFlow. Модель предназначена для перевода отдельных текстов, документов и новостных материалов с немецкого на английский. В карточке приведены результаты на нескольких тестовых наборах новостного перевода: BLEU от 26,8 до 29,4. Модель специализирована на одной языковой паре, поэтому не предназначена для перевода на другие языки. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-de-et — модель машинного перевода на архитектуре Marian Transformer, разработанная проектом OPUS и опубликованная Helsinki-NLP. Она переводит текст с немецкого языка на эстонский; обучение выполнено на данных OPUS с нормализацией и токенизацией SentencePiece. Модель содержит 54,9 млн параметров, поддерживает контекст длиной до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель подходит для перевода отдельных фраз и текстов с немецкого на эстонский. В карточке приведён результат BLEU 20,2 и chr-F 0,465 на тестовом наборе JW300.de.et. Лицензия — Apache-2.0. Показатели на одном тестовом наборе не гарантируют качество на других типах текстов или в специализированных областях.

Helsinki-NLP/opus-mt-de-nl — модель машинного перевода из семейства Marian, разработанная проектом OPUS. Она переводит текст с немецкого языка на нидерландский. Модель построена на архитектуре Transformer-align, содержит 54,6 млн параметров и использует нормализацию и SentencePiece для предварительной обработки текста. Нативная длина контекста составляет 512 токенов. В карточке приведён результат BLEU 52,8 и chr-F 0,699 на тесте Tatoeba.de.nl. Модель предназначена для перевода немецких фраз и текстов; указана лицензия Apache-2.0.

Helsinki-NLP/opus-mt-en-bg — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского на болгарский; модель также поддерживает целевой вариант болгарского языка на латинице. Архитектура — Transformer на базе MarianMT, размер — 56,8 млн параметров, длина контекста — 512 токенов. Для целевого языка перед началом предложения требуется специальный токен вида `>>id<<`; входной текст проходит нормализацию и токенизацию SentencePiece с моделью на 32 тыс. элементов. Модель подходит для перевода предложений и текстовых фрагментов с английского на болгарский, в том числе в приложениях и пакетной обработке. В тесте Tatoeba для пары английский—болгарский указаны BLEU 50,6 и chr-F 0,680. Контекст ограничен 512 токенами, а направление перевода — английский в болгарский. Лицензия — Apache-2.0; доступны форматы PyTorch и TensorFlow.

Xenova/opus-mt-en-de — модель машинного перевода с ONNX-весами, разработанная на основе Helsinki-NLP/opus-mt-en-de. Репозиторий Xenova предназначен для совместимости с библиотекой Transformers.js и запуска модели в веб-средах. Модель предназначена для перевода текста с английского языка на немецкий. Она относится к семейству OPUS-MT; точные сведения об архитектуре, размере, длине контекста и поддерживаемых модальностях в README не указаны. Доступны ONNX-веса, размещённые в каталоге onnx, что делает модель пригодной для сценариев, где требуется веб-совместимое выполнение через Transformers.js. README не содержит информации о сильных сторонах, ограничениях или лицензии модели. Также не указано, что репозиторий предоставляет какие-либо дополнительные возможности по сравнению с базовой моделью Helsinki-NLP/opus-mt-en-de.

Helsinki-NLP/opus-mt-en-sla — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит с английского на группу славянских языков: белорусский, боснийский, болгарский, кашубский, чешский, верхне- и нижнелужицкий, хорватский, македонский, польский, русинский, русский, сербский, словенский и украинский. Целевой язык задаётся специальным токеном в начале предложения в формате >>id<<. Модель основана на архитектуре Transformer MarianMT, содержит 55,3 млн параметров и использует нормализацию и SentencePiece с размером словаря 32 тыс. токенов. Максимальная длина контекста — 512 токенов. Для использования доступны веса в форматах PyTorch и TensorFlow; лицензия — Apache-2.0. Модель предназначена для перевода текстов общего назначения с английского на поддерживаемые славянские языки. В карточке приведены тестовые оценки BLEU и chr-F, однако качество может различаться между языками и тематиками; для некоторых языковых вариантов охват обучающих данных может быть ограничен.

Helsinki-NLP/opus-mt-es-ca — модель машинного перевода, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с испанского на каталанский и обратно не предназначена. Модель основана на архитектуре MarianMT и Transformer-align, содержит 51,8 млн параметров и использует нормализацию текста и SentencePiece с словарями spm32k. Естественный контекст — 512 токенов. Модель подходит для перевода фраз и документов с испанского на каталанский. В карточке приведена оценка BLEU 68,9 и chr-F 0,832 на наборе Tatoeba-test.spa.cat; эти результаты относятся к указанному тесту. Доступны форматы PyTorch и TensorFlow. Лицензия — Apache-2.0.

Карточка модели mijuanlo/opus-mt-es-en на Hugging Face совпадает с карточкой Helsinki-NLP/opus-mt-es-en, поэтому описание составлено по ней. Helsinki-NLP/opus-mt-es-en — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с испанского на английский; направление перевода одноязычное в смысле пары языков: испанский → английский. Модель основана на архитектуре Transformer и реализована как MarianMTModel. Размер — 58,4 млн параметров, длина контекста — 512 токенов. Для предобработки применяются нормализация текста и SentencePiece с словарями по 32 тыс. элементов. В карточке приведены результаты на нескольких тестовых наборах новостных текстов. Подходит для перевода испанских фраз и документов на английский, в том числе в составе приложений на Transformers. Модель не предназначена для обратного перевода с английского на испанский; качество может зависеть от тематики и стиля исходного текста. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-es-fr — модель машинного перевода из семейства Marian, разработанная проектом OPUS/Helsinki-NLP. Она переводит текст с испанского языка на французский и подходит для перевода отдельных фраз и документов. Модель построена на архитектуре Transformer-align, использует нормализацию и токенизацию SentencePiece и содержит 63,5 млн параметров; длина контекста — до 512 токенов. Репозиторий содержит веса в форматах PyTorch и TensorFlow. В карточке приведены результаты тестирования на наборах новостных текстов: BLEU 32,0–33,6 и chr-F 0,585–0,610. Эти оценки относятся к указанным тестовым наборам и не гарантируют аналогичное качество на других темах и типах текста. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-fi-es — модель машинного перевода с финского языка на испанский, разработанная в рамках проекта OPUS. Это плотная Transformer-модель архитектуры MarianMT с 57,6 млн параметров; при обработке текста используются нормализация и SentencePiece. Для Tatoeba.fi.es в карточке приведены оценки BLEU 51,5 и chr-F 0,700. Модель предназначена для перевода предложений и текстов с финского на испанский. Длина контекста — до 512 токенов. Веса доступны в форматах PyTorch и TensorFlow; лицензия — Apache-2.0.