I.6Перевод и языковая адаптация
В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
16 710 моделейwhisper-small-Kurdish-Sorani-10 — дообученная модель OpenAI Whisper Small с архитектурой WhisperForConditionalGeneration и 153,1 млн параметров. Она предназначена для автоматического распознавания речи, прежде всего на курдском языке сорани. На оценочном наборе указаны WER 13,1989 и орфографический WER 14,4007. Модель принимает аудио и выдаёт текст; в карточке не описаны условия записи, состав обучающих данных или дополнительные ограничения. Распространяется по лицензии Apache-2.0.
Модель tenzin/whisper-small-tibetan — дообученная версия Whisper-small от OpenAI, созданная для распознавания речи на центральном тибетском языке, прежде всего на диалекте Лхаса. Она принимает аудио и генерирует текстовую расшифровку; обучена на объединённом корпусе примерно из 231 тысячи примеров и 267 часов чтения новостей и естественной речи. В тесте на отложенных дикторах показала CER 11,67% и послоговую ошибку 16,84%; оценка основана на срезе из 300 примеров. Модель подходит для черновой расшифровки и общего понимания записей на лхасском тибетском. Она слабее работает с диалектами Амдо и Кхам, а также с разговорной речью, отличающейся от обучающих данных. Whisper обрабатывает фрагменты длительностью до 30 секунд, поэтому более длинное аудио нужно предварительно разбивать на части. Для модели заявлено частное, любительское и исследовательское применение; лицензия CC BY-NC-SA 4.0, обусловленная в том числе обучающими данными, ограничивает коммерческое использование.
Whisper Small (Thai): Combined V4 — модель распознавания речи на основе архитектуры Whisper, дообученная BioDataLab для транскрибирования тайской речи. Она предназначена для преобразования аудио на тайском языке в текст и может применяться для расшифровки записей и голосовых данных. В README указана оценка WER 13,14 на тестовой части Common Voice 13 с токенизатором Deepcut; для обучения использовались дополненные данные Common Voice 13, FLEURS и курируемые наборы данных. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и библиотеку Transformers. Лицензия — Apache-2.0. Метаданные связывают её с openai/whisper-small, тогда как README называет базовой моделью openai/whisper-medium; поэтому точное происхождение по этим источникам не согласуется.
Wiedervereinigung-7b-dpo — немецко-английская чат-модель от Mayflower GmbH, созданная объединением четырёх моделей на базе Mistral и последующим DPO-обучением на немецком переводе набора SlimOrca DPO. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Она предназначена для диалогов и генерации текста, в частности для ответов на вопросы, написания текстов и ролевых сценариев на немецком языке. В README приведён средний результат 7,1125 в бенчмарке mt-bench-de; оценки отдельных категорий показывают более низкие результаты в математике и программировании. Для обучения на немецких наборах данных авторы рекомендуют LLaMA-Factory. Модель распространяется в формате safetensors по лицензии Apache-2.0. Результаты бенчмарка указывают на ограничения в математике и программировании; качество следует оценивать для конкретного сценария.
BanglaLLM/BanglaLLama-3.1-8b-bangla-alpaca-orca-instruct-v0.0.1 — плотная причинная языковая модель семейства Llama 3.1 примерно с 7,5 млрд параметров, разработанная командой BanglaLLM. Модель создана дообучением BanglaLLama-3.1-8b-unolp-culturax-base-v0.0.1 на наборе инструкций bangla-alpaca-orca; веса представлены в формате safetensors, обучение проводилось в float16. Заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста и выполнения инструкций на бенгальском и английском языках. Её можно применять для диалоговых ответов, черновиков и помощи с языковыми задачами на бенгальском. README характеризует её как готовую для инференса, но отмечает, что модель не проходила очистку от токсичного содержания и может выдавать вредные или оскорбительные ответы; результаты следует проверять. В метаданных указана лицензия llama3.1, а README называет GNU General Public License v3.0, поэтому условия лицензирования следует сверить с актуальными условиями репозитория и базовой модели.
SayedShaun/bengali-whisper-medium — модель распознавания бенгальской речи с восстановлением пунктуации, созданная на базе Whisper medium. По README, исходную модель обучил tugstugi (Erdene-Ochir Tuguldur) из команды Chimege; этот репозиторий содержит упаковку весов в safetensors и исправленную конфигурацию генерации. Модель насчитывает 455,8 млн параметров и работает через Transformers. Модель принимает аудио на бенгальском языке и генерирует текстовую расшифровку с пунктуацией; она участвовала в решении, занявшем первое место в соревновании Bengali.AI Speech Recognition. Для более широкого восстановления пунктуации автор рекомендует отдельную модель asr-punctuation-restore-bn. Модель распространяется по лицензии Apache-2.0. Она предназначена только для бенгальской речи; на тишине и шуме может выдавать правдоподобный вымышленный текст. README также отмечает ограниченный набор пунктуации и разницу качества между публичной и закрытой выборками соревнования.
Это версия на PyTorch модели BLEURT, разработанной исследователями Google Research Эльроном Банделем, Тибо Селламом, Дипанджаном Дасом и Анкуром Париком. Модель основана на BERT и предназначена для оценки текстовых пар; в карточке Hugging Face она отнесена к классификации текста. Число параметров — 4,4 млн, длина контекста — до 512 токенов. Модель обучалась на парах предложений из англоязычных направлений WMT Metrics Shared Task за 2017–2019 годы, включая человеческие оценки качества переводов новостных текстов. Её можно использовать для автоматической оценки качества перевода и сравнения текстовых вариантов. В README отдельно отмечен риск стереотипных и вредных предсказаний. Лицензия в доступных данных не указана.
Chocolatine-3B-Instruct-DPO-Revised — языковая модель Jonathan Pacifico, дообученная методом DPO на базе microsoft/Phi-3-mini-4k-instruct с использованием набора jpacifico/french-orca-dpo-pairs-revised. Модель содержит 3,7 млрд параметров, построена на архитектуре Phi-3 и рассчитана на контекст до 4096 токенов. Модель предназначена для диалогов и генерации текста на французском и английском языках. Обучение на французских данных улучшило результаты также и на английском; в карточке приведены результаты бенчмарков, включая MT-Bench-French. Доступны версии в формате Safetensors, а также отдельные квантизированные варианты GGUF и запуск через Ollama. Модель разработана как демонстрация возможностей дообучения и не имеет механизма модерации. Лицензия — MIT.
Cohere Transcribe Arabic — открытая модель распознавания речи на 2 млрд параметров, разработанная Cohere и Cohere Labs. Она предназначена для преобразования аудио в текст и оптимизирована для арабского языка, его диалектов и английской речи; также заявлена поддержка арабско-английской речи со смешением языков. В основе — архитектура Conformer encoder-decoder, модель поддерживается библиотекой Transformers и подходит для офлайн-инференса и обслуживания запросов через vLLM. Модель применима для транскрибации арабских аудиозаписей, распознавания диалектной речи и транскрибации английского аудио. Разработчики отмечают высокую точность на арабском и английском и эффективный инференс. Лицензия Apache-2.0. Модель лучше работает с одним заранее выбранным языком; автоматического определения языка нет, а качество на смешанной арабско-английской речи может быть нестабильным. Она не выдаёт временные метки и не выполняет диаризацию говорящих. На тишине и фоновых шумах может генерировать текст, поэтому перед распознаванием полезны шумовой фильтр или VAD.
ELYZA-japanese-Llama-2-13b-fast-instruct — японская языковая модель на архитектуре Llama 2, разработанная командой ELYZA. Модель основана на Llama 2 и прошла дополнительное предварительное обучение для расширения возможностей работы с японским языком; вариант instruct предназначен для генерации ответов по инструкциям и диалоговых запросов. Модель имеет около 12,9 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст, генерируя текст. Контекст составляет до 4096 токенов. В карточке также указана поддержка английского языка. Репозиторий содержит веса PyTorch и распространяется по лицензии Llama 2. README не сообщает о специальных предметных областях или ограничениях качества.
ERNIE-4.5-21B-A3B-MLX-8bit — это 8-битная квантованная версия языковой модели ERNIE-4.5-21B-A3B-PT, разработанной Baidu. Квантование выполнено командой LM Studio с использованием MLX и оптимизировано для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживает английский и китайский языки. В README указано, что это текстовая модель на базе архитектуры ERNIE-4.5-21B-A3B с заявленным размером 21B; обозначение A3B может указывать на особенности исходной конфигурации, однако дополнительные сведения об архитектуре, длине контекста и точном числе активных параметров не предоставлены. Квантование в 8 бит снижает требования к памяти по сравнению с полноразмерной версией, но README не содержит количественных данных о производительности или качестве. Основные сильные стороны модели — поддержка английского и китайского языков, 8-битное представление и оптимизация для экосистемы Apple Silicon. Ограничения связаны с отсутствием информации о контекстном окне, мультимодальности, результатах тестирования и рекомендуемых сценариях применения; кроме того, квантование может влиять на точность по сравнению с исходной моделью. Модель распространяется по лицензии Apache-2.0.
Gemma-Kimu-9B-Instruct v1.0 — инструкционная языковая модель команды orai-nlp, основанная на Google Gemma 2 9B. Модель адаптировали для баскского языка: базовую Gemma дополнительно обучили на баскских текстах с частью англоязычных данных, затем перенесли способности к следованию инструкциям и согласованию ответов с помощью слияния весов с Gemma 2 9B Instruct. В метаданных указаны архитектура Gemma2 с плотной causal language model, 9 млрд параметров и контекст до 8192 токенов. Модель предназначена для диалога и генерации ответов по инструкциям, прежде всего на баскском языке; обучение также сохраняло способности к английскому. Авторы сообщают об улучшениях в следовании инструкциям, языковой корректности и безопасности на баскском по сравнению с Gemma 2 9B Instruct. Модель работает с текстом и доступна в формате safetensors через Transformers. Лицензия — Gemma License; перед использованием следует учитывать её условия. Оценка авторов включает небольшой набор из 100 баскских инструкций и их английских соответствий, поэтому результаты не гарантируют качество во всех сценариях.
BuzzASR/georgian — монолингвальная модель распознавания речи на грузинском языке, разработанная в рамках набора BuzzASR из 102 языковых моделей. Она создана полным дообучением OpenAI Whisper large-v3 с заменой токенизатора на грузинский и дополнительным обучением на текстовых данных. Модель принимает аудио и генерирует текст; её основная задача — транскрибация грузинской речи. В оценке на объединённом тестовом наборе FLEURS и Common Voice 25 модель показала CER 12,54% и WER 39,39%; CER у Whisper large-v3 без дообучения составил 19,43%. Обучение использовало данные FLEURS, Common Voice Corpus 25.0 и текстовый корпус Goldfish. Модель содержит около 907,3 млн параметров, основана на архитектуре Whisper и распространяется в формате Safetensors через Transformers. Модель предназначена для распознавания грузинской речи. Она оценивалась на тестовых выборках FLEURS и Common Voice; качество на других предметных областях и диалектах может отличаться. Лицензия — MIT.
local-inference-lab/GLM-5.3-Flash-NVFP4 — квантованная и дистиллированная версия модели zai-org/GLM-5.3-Flash-BF16. Модель предназначена для генерации текста и диалоговых сценариев, поддерживает английский и китайский языки, а также мультимодальные задачи с использованием встроенного vision encoder. Архитектура сохранена: 45 decoder-слоёв, включая 3 плотных слоя и 42 MoE-слоя с 288 маршрутизируемыми экспертами в каждом, из которых для каждого токена активируются 8, дополнительно используется общий эксперт. Механизм внимания сочетает linear attention и DeepSeek Sparse Attention; заявленный размер модели на диске составляет около 199 ГБ. Длина контекста в README не указана. Ключевая особенность модели — quantization-aware distillation: веса маршрутизируемых экспертов обучались с учётом NVFP4-квантования, чтобы компенсировать ошибки низкой точности и приблизить ответы к исходной BF16-модели. Экспертные gate, up и down projections хранятся в NVFP4, вспомогательный MTP-модуль использует MXFP8, а остальные основные компоненты преимущественно сохраняют BF16 или FP32. Сильными сторонами являются сочетание MoE-архитектуры, дистилляции и низкобитного представления весов при сохранении vision encoder и MTP. Ограничения включают значительный объём модели, дополнительные требования к памяти для KV-кэша и буферов, а также необходимость runtime с поддержкой архитектуры glm5_next и смешанного формата ModelOpt NVFP4/MXFP8, включая покомпонентные масштабы активаций. Модель распространяется по лицензии MIT.
granite-4.0-1b-speech-gguf — это GGUF-квантизированная версия Granite-4.0-1b-speech, разработанного IBM Granite и адаптированного для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания речи и двунаправленного перевода речи между английским и французским, немецким, испанским, португальским и японским языками. Перевод выполняется только через английский язык, поэтому прямые направления между неанглийскими языками не поддерживаются. Модель представляет собой audio-LLM с Conformer-энкодером, block-local Shaw attention, проектором BLIP-2 Q-Former и авторегрессионным Granite-4.0-1b-base в роли декодера. На вход подаётся монофонический WAV с частотой 16 кГц. Поддерживаются английский, французский, немецкий, испанский, португальский и японский языки; автоматическое определение языка, потоковая обработка и временные метки не поддерживаются. Доступны варианты BF16, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 1,60 до 4,63 ГБ. Сильные стороны модели — компактность, возможность локального запуска на устройствах с ограниченными ресурсами, высокая точность английского распознавания и поддержка многоязычного ASR и перевода. На наборе LibriSpeech test-clean заявленная WER составляет 1,41–1,48% в зависимости от квантизации, однако фактическое качество зависит от языка, аудио и выбранного варианта. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.
Granite Speech 4.1 2B GGUF — это квантизированная версия мультимодальной аудиоязыковой модели IBM Granite Speech 4.1 2B, подготовленная проектом handy-computer для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания речи и автоматического перевода речи между английским, французским, немецким, испанским, португальским и японским языками. Перевод выполняется только между английским и каждым из пяти других языков, без прямых направлений вроде французский—немецкий. Входные данные — монофонические WAV-файлы с частотой 16 кГц. Архитектура включает Conformer-энкодер с локальным вниманием Shaw, проектор BLIP-2 Q-Former и авторегрессионный декодер Granite-4.0-1b-base. Размер модели — около 2 млрд параметров. Поддерживаются ASR, speech-to-text и speech translation; автоматическое определение языка, потоковая обработка и временные метки не поддерживаются. Доступны варианты BF16, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M объёмом примерно от 1,60 до 4,63 ГБ. На LibriSpeech test-clean заявленная WER составляет 1,29–1,37% в зависимости от варианта, а опубликованные результаты для других языков показывают WER 4,14–9,80% и CER 6,3% для японского. Модель сочетает компактность, офлайн-работу, многоязычность и улучшенные пунктуацию и регистр по сравнению с Granite Speech 4.0 1B. Ограничения включают необходимость предварительного преобразования аудио в формат 16 кГц mono WAV, отсутствие streaming, определения языка и временных меток, а также ограниченный набор языков и направлений перевода. Распространяется по лицензии Apache-2.0, унаследованной от базовой модели.
Hebrew-Mixtral-8x22B — открытая языковая модель Яма Пелега, непрерывно предобученная на базе Mixtral-8x22B на английских и ивритских текстах. Она предназначена для генерации текста и широкого круга языковых задач, с особым акцентом на понимание и генерацию на иврите. Модель использует архитектуру Mixtral с разреженной смесью экспертов и классом MixtralForCausalLM. В метаданных указано 22 млрд параметров и контекст до 65 536 токенов; README приводит для предобучения исходной версии 141 млрд параметров. Доступны веса в формате safetensors для Transformers. Лицензия — Apache-2.0. Это базовая предобученная модель, а не модель для диалогов, настроенная инструкциями; в README отмечено отсутствие механизмов модерации. Для использования в чат-боте или специализированных задачах могут потребоваться дополнительная настройка и собственные меры контроля контента.
Huihui-Mistral-Small-3.2-24B-Instruct-2506-abliterated-Q8_0-GGUF — это GGUF-квантизированная версия модели Huihui-Mistral-Small-3.2-24B-Instruct-2506-abliterated, разработанной Huihui-AI. Репозиторий therummage содержит конвертацию в формат GGUF, выполненную с помощью llama.cpp и сервиса GGUF-my-repo. По названию модель относится к семейству Mistral Small с размером 24B параметров и предназначена для инструкционного взаимодействия и генерации текста; в карточке также указан pipeline image-text-to-text, однако подробности поддержки изображений не приведены. Модель ориентирована на локальный запуск через llama.cpp в командной строке или в серверном режиме. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Квантование Q8_0 обеспечивает представление в GGUF с уменьшенными требованиями к памяти по сравнению с полноразмерными весами, сохраняя близкую к исходной точность, но конкретные показатели производительности и качества в README не указаны. К преимуществам относятся возможность локального развертывания, совместимость с llama.cpp и широкий заявленный набор языков. Ограничения связаны с отсутствием в карточке подробных данных об архитектуре, максимальном контексте, требованиях к оборудованию, результатах тестирования и фактических возможностях мультимодальной обработки. Модель распространяется по лицензии Apache-2.0.
Indic-gemma-2b-finetuned-sft-Navarasa-2.0 — языковая модель, разработанная совместно Ravi Theja и Ramsri Goutham на базе Google Gemma 2B. Это плотная авторегрессионная модель с 2,5 млрд параметров, дообученная методом LoRA на наборах инструкций на 15 индийских языках и английском. Для работы с ней можно использовать Transformers или Unsloth; заявленная длина контекста — 8192 токена. Модель предназначена для генерации текста и ответов на инструкции на телугу, хинди, маратхи, урду, ассамском, конкани, непальском, синдхи, тамильском, каннада, малаялам, гуджарати, панджаби, бенгальском, одия и английском. Доступна в формате safetensors. В метаданных указана лицензия «other», поэтому условия использования следует уточнять в карточке модели и у разработчиков. README не приводит оценок качества или сравнительных тестов; качество может различаться между языками.
inf-o1-pi0-GGUF — это квантизированная версия модели infly/inf-o1-pi0, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. В README не указано, кто разработал исходную модель, кроме идентификатора организации infly. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6, Q5, Q4, Q3 и Q2, с размером файлов примерно от 12,31 до 65,54 ГБ. Указана поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Конкретные архитектура, число параметров, размер контекста и дополнительные модальности в README не раскрыты, поэтому модель следует рассматривать как текстовую. Сильная сторона набора — широкий выбор квантизаций, позволяющий подобрать баланс между качеством, требованиями к памяти и скоростью локального вывода; варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены как рекомендуемые, а Q4_K_M описан как стандартный вариант для большинства сценариев. Более сильное сжатие уменьшает требования к ресурсам, но снижает качество, особенно у вариантов Q2 и Q3. Лицензия исходной модели и условия коммерческого использования в README не указаны.
Kotoba-Whisper-v2.1 — японская модель автоматического распознавания речи, разработанная Kotoba Technologies совместно с Асахи Усио. Она основана на kotoba-tech/kotoba-whisper-v2.0 и использует архитектуру Whisper с 905,2 млн параметров. Встроенный конвейер дополнительно расставляет пунктуацию в распознанном тексте. Модель предназначена для транскрибации японской речи. В README приведены оценки CER на японских тестовых наборах CommonVoice 8, JSUT Basic 5000 и ReazonSpeech; для нормализованного CER результаты совпадают с версией v2.0, поскольку добавленная пунктуация при нормализации удаляется. Модель доступна через Transformers версии 4.39 и новее. Лицензия — Apache-2.0.
Laabam AI 3B v1 — многоязычный чат-ассистент, дообученный разработчиком Laabam на базе Qwen2.5-3B-Instruct методом QLoRA. Модель предназначена для выполнения инструкций и генерации ответов в диалоге; при дообучении уделялось внимание следованию инструкциям, безопасности и индийским языкам. Это плотная авторегрессионная модель семейства Qwen2 с 3,1 млрд параметров и контекстом до 32 768 токенов. Карточка указывает английский и хинди, а также тамильский и телугу; метаданные дополнительно отмечают каннада. Модель распространяется в формате safetensors по лицензии Apache-2.0.
LFM2.5-230M-MLX-4bit — компактная мультиязычная языковая модель, разработанная Liquid AI и экспортированная в формат MLX для выполнения на устройствах с Apple Silicon. Она предназначена для генерации текста и локального инференса в сценариях, где важны небольшие размер модели и эффективное использование ресурсов. Модель содержит 230 млн параметров, использует 4-битное представление с размером группы 64 и занимает около 139 МБ. В её основе лежит гибридная архитектура Liquid AI, сочетающая свёрточные и attention-слои для эффективной обработки длинного контекста; заявленная длина контекста составляет 128K токенов. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский, испанский, португальский и итальянский языки. К сильным сторонам относятся компактность, поддержка длинного контекста и оптимизация для Apple Silicon через MLX. Ограничения связаны с небольшим размером модели и 4-битной квантизацией, которые могут снижать качество по сравнению с более крупными или менее сжатыми вариантами; конкретные показатели качества в README не приведены. Модель распространяется по лицензии LFM 1.0.
mlx-community/LFM2.5-2.6B-4bit — это 4-битно квантованная модель в формате MLX, конвертированная из LiquidAI/LFM2.5-2.6B сообществом mlx-community с использованием mlx-vlm 0.6.10. Модель предназначена для генерации текста и запуска на устройствах, совместимых с MLX; в README также приведён сценарий обработки изображений, однако подробные сведения о мультимодальной архитектуре не указаны. Модель имеет размер 2,6 млрд параметров и поддерживает арабский, китайский, английский, французский, немецкий, хинди, индонезийский, итальянский, японский, корейский, польский, португальский, русский, испанский, тайский и вьетнамский языки. Квантование до 4 бит снижает требования к памяти и делает модель более подходящей для локального запуска на edge-устройствах, но может уменьшать точность по сравнению с полноразмерной версией. Размер контекста, архитектура, подробные показатели качества и ограничения применения в README не указаны. Модель распространяется по лицензии lfm1.0; условия следует уточнять в файле лицензии и оригинальной карточке LiquidAI/LFM2.5-2.6B.
RemySkye/LFM2.5-8B-A1B-i1-GGUF — набор квантизированных версий языковой модели LiquidAI/LFM2.5-8B-A1B в формате GGUF. Модель предназначена для генерации текста и локального запуска с использованием совместимых инструментов, включая llama.cpp, что делает её подходящей для периферийных и ресурсно-ограниченных сценариев. Размер исходной модели — 8B параметров с архитектурой, обозначенной как A1B; конкретные архитектурные характеристики, размер контекста и поддерживаемые модальности в README не указаны. Заявлена поддержка английского, арабского, китайского, французского, немецкого, японского, корейского, испанского и португальского языков. Квантизация выполнена с использованием importance matrix (imatrix); варианты с точностью ниже 4 бит могут приводить к неприемлемому снижению качества. Для работы рекомендуется актуальная версия llama.cpp. Лицензия указана как lfm1.0, при этом её подробные условия в README не приведены. Модель разработана LiquidAI, а данный репозиторий содержит квантизированные сборки, подготовленные RemySkye.
cyberagent/Llama-3.1-70B-Japanese-Instruct-2407 — японская модель для диалогов и генерации текста, разработанная Рёсукэ Исигами. Это модель семейства Llama 3.1 с плотной архитектурой LlamaForCausalLM и 69,5 млрд параметров; она создана на основе meta-llama/Meta-Llama-3.1-70B-Instruct путём дополнительного предобучения на японском языке. Модель использует формат запросов Llama 3.1 и поддерживает контекст до 131 072 токенов. Модель предназначена для ответов на запросы и ведения диалога на японском и английском языках. Её можно применять в чат-ботах и для генерации текста с длинным контекстом. Репозиторий содержит веса в формате safetensors. Лицензия — llama3.1. README не описывает специализированные области применения или подробные ограничения качества.
Magnum v2 72B GGUF — квантизированная версия языковой модели anthracite-org/magnum-v2-72b, разработанная командой Anthracite и дообученная на базе Qwen-2 72B Instruct. Модель создана для генерации текста и диалоговых сценариев; её цель — приблизить качество прозы к моделям Claude 3, в частности Sonnet и Opus. Она предназначена для использования в формате ChatML. Модель содержит 72 миллиарда параметров, поддерживает текстовую модальность и указанные языки: английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский. Дообучение проводилось в течение двух эпох с использованием полного набора параметров, weight decay 0,01 и пиковой скорости обучения 4e-6. При обучении применялась упаковка примеров на 16 тысяч токенов, однако точный размер контекстного окна в README не указан. Репозиторий содержит GGUF-квантизации; вариант Q8_0 отмечен как повреждённый. Сильными сторонами модели заявлены качество прозы и способность работать в многоязычных диалоговых задачах. Ограничения включают зависимость от конкретного шаблона ChatML, отсутствие подробных сведений о результатах оценки и безопасности, а также возможные особенности и потери качества, связанные с квантизацией. Модель распространяется по лицензии, обозначенной как tongyi-qianwen; подробные условия следует уточнять в файле лицензии исходной модели.
mesolitica/malaysian-whisper-medium — модель распознавания речи, созданная Mesolitica путём дообучения Whisper Medium на данных малайской речи. Она предназначена для преобразования аудио в текст на малайском языке, включая стандартную и местную речь, а также на английском, включая Manglish. Модель основана на архитектуре Whisper и содержит 455,8 млн параметров; в репозитории представлены веса Safetensors. Модель подходит для транскрибации разговоров и видео на малайском и английском языках. Для обработки аудио длиннее 30 секунд автор рекомендует разбивать запись на фрагменты такой длительности и распознавать их отдельно. Данные для дообучения включают наборы IMDA STT, Malay Conversational Speech Corpus, псевдоразметку малайских видео и аудиокниг, а также частный датасет Haqkiem TTS. Условия лицензии в предоставленных данных не описаны.
mesolitica/malaysian-whisper-tiny — дообученная компанией Mesolitica модель Whisper Tiny для распознавания малайской и английской речи. Она предназначена для транскрибирования стандартного и местного вариантов малайского языка, а также стандартного английского и Manglish — разговорной смеси малайского и английского. В карточке перечислены обучающие данные IMDA STT, корпуса малайской разговорной речи, псевдоразметка видео и аудиокниг, а также частный набор Haqkiem TTS Dataset. Модель построена на архитектуре WhisperForConditionalGeneration, содержит 29,4 млн параметров и принимает аудио, выдавая распознанный текст. Для аудио длиннее 30 секунд README рекомендует разбивать запись на фрагменты и распознавать их отдельно. Модель опубликована в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.
Nekomata-7B — языковая модель rinna, созданная посредством продолжения предобучения Qwen-7B на примерно 30 млрд токенов японских и английских текстов. Она предназначена для генерации текста и решения языковых задач, особенно на японском языке. Модель использует плотную трансформерную архитектуру Qwen: 32 слоя и размер скрытого состояния 4096. В словаре токенизатора 151 936 токенов; он эффективнее обрабатывает японский текст, чем токенизатор Llama 2 в сравнении авторов. Максимальная длина последовательности — 32 768 токенов. Указанный в метаданных размер составляет 11,4 млрд параметров. Модель принимает текст и генерирует текст. В README отмечено улучшение результатов на японских задачах, но конкретные показатели приведены отдельно на странице бенчмарков. Лицензия обозначена как other, поэтому условия использования следует уточнить в материалах репозитория.