Hy-MT2-7B-GGUF

Модель предназначена прежде всего для задач машинного перевода и поддерживает китайский, английский, французский, португальский, испанский, японский, турецкий, русский, арабский, корейский, тайский, итальянский, немецкий, вьетнамский, малайский, индонезийский, тагальский, хинди и ряд других языков, перечисленных в карточке. Всего заявлено 35 языков, включая польский, чешский, нидерландский, кхмерский, бирманский, персидский, украинский, тибетский, казахский, монгольский, уйгурский и другие.

Это модель размером 7B, доступная в различных вариантах квантизации с объёмом файлов примерно от 3,1 до 15,1 ГБ. Предлагаются форматы Q2_K, Q3_K, IQ4_XS, Q4_K_S, Q4_K_M, Q5_K_S, Q5_K_M, Q6_K, Q8_0 и f16; варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а Q8_0 — как вариант с наилучшим качеством среди указанных. README не содержит сведений об архитектуре, размере контекста, мультимодальности, конкретных метриках качества или требованиях к аппаратному обеспечению.

Основные сильные стороны модели — широкий набор поддерживаемых языков, ориентация на перевод и возможность выбрать баланс между размером, скоростью и качеством с помощью разных вариантов квантизации. Ограничения связаны с возможной потерей качества в низкобитных вариантах и отсутствием подробных данных о производительности и сценариях применения. Модель распространяется по лицензии Apache-2.0.