Hy-MT2-30B-A3B-uncensored-heretic-GGUF

Модель ориентирована прежде всего на задачи машинного перевода и обработки текста; в описании также указаны признаки uncensored, decensored и abliterated. Заявлена поддержка китайского, английского, французского, португальского, испанского, японского, турецкого, русского, арабского, корейского, тайского, итальянского, немецкого, вьетнамского, малайского, индонезийского, тагальского, хинди, польского, чешского, нидерландского, кхмерского, бирманского, персидского, гуджарати, урду, телугу, маратхи, иврита, бенгальского, тамильского, украинского, тибетского, казахского, монгольского и уйгурского языков. Архитектура, максимальный контекст, точное назначение обозначения 30B-A3B и наличие мультимодальных возможностей в README не раскрыты.

Модель доступна в нескольких вариантах квантования размером примерно от 11,2 до 32,1 ГБ. Более компактные варианты требуют меньше памяти, но могут уступать в качестве; Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант очень хорошего качества, а Q8_0 — как наиболее качественный среди перечисленных. Это позволяет выбирать компромисс между требованиями к ресурсам, скоростью и качеством, однако количественные результаты тестирования перевода и других задач не приведены. Файлы распространяются по лицензии Apache-2.0; для работы требуется совместимое ПО, поддерживающее формат GGUF.