III.4Клиентская поддержка и customer success
В разделе собраны самостоятельные задачи, где AI помогает быстрее решать обращения и предупреждать проблемы клиентов. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
9 831 модельL3.3-Cu-Mai-R1-70b — текстовая чат-модель, созданная SteelSkull методом SCE merge на базе TheSkullery/L3.1x3.3-DS-Hydroblated-R1-70B-v4.1. В состав также вошли EVA-LLaMA-3.33, Euryale-v2.3, Cirrus-x1, Hanami-x1, Anubis-v1 и Negative_LLAMA. Модель построена на плотной архитектуре Llama и содержит 69,5 млрд параметров; её контекст — до 131 072 токенов. Модель рассчитана на диалог, творческое письмо, создание сцен и подробных описаний, а также задачи, где важны следование инструкциям, связность и рассуждения. В карточке отмечены естественный стиль прозы и диалога, улучшенная связность и сниженная повторяемость. Разработчик указывает, что рассуждения зависят от корректного промптинга; некоторые пользователи отмечают небольшое снижение интеллектуальных возможностей относительно исходной модели. Доступны веса в формате Safetensors по лицензии Llama 3.3.
Llama-3.1-8B-ArliAI-RPMax-v1.3-GGUF — это набор квантованных версий текстовой генеративной модели Llama-3.1-8B-ArliAI-RPMax-v1.3, разработанной ArliAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; распространение осуществляется в формате GGUF для локального запуска, в частности через LM Studio. Модель предназначена для генерации текста и диалоговых сценариев. Доступны варианты от полноразмерных F16 весов размером 16,07 ГБ до компактных квантовок Q3 и IQ3 размером около 3,78–4,78 ГБ. Для большинства сценариев предлагаются Q4_K_M, Q5- и Q6-варианты как компромисс между качеством и требованиями к памяти; некоторые варианты оптимизированы для ARM, но требуют соответствующих аппаратных инструкций и не рекомендуются для Mac или Windows. В основе лежит архитектура Llama 3.1 с 8 млрд параметров, однако сведения о поддерживаемых языках, размере контекста, обучающих данных, специализированных возможностях и результатах тестирования в README не указаны. Модель ориентирована на текстовую модальность и не предназначена для обработки изображений или других типов данных. Условия использования обозначены лицензией llama3.1.
Это GGUF-квантизированная версия инструкционной языковой модели Llama 3.1 8B Instruct Uz, базовая модель которой разработана behbudiy, а квантизацию выполнил mradermacher. Модель обучалась с использованием наборов yahma/alpaca-cleaned, behbudiy/alpaca-cleaned-uz и behbudiy/translation-instruction и ориентирована прежде всего на узбекский и английский языки. Модель предназначена для генерации текста по инструкциям, ответов на вопросы, суммирования и перевода. Она поддерживает распространённый формат GGUF и поставляется в нескольких вариантах квантизации размером примерно от 3,3 до 16,2 ГБ, включая Q2_K, IQ3, Q4_K, Q5_K, Q6_K, Q8_0 и f16. В README не указаны точный размер контекста, мультимодальные возможности, результаты тестирования или конкретные аппаратные требования. Основное преимущество — возможность локального запуска при выборе компактных вариантов квантизации; версии Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, а Q8_0 — как вариант с лучшим качеством среди представленных. Более сильная квантизация уменьшает требования к памяти, но может снижать качество по сравнению с f16. Модель распространяется по лицензии llama3.1.
QuantFactory/Llama-3-ELYZA-JP-8B-GGUF — квантизированная версия большой языковой модели Llama-3-ELYZA-JP-8B, созданная с использованием llama.cpp. Базовую модель разработала ELYZA, Inc.; она основана на Meta Llama 3 8B Instruct и дополнительно обучена для работы с японским языком с помощью предварительного обучения и instruction tuning. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в роли японоязычного ассистента, ответы на вопросы и выполнение текстовых инструкций. Поддерживаются японский и английский языки. Архитектура и исходный размер соответствуют базе Llama 3 8B Instruct; конкретный тип и параметры квантизации в README не указаны. Формат GGUF ориентирован на запуск через llama.cpp. К сильным сторонам относятся адаптация к японскому языку, instruction tuning и возможность использования квантизированной версии в средах, совместимых с llama.cpp. Ограничения и точные требования к аппаратному обеспечению, длина контекста, мультимодальные возможности и характеристики квантизации в предоставленных данных не описаны. Модель распространяется по лицензии Meta Llama 3 Community License.
M7Yamshadowexperiment28_Experiment26Yam — объединённая языковая модель, созданная на основе automerger/M7Yamshadowexperiment28-7B и automerger/Experiment26Yam-7B. Модель построена на архитектуре Mistral с плотной структурой и содержит 7,1 млрд параметров. Она предназначена для генерации текста и поддерживает контекст длиной до 32 768 токенов. Модель распространяется в формате Safetensors по лицензии Apache-2.0. README не описывает специальные сценарии применения, языки или результаты оценки качества.
M7Yamshadowexperiment28_Experiment28Experiment26 — слитая текстовая модель семейства Mistral, опубликованная MaziyarPanahi. Она объединяет модели automerger/M7Yamshadowexperiment28-7B и automerger/Experiment28Experiment26-7B и предназначена для генерации текста; карточка не уточняет специализацию или конкретные сценарии применения. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В репозитории представлены веса safetensors. Языки не определены по доступным данным. Лицензия — Apache-2.0.
Magnum v3 9B CustomGemma2 — текстовая генеративная модель Anthracite, созданная полным дообучением Google Gemma 2 9B. Она рассчитана на диалоги и генерацию прозы с целью приблизить качество письма к Claude 3 Sonnet и Opus. Модель поддерживает системные инструкции через формат CustomGemma2 и использует архитектуру Gemma2ForCausalLM с 9 млрд параметров и контекстом до 8192 токенов. Модель подходит для интерактивного письма и ролевых диалогов, ответов на запросы и других сценариев генерации текста. В README приведены оценки на отдельных бенчмарках, но они не гарантируют качество для конкретных задач. Модель распространяется под лицензией Gemma; применяются её условия использования.
abacaj/mistral-7b-sft — текстовая генеративная модель на архитектуре Mistral, опубликованная пользователем Hugging Face abacaj. Модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста. Карточка содержит разделы о запуске инференса и обучении, но не описывает конкретную специализацию или сценарии применения. Данные указывают на поддержку английского языка; формат весов — PyTorch. Лицензия и подробные ограничения применения в предоставленных материалах не описаны.
Ik45/nllb-en-id-finetuned — дообученная двунаправленная модель перевода английского и индонезийского языков, основанная на facebook/nllb-200-distilled-600M и разработанная для специализации NLLB на этой языковой паре. Она использует архитектуру M2M100 типа encoder-decoder и содержит около 290,3 млн параметров по метаданным; в README описаны сокращение словаря и дообучение с оптимизатором GaLore. Модель предназначена для перевода текстов в направлениях английский → индонезийский и индонезийский → английский. Для этих направлений README приводит результаты на FLORES-200 devtest: sacreBLEU 42,71 и 37,87 соответственно. Метаданные указывают контекст до 1024 токенов, а README отмечает оптимальное качество для последовательностей до 256 токенов. Модель опубликована в формате safetensors под лицензией Apache-2.0. Модель специализировалась на общей тематике английско-индонезийских текстов. Сокращённый словарь и настройка на одну языковую пару могут ухудшить перевод других языков, редких имён, смешанной англо-индонезийской речи, новых слов и сленга; для технических, юридических и медицинских материалов может потребоваться дополнительная настройка. При генерации нужно задавать корректный идентификатор целевого языка через forced_bos_token_id.
Petite Elle L’Aime 3 — дообученная компанией Tonic многоязычная причинная языковая модель на архитектуре SmolLM3 с 3,1 млрд параметров. Она предназначена для генерации текста и диалогов; README описывает оценку на французских тестах понимания языка, рассуждений, математики и ответов на вопросы. Модель дообучена на наборе legmlai/openhermes-fr, указанном в README как франкоязычный DPO-датасет размером 800 тысяч примеров. По метаданным контекст модели составляет 4096 токенов; README приводит другое значение — 128 тысяч, поэтому фактический предел контекста следует проверять для используемой конфигурации. В метаданных заявлены английский, французский, испанский, итальянский, португальский, китайский, арабский и русский языки. Репозиторий использует Transformers и содержит веса в форматах PyTorch и safetensors; README также упоминает варианты int4-квантизации, которые могут снижать точность. Лицензия — Apache-2.0. README сообщает о результатах на отдельных французских тестах, но сводная таблица показывает более низкий средний результат, чем у базовой SmolLM3-3B. Как и другие языковые модели, она может давать фактически неверные ответы и наследовать смещения обучающих данных.
ClaudioItaly/Pulzar-DPO-7 — объединённая языковая модель, созданная ClaudioItaly с помощью mergekit методом SLERP на основе ClaudioItaly/Evolutionstory-7B-v2.2 и flammenai/flammen15-gutenberg-DPO-v1-7B. Это плотная модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста; каталог базовой модели связывает её с ролевыми диалогами, творческим письмом и задачами общего назначения. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.
QueenLiz-120B — объединённая Noodlz языковая модель на архитектуре Llama с плотной причинной языковой моделью LlamaForCausalLM. Автор создал её как линейное слияние моделей alchemonaut/QuartetAnemoi-70B-t0.0001 и lizpreciatior/lzlv_70b_fp16_hf с помощью mergekit. Модель содержит 120,1 млрд параметров и рассчитана на контекст до 32 764 токенов. Модель предназначена для генерации текста и может использоваться для диалогов, написания и продолжения текстов. Автор отмечает, что для запуска может потребоваться мощное оборудование. Доступны веса в формате safetensors; в карточке также упомянуты отдельные сборки GGUF Q4_K_M и iMat. Лицензия указана как non-commercial-research-only, поэтому коммерческое использование не разрешено.
Qwen3.6-35B-A3B-Slovenian — дообученная MediaAtlas мультимодальная модель на архитектуре Qwen3.5 MoE, созданная на основе Qwen/Qwen3.6-35B-A3B. В ней около 35 млрд параметров и 3 млрд активных параметров; веса bf16 объединяют продолженное предобучение и SFT-адаптер, а также сохраняют тензоры MTP для спекулятивного декодирования. Модель предназначена для диалогов и рассуждений на словенском языке, работы со знаниями и перевода между английским и словенским. В тестах авторов она улучшила результаты базовой модели на словенском бенчмарке и в переводе EN↔SL. Она принимает изображения благодаря сохранённому визуальному энкодеру базовой модели, но дообучение проводилось только на текстах, а понимание изображений на словенском отдельно не оценивалось. README предупреждает, что прямой запуск весов bf16/fp16 в текущей версии Transformers даёт некорректный результат; авторы рекомендуют загрузку в 4-битном NF4 через bitsandbytes или вариант GGUF. Лицензия репозитория указана как other, поэтому условия использования следует уточнять по карточке модели; базовая модель Qwen распространяется по Apache-2.0.
RIFA-PRO — двуязычная разговорная текстовая модель семейства RIFA, разработанная и поддерживаемая SM Shahbaj. Модель предназначена для генерации текста и диалоговых сценариев на английском языке и бангла (бенгальском), включая работу в качестве универсального AI-ассистента. Модель содержит около 3 млрд параметров и распространяется в форматах Safetensors и GGUF, совместимых с Transformers, LM Studio, Ollama и llama.cpp. Архитектура и размер контекста в README не указаны. Для GGUF доступны варианты квантования от Q3_K_M до F16; Q5_K_M отмечен как рекомендуемый, а Q4_K_M и Q3_K_M подходят для систем с небольшим объёмом VRAM. К сильным сторонам относятся поддержка английского и бенгальского языков, диалоговая специализация, относительно компактный размер и возможность локального запуска. Модель не относится к передовым моделям большого масштаба, может галлюцинировать, поэтому важные сведения необходимо проверять. Для единообразного поведения и брендинга рекомендуется использовать системную инструкцию из README. Модель распространяется по лицензии Apache 2.0.
GrayLine-Qwen3-14B-GGUF — квантизированная версия текстовой генеративной модели GrayLine-Qwen3-14B, разработанной soob3123 и подготовленной в формате GGUF пользователем bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, прямых ответов, информационного поиска и задач, связанных с общими знаниями. В метаданных она обозначена как unfiltered и uncensored, однако конкретные поведенческие характеристики и результаты тестирования не приведены. Модель относится к семейству Qwen3 и имеет размер 14 млрд параметров. Она работает с текстом и заявлена для английского языка. Доступны варианты от исходных BF16-весов размером 29,54 ГБ до низкоразрядных квантов, включая рекомендуемый Q4_K_M размером 9 ГБ, а также более качественные Q5 и Q6. Квантизированные файлы можно запускать через LM Studio, llama.cpp и другие совместимые проекты; для взаимодействия используется формат шаблона чата с ролями system, user и assistant. Сильной стороной модели является широкий выбор уровней квантизации, позволяющий выбирать между качеством ответов, требованиями к памяти и скоростью работы. Ограничения связаны с тем, что это текстовая модель только для английского языка, а квантизация может снижать качество по сравнению с исходной версией, особенно в компактных вариантах. Лицензия — Apache-2.0.
NVIDIA FastConformer-Hybrid Large (es) — модель автоматического распознавания испанской речи, разработанная NVIDIA и обученная с использованием инструментария NeMo. Она принимает монофоническое аудио WAV с частотой 16 кГц и возвращает расшифровку в виде текста с заглавными и строчными буквами, пробелами, точками, запятыми и испанскими вопросительными знаками. Модель основана на архитектуре FastConformer с уменьшением временной размерности свёрточными слоями в 8 раз. Это крупная модель примерно на 115 млн параметров с гибридным обучением по функциям потерь Transducer и CTC; доступны оба режима декодирования. Она обучалась на составном наборе испанской речи, включающем Fisher, MCV12, MLS и VoxPopuli, и предназначена для транскрибации речи общего назначения. Качество может снижаться на технической лексике, непривычных разговорных вариантах и акцентированной речи. Модель выводит ограниченный набор знаков препинания: точку, запятую и испанские вопросительные знаки. Лицензия — CC BY 4.0.
Unichat-llama3-Chinese-8B — диалоговая модель генерации текста, выпущенная AI-инновационным центром China Unicom. Это модель семейства Llama 3 с плотной архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров, дообученная всеми параметрами на китайских инструкционных данных. Она предназначена для вопросов и ответов на китайском языке и поддерживает диалоговые сценарии; в примерах также показаны решение математических задач и подготовка предложений для разных отраслей. Модель сохраняет исходный контекст длиной 8192 токена. В карточке заявлены китайский и английский языки, формат весов PyTorch и лицензия Apache-2.0. Ответы могут содержать ошибки; примеры в карточке не гарантируют точности, а медицинские и другие профессиональные ответы требуют проверки специалистом.
Vigogne 2 70B Chat — крупная диалоговая языковая модель на архитектуре Llama 2, разработанная bofeng huang; в системном промпте также указано, что модель создана при участии Zaion Lab. Данная версия распространяется TheBloke в формате GGUF и предназначена для генерации текста, общения и выполнения инструкций, прежде всего на французском языке. Модель содержит около 70 миллиардов параметров и относится к семейству LLM для text-generation. GGUF-файлы поддерживают квантование от 2 до 8 бит, что позволяет запускать модель с использованием CPU и GPU через llama.cpp и совместимые приложения, включая text-generation-webui, LM Studio, KoboldCpp и другие. Конкретный размер контекста в README не указан. К сильным сторонам относятся большой размер модели, диалоговая настройка, ориентация на французский язык и наличие нескольких уровней квантования для выбора компромисса между требованиями к памяти и качеством. Ограничения связаны с тем, что это текстовая модель без заявленной поддержки изображений или других модальностей, а характеристики качества, наборы данных и подробные результаты оценки в README не приведены. Модель распространяется по лицензии Llama 2.
maywell/Yi-Ko-34B-Instruct — 34-миллиардная языковая модель Junbum Lee (Beomi), основанная на семействе Yi-Ko. Это авторегрессионный трансформер с архитектурой на основе Llama 2, представленный в формате Transformers и дообученный для общения: после дальнейшего обучения на корейском корпусе применялись SFT и DPO. Модель принимает текст и генерирует текст; для диалогов указаны шаблон ChatML и контекст до 4096 токенов. Модель рассчитана прежде всего на генерацию ответов на корейском и английском языках. Расширенный словарь SentencePiece содержит 78 464 токена, включая добавленную корейскую лексику; в карточке также приведены результаты на корейских языковых тестах. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией и документацией репозитория. Это крупная модель на 34B параметров, требующая значительных вычислительных ресурсов; приведённые бенчмарки сами по себе не гарантируют качество для конкретных сценариев.
Aitana-2B-S-base-1.0-i1-GGUF — это GGUF-квантизированная версия базовой языковой модели Aitana-2B-S-base, разработанной GPLSI и опубликованной mradermacher. Квантизация выполнена mradermacher с использованием weighted/imatrix-подхода; доступны варианты с разными типами квантизации и размером примерно от 1,0 до 2,0 ГБ. Модель предназначена для генерации и обработки текста, включая сценарии на валенсийском и каталанском языках, а также испанском и английском. В обучении использовались наборы данных alia_dogv, alia_les_corts, alia_amic, alia_boua и alia_tourism. README не содержит сведений об архитектуре, размере контекста, точной структуре модели или поддержке других модальностей, поэтому её следует рассматривать как текстовую языковую модель без подтверждённой мультимодальности. Основное преимущество представленной версии — возможность запуска в компактном формате GGUF и выбора компромисса между качеством, скоростью и потреблением памяти. Рекомендуемыми вариантами названы i1-Q4_K_M и i1-Q4_K_S; низкобитные варианты могут заметно уступать в качестве, тогда как более крупные варианты требуют больше памяти. Модель распространяется по лицензии Apache-2.0.
Arcee-VyLinh — компактная языковая модель на 3,1 млрд параметров от Arcee AI для диалога, выполнения инструкций и генерации текста с упором на вьетнамский язык. Модель создана на основе Qwen2.5-3B и Qwen2.5-3B-Instruct: после дообучения на вьетнамских данных и итеративной оптимизации предпочтений её объединили с базовой инструктивной моделью. Используются плотная архитектура Qwen2, библиотека Transformers и формат safetensors. Модель принимает текст на вьетнамском и английском языках, поддерживает контекст до 32 768 токенов и предназначена для чата, ответов на вопросы, дополнения текста, создания и суммаризации материалов. По данным карточки, она показывает сильные результаты на сложных задачах на вьетнамском при компактном размере. Возможны галлюцинации в вопросах о культурно-специфических темах и сниженное качество в узкоспециализированных технических областях. Лицензия — Apache-2.0.
Azzurro — языковая модель команды Moxoff, дообученная методом SFT с настройками LoRA на базе Mistral-7B-v0.2. Это плотная авторегрессионная модель класса MistralForCausalLM с 7,1 млрд параметров, предназначенная для диалоговой генерации текста и ответов с учётом контекста. Разработчики указывают среди сценариев применение в RAG и задачах, где нужно сохранять контекст; обучение проводилось на общедоступных наборах, включая SQUAD-it, и внутренних данных. Модель принимает текст и генерирует текст, поддерживает итальянский и английский языки. Контекстное окно составляет 32 768 токенов. Для запуска в README приведён стек Transformers и PyTorch. Модель оценивали на наборах Open Ita LLM Leaderboard; средняя оценка в карточке — 0,52. По заявлению авторов, модель не прошла RLHF-выравнивание и не использует фильтрацию ответов, поэтому может выдавать проблемный контент, особенно по соответствующему запросу. Лицензия — MIT.
slauw87/bart_summarisation — англоязычная модель суммаризации диалогов, разработанная на основе BART и обученная с помощью Amazon SageMaker. Она предназначена для создания краткого пересказа беседы; в README приведён пример диалога и оценки ROUGE. Модель имеет архитектуру BART с 252,8 млн параметров, принимает текст и выдаёт текст. Максимальная длина контекста — 1024 токена. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Модель подходит для краткого изложения переписок и разговоров на английском языке. В карточке указано обучение на датасете SAMSum. Приведённые метрики относятся к оценке на наборе, использованном автором; README не описывает отдельные проверки на других типах текста.
Это дообученная модель BERT для ответов на вопросы, созданная на основе google-bert/bert-base-multilingual-cased. Она предназначена для извлечения ответа из предоставленного текста по заданному вопросу и поддерживает архитектуру BertForQuestionAnswering. Модель содержит 205,1 млн параметров, принимает текстовые входные данные и обучена работать с контекстом длиной до 512 токенов. В README приведены результаты оценки: exact match 72,4 и F1 75,50. Датасет обучения не раскрыт, поэтому эти показатели не позволяют судить о качестве на конкретных языках или предметных областях. Базовая модель многоязычная, но языки и сценарии специализации этого дообучения не уточнены. Модель распространяется по лицензии Apache-2.0.
vnktrmnb/bert-base-multilingual-cased-FT-TyDiQA-GoldP_Te — дообученная модель на архитектуре BERT для извлечения ответов на вопросы из предоставленного текста. Она основана на google-bert/bert-base-multilingual-cased и содержит 205,1 млн параметров. Модель принимает вопрос и контекст на вход и предсказывает фрагмент контекста в качестве ответа; максимальная длина контекста составляет 512 токенов. Модель предназначена для задач question answering. В README приведены результаты обучения и валидации после двух эпох, включая точность предсказания начальных и конечных позиций ответа; подробности набора данных и сценариев применения не раскрыты. Поддержка языков унаследована от многоязычной базовой модели BERT, однако целевые языки этой настройки явно не перечислены. Модель распространяется по лицензии Apache-2.0.
savasy/bert-base-turkish-sentiment-cased — модель анализа тональности турецких текстов на основе BERTurk. Это BERT-модель с головой классификации последовательностей, содержащая 137,8 млн параметров; она принимает текст и относит его к одному из двух классов тональности, обозначенных LABEL0 и LABEL1. В примерах карточки LABEL1 соответствует положительной тональности, а LABEL0 — отрицательной. Модель предназначена для классификации отзывов и комментариев на турецком языке, в том числе пакетной обработки строк из TSV-файлов. Максимальная длина контекста составляет 512 токенов. Доступны веса в форматах PyTorch, Flax и Safetensors. В карточке не приведены сведения о лицензии, поэтому условия использования по ней определить нельзя.
code_bagel_llama-3-8b-v1.1 — дообученная текстовая модель, разработанная jlancaster36 на базе mattshumer/Llama-3-8B-16K. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом до 16 000 токенов, предназначенная для генерации текста. Модель обучалась с использованием Unsloth и библиотеки TRL; карточка не раскрывает конкретную специализацию дообучения, поэтому её возможности следует рассматривать как генерацию текста общего назначения. Поддерживаемый язык карточки — английский. Модель подходит для создания и продолжения текстов, а также для ответов в текстовых сценариях, где требуется обработка длинного контекста. Она распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или более подробных сведений о поведении модели.
DarkSapling-V2-Ultra-Quality-7B-GGUF — текстовая генеративная модель, разработанная DavidAU на основе Dark Sapling V2 7B, созданной TeeZee. Модель предназначена для следования инструкциям, рассуждений, творческого письма, сторителлинга, ролевого взаимодействия и генерации художественных текстов с нюансами и эмоциональной выразительностью. Модель имеет размер 7B параметров, распространяется в формате GGUF и поддерживает контекст до 32 000 токенов. В README указана поддержка английского языка и текстовая модальность. Доступны различные квантизированные версии; автор утверждает, что ремастеринг и 32-bit upscale повышают качество, особенно в вариантах Q4KM, Q6 и Q8, однако различия между квантизациями могут быть заметны прежде всего в творческих сценариях и задачах без однозначного ответа. Сильными сторонами заявлены улучшенное следование инструкциям, рассуждение, глубина, нюансированность и эмоциональность, а также более эффективное использование контекста. Ограничения включают зависимость качества от выбранной квантизации и оборудования, а также отсутствие подробных независимых оценок в представленном README. Модель распространяется по лицензии Apache-2.0.
EXAONE-3.5-32B-Instruct-GGUF — это набор GGUF-квантизованных версий языковой модели EXAONE-3.5-32B-Instruct, разработанной LGAI-EXAONE. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в диалоговом режиме, включая запуск через LM Studio и другие совместимые инструменты. Модель содержит 32 миллиарда параметров и поддерживает английский и корейский языки. В репозитории доступны варианты от полноразмерного F16 весом около 64 ГБ до квантизаций Q3, Q4, Q5, Q6, Q8 и IQ различных размеров. Более качественные варианты требуют больше оперативной или видеопамяти, тогда как Q3 и некоторые IQ-варианты рассчитаны на системы с ограниченными ресурсами. Для взаимодействия используется специальный шаблон prompt с ролями system, user и assistant. Сильной стороной репозитория является широкий выбор квантизаций, позволяющий подобрать баланс между качеством, размером и производительностью; варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M рекомендован как типичный компромисс. Ограничения включают отсутствие информации о размере контекста, архитектуре базовой модели, мультимодальности, результатах тестирования и системных требованиях. Лицензия указана как proprietary/other с названием exaone; перед использованием необходимо ознакомиться с условиями, приведёнными в файле LICENSE.
MaziyarPanahi/Experiment26Yam_Experiment28Experiment29 — объединённая модель генерации текста на архитектуре Mistral, созданная слиянием automerger/Experiment26Yam-7B и automerger/Experiment28Experiment29-7B. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и работы с длинными текстовыми запросами в сценариях, поддерживаемых базовыми моделями. Карточка не описывает специализированную предметную область или дополнительные возможности. Репозиторий содержит веса в формате Safetensors; лицензия — Apache-2.0.