I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельKaballas/T35Model — дообученная Kaballas модель на архитектуре Qwen2 с 7,1 млрд параметров, созданная на основе Kaballas/T21Model. Модель предназначена для генерации текста; в метаданных указан контекст до 131 072 токенов. Разработчик сообщает, что модель обучалась с использованием Unsloth и библиотеки TRL. В метаданных указана поддержка английского языка. Модель распространяется по лицензии Apache-2.0.
Tess-10.7B-v1.5b — универсальная языковая модель из серии Tess, разработанной migtissera. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 10,6 млрд параметров, обученная на базе SOLAR-10.7B. Она предназначена для генерации текста и диалогов; в карточке приведён формат с ролями SYSTEM, USER и ASSISTANT. Модель принимает текст и генерирует текст, поддерживает контекст до 4096 токенов. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не приводит сведений о специализированной области применения или языках обучения, поэтому её следует рассматривать как модель общего назначения без заявленного основного языка.
tevatron-elastic-modernbert-retriever-plain — плотный ретривер, дообученный Utah NLP на базе answerdotai/ModernBERT-base с помощью Tevatron-Elastic. Модель кодирует запросы и документы в представления для информационного поиска; при обучении использовались префиксы query: и passage: и данные rlhn/rlhn-680K. Это базовая полноразмерная точка из набора чекпойнтов Tevatron-Elastic, рассчитанного на настройку рабочих точек по глубине, ширине и сжатию токенов. Для полной конфигурации авторы сообщают nDCG@10 0,476 на BEIR-15. Модель имеет 149 млн параметров и контекст до 8192 токенов; для загрузки и выбора конфигурации требуется фреймворк Tevatron-Elastic. Лицензия — Apache-2.0.
tiledfloor-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная MaziyarPanahi слиянием Mistral-7B-Instruct-v0.2 и Ansoi/tiledfloor методом SLERP. Она предназначена для генерации текста и ответов на инструкции в формате чата. Модель использует плотную архитектуру Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Карточка не описывает специализированные области применения или дополнительные языки.
yunjae-won/Tulu-3.1-3B-SFT — языковая модель для генерации текста и диалогового взаимодействия, опубликованная пользователем yunjae-won на Hugging Face. Модель доступна через библиотеку Transformers и содержит около 3,2 млрд параметров; в метаданных она обозначена тегами llama и conversational. Модель предназначена для генерации продолжений текста, ответов в диалоге и других сценариев, где требуется авторегрессионное создание текста. Она поддерживает контекст длиной до 131 072 токенов, что позволяет работать с длинными запросами и документами. README автоматически сгенерирован и не содержит сведений о разработчиках, обучающих данных, результатах оценки, языках или лицензии. Поэтому качество в конкретных задачах, фактический набор поддерживаемых языков и условия использования по доступным данным определить нельзя.
UForm uform3-image-text-english-small — компактная мультимодальная модель от unum-cloud для кодирования изображений и английского текста в общее векторное пространство. Она предназначена для извлечения признаков, поиска изображений по текстовому запросу и сопоставления изображений с текстами. Лицензия Apache-2.0. Модель использует текстовый энкодер на основе BERT из 4 слоёв, принимающий до 64 токенов, и визуальный энкодер ViT-S/16 для изображений размером 224 × 224. Энкодеры совместно используют два слоя; выходные эмбеддинги имеют размерность до 256. Доступны веса в форматах PyTorch, ONNX и CoreML, включая предварительно квантованные варианты. В карточке приведены результаты zero-shot классификации ImageNet: точность Top-1 36,1%, Top-5 60,8%; для поиска текста по изображениям Recall@10 составляет 86% на Flickr и 64,5% на MS-COCO. Модель компактна и поддерживает совместное представление текста и изображений, но ограничена английским языком, коротким контекстом и входными изображениями 224 × 224; результаты на ImageNet указывают на скромную точность классификации по сравнению с крупными моделями.
Uirapuru U1.1 — экспериментальная языковая модель, разработанная SynastrIA Networks и являющаяся уточнённой версией Uirapuru U1. Это hotfix-релиз, а не новое поколение модели: она была дообучена для усиления идентичности и поведенческого профиля Uirapuru, улучшения рассуждений, добавления новых возможностей, более естественного неформального бразильского португальского и повышения качества выполнения агентских задач. Модель предназначена для AI-ассистентов, разговорных приложений, систем на бразильском португальском, агентских сценариев, автоматизации задач, экспериментов и прототипирования. Она поддерживает португальский и английский языки и работает в режиме text-generation. Архитектура и размер базовой модели, модальности и максимальная длина контекста в README не указаны. U1.1 обучалась без adaptive thinking: целевое поведение рассуждений встроено непосредственно в модель, что должно обеспечивать большую последовательность поведения без отдельного механизма динамического управления процессом размышления. Для дообучения использован LoRA с увеличенным rank. К сильным сторонам относятся более естественный неформальный бразильский португальский, улучшенное следование инструкциям, более стабильная идентичность, обработка многошаговых задач и потенциально более подходящее поведение в агентских рабочих процессах. Ограничения включают экспериментальный статус, риск фактических ошибок и выдуманной информации, ошибки рассуждений, неверную интерпретацию инструкций и нестабильность на сложных задачах. Результаты могут зависеть от формулировки запроса и контекста, а качество на языках, отличных от португальского и английского, может быть ниже. Для практического применения необходимы проверки, защитные меры и человеческий контроль; модель не должна быть единственным источником для решений с высоким воздействием. Лицензия — Apache-2.0.
Это набор GGUF-квантизаций модели v3ray/Llama-3-1-70B-Instruct-base, подготовленный организацией featherless-ai-quants и распространяемый на платформе Hugging Face. Модель относится к задачам генерации текста и предназначена для запуска совместимых языковых моделей в различных вариантах квантования. В набор входят варианты IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Указан размер базовой модели 70B; архитектура, поддерживаемые языки, модальности и размер контекста в README не описаны. Разные уровни квантования позволяют выбирать компромисс между размером файлов, требованиями к ресурсам и вероятным сохранением качества, однако конкретные характеристики производительности не приведены. Размеры вариантов составляют примерно от 25 до 72 ГБ. Модель ориентирована на текстовую генерацию, но точные сценарии применения, ограничения, требования к оборудованию и условия лицензирования в предоставленных данных не указаны. Поэтому перед использованием необходимо проверить лицензию базовой модели v3ray/Llama-3-1-70B-Instruct-base и совместимость выбранного GGUF-варианта с используемым программным обеспечением.
vectorizer.raspberry — векторизатор компании Sinequa для поиска релевантных фрагментов текста. Он преобразует запросы и passages в эмбеддинги: векторы passages сохраняются в векторном индексе, а вектор запроса используется для поиска по этому индексу. Модель построена на XLM-RoBERTa, содержит около 110,2 млн параметров и выдаёт векторы размерности 256. В метаданных указано ограничение контекста в 514 токенов. Модель обучена для сопоставления запросов и фрагментов текста, в том числе с использованием трудных негативных примеров и негативов внутри батча. Она нечувствительна к регистру и диакритическим знакам. Поддерживаемые и оценённые языки — английский, французский, немецкий, испанский, итальянский, нидерландский, японский, португальский и упрощённый китайский; автор также отмечает базовую поддержку других языков предобучения XLM-R. В README приведён средний Recall@100 0,613 на наборах BEIR и результаты MIRACL для части языков. Для запуска README указывает минимальную версию Sinequa 11.10.0 и CUDA compute capability выше 7.5. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
Набор GGUF-квантизованных файлов модели vicgalle/Configurable-Llama-3.1-8B-Instruct, подготовленный командой featherless-ai-quants. Модель предназначена для генерации текста и выполнения инструкций в сценариях, где требуется локальный или совместимый с GGUF запуск. README указывает базовую модель и тег text-generation, но не раскрывает подробности её специфической функциональности. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3,0 до 8,1 ГБ. В основе заявлена архитектура Llama 3.1 с размером 8B и инструкционной настройкой; поддерживаемые модальности, языки и размер контекста в README не указаны. Квантизация позволяет выбирать компромисс между размером файлов и потенциальным качеством, однако конкретные показатели производительности и потери качества не приведены. Лицензия и условия использования в README не указаны. Также отсутствуют сведения о разработчике базовой модели, бенчмарках, требованиях к оборудованию и ограничениях применения.
Virtuoso-Lite-GGUF — это набор GGUF-квантизаций языковой модели Virtuoso-Lite, разработанной arcee-ai и сконвертированной пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста и запуска в локальных приложениях и средах, совместимых с llama.cpp, включая LM Studio. В README также указана поддержка запуска через другие проекты на базе llama.cpp. Точные сведения об архитектуре, количестве параметров, максимальном контексте, языках и поддерживаемых модальностях не указаны. Доступны варианты от исходных полноточных F32-весов размером 41,23 ГБ до сильно сжатых IQ2_S размером 3,32 ГБ. Большинство вариантов созданы с применением imatrix; рекомендуемыми названы, в частности, Q4_K_M, Q5_K_M, Q6_K и Q6_K_L. Более высокие уровни квантизации обеспечивают лучшее качество, но требуют больше памяти, тогда как варианты Q2 и Q3 ориентированы на устройства с ограниченным объёмом RAM и характеризуются сниженным качеством. Для работы используется формат prompt: system, user и assistant с соответствующими специальными токенами. Лицензия обозначена как other, однако её конкретные условия в README не приведены, поэтому перед использованием необходимо проверить лицензию исходной модели arcee-ai/Virtuoso-Lite и условия распространения квантизированных файлов.
Это веса визуального энкодера ViT-Huge/14 из семейства DFN CLIP, опубликованные timm. Модель предназначена для извлечения признаковых представлений изображений, которые можно использовать для поиска по изображениям, сравнения визуального сходства и построения мультимодальных систем. Это только энкодер изображений, а не полная модель CLIP с текстовым энкодером.
ViT-L-16-SigLIP-256 — контрастивная модель для сопоставления изображений и текста, обученная командой Big Vision на датасете WebLI и опубликованная timm. Она предназначена для классификации изображений без дообучения: модель сравнивает изображение с текстовыми описаниями классов и оценивает их соответствие. Архитектура включает визуальный энкодер ViT-L/16 с разрешением изображения 256 пикселей и текстовый энкодер SigLIP; веса доступны в форматах PyTorch и Safetensors, библиотека для работы — OpenCLIP. Модель принимает изображения и текстовые описания, а выдаёт оценки сходства, которые можно использовать для выбора наиболее подходящей метки; визуальные эмбеддинги также доступны через timm. Лицензия Apache-2.0. README сообщает о конвертации исходных JAX-чекпойнтов Big Vision в PyTorch, поэтому это конверсия формата, а не новое дообучение.
ViT-L-16-SigLIP-384 — контрастивная модель сопоставления изображений и текста семейства SigLIP, обученная на наборе WebLI. Разработчики преобразовали веса из исходных контрольных точек JAX проекта Big Vision в формат PyTorch; модель можно использовать через OpenCLIP для работы с изображениями и текстом, а через timm — для получения эмбеддингов изображений. Модель предназначена для классификации изображений без обучения на заданных классах: пользователь передаёт изображение и текстовые описания категорий, а модель оценивает соответствие между ними. Репозиторий содержит веса PyTorch и safetensors и распространяется по лицензии Apache-2.0. Модель не является генеративной: она сопоставляет изображения с текстовыми представлениями и подходит для поиска и классификации по текстовым запросам. Результаты зависят от формулировок описаний и обучающих данных WebLI; README не сообщает о поддержке конкретных языков или численных показателях качества.
Модель mazhar00968/wav2vec2-base-scl-common-voice — дообученная версия facebook/wav2vec2-base для автоматического распознавания речи. Она использует архитектуру Wav2Vec2ForCTC и содержит 113,3 млн параметров. Модель принимает аудио и выдаёт распознанный текст. В карточке приведены результаты оценки: loss 1,7258 и WER 0,8720. Описание данных для обучения и целевых сценариев в README не раскрыто, поэтому качество распознавания для конкретных языков и условий записи по этим сведениям оценить нельзя. Модель распространяется по лицензии Apache-2.0.
Это дообученная модель распознавания речи tomascufaro/wav2vec2-large-xls-r-300m-spanish-custom, созданная на основе facebook/wav2vec2-xls-r-300m и обученная на Common Voice. Модель использует архитектуру wav2vec2 с CTC-декодером и принимает аудио, преобразуя речь в текст; заявленная задача — автоматическое распознавание речи. На оценочной выборке указаны loss 0,4426 и WER 0,2117. Модель предназначена для распознавания испанской речи, однако подробности о варианте испанского, настройках аудио и качестве в разных условиях не приведены. Веса опубликованы в формате PyTorch, лицензия — Apache-2.0.
m3hrdadfi/wav2vec2-large-xlsr-lithuanian — акустическая модель распознавания литовской речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на обучающей и валидационной выборках Common Voice. Она принимает аудио с частотой дискретизации 16 кГц и выдаёт распознанный текст; архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров. Модель предназначена для автоматической транскрипции литовской речи, в том числе без отдельной языковой модели. В оценке на тестовых данных Common Voice указана метрика WER 34,66%. Репозиторий содержит веса PyTorch и Flax. Лицензия — Apache-2.0.
Это модель автоматического распознавания речи на бенгальском языке, созданная дообучением facebook/wav2vec2-xls-r-300m командой или автором arijitx на наборе OPENSLR_SLR53. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, преобразуя речь в текст. В метаданных указано 402,8 млн параметров; модель доступна в формате PyTorch. Модель предназначена для транскрибации бенгальской речи. На тестовой выборке без языковой модели автор сообщает WER 0,217 и CER 0,047; с пятиграммовой языковой моделью, обученной на данных AI4Bharat IndicCorp, показатели составили WER 0,153 и CER 0,034. Для использования результата с языковой моделью потребуется соответствующая внешняя языковая модель. Модель распространяется по лицензии Apache-2.0. Оценка проведена на 5% из 10 935 примеров; README приводит неоднозначное описание разбиения, поэтому точную процедуру формирования тестовой выборки следует учитывать при сравнении результатов.
zuazo/whisper-medium-es — модель распознавания речи, созданная дообучением openai/whisper-medium на испанской части набора Mozilla Common Voice 13.0. Она принимает аудио и генерирует текст; предназначена прежде всего для транскрибации испанской речи. Архитектура — Whisper, плотная модель с 455,8 млн параметров. На оценочном наборе указаны loss 0,1915 и WER 5,4088. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0, которая разрешает использование, изменение и распространение с указанием авторства.
Это дообученная модель распознавания речи на базе OpenAI Whisper medium, созданная dianavdavidson. Модель содержит 455,8 млн параметров и принимает аудио, чтобы преобразовывать речь в текст. По названию репозитория она настроена для распознавания хинди; README сообщает о дообучении на неизвестном наборе данных. На оценочном наборе указаны loss 0,2355 и Global WER 26,3949, однако описание набора данных и условий оценки отсутствует. Модель распространяется в формате safetensors через Transformers по лицензии Apache-2.0.
LiteRT Community Whisper Tiny — модель для автоматического распознавания речи, основанная на openai/whisper-tiny. Она предназначена для преобразования аудиозаписей в текст в сценариях автоматического распознавания речи. Из доступных данных известно, что модель относится к классу automatic-speech-recognition и распространяется по лицензии Apache 2.0. Сведения об архитектуре, размере, поддерживаемых языках, модальностях, длине контекста, сильных сторонах и ограничениях в карточке модели не указаны.
Whisper Khmer v9 — дообученная модель распознавания речи на кхмерском языке, созданная на основе openai/whisper-large-v3-turbo. Она предназначена для преобразования кхмерской речи в текст, в том числе при обработке аудио фрагментами до 30 секунд через стандартный конвейер automatic-speech-recognition в Transformers. Модель использует архитектуру Whisper и содержит около 913 млн параметров. Для распознавания применяется специальный объединённый BPE-токенизатор для кхмерского языка с 57 908 токенами. При обучении использовались 11 техник аугментации аудио; вероятность аугментации составляла 0,3. В карточке приведена оценка WER около 22% на чистом наборе проверки на шаге 1200. Модель распространяется по лицензии MIT.
WindyFloLLM — текстовая генеративная модель на архитектуре LLaMA, созданная автором репозитория путём слияния Platypus2-13B и orca_mini_v3_13b методом SLERP с помощью mergekit. Модель содержит 12,9 млрд параметров, распространяется в формате safetensors и рассчитана на контекст до 4096 токенов. Модель предназначена для генерации ответов и выполнения инструкций в текстовом диалоге. В качестве одного из компонентов использована Platypus2-13B — англоязычная инструкция-донастроенная модель, ориентированная в том числе на STEM и логические задачи; README подтверждает использование также orca_mini_v3_13b. Данные не устанавливают отдельную специализацию или качество итогового слияния. Лицензия в предоставленных данных не указана. Как генеративная языковая модель, она может выдавать ошибочные или непроверенные ответы.
yam-jom-7B-slerp — объединённая языковая модель, созданная с помощью LazyMergekit из eren23/ogno-monarch-jaskier-merge-7b-OH-PREF-DPO-v2 и yam-peleg/Experiment26-7B. В основе лежит архитектура MistralForCausalLM с плотной архитектурой и 7,1 млрд параметров; для объединения применён метод SLERP, веса сохранены в формате safetensors. Модель предназначена для генерации текста. Контекст составляет до 32 768 токенов. В карточке приведены результаты Open LLM Leaderboard, включая среднюю оценку 76,45, однако подробности остальных метрик здесь не представлены. Язык модели в карточке не указан. Модель распространяется по лицензии Apache-2.0.
Yi 34B 200K DARE Merge v5 - GGUF — квантизированная версия языковой модели Yi, созданная на основе модели brucethemoose/Yi-34B-200K-DARE-merge-v5. Квантизацию и публикацию GGUF-файлов выполнил TheBloke. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые графические интерфейсы и библиотеки. Модель имеет архитектуру Yi и размер 34 млрд параметров. Указан английский язык; поддерживаемая модальность — текст. Вариант поставляется в формате GGUFv2 с несколькими уровнями квантизации от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации. Для взаимодействия рекомендуется шаблон Orca-Vicuna с секциями SYSTEM, USER и ASSISTANT. README не указывает точный размер контекстного окна, поэтому заявленные 200K в названии нельзя однозначно трактовать как подтверждённый контекст модели. Сильные стороны модели — большой размер, наличие различных уровней квантизации и поддержка локального запуска на CPU и GPU через llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio и другие совместимые инструменты. Ограничениями являются потребность в значительных вычислительных ресурсах для крупных вариантов квантизации, возможная потеря качества при более агрессивном сжатии и отсутствие подробных данных о качестве, обучающих данных и целевых бенчмарках. Лицензия обозначена как yi-license; условия следует уточнять в лицензии исходной модели Yi.
Airolima Chronos Grad L2 13B — это текстовая языковая модель для генерации ответов и ведения диалога, созданная kingbri. Модель представляет собой объединение (merge) проектов Airoboros и Chronos на базе архитектуры Llama 2 с 13 млрд параметров. В данном репозитории опубликованы квантизированные файлы в формате GGUF, подготовленные TheBloke для запуска на CPU и GPU. Модель предназначена для общего текстового общения, генерации и продолжения текста, а также сценариев, поддерживаемых интерфейсами llama.cpp, text-generation-webui, LM Studio, KoboldCpp и другими совместимыми библиотеками. Указан английский язык. Поддерживаются шаблоны запросов Alpaca 2 и Airoboros; рекомендуемый размер контекста и другие параметры инференса в представленном README не указаны. К сильным сторонам относятся относительно крупный размер 13B, совместимость с широким набором локальных инструментов и наличие вариантов квантизации от 2 до 8 бит, позволяющих выбирать компромисс между качеством и требованиями к памяти. Ограничения связаны с тем, что это квантизированная версия, а сведения о результатах тестирования, точности, безопасности и поддерживаемых модальностях отсутствуют; модель является текстовой и не заявлена как мультимодальная. Лицензия указана как llama2.
ArTST ASR v2 — модель распознавания речи от Speech Lab при MBZUAI. Это вариант SpeechT5, дообученный для преобразования арабской речи в текст на наборе данных MGB2; модель доступна для использования через Transformers и хранится в формате safetensors. Модель предназначена для автоматической транскрипции арабской речи. Её можно применять для создания текстовых расшифровок аудиозаписей и построения систем распознавания речи на арабском языке. Карточка указывает, что модель дообучена от предварительно обученной ArTST; базовая модель доступна по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
Augmented-4dab026c0f536a32 — генеративная языковая модель с 6,6 млрд параметров, опубликованная на Hugging Face в формате, совместимом с библиотекой Transformers. В метаданных она отнесена к семейству Llama и предназначена для задачи text-generation. Модель поддерживает контекст длиной до 65 536 токенов, поэтому может применяться для генерации продолжений текста, диалоговых ответов, черновиков и других задач, требующих работы с большими фрагментами контекста. README не содержит сведений о разработчике, обучающих данных, результатах оценки, точном варианте архитектуры, языках поддержки или лицензии. Из-за неполноты карточки нельзя надежно оценить качество модели, ее специализацию и пригодность для конкретных прикладных сценариев. Перед использованием необходимы собственное тестирование, проверка поддерживаемых языков и уточнение условий лицензирования.
Baichuan-13B-Instruction — версия Baichuan-13B, дообученная разработчиком AlpachinoNLP для выполнения инструкций. Это плотная авторегрессионная языковая модель класса BaichuanForCausalLM с 12,9 млрд параметров; в базовой архитектуре Baichuan-13B используются 40 слоёв, 40 голов внимания и позиционные смещения ALiBi. Модель предназначена для генерации ответов и выполнения текстовых инструкций, в том числе на китайском и английском языках. Модель подходит для диалоговых демо, ответов на вопросы и других задач генерации текста. В README описаны инструкции по запуску и квантированию int8/int4; заявленная максимальная длина последовательности базовой Baichuan-13B составляет 4096 токенов. README сообщает о дообучении на отобранных китайских инструкционных данных, включая ShareGPT и LIMA. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.
Baichuan-M2-32B-GGUF — это набор квантизированных и полноразмерных BF16-весов модели Baichuan-M2-32B, разработанной baichuan-inc и преобразованной в формат GGUF пользователем bartowski. Квантизация выполнена с использованием llama.cpp версии b6115 и метода imatrix; доступны варианты от BF16 и Q8_0 до Q3 и IQ3/IQ4 с различным соотношением качества, размера и требований к памяти. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В README не указаны архитектурные детали, поддерживаемые языки, контекстное окно, мультимодальность или рекомендуемый prompt format, поэтому эти характеристики нельзя достоверно определить по представленным данным. Доступны файлы размером примерно от 13,7 до 65,5 ГБ; варианты Q6_K и Q6_K_L отмечены как обеспечивающие почти максимальное качество, а Q4_K_M — как компромиссный вариант для большинства сценариев. Основные преимущества — широкий выбор уровней квантизации, возможность локального использования и применение imatrix для сохранения качества при уменьшении размера. Более компактные варианты требуют меньше оперативной памяти, но могут заметно уступать в качестве; низкобитные версии Q3 и IQ3 имеют ограничения и не всегда рекомендуются. Лицензия в README не указана, поэтому условия использования необходимо уточнять на странице исходной модели baichuan-inc/Baichuan-M2-32B.