I.6Перевод и языковая адаптация

Это GGUF-квантизация модели grimjim/Llama-3-Instruct-8B-SimPO-SPPO-Iter3-merge, подготовленная featherless-ai-quants. Модель относится к семейству Llama 3 Instruct, предназначена для генерации текста и использования в диалоговых и других текстовых сценариях. Из README следует, что базовая модель имеет размер 8B параметров, однако сведения об архитектуре, языках, размере контекста и исходном разработчике не указаны. Репозиторий предоставляет несколько вариантов квантизации GGUF: от Q2_K и Q3_K до Q8_0, а также IQ4_XS. Они различаются размером файлов — примерно от 3 до 8 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Конкретные показатели производительности и качества в README не приведены, поэтому сильные стороны модели можно оценить только как практическую доступность различных уровней квантизации; возможное снижение качества при более агрессивной квантизации остается ограничением. Лицензия и условия использования в README не указаны. Сведения о поддерживаемых модальностях ограничены текстовой генерацией; данные о работе с изображениями, аудио или другими типами входов отсутствуют.

KR-X-AI выпустила дообученную языковую модель Qwen2.5-7B-Instruct для генерации текста и диалогов. Модель основана на unsloth/qwen2.5-7b-instruct-bnb-4bit и обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. Она предназначена для генерации ответов в чате; в метаданных также указана поддержка интерфейса вызова инструментов. Указан английский язык. Модель распространяется под лицензией Apache-2.0. Карточка не сообщает специализированную область применения или результаты оценки качества.

Это квантизированная версия llama-3-70B-Instruct-abliterated в формате GGUF, подготовленная пользователем bartowski на основе модели failspy/llama-3-70B-Instruct-abliterated. Квантизация выполнена с помощью llama.cpp версии b2854 и метода imatrix. Модель предназначена для генерации текста в диалоговом и инструкционном формате, включая локальный запуск через совместимые инструменты llama.cpp. Модель относится к семейству Llama 3 и содержит 70B параметров, однако README не указывает точную архитектуру, поддерживаемые языки, размер контекстного окна или набор модальностей. Доступны варианты квантизации от Q8_0 до Q2 и IQ2–IQ4, различающиеся размером файлов и качеством: от 74,97 ГБ у Q8_0 до 21,14 ГБ у IQ2_XS. В README рекомендуются, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; более компактные варианты требуют меньше памяти, но обычно снижают качество. Сильной стороной являются разнообразие квантизаций, возможность локального использования и сохранение высокого качества у вариантов Q6_K и Q5. Ограничения связаны с существенными требованиями к памяти для 70B-модели, потерей качества в низкобитных вариантах и отсутствием подробных сведений о результатах тестирования, языках и контекстном окне. Для корректного общения следует использовать указанный в README шаблон prompt format с системным, пользовательским и ассистентским сообщениями. Указана лицензия llama3; дополнительные условия следует уточнять в файле LICENSE исходной модели.

Это модель brunopio в формате GGUF, конвертированная с использованием llama.cpp из HF1BitLLM/Llama3-8B-1.58-100B-tokens. В качестве базовой модели также указан meta-llama/Meta-Llama-3-8B-Instruct. Модель предназначена для локального запуска задач генерации текста и диалогового вывода через llama.cpp, включая работу в командной строке или в режиме сервера. Ключевая характеристика — размер базовой модели 8B; в названии и исходной модели также указано обозначение 1.58 и обучение на 100B токенов, однако README не раскрывает их техническую интерпретацию, точную архитектуру, размер файла, параметры квантования, поддерживаемые языки и максимальную длину контекста. Для запуска требуется llama.cpp; в примере сервера задан контекст 2048 токенов, но не указано, является ли это предельным значением модели. Лицензия в README не указана, поэтому условия использования необходимо уточнять у автора и разработчиков базовых моделей.

Llama-3-Yggdrasil-8B-GGUF — это набор GGUF-квантизированных версий языковой модели Llama-3-Yggdrasil-8B. Исходную модель разработал Locutusque; она создана на основе объединения моделей NousResearch/Meta-Llama-3-8B, NousResearch/Meta-Llama-3-8B-Instruct, Locutusque/Llama-3-Hercules-5.0-8B и Locutusque/llama-3-neural-chat-v2.2-8b. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp и совместимые инструменты. Доступны варианты с разным балансом качества, размера и требований к памяти: от Q8_0 размером 8,54 ГБ до сверхкомпактного IQ1_S размером 2,01 ГБ. Наиболее рекомендуемыми в карточке названы варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; низкобитные варианты экономят память, но заметно уступают по качеству. В карточке не указаны точная архитектура в технических деталях, максимальный контекст, поддерживаемые языки и результаты benchmark-тестов. Также не задан chat template, поэтому приведённый формат приглашений может быть неточным и требует проверки по исходной карточке модели. Модель распространяется по лицензии Llama 3; условия исходных компонентов и совместимость конкретного варианта следует дополнительно проверять перед использованием.

Sakalti/mine-3B — диалоговая языковая модель Sakalti на архитектуре Qwen2, дообученная на базе Sakalti/light-3b-beta. Она предназначена для генерации текста в чат-сценариях; в метаданных также отмечен интерфейс вызова инструментов. Модель содержит 3,1 млрд параметров, принимает текст и имеет контекстное окно до 131 072 токенов. Карточка сообщает, что обучение выполнялось с Unsloth и библиотекой TRL. Репозиторий содержит веса в формате safetensors. Лицензия в README указана как Apache-2.0, тогда как метаданные классифицируют её как other.

MISCHIEVOUS-12B-Mix_0.4v — объединённая языковая модель на архитектуре Mistral, созданная bamec66557 методом SLERP с помощью mergekit. В объединение вошли bamec66557/mergekit-slerp-xjlmywj и bamec66557/MISCHIEVOUS-12B-Mix_0.3v; размер модели — 12,1 млрд параметров. Модель предназначена для генерации текста и диалогового общения, а также предоставляет интерфейс для вызова инструментов. Модель принимает текст и выдаёт текст. В метаданных заявлены английский и корейский языки и контекст длиной до 1 024 000 токенов. Репозиторий содержит веса в формате safetensors; README также упоминает вариант GGUF Q4_K_M. Лицензия — Apache-2.0. Метаданные помечают модель как неподходящую для всех аудиторий;具体ные ограничения в карточке не раскрыты.

MaziyarPanahi/Mistral-7B-Instruct-v0.2-GGUF — это набор файлов модели в формате GGUF для Mistral-7B-Instruct-v0.2, разработанной Mistral AI (mistralai) и преобразованной в квантизированный формат MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Базовая модель имеет 7 миллиардов параметров и относится к семейству Mistral Instruct. В репозитории доступны варианты квантизации с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством. Формат GGUF поддерживается llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими инструментами. README не содержит сведений о языках, размере контекста, точной архитектуре или результатах оценки качества. Основные преимущества — возможность локального запуска, широкий выбор уровней квантизации и поддержка GPU-ускорения в совместимых приложениях. Ограничения связаны с потерей части качества при более агрессивной квантизации, а также с необходимостью выбирать подходящий GGUF-файл и программную среду. Модель распространяется по лицензии Apache-2.0.

Это квантизированная GGUF-версия языковой модели NVIDIA Nemotron-3.5 Lightning 30B-A3B, подготовленная ijohn07 конвертацией исходных весов NVIDIA для запуска через llama.cpp. Модель предназначена для генерации текста и может использоваться в локальном CLI или сервере llama.cpp. В метаданных указаны языки английский, испанский, французский, немецкий, итальянский и японский, а базовая модель описана как предназначенная для диалога, рассуждений и оценки. Репозиторий содержит формат GGUF BF16; README называет конверсию в GGUF, но не приводит конкретных характеристик Q3_K_M, поэтому степень квантизации по доступным сведениям установить нельзя. Лицензия исходной модели обозначена как other; перед использованием следует свериться с условиями исходной карточки NVIDIA.

Ocean-OCR — мультимодальная языковая модель примерно на 3,1 млрд параметров из семейства Ocean, предназначенная для распознавания текста на изображениях и других задач OCR. В карточке авторы описывают её как модель 3B и заявляют высокие результаты в различных сценариях распознавания текста при сопоставимом с общими моделями уровне понимания обычных задач. Модель использует Native Resolution ViT, чтобы принимать изображения с переменным разрешением, и обучалась на большом наборе OCR-данных. Метаданные указывают архитектуру OceanForCausalLM, формат PyTorch и контекст 8192 токена; также заявлены чат и интерфейс вызова инструментов. В карточке указаны английский и китайский языки. Лицензия в предоставленных данных не указана.

bartowski/open-thoughts_OpenThinker2-32B-GGUF — это набор квантованных GGUF-версий модели OpenThinker2-32B, разработанной open-thoughts. Квантование выполнено bartowski с использованием llama.cpp release b5035 и метода imatrix на основе датасета OpenThoughts2-1M. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio, а также для непосредственного использования через llama.cpp и производные проекты. Модель содержит 32 миллиарда параметров и распространяется в вариантах от BF16 до различных уровней квантования Q8, Q6, Q5, Q4 и Q3, включая форматы IQ. Размер файлов составляет примерно от 14,39 до 65,54 ГБ. Более высокие уровни квантования обеспечивают качество, близкое к исходной модели, но требуют больше памяти; варианты Q4_K_M и IQ4_XS предлагают компромисс между качеством и требованиями к ресурсам. Поддерживаемые модальности, языки и размер контекста в README не указаны. Для работы рекомендуется использовать формат prompt с ролями system, user и assistant через специальные токены ChatML. Сильными сторонами являются локальный запуск, широкий выбор квантований и совместимость с экосистемой llama.cpp. Ограничения включают необходимость значительных объёмов оперативной или видеопамяти для крупных вариантов, возможное снижение качества у низкобитных квантований и отсутствие в предоставленных данных результатов оценки. Модель и квантованные файлы распространяются по лицензии Apache-2.0.

Orca 2 7B — языковая модель Microsoft, представленная в квантованном формате GGUF компанией TheBloke. Это текстовая модель генерации на базе архитектуры типа Llama с примерно 7 млрд параметров, предназначенная для локального запуска и диалогового взаимодействия. Модель использует шаблон запросов ChatML с системными и пользовательскими сообщениями. Репозиторий содержит варианты квантования от 2 до 8 бит, рассчитанные на инференс с использованием CPU и GPU. Формат GGUF совместим с llama.cpp и рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие решения. Разные уровни квантования позволяют выбирать компромисс между требованиями к памяти, скоростью работы и сохранением качества, однако конкретные характеристики контекстного окна, поддерживаемые языки и результаты оценки в README не указаны. Модель подходит для локальной генерации текста и чат-сценариев при наличии совместимого программного обеспечения. Ограничения включают отсутствие в предоставленных данных подробностей о мультимодальности, языковом покрытии, контекстном окне и специализированных возможностях. Лицензия обозначена как other, но её конкретные условия в README не приведены.

Qwen2.5-32B-ArliAI-RPMax-v1.3-GGUF — это GGUF-квантизации текстовой генеративной модели Qwen2.5-32B-ArliAI-RPMax-v1.3, разработанной ArliAI. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix; модель предназначена для локального запуска и генерации текста, в том числе через LM Studio. Для работы используется формат диалогового промпта с ролями system, user и assistant. Модель имеет размер 32B параметров и доступна в вариантах от исходных весов F16 размером около 65,54 ГБ до квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ. В README указаны размеры файлов, приблизительные характеристики качества и варианты, оптимизированные для ARM-процессоров. Наиболее качественными названы F16, Q8_0 и Q6_K_L/Q6_K; Q4_K_M обозначен как вариант типового размера для большинства сценариев, а низкоразрядные варианты подходят системам с ограниченным объёмом оперативной памяти. Сильная сторона набора — широкий выбор компромиссов между качеством, размером и требованиями к оборудованию, а применение imatrix должно помогать сохранять качество при квантизации. Ограничения включают значительные требования к памяти даже для компактных вариантов; некоторые ARM-оптимизированные файлы требуют поддержки sve или i8mm и не предназначены для Mac или Windows. Сведения о языках, длине контекста, точной архитектуре, мультимодальности и специализированных возможностях в README не указаны. Лицензия — Apache-2.0.

PollardWeights/Qwen2.5-7B-Instruct-Pollard — это квантизированная версия Qwen/Qwen2.5-7B-Instruct, подготовленная PollardWeights с использованием метода Pollard Weights. Модель предназначена для генерации текста и диалоговых сценариев; поддерживает текстовый ввод и использует шаблон ChatML, встроенный в метаданные GGUF. В README указан английский язык. Модель построена на архитектуре qwen2 и содержит примерно 7,6 млрд параметров. Доступны варианты GGUF с разным размером и уровнем сжатия: от Q6_K размером около 6,25 ГБ до IQ1_KT размером около 2,04 ГБ. Квантизация использует измеренное распределение битов по чувствительности слоёв и calibration imatrix. Вариант Q6_K обеспечивает качество, близкое к f16, а IQ4_XS обозначен как рекомендуемый вариант по соотношению размера и качества. Основное преимущество модели — значительное уменьшение требований к памяти при сохранении пригодного качества, что упрощает локальный запуск в llama.cpp, Ollama и LM Studio. При этом более агрессивные варианты квантизации заметнее снижают качество: для IQ1_KT в тесте WikiText-2 perplexity была на 56,7% выше эталона f16. IQ1_KT требует ik_llama.cpp, тогда как Q6_K, IQ4_XS и IQ3_S работают в стандартных сборках llama.cpp. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-7B-Ins-v3-GGUF — это квантизированная версия текстовой генеративной модели happzy2633/qwen2.5-7b-ins-v3, подготовленная пользователем bartowski в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев; в README также указан запуск через LM Studio. Рекомендуемый формат промпта использует специальные маркеры ролей system, user и assistant. Доступны варианты от исходных весов F16 размером 15,24 ГБ до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и Q2, включая форматы IQ. Более высокие уровни обычно сохраняют лучшее качество, а компактные варианты подходят для систем с ограниченным объёмом оперативной памяти. Для ARM-процессоров предлагаются специальные варианты Q4_0, требующие поддержки sve или i8mm; некоторые из них не рекомендуются для Mac и Windows. Модель относится к классу 7B, однако точные сведения об архитектуре, поддерживаемых языках, максимальном контексте, мультимодальности, результатах тестирования и ограничениях исходной модели в предоставленном README отсутствуют. Лицензия также не указана, поэтому условия коммерческого и иного использования необходимо уточнять на странице исходной модели.

Arm/qwen3-5-2b-q4-k-m-ggml-llama-cpp-vivo-x300 — оптимизированная для мобильных CPU на базе Arm версия Qwen3.5-2B, разработанного командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста в среде llama.cpp и поставляется в формате GGUF с квантизацией Q4_K_M. Оптимизация ориентирована на платформы Arm с поддержкой SME2; эталонные измерения выполнены на смартфоне vivo X300 под управлением Android 16 и OriginOS 6. Модель содержит около 2 млрд параметров и сохраняет 24 основных transformer-блока исходной модели. GGUF включает необходимые словарь, merges и chat template, поэтому внешние файлы токенизатора не требуются. В комплект также входит отдельный vision projector в формате f16, однако он не квантизирован, не тестировался и не учитывался в приведённых результатах, поэтому подтверждённые характеристики относятся только к текстовому декодеру. Языки и размер контекстного окна в карточке не указаны. К сильным сторонам относятся существенное уменьшение размера модели до 1215,36 МБ, снижение требований к памяти и ускорение инференса на совместимых Arm-устройствах: 22,09 токена в секунду и 983,29 мс до первого токена против 7,87 токена в секунду и 6346,48 мс у f16-базовой версии. На тесте MMLU Redux в режиме 0-shot точность составила 62,4578%, что на 1,44 процентного пункта ниже исходной модели. Реальная производительность зависит от устройства, настроек и температурного режима, поэтому перед использованием в продуктивных сценариях необходима проверка на собственных данных. Модель распространяется по лицензии Apache-2.0.

DavidAU/Qwen3-8B-64k-Context-2X-Josiefied-Uncensored — текстовая генеративная модель на архитектуре Qwen3ForCausalLM с 7,6 млрд параметров, подготовленная DavidAU на основе Goekdeniz-Guelmez/Josiefied-Qwen3-8B-abliterated-v1. Автор указывает, что контекст увеличен с 32 768 до 65 536 токенов с помощью метода YaRN. Модель рассчитана на диалоговую генерацию и рассуждения; в репозитории доступны веса safetensors для прямого использования или подготовки квантованных вариантов. Модель подходит для продолжительных диалогов, работы с длинными текстовыми запросами и ролевых сценариев. Для «мышления» и генерации ответа автор рекомендует выделять 8–16 тысяч токенов контекста. Указаны шаблоны Jinja и ChatML. В метаданных заявлен интерфейс вызова инструментов, однако README не описывает его настройку. Сведения о лицензии в предоставленных данных отсутствуют.

ilintar/qwen3.8-flash-next-gguf-strix-halo — это GGUF-квантизация модели Qwen3.8-Flash-Next, предназначенная для генерации текста. Базовая модель относится к семейству Qwen; в README указано 176,94 млрд параметров, формат квантования IQ4_NL и общий объём весов 93,16 GiB в девяти файлах. Модель поддерживает английский язык, рассчитана на текстовые задачи и имеет обученный контекст до 262 144 токенов. Архитектура обозначена как qwen4exp и включает рекуррентный gated delta-net, разреженное lightning-indexer attention и поуровневые embeddings. В комплект входит отдельная draft head размером 2,6 GB в формате Q8_0 для ускорения генерации. Ключевой сценарий использования — запуск на одном AMD Ryzen AI Max+ с Radeon 8060S, архитектурой gfx1151 и 128 GB unified memory. Для работы необходимы специальная ветка strix-halo проекта llama.cpp и соответствующие ROCm/HIP-ядра; upstream-версия llama.cpp не подходит. Модель демонстрирует высокую скорость предварительной обработки контекста: около 1152 токенов/с при пустом контексте и около 1060 токенов/с на глубине 40 000 токенов. Скорость генерации ниже — примерно 24 и 15 токенов/с соответственно. Решение экспериментальное, требует точной конфигурации загрузчика и практически использует значительную часть unified memory, поэтому доступный объём памяти ограничивает работу с KV-кэшем и вычислительными буферами. Качество проверялось сравнением perplexity с эталонным стеком, публичные benchmark-результаты не указаны. Лицензия — Apache-2.0.

Qwen3-VL-32B-Instruct-ultra-uncensored-heretic-GGUF — мультимодальная instruct-модель в формате GGUF, разработанная независимым автором llmfan46 на основе Qwen/Qwen3-VL-32B-Instruct. Это декензурированная версия, созданная с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA), с целью существенно уменьшить количество отказов при сохранении исходных возможностей модели. Модель предназначена для задач понимания и генерации текста по текстовым и визуальным входным данным, включая ответы на вопросы, анализ изображений и общее мультимодальное рассуждение. Размер модели — 32B параметров. Точная поддержка языков и размер контекстного окна в README не указаны. Доступны варианты квантования BF16, Q8_0, Q6_K, Q5_K_M и другие сборки GGUF, рассчитанные на разные компромиссы между качеством, размером и требованиями к ресурсам. Ключевая особенность модели — значительно меньшее число отказов: в приведённом сравнении она отказала в 4 из 100 случаев против 99 из 100 у исходной модели. При этом на PIQA точность составила 92,87% против 93,09% у оригинала, а на MMLU — 79,87% против 82,44%, что указывает на некоторое снижение результатов в отдельных задачах. Декензурированный характер может быть преимуществом для исследовательских и творческих сценариев, но одновременно означает меньшие встроенные ограничения безопасности и необходимость дополнительного контроля при использовании. В метаданных указана лицензия Apache-2.0, однако приведённая ссылка на лицензию ведёт к документации Gemma; условия использования следует проверить отдельно для базовой модели и производной версии.

Qwen-Qwen3.8-27B-MTPLX — модель генерации текста, созданная на основе Qwen/Qwen3.8-27B и адаптированная для Apple Silicon с использованием MLX. Модель разработана в формате MTPLX командой или проектом MTPLX Forge и предназначена для локального запуска на устройствах Apple Silicon. Модель использует подход multi-token prediction, позволяющий предсказывать несколько токенов за один шаг и ускорять генерацию по сравнению с авторегрессионным базовым режимом. Указан размер базовой модели 27B параметров. Модель поддерживает текстовый ввод и вывод; сведения о языках, размере контекста и дополнительных модальностях в README не приведены. По данным верификации, лучший режим имеет глубину D3, а ускорение относительно авторегрессионной базовой модели составляет 2,24 раза. Проверка проводилась на Apple M4 Pro с параметрами семплирования temperature 0,6, top_p 0,95 и top_k 20. Ограничения включают зависимость от экосистемы MLX и целевых устройств Apple Silicon, а также отсутствие подробных данных о качестве на бенчмарках и совместимости с другими платформами. Условия лицензирования в README не раскрыты: предлагается обратиться к файлу LICENSE.

Qwen_Qwen3-VL-32B-Instruct-GGUF — это GGUF-квантизированная версия мультимодальной instruct-модели Qwen3-VL-32B-Instruct, разработанной Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач image-text-to-text: обработки изображений и текстовых запросов с генерацией текстовых ответов. В набор входят варианты весов от исходного BF16 размером 65,53 ГБ до компактных квантизаций Q3 и Q4, а также высококачественные Q5, Q6 и Q8. Рекомендуемыми названы Q6_K_L, Q6_K, Q5 и Q4_K_M; выбор варианта позволяет найти компромисс между качеством и требованиями к памяти. Для запуска предлагаются LM Studio, llama.cpp и совместимые проекты. В README не указаны языки, размер контекста, точная архитектура, поддерживаемые форматы изображений и лицензия, поэтому эти характеристики нельзя надёжно определить по представленным данным.

T3qm7xNeuralsirkrishna_NeuralExperiment26 — объединённая языковая модель семейства Mistral, созданная на основе automerger/T3qm7xNeuralsirkrishna-7B и automerger/NeuralExperiment26-7B. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и распространяется в формате safetensors. Модель предназначена для генерации текста и диалогов; контекстное окно составляет до 32 768 токенов. Карточка не уточняет специализацию по языкам или предметным областям. Лицензия — Apache-2.0.

Tiger-Gemma-9B-v1-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Tiger-Gemma-9B-v1, разработанной TheDrummer и подготовленной для распространения пользователем bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix, применяющего калибровочный датасет для сохранения качества при уменьшении размера весов. Модель предназначена для локального запуска и генерации текста через совместимые инструменты, включая llama.cpp. Доступны варианты от F32 размером около 36,97 ГБ до низкоразрядных Q2 и IQ2 размером около 3,43–4,03 ГБ; также представлены промежуточные варианты Q3–Q8 и IQ. Более крупные квантизации обычно обеспечивают более высокое качество, а компактные подходят для систем с ограниченным объёмом оперативной памяти. В README рекомендуются, в частности, варианты Q4_K_M, Q5, Q6 и IQ4_XS. Известно, что это модель класса Gemma с примерно 9 млрд параметров и поддержкой текстового ввода и вывода. Для диалогов требуется специальный формат prompt с маркерами начала и конца хода пользователя и модели. Системный prompt модель не поддерживает. Языки, размер контекстного окна и дополнительные архитектурные характеристики в предоставленных данных не указаны. Лицензия исходной модели и условия использования данной сборки также не указаны, поэтому перед применением необходимо проверить их отдельно.

Nachuwu/wav2vec2-fleur-mms-batch6-epoch16 — модель автоматического распознавания речи на архитектуре Wav2Vec2, дообученная на базе facebook/mms-1b-FL102 на наборе данных audiofolder. Модель принимает аудио и выдаёт распознанный текст; карточка сообщает о размере 1,3 млрд параметров. На оценочной выборке указаны loss 0,9813 и WER 0,4603. Эти значения описывают только приведённую оценку и не гарантируют качество на других данных. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.

Lguyogiro/wav2vec2-large-mms-1b-azz-adapter-ilv-all_data — дообученная на наборе audiofolder модель распознавания речи, созданная на основе facebook/mms-1b-all. Она использует архитектуру wav2vec2 с классификационной головой CTC и содержит 1,3 млрд параметров. Модель принимает аудио и преобразует речь в текст; базовая модель поддерживает более тысячи языков, но язык или языки, на которых рассчитан этот конкретный чекпойнт, в доступных данных не определены. На тестовом наборе указаны WER 0,2867 и CER 0,0886. Эти значения описывают результаты только на данном наборе и не гарантируют качество на других аудиозаписях. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

wav2vec2-xls-r-1b-dv — модель распознавания речи на архитектуре Wav2Vec2ForCTC, дообученная на базе facebook/wav2vec2-xls-r-1b на датасете Common Voice. Она преобразует аудио в текст и предназначена для автоматической транскрипции речи. В README приведены результаты на оценочном наборе: loss 0,1702 и WER 0,2123. Модель содержит 1,3 млрд параметров, опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. В карточке указана связь с Common Voice 8.0; метаданные также содержат тег «dv», но не позволяют достоверно установить язык аудио. Сведения о длине контекста и дополнительных сценариях применения отсутствуют.

jlvdoorn/whisper-large-v3-atco2-asr-atcosim — дообученная модель семейства Whisper, созданная на базе openai/whisper-large-v3. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. В карточке приведены результаты оценки: loss 0,1039 и WER 22,2698; сведения о наборе данных и сценариях обучения не раскрыты. Модель содержит около 905,2 млн параметров и распространяется в формате safetensors по лицензии Apache-2.0.

Whisper Small — модель OpenAI для автоматического распознавания речи, преобразованная в формат OpenVINO IR. Веса сжаты до INT8 с помощью NNCF; модель содержит около 153,1 млн параметров и предназначена для запуска через OpenVINO, Optimum Intel, OpenVINO GenAI или OpenVINO Model Server. Модель решает задачу преобразования англоязычной аудиозаписи в текст и подходит для транскрибации записей, голосовых сообщений и аудиопотоков. Поддерживается интеграция с CPU и совместимыми ускорителями OpenVINO, а также использование через OpenAI-совместимый API при развертывании в OpenVINO Model Server. Ключевые характеристики включают архитектуру Whisper Small, представление OpenVINO IR и асимметричное сжатие весов INT8 с размером группы 128. К преимуществам относятся уменьшенный размер весов и возможность эффективного инференса в экосистеме OpenVINO. Модель ориентирована на английский язык; ограничения исходной модели описаны в оригинальной карточке Whisper Small. Распространяется по лицензии Apache-2.0.

YamshadowInex12_YamshadowT3q — слитая модель для генерации текста, созданная MaziyarPanahi на основе automerger/YamshadowInex12-7B и automerger/YamshadowT3q-7B. Она построена на плотной архитектуре Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации продолжений и ответов на текстовые запросы. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

YamshadowStrangemerges_32_YamExperiment26 — объединённая модель для генерации текста, созданная на основе automerger/YamshadowStrangemerges_32-7B и automerger/YamExperiment26-7B. Она использует плотную архитектуру Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста в сценариях, где требуется обрабатывать длинные запросы и контекст. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.