II.10Разработка и эксплуатация AI/ML-систем

Magistral-Small-2506-GGUF — это GGUF-квантизированная версия языковой модели Magistral Small, разработанной Mistral AI. Файл подготовлен пользователем lmmy на основе llama.cpp, а распространением модели в рамках Community Model Program занимается сообщество LM Studio. Модель предназначена для генерации текста и задач, связанных с рассуждением, включая диалоговые сценарии, ответы на вопросы и обработку текстовых запросов. Модель поддерживает контекст длиной до 49 152 токенов и работает в формате GGUF, совместимом с llama.cpp и приложениями, использующими этот формат, включая LM Studio. В README не указаны точный размер модели, конкретная конфигурация архитектуры, поддерживаемые языки и модальности, а также параметры используемой квантизации. К сильным сторонам относятся большой контекст и возможность локального запуска через совместимое программное обеспечение. К ограничениям относятся потенциальное снижение качества из-за квантизации и отсутствие подробных данных о производительности, языковой поддержке и требованиях к оборудованию. Модель распространяется по лицензии Apache-2.0; при использовании следует учитывать, что она может генерировать неточные, вредные или неподходящие результаты.

Marcoroni 70B GGUF — это квантизированная версия большой языковой модели Marcoroni 70B, разработанной AIDC-ai-business и преобразованной в формат GGUF пользователем TheBloke. Модель основана на архитектуре Llama и предназначена для генерации текста по инструкциям, включая диалоговые и другие задачи обработки естественного языка. В карточке указано, что модель обучалась с использованием набора данных Open-Orca и поддерживает английский язык. Модель имеет около 70 миллиардов параметров; доступны варианты GGUF с разной разрядностью квантования — 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между качеством, требованиями к памяти и скоростью работы. Формат поддерживается llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и candle, с возможностью CPU- и GPU-инференса. В качестве шаблона запросов используется формат Alpaca. К сильным сторонам относятся возможность локального запуска и широкий выбор уровней квантования. Ограничения включают высокие требования к ресурсам для 70B-модели, зависимость характеристик от выбранной квантованной версии и отсутствие в предоставленных данных сведений о размере контекста, мультимодальности и подробных результатах оценки. Указана лицензия CC BY-NC 4.0; кроме того, заявляется применимость условий лицензии Meta Llama 2, поэтому коммерческое использование может быть ограничено и требует проверки совместимости лицензий.

Это 4-битная версия Meta-Llama-3.1-405B-Instruct, преобразованная сообществом mlx-community из формата исходной модели в формат MLX с помощью mlx-lm 0.16.0. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 408 млрд параметров; она предназначена для генерации текста и диалогового использования на устройствах Apple Silicon, поддерживающих MLX. Модель принимает текстовые запросы и выдаёт текст. Контекстное окно составляет до 131 072 токенов. В карточке указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Качество и удобство локального запуска зависят от доступных вычислительных ресурсов; 4-битное представление снижает требования к памяти по сравнению с полной точностью. Модель распространяется по лицензии Llama 3.1, условия которой следует соблюдать при использовании.

Ministral-3-14B-Reasoning-2512-Uncensored-i1-GGUF — квантизированная версия модели Ministral-3-14B-Reasoning-2512-Uncensored. Базовую модель разработал ccharnkij, а квантизацию выполнил mradermacher. Модель распространяется в формате GGUF и предназначена для локального запуска с использованием совместимых инструментов. Модель рассчитана на генерацию текста и задачи рассуждения, а также поддерживает обработку изображений вместе с текстом. Заявлены размер 14B параметров, мультимодальность и поддержка английского языка. В репозитории представлены варианты квантизации i1-IQ и i1-Q с размером файлов примерно от 3,4 до 8,3 ГБ; варианты различаются компромиссом между требованиями к памяти, скоростью и качеством. Для vision-функций могут потребоваться отдельные mmproj-файлы из статического репозитория. Сильными сторонами являются локальный запуск, широкий выбор уровней квантизации и сочетание текстовых, визуальных и reasoning-сценариев. Ограничения включают возможное снижение качества при агрессивной квантизации, неизвестные в README размер контекста и архитектурные детали, а также отсутствие заявленных языков помимо английского. Модель распространяется по лицензии Apache-2.0.

Eric111/Mistral-7B-Instruct-v0.2_openchat-3.5-0106 — диалоговая языковая модель, созданная слиянием Mistral AI и OpenChat с помощью mergekit. В слиянии использован метод SLERP; базовая модель — Mistral-7B-Instruct-v0.2, а веса сохранены в формате bfloat16. Модель предназначена для генерации текста в диалоге и ответов на инструкции. Она содержит 7,1 млрд параметров, построена на плотной архитектуре Mistral и поддерживает контекст до 32 768 токенов. Лицензия — Apache-2.0.

Модель vicky4s4s/Mixtral-instruct-56B — разговорная языковая модель на архитектуре Mixtral, опубликованная Vignesh. Карточка описывает её как instruct-версию Mixtral-8x7B: разреженную Mixture of Experts для генерации текста и диалога. Метаданные указывают 7,1 млрд параметров и контекст до 32 768 токенов; доступны веса в safetensors и интерфейс чата. Модель предназначена для диалоговых ответов и генерации текста по инструкциям. В карточке приведён пример использования через Transformers и шаблон диалога Mixtral. Языковые метки охватывают английский, французский, итальянский, немецкий и испанский; датасеты карточки включают UltraChat 200K и LLaVA-Instruct-150K. Лицензия — Apache-2.0. В README отмечено, что веса происходят из оригинального релиза Mixtral, но формат и имена параметров изменены; также указана несовместимость с прямой инициализацией через Hugging Face Transformers. Модель не имеет встроенных механизмов модерации, поэтому её ответы могут требовать внешних ограничителей. Название репозитория заявляет 56B, однако метаданные указывают 7,1 млрд параметров, поэтому размер описан по метаданным.

MotherEarth-1.15 — объединённая языковая модель от MotherEarth, созданная методом SLERP с помощью mergekit на основе MotherEarth/MotherEarth-Storm-1.0-8B и MotherEarth/Sauerkraut-Proverbs-8B. Модель построена на архитектуре Llama с плотной структурой и предназначена для генерации текста и диалогового общения. В репозитории указаны веса в формате safetensors; метаданные сообщают о 7,5 млрд параметров и контекстном окне до 131 072 токенов. Для запуска используется библиотека Transformers. Дата публикации — 22 сентября 2024 года. Лицензия в предоставленных данных не указана.

Omega AI 14B — диалоговая языковая модель семейства Omega AI, основанная на дообученной Qwen/Qwen3-14B. Это плотная причинная модель архитектуры Qwen3 с 14 млрд параметров; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и диалогов, а метаданные также указывают интерфейс вызова инструментов. Контекст составляет 40 960 токенов. Модель подходит для диалоговых помощников и генерации ответов на текстовые запросы. README называет её рабочим кандидатом, но не приводит результатов оценки качества или подробных рекомендаций по применению. Условия использования и атрибуции исходной модели Qwen3-14B сохраняются; отдельная лицензия Omega AI в карточке не указана.

pic_7B_mistral_Full_v0.2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением Mistral AI и TokenBender. В README указан метод слияния SLERP, а метаданные относят архитектуру к плотным моделям Mistral с классом MistralForCausalLM. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Её можно применять для чат-ботов, составления текстов и ответов на вопросы в текстовом интерфейсе. В README перечислены исходные модели и настройки слияния; данные о поддерживаемых естественных языках и специализированных областях применения не приводятся. Лицензия — Apache-2.0.

google/pix2struct-base — предварительно обученная модель Pix2Struct, разработанная Google и представленная в экосистеме Hugging Face. Это архитектура «визуальный энкодер — текстовый декодер», обученная преобразовывать изображения в текст; веса предназначены для дообучения под конкретные задачи. Модель рассчитана на визуальное понимание содержимого изображений, включая подписи к изображениям и ответы на вопросы по ним. Предобучение нацелено на разбор замаскированных снимков веб-страниц в упрощённый HTML; подход охватывает сигналы, связанные с OCR и описанием изображений. Вход может иметь переменное разрешение, а языковые подсказки и вопросы могут быть представлены на изображении. Карточка перечисляет документы, иллюстрации, пользовательские интерфейсы и обычные фотографии как области последующего применения. Модель не заявлена как готовая универсальная система: для прикладного сценария требуется дообучение. Репозиторий распространяется по лицензии Apache-2.0.

Platyboros-Instruct-7B — разговорная модель Lodrick-the-Lafted на архитектуре Mistral, дообученная на Mistral-7B-Instruct-v0.2 с наборами jondurbin/airoboros-3.2 и garage-bAInd/Open-Platypus в формате Alpaca. Она предназначена для генерации ответов в диалоге и выполнения инструкций; принимает запросы в формате Mistral Instruct или Alpaca. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README приведены результаты оценки на Open LLM Leaderboard, включая показатели по AI2 Reasoning Challenge и HellaSwag. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0.

PP-DocLayoutV2 — лёгкая модель для анализа структуры документов из семейства PaddleOCR, разработанная PaddlePaddle. Она обнаруживает и классифицирует элементы макета, а затем определяет порядок их чтения. Архитектура состоит из детектора RT-DETR и последующей pointer-сети, которая упорядочивает найденные элементы. Модель предназначена для анализа страниц документов и подготовки их структуры для OCR и дальнейшего извлечения информации. Метаданные указывают поддержку английского и китайского языков, а также мультиязычных сценариев. Репозиторий распространяется по лицензии Apache-2.0.

Mungert/Qwen2.5-7B-Instruct-1M-GGUF — это GGUF-версия инструкционной языковой модели Qwen2.5-7B, разработанная Mungert на базе Qwen/Qwen2.5-7B. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск на устройствах с ограниченными ресурсами, локальный инференс на CPU и системах с небольшим объёмом GPU-памяти. В названии заявлена поддержка контекста до 1 миллиона токенов, однако подробные характеристики реализации этого контекста в README не приведены. Модель относится к классу текстовых генеративных моделей, имеет около 7 миллиардов параметров и распространяется в формате GGUF. README также описывает ультранизкобитные варианты квантования с динамическим распределением точности IQ-DynamicGate, ориентированные на снижение потребления памяти; приведённые бенчмарки относятся к Llama-3-8B и не подтверждают показатели именно этой модели. В метаданных указан английский язык. Сильная сторона модели — возможность эффективного локального запуска благодаря квантованию и потенциально большому контекстному окну. Ограничения включают возможное снижение точности при низкобитном квантовании, отсутствие подробных данных об архитектуре, фактическом размере контекста и результатах тестирования именно для Qwen2.5-7B-Instruct-1M-GGUF. Лицензия — Apache-2.0.

HarithSami дообучил эту плотную языковую модель на основе unsloth/qwen2.5-7b-instruct. Она предназначена для генерации текста и диалогового общения; метаданные также указывают интерфейс для вызова инструментов. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README указано, что для обучения использовались Unsloth и библиотека TRL от Hugging Face. Доступны веса в формате safetensors. Лицензия — Apache-2.0. Данные описания не уточняют, на каких именно данных выполнялось дообучение и насколько хорошо модель справляется с конкретными задачами или языками.

unsloth/Qwen2-VL-7B-Instruct-unsloth-bnb-4bit — мультимодальная инструкционная модель, основанная на Qwen/Qwen2-VL-7B-Instruct и опубликованная Unsloth. Она предназначена для задач image-text-to-text: анализа изображений и видео, ответов на вопросы по визуальному содержимому, работы с документами и визуального диалога. Модель также может использоваться в сценариях автоматизации устройств, включая мобильные телефоны и роботов, где требуется интерпретация визуальной среды и текстовых инструкций. Модель содержит 7B параметров и использует 4-битное квантование BnB с динамическим подходом Unsloth, который выборочно сохраняет часть параметров в более высокой точности для улучшения качества при сопоставимом потреблении VRAM. Qwen2-VL поддерживает изображения произвольного разрешения благодаря динамическому числу визуальных токенов, а архитектура M-ROPE обрабатывает текстовые, двумерные визуальные и трёхмерные видеопозиции. Модель способна анализировать видео длительностью более 20 минут и распознавать тексты на английском, китайском, большинстве европейских языков, японском, корейском, арабском и вьетнамском языках. К сильным сторонам относятся мультимодальное понимание изображений и видео, работа с различными разрешениями и соотношениями сторон, а также сниженные требования к памяти благодаря квантованию. Ограничения, включая точный размер контекстного окна и возможные потери качества из-за квантования, в карточке не указаны. Модель распространяется по лицензии Apache-2.0.

Jackrong/Qwen3.5-0.8B-Claude-4.6-Opus-Reasoning-Distilled-GGUF — языковая модель для генерации текста и структурированного рассуждения, созданная Jackrong на основе Qwen/Qwen3.5-0.8B. Она дообучена методом Supervised Fine-Tuning с применением LoRA и Unsloth на отфильтрованных наборах данных с дистиллированными цепочками рассуждений, включая материалы, связанные с Claude Opus, а также специализированные датасеты Qwen. Модель предназначена для офлайн-аналитики, программирования, математики и задач, требующих пошагового логического анализа. Она обучена формировать рассуждение в тегах <think> и затем выдавать итоговый ответ. Заявлена поддержка английского, китайского и корейского языков, текстовый режим работы и контекстное окно до 16 384 токенов. Благодаря небольшому размеру 0,8 млрд параметров модель ориентирована на относительно эффективный локальный запуск, однако README не содержит сведений о конкретной GGUF-квантизации и требованиях к оборудованию. К сильным сторонам относятся структурированное пошаговое рассуждение, обработка многоэтапных задач и снижение избыточных повторов в рассуждениях. Ограничения включают обычный для авторегрессионных моделей риск галлюцинаций и необходимость проверки фактов; заявленные возможности не гарантируют точность решений. Модель обозначена как экспериментальная и предназначенная для обучения, академических исследований и технического изучения. Лицензия — Apache-2.0.

daniloreddy/Qwen3.5-4B_GGUF — набор GGUF-квантизированных версий языковой модели Qwen3.5-4B, разработанной командой Qwen. Модель предназначена для генерации текста и локального запуска на потребительском оборудовании, мобильных и периферийных устройствах, а также системах с ограниченным объёмом памяти. Она совместима с llama.cpp и связанными экосистемами, включая LM Studio, Jan и Text Generation WebUI. В репозитории представлены варианты FP16, Q8_0, Q5_K_M, Q4_K_M и Q4_K_S, полученные из официальных весов FP16 с использованием llama-quantize и K-квантизации. Размер базовой модели составляет 4 млрд параметров. Вариант Q4_K_M рекомендован как компромисс между скоростью и качеством, Q4_K_S ориентирован на минимальное потребление памяти и высокую пропускную способность, а FP16 сохраняет максимальную точность исходных весов. Качество рассуждений, связность и точность ограничены масштабом базовой модели; сведения о поддерживаемых языках, модальностях и исходном размере контекста в README не указаны. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-12B-IQ-Ultra-Heretic-Uncensored-Thinking-V2-Hightop-GGUF — набор GGUF-квантизаций модели, опубликованный KevinJK51 на основе модели DavidAU/Qwen3.6-12B-IQ-Ultra-Heretic-Uncensored-Thinking-V2-Hightop. Модель относится к семейству Qwen, имеет размер 12B и предназначена для генерации текста и рассуждений в локальных и совместимых с GGUF системах инференса. Указанные языки — английский и китайский. Доступны варианты квантизации от Q8_0 размером 11,57 ГБ до Q2_K размером 4,60 ГБ; Q4_K_M обозначен как оптимальный баланс качества и размера. Модель можно использовать через LM Studio, llama.cpp, Ollama и другие GGUF-совместимые движки. Квантизация снижает требования к памяти, но варианты с меньшим размером могут уступать исходной модели по качеству. Сведения о длине контекста, точной архитектуре, поддержке дополнительных модальностей и результатах независимого тестирования не указаны. Лицензия модели — Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-Genesis-NVFP4-GGUF — квантизированная NVFP4-версия мультимодальной модели Qwen3.6-35B-A3B-Uncensored-Genesis. Квантизацию выполнил jan1k с использованием advanced-gguf-quantizer, форка llama.cpp; исходная модель основана на разработках HauhauCS и LuffyTheFox. Это версия Genesis без переноса Hermes-файнтюнинга. Модель предназначена для генерации текста и обработки изображений вместе с текстовыми запросами, при этом для мультимодальной работы требуется отдельный mmproj-файл. Архитектура — MoE qwen35moe: 35 млрд параметров всего, около 3 млрд активных, 40 слоёв и контекст до 262 144 токенов. Указаны английский, китайский и мультиязычный режимы. Рекомендуемый файл v4 занимает около 20 ГБ и использует встроенные UE4M3-масштабы, что обеспечивает совместимость с LM Studio, Pelican и другими средами, поддерживающими этот формат. Сильные стороны модели — большой контекст, мультимодальность, MoE-архитектура с относительно небольшим числом активных параметров и оптимизация NVFP4 для современных GPU. Наилучшая производительность ожидается на видеокартах Blackwell, а на Ampere используется fallback-реализация. Для запуска рекомендуется llama.cpp, максимальная выгрузка на GPU, F16 для K/V-кэша и 8 активных экспертов. Это специализированная квантизированная сборка, поэтому совместимость зависит от поддержки NVFP4 конкретным runtime; версия v2/v3 может выдавать некорректный результат в средах, не поддерживающих отдельные scale-тензоры. Модель распространяется по лицензии Apache-2.0.

Это GGUF-сборка модели Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved, подготовленная cvgro с применением смешанной квантизации APEX. В модели сохранены 20 слоёв MTP для спекулятивного декодирования; README заявляет о возможном ускорении генерации на 20–50% при соответствующих настройках llama.cpp. Модель основана на мультимодальной MoE-модели Qwen3.6-35B-A3B и принимает текстовые и визуальные запросы, выдавая текст. Сборка предназначена для диалога, генерации текста и работы с изображениями. Базовая модель была модифицирована Heretic и MPOA для снижения числа отказов, а эта версия дополнительно упакована в GGUF с вариантами APEX, включая F16. README утверждает, что APEX сохраняет качество при меньшем размере файлов, но приведённые таблицы сравнений в карточке опущены. Репозиторий распространяется по лицензии Apache-2.0. Для запуска README приводит примеры с llama.cpp и Ollama; указанный в примере контекст — 131072 токена. Это рекомендация для запуска, а не подтверждённый метаданными предел контекста модели.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-NVFP4 — это производная NVFP4-квантованная версия модели DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU, размещённая пользователем или организацией esatapedico. Базовая модель, в свою очередь, создана на основе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и запуска через Transformers; заявленная лицензия — Apache 2.0. Модель содержит 64 слоя и использует гибридную архитектуру с GatedDeltaNet, 16 слоями полноценного attention и MTP head для speculative decoding. Контекст составляет 262144 токена. Указана поддержка английского и многоязычного ввода, однако конкретный перечень языков не приведён. Веса линейных слоёв сжаты в формате compressed-tensors NVFP4 по схеме W4A16 с группами размера 16 и масштабами FP8 E4M3; vision tower, linear attention path, lm_head, embeddings и MTP head сохранены в BF16. Калибровочные данные не использовались. Ключевое преимущество — существенное уменьшение размера весов при сохранении отдельных чувствительных компонентов в BF16; файл checkpoint занимает около 26 ГБ. Модель рассчитана на совместимое аппаратное и программное окружение, поддерживающее формат NVFP4 и compressed-tensors, а тег blackwell указывает на ориентированность сборки на соответствующие ускорители. README не содержит результатов бенчмарков, подробных сведений о качестве, системных требованиях или подтверждениях совместимости с конкретными версиями библиотек, поэтому фактические характеристики производительности требуют отдельной проверки.

Qwen3.8-2B — компактная языковая модель, разработанная Empero на основе Qwen3.5-2B. Это полное дообучение с дистилляцией: модель обучена на примерно 30 тысячах отобранных трасс рассуждений более крупной модели Qwen3.8, охватывающих математику, общие рассуждения и следование инструкциям. Модель содержит около 2 млрд параметров и поддерживает контекст до 262 144 токенов. Модель предназначена для генерации ответов и диалогов, решения математических задач и рассуждений, в том числе на периферийных устройствах. Поддерживает интерфейс вызова инструментов по спецификации Qwen3.5. Для инференса подходят Transformers, vLLM и SGLang с поддержкой архитектуры Qwen3.5; для ускоренной работы требуются совместимые CUDA-ядра Gated DeltaNet. Обучение было текстовым; возможности работы с изображениями унаследованы от мультимодальной базовой модели, но не оценивались. По опубликованным тестам модель улучшила результаты базовой Qwen3.5-2B на GSM8K и MMLU, однако небольшой размер ограничивает фактические знания и решение особенно сложных многошаговых задач. При длинной генерации жадное декодирование может приводить к повторениям. Весы доступны по лицензии Apache-2.0; разработчик публикует их для исследований и экспериментов без гарантий.

CognitiveKernel/Qwen3-8B-CK-Pro — языковая модель на архитектуре Qwen3, разработанная в рамках проекта Cognitive Kernel-Pro. Это дообученная версия Qwen/Qwen3-8B с 7,6 млрд параметров, предназначенная для генерации текста и работы в сценариях глубокого исследования с агентами. Авторы дообучили её на самостоятельно собранных траекториях запросов из таблицы 2 статьи Cognitive Kernel-Pro. Модель поддерживает диалог и интерфейс вызова инструментов. В README приведены результаты на наборе GAIA: Pass@1/3 — 32,7%/38,2% на полном dev-наборе и 40,3%/49,3% на текстовой подвыборке. Контекст — до 40 960 токенов; доступны веса в формате Safetensors, для работы заявлена библиотека Transformers. Лицензия обозначена как other, поэтому конкретные условия использования следует сверить с карточкой модели и файлами лицензии.

INCModel3/Qwen3.8-Flash-Next-MXFP4-Mixed-CT-AutoRound — смешанный вариант модели Qwen3.8-Flash-Next, подготовленный Intel с помощью AutoRound и сохранённый в формате llm_compressor. Экспертные слои MLP квантизованы до 4 бит с типом данных MXFP; README также указывает MXFP8 для остальных слоёв, кроме перечисленных исключений. Репозиторий содержит веса Safetensors и предназначен для работы через Transformers. Модель рассчитана на диалоговые задачи с текстом и изображениями, поддерживает интерфейс вызова инструментов. Подходит для ответов на вопросы по изображениям и текстового общения. README предупреждает, что ответы могут содержать фактические ошибки, предвзятость или оскорбительный контент; перед развёртыванием рекомендуется проверка безопасности. Следует соблюдать лицензию исходной модели; репозиторий указывает лицензию other.

Это GGUF-квантизированная версия языковой модели Qwen3-235B-A22B-Thinking-2507, разработанной Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и сценариев, требующих рассуждений; запуск возможен через llama.cpp, LM Studio и другие совместимые проекты. Архитектура и точные характеристики исходной модели, включая число активных параметров, контекст, поддерживаемые языки и модальности, в представленном README не описаны. Указано обозначение 235B-A22B, а также наличие множества вариантов квантования от Q8_0 до Q2_K и IQ-квантов. Размер файлов составляет примерно от 83,33 до 249,94 ГБ. Более качественные варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M отмечены как рекомендуемые, тогда как низкобитные варианты экономят память, но снижают качество. Основные преимущества модели — доступность высококачественных квантований и возможность локального запуска на совместимом оборудовании. Ограничения связаны с очень большим размером файлов и зависимостью качества от выбранного типа квантования. Лицензия в README не указана.

Qwen_Qwen3-VL-32B-Instruct-GGUF — это GGUF-квантизированная версия мультимодальной instruct-модели Qwen3-VL-32B-Instruct, разработанной Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач image-text-to-text: обработки изображений и текстовых запросов с генерацией текстовых ответов. В набор входят варианты весов от исходного BF16 размером 65,53 ГБ до компактных квантизаций Q3 и Q4, а также высококачественные Q5, Q6 и Q8. Рекомендуемыми названы Q6_K_L, Q6_K, Q5 и Q4_K_M; выбор варианта позволяет найти компромисс между качеством и требованиями к памяти. Для запуска предлагаются LM Studio, llama.cpp и совместимые проекты. В README не указаны языки, размер контекста, точная архитектура, поддерживаемые форматы изображений и лицензия, поэтому эти характеристики нельзя надёжно определить по представленным данным.

Qwen_Qwen3-VL-8B-Instruct-GGUF — это набор GGUF-квантизаций мультимодальной модели Qwen3-VL-8B-Instruct, разработанной Qwen и подготовленной пользователем bartowski. Модель предназначена для задач, где требуется обработка текста и изображений, включая диалоговое взаимодействие и генерацию ответов по мультимодальным запросам. Квантизированные файлы рассчитаны на запуск через llama.cpp, LM Studio и другие совместимые проекты. Базовая модель имеет размер 8B параметров; в наборе представлены варианты от BF16 до 2-, 3-, 4-, 5-, 6- и 8-битных форматов с размерами файлов примерно от 3,8 до 16,4 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp. Доступны варианты с разным соотношением качества и требований к памяти: старшие форматы обеспечивают качество, близкое к исходной модели, а младшие подходят для устройств с ограниченным объёмом RAM, но дают более низкое качество. Формат prompt использует шаблон ChatML с ролями system, user и assistant. README не содержит сведений о поддерживаемых языках, размере контекстного окна, конкретной архитектуре визуального модуля, результатах бенчмарков или лицензии. Условия использования следует уточнять в документации исходной модели Qwen/Qwen3-VL-8B-Instruct и соответствующего репозитория.

Sao10K_Llama-3.3-70B-Vulpecula-r1-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Llama-3.3-70B-Vulpecula-r1, разработанной Sao10K и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться через llama.cpp, LM Studio и другие совместимые проекты. Заявленный язык — английский. Модель относится к семейству Llama 3.3 и имеет 70 миллиардов параметров; поддерживается только текстовая модальность. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-квантов разного размера: более высокие разрядности обычно обеспечивают лучшее качество, а низкие уменьшают требования к памяти ценой заметной потери качества. Для работы требуется значительный объём оперативной или видеопамяти: размер файлов варьируется примерно от 27 до 75 ГБ. Формат prompt должен соответствовать шаблону Llama 3.3. Размер контекстного окна в README не указан. Сильными сторонами являются высокая ёмкость исходной 70-миллиардной модели, широкий выбор компромиссов между качеством и размером, а также совместимость с локальным запуском через llama.cpp. Ограничения включают большие требования к ресурсам, снижение качества при агрессивной квантизации и отсутствие сведений о мультимодальности, поддерживаемых языках помимо английского и контекстном окне. Указанная лицензия — llama3.3.

T3qm7xNeuralsirkrishna_AlloyingotneoyYam — объединённая модель Mistral, созданная слиянием automerger/T3qm7xNeuralsirkrishna-7B и automerger/AlloyingotneoyYam-7B. Она содержит 7,1 млрд параметров и предназначена для генерации текста и диалогов. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов; README не уточняет языковую специализацию и особенности диалогового шаблона. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

nlpguy/T3QM7XP — объединённая языковая модель семейства Mistral, созданная с помощью mergekit методом SLERP из MatthieuJ/Jason1903_SLERP и nlpguy/T3QM7. Она предназначена для генерации текста и диалоговых ответов. Модель имеет плотную архитектуру MistralForCausalLM, около 7,1 млрд параметров и контекстное окно до 32 768 токенов; веса представлены в формате Safetensors и используются через Transformers. Модель может применяться для свободной генерации текста, ведения диалога и ответов на вопросы, в том числе математические. В карточке не приведены сведения о поддерживаемых естественных языках или специальных предметных областях. Лицензия — Apache-2.0.