II.4Отладка, тестирование и качество ПО

MaziyarPanahi/gemma-3-27b-it-GGUF — это набор квантованных файлов модели Gemma 3 27B Instruct в формате GGUF. Исходную модель разработала Google, а конвертацию и публикацию квантованных версий выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью. Репозиторий содержит варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью работы и качеством ответов. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими совместимыми инструментами; некоторые из них поддерживают ускорение на GPU и OpenAI-совместимый сервер. Ключевые сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Ограничения зависят от выбранного уровня квантования и используемого клиента. Лицензия для опубликованных файлов в предоставленных данных не указана.

Gemma 4 12B RKNn3 для RK1828 — адаптированная для запуска на устройстве версия Gemma 4 12B IT от Google DeepMind, подготовленная проектом t-firefly для LlamaPi. Это плотная мультимодальная модель семейства Gemma4 Unified, распространяемая в форматах GGUF и safetensors и ориентированная на локальное использование на периферийных устройствах. Модель принимает текст, изображения, аудио и видео, а выдаёт текст; поддерживает диалог, рассуждения, программирование и агентные сценарии. В исходной карточке заявлены контекст 256 тысяч токенов и поддержка более 140 языков. Модель подходит для локального чат-ассистента, анализа мультимодальных входных данных и задач на устройстве RK1828 через LlamaPi. Репозиторий указывает лицензию Apache-2.0. Сведения о качестве и ограничениях именно сборки для RK1828 в карточке не приведены.

google_gemma-4-31B-it-GGUF — это квантизированная версия instruction-tuned модели Gemma 4 31B-it, разработанной Google. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель опубликована как google/gemma-4-31B-it. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp, LM Studio, Ollama-подобные и другие совместимые инструменты. По указанной классификации pipeline_tag это модель для преобразования изображений и текста в текст, однако подробные сведения о поддерживаемых модальностях и языках в README не приведены. Доступны варианты с точностью от BF16 до Q3 и IQ3, включая Q4, Q5, Q6 и Q8. Размер файлов составляет примерно от 13,84 до 61,41 ГБ; варианты Q4–Q6 заявлены как обеспечивающие хороший или очень высокий уровень качества при меньшем потреблении памяти, а Q3 ориентированы на системы с ограниченными ресурсами и отличаются более низким качеством. Архитектура, максимальная длина контекста и точное число параметров, помимо обозначения 31B, в README не уточняются. Сильными сторонами являются широкий выбор уровней квантизации, совместимость с экосистемой llama.cpp и возможность локального инференса. Ограничения включают значительные требования к памяти, особенно для BF16 и высокоточных вариантов, а также возможное снижение качества у компактных Q3-вариантов. Для недавно поддерживаемых моделей может потребоваться обновление используемого программного обеспечения. Лицензия указана как Apache-2.0; при этом для Gemma также приведена отдельная ссылка на лицензионные условия Google.

Hermes-2-Pro-Llama-3-8B-GGUF — квантизированная GGUF-версия языковой модели Hermes-2-Pro-Llama-3-8B, разработанной NousResearch и преобразованной в GGUF компанией Second State Inc. Это текстовая модель для генерации ответов в диалогах и использования инструментов, совместимая с форматом ChatML и запуском через LlamaEdge. В README указан английский язык. Модель относится к семейству Llama и содержит 8 млрд параметров. Доступны варианты квантизации от 2 до 8 бит, а также версия f16 размером 16,1 ГБ. Рекомендуемые варианты Q4_K_M, Q5_K_M и Q5_K_S обеспечивают компромисс между размером и сохранением качества; наиболее компактные варианты требуют меньшего объёма памяти, но сопровождаются более заметной потерей качества. Указанный размер контекста — 4096 токенов. Для работы требуется LlamaEdge версии 0.11.3 или новее и соответствующий шаблон prompt: chatml для диалогов или chatml-tool для использования инструментов. README не содержит сведений о лицензии исходной модели или этой сборки, поэтому условия распространения и коммерческого использования по представленным данным определить нельзя.

Hermes-2-Pro-Mistral-10.7B — языковая модель Nous Research, созданная методом Depth Up-Scaling из Hermes-2-Pro-Mistral-7B на базе Mistral. Это плотная авторегрессионная модель на 10,6 млрд параметров с контекстом до 32 768 токенов; веса представлены в формате safetensors и доступны по лицензии Apache-2.0. Модель предназначена для диалогов и следования инструкциям, а также может использоваться как основа для дальнейшего дообучения или как замена версии на 7 млрд параметров. Она поддерживает формат ChatML и обучалась для вызова функций и выдачи структурированных ответов в JSON. В карточке сообщается о результатах оценки 90% для вызова функций и 84% для структурированного вывода JSON. Карточка указывает английский язык. Описанные вызов функций и JSON-режим требуют соответствующего формата запросов и обработки ответов в приложении. Конкретные ограничения качества и сравнительные результаты для других задач в карточке не приведены.

Это набор GGUF-квантизованных версий Granite 3.2 8B Instruct — инструкционной языковой модели, разработанной IBM под именем ibm-granite. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия в приложениях, поддерживающих llama.cpp, включая LM Studio и другие совместимые проекты. Модель имеет размер 8 миллиардов параметров и относится к текстовым моделям: сведения о поддержке изображений, аудио или других модальностей в README отсутствуют. Также не указаны поддерживаемые языки и размер контекстного окна. Доступны варианты квантования от Q8_0 до Q3 и IQ3/IQ4, размером примерно от 3,59 до 8,68 ГБ. Более высокие варианты обычно обеспечивают лучшее качество, а менее точные позволяют снизить требования к оперативной памяти; в README рекомендуются, в частности, Q4_K_M, Q5 и Q6 версии. Сильные стороны модели — локальный запуск, широкий выбор компромиссов между качеством и потреблением памяти, а также совместимость с экосистемой llama.cpp. Ограничения связаны с потерями качества при низком уровне квантования и зависимостью от совместимого программного обеспечения и аппаратных ресурсов. Для корректного диалога следует использовать указанный в README шаблон prompt format. Для набора указана лицензия Apache-2.0.

Vikhrmodels/it-5.3-fp16-32k — русско-английская чат-модель семейства Vikhr, разработанная авторами открытых Vikhr instruction-tuned моделей. Это плотная авторегрессионная Llama-модель на 7,3 млрд параметров для диалогов и генерации текста. Вариант 0.5 получил дополнительное обучение SFT, настройку параметров предобучения и контекст RoPE длиной 32 768 токенов. Модель рассчитана на многоходовые диалоги, ответы на сложные запросы и создание JSON; README отмечает более стабильную работу с JSON и многоходовыми диалогами на длинном контексте. Репозиторий содержит веса в формате Safetensors и распространяется по лицензии Apache 2.0. Карточка указывает поддержку русского и английского языков. Модель может ошибаться в фактах и следовании формату; улучшенная стабильность JSON и длинного контекста не гарантирует корректный результат для каждого запроса. Для задач, требующих высокой надёжности, ответы следует проверять.

EXAONE-4.0-32B-GGUF — это набор GGUF-квантизаций языковой модели EXAONE-4.0-32B, разработанной LGAI-EXAONE. Квантизации подготовлены пользователем bartowski с помощью llama.cpp версии b5934 и imatrix на основе исходной модели LGAI-EXAONE/EXAONE-4.0-32B. Модель предназначена для генерации текста и может использоваться локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от BF16 размером около 64 ГБ до компактных IQ3 и Q3 размером примерно 13–17 ГБ, а также более качественные Q4–Q8. Рекомендуемым вариантом по умолчанию указан Q4_K_M; варианты Q5 и Q6 обеспечивают более высокое качество при значительных требованиях к памяти, а низкобитные варианты подходят для систем с ограниченным объёмом RAM, но могут заметно уступать в качестве. Из README известно, что модель содержит 32 миллиарда параметров и работает в текстовой модальности. Архитектура, поддерживаемые языки, размер контекстного окна и точные характеристики исходной модели здесь не указаны. Шаблон чата также не задан: в README приведён предполагаемый формат, который может быть некорректным и требует проверки по карточке оригинальной модели. Лицензия в предоставленных данных не указана.

Llama-3.1-8B-Ultra-Instruct-GGUF — это квантизированное представление инструкционной языковой модели Llama-3.1-8B-Ultra-Instruct, разработанное Dampfinchen и опубликованное в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и работы с инструкциями; её можно запускать локально через llama.cpp и LM Studio. В README также указано, что исходная модель является merge-моделью, собранной с использованием mergekit. Модель содержит 8 миллиардов параметров и работает в текстовой модальности. Для неё доступны варианты от F16 размером 16,07 ГБ до квантизаций Q4, Q5, Q6 и Q8 размером примерно от 4,92 до 8,54 ГБ. Квантизация выполнена с использованием imatrix; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M рекомендован как компромисс между размером и качеством. В README приведён специальный формат промпта Llama 3.1. Языки и размер контекстного окна не указаны. Сильная сторона модели — возможность локального запуска на менее мощном оборудовании благодаря нескольким уровням квантизации при сохранении высокого качества. На Open LLM Leaderboard для исходной модели указаны результаты: 80,81% на IFEval, 32,49% на BBH, 14,95% на MATH Level 5, 5,59% на GPQA, 8,61% на MuSR и 31,4% на MMLU-PRO; эти показатели зависят от методики оценки и не гарантируют аналогичные результаты конкретного квантизированного файла. Лицензия указана как llama3.

Llama-3.1-Storm-8B-GGUF — это набор GGUF-квантизаций языковой модели Llama-3.1-Storm-8B, подготовленный bartowski на базе модели akjindal53244. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, рассуждений и function calling. Она поддерживает текстовый ввод и вывод, а заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Архитектура и размер исходной модели обозначены как Llama-3.1 и 8B; размер контекста в README не указан. Модель распространяется в формате GGUF для запуска через llama.cpp и совместимых приложений, включая LM Studio. Доступны варианты от f32 и Q8_0 до более компактных Q2_K и IQ2_M, поэтому можно выбирать между качеством генерации и требованиями к памяти. Квантизации созданы с использованием imatrix; отдельные варианты применяют Q8_0 для embedding- и output-весов, что заявлено как способ сохранить более высокое качество. Сильными сторонами являются широкий выбор размеров файлов, локальный запуск и поддержка задач instruction following, reasoning и function calling. Ограничения зависят от выбранной квантизации: варианты с низкой битностью имеют заметно более низкое качество, а некоторые прямо не рекомендуются. Лицензия указана как llama3.1; дополнительные условия использования в README не раскрыты.

Llama-3-SauerkrautLM-8b-Instruct-GGUF — это инструкционная языковая модель семейства Llama 3 в формате GGUF, опубликованная пользователем или организацией bartowski. По названию и указанным метаданным модель имеет размер 8 миллиардов параметров и ориентирована на диалоговое взаимодействие и выполнение инструкций. В карточке заявлена поддержка немецкого и английского языков, а также указано обучение методом DPO в два этапа. Модель предназначена для генерации текста, ответов на инструкции и других сценариев использования локальной LLM, совместимой с инструментами инференса, поддерживающими формат GGUF. Ключевыми особенностями являются принадлежность к семейству Llama 3, инструкционная настройка и оптимизация предпочтений методом DPO. Сведения о точной архитектуре, длине контекста, модальностях, конкретных вариантах квантования, производительности и ограничениях в README не приведены, поэтому их необходимо уточнять отдельно. Использование регулируется Meta Llama 3 Community License. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ на установленных условиях, включая соблюдение Acceptable Use Policy, сохранение уведомления об атрибуции и отображение фразы «Built with Meta Llama 3» при распространении материалов или продуктов на их основе. Для производных моделей также требуется включать «Llama 3» в начало названия; для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

Meta-Llama-3-120B-Instruct-GGUF — это GGUF-квантизированная версия текстовой instruction-tuned языковой модели Meta-Llama-3-120B-Instruct. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель указана как mlabonne/Meta-Llama-3-120B-Instruct, основанная на Meta-Llama-3-70B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев с применением системных и пользовательских инструкций. Доступны варианты квантизации Q2–Q8 и IQ, размером примерно от 32,60 до 129,52 ГБ. Более высокие варианты, включая Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, обеспечивают лучшее качество, но требуют больше памяти; низкобитные варианты экономичнее, однако могут заметно уступать в качестве. Формат GGUF и совместимость с llama.cpp подходят для локального запуска, но README не содержит данных об архитектуре, поддерживаемых языках, модальностях и размере контекста. Модель является текстовой и не предназначена для обработки изображений или других модальностей. Для работы требуется выбрать подходящий файл квантизации и использовать специальный chat-шаблон с токенами Meta Llama 3. Лицензия обозначена как other, однако её конкретные условия в README не приведены.

Это квантизированная версия Meta-Llama-3.1-70B-Instruct в формате GGUF, подготовленная пользователем MaziyarPanahi на основе исходной модели Meta-Llama-3.1-70B-Instruct, разработанной Meta (meta-llama). Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые приложения и библиотеки. Модель относится к семейству Llama 3.1 и имеет размер 70B; в README указаны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит. Поддерживаются текстовые входы и выходы, а заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Формат GGUF совместим с llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другими инструментами локального инференса. Ключевые преимущества — выбор уровней квантования, возможность локального использования и поддержка GPU в ряде совместимых инструментов. Ограничения и требования к лицензии, точный размер контекста, архитектурные детали, качество на отдельных задачах и необходимые аппаратные ресурсы в README не указаны. Условия лицензирования также не приведены, поэтому их следует уточнить в материалах исходной модели Meta-Llama-3.1-70B-Instruct.

GPT4All-Community/Meta-Llama-3.1-8B-Instruct-128k-GGUF — это конвертированная и квантизированная GGUF-версия Meta-Llama-3.1-8B-Instruct. Модель подготовлена пользователем 3Simplex для использования в GPT4All; для работы требуется GPT4All версии 3.1.1 или новее. Базовая модель разработана Meta, однако в README не указаны дополнительные сведения о разработчике исходной модели. Модель предназначена для генерации текста и диалоговых сценариев с системными и пользовательскими сообщениями. Заявлена длина контекста до 131 072 токенов, что позволяет обрабатывать длинные документы и продолжительные диалоги. Известно, что модель содержит 8 миллиардов параметров и использует инструкционную настройку, но сведения о поддерживаемых языках и модальностях отсутствуют. К преимуществам относятся большой контекст и возможность локального использования через GPT4All. Модель не является официально курируемой и поддерживаемой Nomic: в README указано, что требуется дополнительное тестирование и обратная связь, поэтому качество и стабильность следует оценивать в конкретных задачах. Лицензия обозначена как llama3.1; перед использованием необходимо ознакомиться с её условиями.

mindy-7b-v2-Mistral-7B-Instruct-v0.1 — разговорная языковая модель, созданная объединением Mistral-7B-Instruct-v0.1 и mindy-7b-v2 методом SLERP. Это плотная трансформерная архитектура MistralForCausalLM с 7,1 млрд параметров; модель рассчитана на генерацию текста и ответы на инструкции и диалоговые запросы. Заявленная длина контекста — 32 768 токенов. Модель принимает текст и генерирует текст. Репозиторий распространяет веса в формате safetensors; лицензия — Apache-2.0. Карточка не описывает специальные предметные области или отдельные ограничения качества.

amd/MiniMax-M2.7-MXFP4 — текстовая языковая модель MiniMax M2.7, разработанная MiniMax и оптимизированная AMD. Модель принимает текст и генерирует текст, предназначена для задач генерации и обработки естественного языка, включая сценарии с рассуждениями и вызовом инструментов. Указан английский язык; дополнительные языки в карточке не заявлены. Модель реализована на архитектуре MiniMaxM2ForCausalLM и представляет собой статически квантизованную версию amd/MiniMax-M2.7-BF16. Веса и активации квантизованы в формате OCP MXFP4 с использованием AMD-Quark: для весов применяется статическая, а для активаций — динамическая квантизация. Поддерживаются аппаратные платформы AMD MI350 и MI355, ROCm 7.2.1, PyTorch 2.10.0 и Linux. Для инференса указаны SGLang и vLLM; конфигурация также поддерживает tensor parallelism, выбор инструментов и парсеры MiniMax для вызова инструментов и рассуждений. Размер модели и длина контекста не указаны. Сильной стороной является существенное снижение точности представления при сохранении качества: на GSM8K модель получила 91,89 против 91,81 у исходной MiniMaxAI/MiniMax-M2.7, что соответствует восстановлению 100,09% результата. Ограничения включают зависимость от совместимого оборудования AMD и программного стека, а также отсутствие данных о качестве на других задачах, полном наборе языков и контекстном окне. Лицензия модифицированная MIT с некоммерческим использованием; коммерческое использование требует предварительного письменного разрешения MiniMax и соблюдения дополнительных условий.

Это сегментированная по файлам копия Mistral-7B-Instruct-v0.1 от filipealmeida, предназначенная для запуска при ограниченной памяти CPU. В основе лежит плотная трансформерная модель Mistral с 7,1 млрд параметров, дообученная следовать инструкциям на открытых диалоговых наборах данных. Архитектура использует Grouped-Query Attention и Sliding-Window Attention; карточка указывает контекст до 32 768 токенов. Модель принимает текстовые инструкции в формате с маркерами [INST] и [/INST] и генерирует текстовые ответы в диалоговых сценариях. Её можно применять для вопросов и ответов, ведения диалога, составления черновиков и выполнения текстовых инструкций. Разбиение весов на шарды снижает требования к памяти CPU при загрузке, но не является квантизацией и само по себе не меняет вычислительные требования модели во время генерации. Лицензия — Apache-2.0.

Mistral-7B-Instruct-v0.3-GGUF — набор квантизированных GGUF-версий модели Mistral-7B-Instruct-v0.3 от Mistral AI, подготовленный и опубликованный bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты от IQ1 и IQ2 до Q8_0, различающиеся размером файла, требованиями к памяти и качеством генерации. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях на базе llama.cpp и совместимых инструментов. Модель подходит для диалоговых сценариев, ответов на запросы и других задач текстовой генерации. Для работы используется формат запроса <s>[INST] {prompt} [/INST]</s>; системные сообщения не поддерживаются. В README не указаны контекстное окно, поддерживаемые языки и точная архитектура базовой модели, поэтому эти характеристики нельзя достоверно определить по имеющимся данным. Более высокие уровни квантизации обычно обеспечивают лучшее качество, а низкие позволяют снизить потребление памяти, но сопровождаются заметным ухудшением качества. Распространение указано под лицензией Apache-2.0.

Карточка модели grimjim/mistralai-Mistral-Nemo-Base-2407 на Hugging Face совпадает с карточкой mistralai/Mistral-Nemo-Base-2407, поэтому описание составлено по ней. Mistral-Nemo-Base-2407 — предварительно обученная генеративная языковая модель, совместно разработанная Mistral AI и NVIDIA. Это плотный трансформер Mistral с 12,1 млрд параметров, 40 слоями, группированным вниманием к запросам (GQA) и словарём примерно на 128 тысяч токенов. Модель выпущена в июле 2024 года и распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста и служит базой для дальнейшей адаптации под конкретные задачи. Она обучалась на многоязычных данных и коде; заявленное окно контекста составляет 128 тысяч токенов. Среди указанных языков — английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский. Для запуска рекомендован mistral-inference; README также описывает использование через Transformers. Карточка приводит результаты на общих и многоязычных бенчмарках и рекомендует для генерации температуру 0,3. Поскольку это базовая предварительно обученная модель, она не имеет механизмов модерации и не является специализированной инструкционной версией; поведение в прикладных сценариях может требовать дополнительной настройки. Для неё доступна также отдельная instruct-версия.

Mistral-Small-Instruct-2409-GGUF — это набор квантованных файлов в формате GGUF для инструкционной модели Mistral-Small-Instruct-2409, разработанной компанией mistralai. Квантование и публикацию этого варианта выполнил MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые приложения и библиотеки. Набор включает варианты квантования с разной разрядностью — от 2 до 8 бит, что позволяет выбирать баланс между размером файлов, требованиями к памяти и качеством вывода. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов; некоторые из них поддерживают GPU-ускорение и совместимый с OpenAI API сервер. Преимуществами являются возможность локального использования, широкий выбор уровней квантования и совместимость с популярной экосистемой llama.cpp. README не содержит сведений о точной архитектуре, числе параметров, поддерживаемых языках, длине контекста, целевых модальностях, результатах оценки и лицензии. Поэтому эти характеристики и условия юридического использования следует уточнять по карточке исходной модели Mistral-Small-Instruct-2409 и сопутствующим материалам.

MobileLLM-Pro — англоязычная инструкционно дообученная языковая модель Meta Reality Labs из семейства MobileLLM, рассчитанная на эффективный запуск на устройствах. Это трансформер на 1,08 млрд параметров с 30 слоями и чередованием локального и глобального внимания; модель принимает и генерирует текст и поддерживает контекст до 128 тыс. токенов. Модель предназначена для диалогов и общих языковых задач, включая ответы на вопросы, переписывание и суммаризацию документов, а также вызов инструментов. В карточке отмечены результаты на бенчмарках по знаниям, следованию инструкциям и программированию. README описывает дистилляцию знаний от Llama 4-Scout в процессе обучения семейства, а метаданные указывают, что этот вариант дообучен на MobileLLM-Pro-base. Для семейства также упомянуты варианты int4-квантизации, но данный репозиторий содержит инструкционный вариант в формате safetensors. Модель предназначена прежде всего для английского языка. Лицензия FAIR Noncommercial Research License ограничивает коммерческое использование; перед внедрением следует проверить её условия.

munin-neuralbeagle-7b-density-very-high — объединённая текстовая модель на архитектуре Mistral с 7,1 млрд параметров. Она создана с помощью LazyMergekit методом dare_ties на основе munin-7b-alpha и mlabonne/NeuralBeagle14-7B; конфигурация задаёт для NeuralBeagle плотность 0,9 и вес 0,6, а итоговый тип данных — bfloat16. Модель предназначена для генерации текста, в том числе диалогов, ответов на инструкции, рассуждений и творческих текстов — эти возможности указаны в описании базовой NeuralBeagle14-7B. Контекст составляет до 32 768 токенов. В репозитории опубликованы веса в формате safetensors. Карточка не указывает лицензию. Качество и ограничения итогового слияния отдельно не описаны; возможности и поведение базовых моделей могут отличаться от поведения объединённой модели.

NousResearch_Hermes-4-70B-GGUF — это набор квантизированных версий языковой модели Hermes-4-70B, разработанной NousResearch. Квантизацию выполнил bartowski с использованием llama.cpp версии b6258 и метода imatrix. Модель предназначена для генерации текста и локального запуска через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В набор входят варианты в формате GGUF с разными уровнями квантизации: от Q8_0 размером около 75 ГБ до IQ2_S размером около 22 ГБ. Более крупные варианты обеспечивают более высокое качество, тогда как компактные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для большинства сценариев рекомендуются Q4_K_M, Q5_K_M, Q5_K_S и Q6_K; Q3 и Q2-варианты предназначены для систем с ограниченными ресурсами и имеют более низкое качество. README не содержит сведений об архитектуре, поддерживаемых языках, размере контекста, мультимодальности, точных задачах исходной модели или лицензии. Формат prompt также не указан, поэтому его следует уточнять на странице оригинальной модели NousResearch/Hermes-4-70B.

DevQuasar/openai.gpt-oss-120b-GGUF — это квантованная версия текстовой генеративной модели openai/gpt-oss-120b, подготовленная разработчиком DevQuasar. Модель предназначена для генерации текста в диалоговых и других сценариях, поддерживаемых базовой моделью. В README также указано наличие фиксированного chat template, что обеспечивает заранее заданный формат взаимодействия с моделью. Из доступных данных известно только, что модель относится к семейству с обозначением 120b и распространяется в формате GGUF; сведения о конкретном варианте квантования, архитектуре, размере файлов, поддерживаемых языках, длине контекста и модальностях отсутствуют. Квантование обычно позволяет снизить требования к памяти по сравнению с исходной моделью, но может сопровождаться потерей качества; степень этого компромисса для данного варианта не указана. Лицензия и условия использования в README не приведены.

Llama2 13B Orca 8K 3319 — языковая модель для генерации текста и диалогового взаимодействия, разработанная OpenAssistant и представленная в GGUF-формате TheBloke. Модель основана на Llama 2 с архитектурой Llama и содержит около 13 миллиардов параметров. В карточке указана поддержка английского языка и контекст длиной до 8K токенов. Модель предназначена для выполнения инструкций, ответов на вопросы, информационного поиска в формате диалога, написания текстов и историй, а также общих задач генерации текста. Она использует шаблон запросов OpenAssistant-System с отдельными ролями system, prompter и assistant. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие решения; возможны CPU- и GPU-сценарии, а доступные варианты квантования позволяют выбирать компромисс между качеством, скоростью и потреблением памяти. В README не приведены подробные результаты бенчмарков или явные ограничения качества, поэтому сильные стороны модели можно оценивать только по заявленным возможностям и расширенному контексту. Указанная лицензия источников обозначена как other; кроме того, поскольку модель основана на Llama 2, на неё распространяются условия лицензии Meta Llama 2. README указывает на возможное двойное лицензирование и рекомендует учитывать обе группы условий.

pankajmathur/orca_mini_v7_72b — разговорная языковая модель на архитектуре Qwen2, созданная Pankaj Mathur и дообученная на различных наборах данных для SFT. Она предназначена для ответов в диалоге и выполнения широкого круга текстовых запросов; использовать её можно как основу для дальнейшего дообучения и слияния с другими моделями при указании авторства. Модель содержит 71,5 млрд параметров, принимает текст и выдаёт текст, поддерживает контекст длиной 32 768 токенов и формат диалога ChatML. README описывает расширение контекста с помощью YARN при развёртывании через vLLM. Модель опубликована под лицензией Apache-2.0. В README приведены результаты Open LLM Leaderboard, включая средний балл 39,06 и 59,30 на IFEval; эти показатели относятся к указанной оценке и не гарантируют качество для конкретного сценария. Для vLLM статическая настройка YARN может снижать производительность на коротких запросах.

pixtral-12b-FP8-dynamic — это квантизированная версия мультимодальной модели mgoin/pixtral-12b, разработанная Neural Magic. Модель принимает изображения и текстовые запросы, а генерирует текстовые ответы. Она предназначена для задач визуального анализа, включая ответы на вопросы по изображениям, работу с документами, графиками и диаграммами, а также мультимодальные математические задачи. Модель также может применяться для отдельных текстовых сценариев, включая оценивание знаний и генерацию кода. В модели использована динамическая FP8-квантизация весов и активаций. Квантизация выполнена для линейных слоёв с сохранением vision tower, мультимодального проектора и lm_head в исходном виде. Размер базовой модели — 12B параметров; входная модальность — vision-text, выходная — text. В README указан английский язык. Для эффективного инференса модель рассчитана на использование с vLLM версии 0.5.2 и новее, включая OpenAI-совместимый режим сервинга. Приведённый пример использует контекст до 4096 токенов, а в оценочных конфигурациях встречается значение до 25000 токенов. Сильная сторона модели — снижение требований к памяти и вычислительным ресурсам благодаря FP8-квантизации при сохранении близких к исходной модели результатов на визуальных тестах: указаны оценки на MMMU, VQAv2, DocVQA, ChartQA и MathVista. Ограничения включают зависимость от совместимой инфраструктуры vLLM, необходимость поддержки мультимодального инференса и отсутствие в предоставленных данных подробных сведений о полном наборе языков, точном размере контекстного окна и аппаратных требованиях. Модель распространяется по лицензии Apache-2.0.

Theros/Q2.5-ColdBrew-R1-Obsidian — объединённая текстовая модель, созданная с помощью mergekit методом Passthrough на основе Theros/Qwen2.5-ColdBrew-R1. Это плотная авторегрессионная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и примерно 8,7 млрд параметров. Она предназначена для генерации текста и диалогового взаимодействия, а заявленная длина контекста составляет 131072 токена. Модель распространяется в формате safetensors; условия лицензии в предоставленных данных не описаны.

Qwen1.5-110B-Chat-GGUF — это квантизированная GGUF-версия диалоговой языковой модели Qwen1.5-110B-Chat, разработанной командой Qwen при Alibaba Cloud; конкретные файлы квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и ведения диалогов, включая локальный запуск совместимых чат-приложений и сценарии, где требуется крупная языковая модель с различным балансом между качеством и потреблением памяти. Модель содержит 110 млрд параметров и работает в текстовой модальности. В метаданных указано английское языковое направление, однако сведения о полном наборе поддерживаемых языков, архитектуре, максимальном контексте и результатах специализированных тестов в README отсутствуют. Доступны варианты квантизации от Q8_0 до IQ1_S с размером файлов примерно от 118,17 до 23,63 ГБ: более высокие разрядности обычно обеспечивают лучшее качество, а низкие позволяют запускать модель при меньшем объёме RAM или VRAM, но заметно снижают качество. Сильной стороной является выбор из множества вариантов квантизации, включая рекомендуемые Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS, что позволяет адаптировать модель к доступному оборудованию. Ограничения связаны с очень большим размером даже у компактных вариантов и с неизбежной потерей качества при агрессивной квантизации; варианты IQ1 и некоторые Q2/Q3 имеют низкое или крайне низкое качество. Для работы следует использовать формат GGUF и соответствующий шаблон чата с маркерами system, user и assistant. Лицензия указана как tongyi-qianwen; подробные условия доступны по ссылке на лицензию исходной модели.

Qwen2.5-14B-Instruct-4bit — преобразованная в формат MLX 14-миллиардная instruct-модель семейства Qwen2.5, опубликованная mlx-community. Она предназначена для диалоговой генерации текста и работы с запросами в формате чата; в метаданных также отмечен интерфейс вызова инструментов. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Репозиторий создан 18 сентября 2024 года, использует формат safetensors и лицензию Apache-2.0. README указывает, что конверсия выполнена из Qwen/Qwen2.5-14B-Instruct с помощью mlx-lm 0.18.1. Русский язык не заявлен в языковых тегах карточки; в метаданных указан английский.