II.1Анализ требований и архитектура ПО

Loxa-4B — языковая модель на 4 млрд параметров, опубликованная frameai. Она построена на плотной архитектуре семейства Llama и предназначена для генерации текста; в карточке также описаны сценарии классификации, ответов на вопросы, перевода и суммаризации. Модель поддерживает контекст до 131 072 токенов и работает через библиотеку Transformers; доступны веса в формате safetensors и интерфейсы чата и вызова инструментов. Модель рассчитана на исследовательскую и разработческую работу с текстом и кодом. Автор заявляет о работе на CPU и видеокартах GTX, однако не приводит проверяемых бенчмарков или подробностей обучения; заявленные 96% точности нельзя однозначно интерпретировать. Возможны предвзятые или фактически неверные ответы, поэтому результаты следует проверять, особенно в критически важных сценариях. Лицензия в предоставленных данных не указана.

Это диалоговая языковая модель Hjgugugjhuhjggg/mergekit-ties-esawwda, созданная объединением нескольких моделей семейства Llama 3.2 с помощью метода TIES и инструмента mergekit. В качестве базовой использована huihui-ai/Llama-3.2-3B-Instruct-abliterated; в объединение также вошли модели для чата, генерации кода, медицинских вопросов и ответов и генерации художественного текста. Модель предназначена для генерации текста и ответов в диалоге. Она содержит 3,2 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; заявленная длина контекста — 131 072 токена. Метаданные указывают поддержку чата и интерфейс вызова инструментов. Языки модели в предоставленных данных не перечислены. Модель объединяет возможности нескольких специализированных чекпойнтов, но качество и устойчивость по отдельным задачам могут различаться. README не содержит сведений о лицензии, поэтому условия использования по имеющимся данным определить нельзя.

Это набор GGUF-квантизированных версий instruct-модели meta-llama/Llama-3.1-8B-Instruct, подготовленный командой featherless-ai-quants. Модель относится к задачам генерации текста и предназначена для диалоговых сценариев, следования инструкциям и локального или серверного запуска в совместимых средах, поддерживающих формат GGUF. В основе лежит языковая модель Llama 3.1 с 8 миллиардами параметров; README не уточняет архитектуру, языки и размер контекстного окна. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8 ГБ. Более компактные варианты снижают требования к памяти, тогда как версии с более высокой точностью потенциально лучше сохраняют исходное качество, но требуют больше ресурсов. Сильной стороной набора является выбор уровней квантизации для разных аппаратных ограничений и сценариев развертывания. Ограничения включают возможные потери качества из-за квантизации и необходимость использовать совместимое программное обеспечение для GGUF. Лицензия в README не указана; условия использования следует уточнять по лицензии исходной модели Llama 3.1 и условиям распространения данного набора.

MiniCPM5-2B-PCD — дообученная компактная языковая модель семейства MiniCPM5, основанная на openbmb/MiniCPM5-2B. Это плотная причинная Transformer-модель с архитектурой LlamaForCausalLM и примерно 2,2 млрд параметров, рассчитанная на локальный запуск на устройствах с ограниченными ресурсами. Модель поддерживает контекст до 131 072 токенов и генерирует текст; в карточке заявлены сценарии чата, вызова инструментов и параллельного constrained decoding. Модель предназначена для локальных ассистентов и агентных сценариев, включая программирование, математику, работу с длинным контекстом и выполнение задач с инструментами. В README заявлены сильные результаты относительно моделей сопоставимого размера, особенно в коде, математике, длинном контексте и использовании инструментов. Указанные языки — английский и китайский; сведения о поддержке русского не приведены. Для запуска описаны Transformers и vLLM, в форматах BF16/FP16, с использованием GPU или CPU в зависимости от backend. Модель распространяется по лицензии Apache-2.0. Её ответы могут быть неточными, предвзятыми или оскорбительными; результаты по чувствительным темам не являются профессиональной консультацией.

duyntnet/Mistral-7B-Instruct-v0.3-imatrix-GGUF — набор квантизированных вариантов модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI и представленной в формате GGUF с использованием imatrix-квантизации. Модель предназначена для генерации текста и диалогового взаимодействия на английском языке, включая выполнение инструкций, ответы на вопросы и сценарии с вызовом функций или инструментов. Модель относится к семейству Mistral и имеет размер 7B параметров согласно идентификатору. Это текстовая instruct-модель с поддержкой форматов и библиотек, совместимых с GGUF; README также показывает использование через mistral-inference и Hugging Face Transformers. Длина контекста, точные варианты квантизации, аппаратные требования и дополнительные модальности не указаны. К сильным сторонам относятся компактный размер по сравнению с более крупными языковыми моделями, возможность локального запуска в квантизированном виде и поддержка инструкций и function calling. Ограничения включают заявленную языковую поддержку только для английского, отсутствие данных о качестве, бенчмарках и контекстном окне, а также возможные потери качества, зависящие от выбранного уровня квантизации. В карточке указана лицензия «other», но её конкретные условия не раскрыты.

Mistral-7B-Instruct-v0.3-quantized.w4a16 — квантизированная версия языковой модели Mistral-7B-Instruct-v0.3, разработанная Neural Magic. Модель предназначена для коммерческого и исследовательского использования в англоязычных сценариях, прежде всего для диалоговых ассистентов, генерации текста и выполнения инструкций. Она принимает текст и генерирует текст, поддерживает чатовый формат взаимодействия и рассчитана на работу через vLLM или Transformers. Модель использует архитектуру Mistral-v0.3 и содержит 7 миллиардов параметров; точная длина контекста в README не указана. Веса линейных слоёв внутри трансформерных блоков сжаты до INT4 с применением симметричной групповой квантизации и размером группы 128. Это уменьшает объём дискового хранения и требования к памяти GPU примерно на 25% по сравнению с представлением FP16. Квантизация выполнена с помощью AutoGPTQ. На OpenLLM benchmark версии 1 модель получила средний результат 65,08 против 66,42 у неквантизированной версии, что указывает на небольшое снижение качества при более экономичном размещении и запуске. Основные ограничения — ориентация на английский язык и отсутствие заявленной поддержки других языков; использование за пределами применимого законодательства не допускается. Лицензия Apache-2.0 разрешает коммерческое и исследовательское применение при соблюдении её условий. Дата выпуска — 11 июля 2024 года, версия 1.0.

Mistral-C2F — диалоговая языковая модель, разработанная авторами проекта Mistral-C2F на основе Mistral-7B-v0.1. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, обученная с использованием обучения с подкреплением на основе обратной связи от людей (RLHF). Для усиления аналитических и рассуждательных способностей авторы применили двухэтапный подход Coarse to Fine: выход Coarse Actor объединяется с инструкционной моделью, чтобы перенести подробные рассуждения и уточнить ответы. Модель предназначена для диалогов, интеллектуальных помощников и исследований в области языковых моделей, машинного обучения и обработки естественного языка. Она принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. В README авторы отмечают улучшение разговорных и аналитических способностей и снижение токсичных ответов по сравнению с базовой моделью, однако не приводят здесь подробностей оценки. Модель распространяется по лицензии MIT; README указывает, что лицензия совпадает с лицензией базовой Mistral-7B-v0.1.

Mistral-Large-Instruct-2407-GGUF — это набор квантизированных версий инструкционной языковой модели Mistral-Large-Instruct-2407, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через совместимые приложения, например LM Studio. Рекомендуемый формат промптов: <s> [INST] запрос [/INST]. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 130,28 до 32,43 ГБ для перечисленных вариантов; более качественными считаются Q8_0, Q6_K, Q5_K_M и Q4_K_M, тогда как варианты с меньшей разрядностью экономят память за счёт снижения качества. Некоторые файлы оптимизированы для CPU и ARM, а часть вариантов поставляется с разделением на несколько файлов. Сильная сторона набора — возможность подобрать баланс между качеством, размером и требованиями к памяти для локального запуска. Ограничения включают значительные аппаратные требования даже у компактных вариантов, а также неизбежное ухудшение качества при агрессивной квантизации. В README не указаны архитектурные параметры, число параметров, размер контекста и мультимодальные возможности. Модель распространяется по лицензии MRL-0.1 от Mistral AI.

Mythos-9B Merged — это объединённая языковая модель на 9 млрд параметров, разработанная на основе King3Djbl/mythos-9b-merged и квантованная mradermacher в формате GGUF. Модель предназначена для генерации текста на английском языке, ролевых сценариев, задач программирования, работы с инструментами и function calling, а также агентских сценариев. В метаданных также заявлены поддержка shell-взаимодействия и запуск через llama.cpp, LM Studio и Ollama. В репозитории представлены варианты i1-квантования с imatrix в диапазоне примерно от 2,2 до 6,8 ГБ, включая IQ и Q-форматы. Это позволяет выбирать компромисс между размером, скоростью и качеством; в README вариант i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Для некоторых вариантов явно указано снижение качества, особенно у наиболее компактных квантов. Сведения о точной архитектуре, размере контекстного окна, мультимодальности и дополнительных языках отсутствуют; заявлен только английский язык. Модель распространяется по лицензии Apache-2.0.

Это квантованная версия модели Nemotron-3-Nano-Omni-AEON-Ultimate-Uncensored-BF16, преобразованная в формат GGUF для запуска с llama.cpp. Базовая модель связана с AEON-7/Nemotron-3-Nano-Omni-AEON-Ultimate-Uncensored-BF16; репозиторий создан kainecorneko, а конвертацию выполнили через пространство GGUF-my-repo. Модель предназначена для диалогового и инструкционного использования. В метаданных заявлены мультимодальность, работа с текстом, изображениями и аудио, а также функции reasoning, coding и tool calling; README описывает запуск через llama.cpp. Метаданные указывают английский язык и формат GGUF BF16, но точный размер и длина контекста в предоставленных данных не приведены. Метка uncensored указывает на снятые ограничения отказов, поэтому ответы могут включать нежелательное содержание. Лицензия обозначена как other; конкретные условия следует сверить с карточкой базовой модели. Это конверсия в GGUF, а не основание считать репозиторий отдельным дообучением.

Это GGUF-квантизированная версия языковой модели AceReason-Nemotron-7B, разработанной NVIDIA и подготовленной квантизатором bartowski на базе llama.cpp. Модель предназначена для генерации текста с акцентом на рассуждения, математические задачи и программирование; заявленный язык — английский. Формат GGUF позволяет запускать её локально через llama.cpp, LM Studio и другие совместимые проекты. Модель относится к классу примерно 7-миллиардных текстовых моделей, однако точные сведения об архитектуре, размере контекста и поддерживаемых модальностях в README не указаны. Доступны варианты от BF16 до различных уровней квантования, включая рекомендуемые Q4_K_M, Q5 и Q6, что позволяет выбирать между качеством и требованиями к памяти. Более сильные варианты сохраняют качество ближе к исходной модели, а компактные подходят для систем с ограниченными ресурсами, но могут заметнее терять в качестве. Использование регулируется NVIDIA Open Model License; для конкретных условий следует ознакомиться с текстом лицензии NVIDIA.

Olmo-3-1025-7B — базовая авторегрессионная языковая модель семейства OLMo 3, разработанная Allen Institute for AI (Ai2). Она предназначена для генерации текста и служит основой для дальнейшей настройки под диалоговые и специализированные задачи. Модель имеет плотную Transformer-архитектуру для причинного языкового моделирования, около 6,9 млрд параметров и контекстное окно 65 536 токенов. Она обучена преимущественно на английском языке на данных Dolma 3; обучение включало текст, код, математику, вопросы и ответы, инструкции и PDF-документы. Репозиторий содержит веса в формате safetensors и поддерживается библиотекой Transformers версии 4.57.0 и выше. Длинный контекст и широкая обучающая выборка подходят для генерации продолжений, черновиков и кода, а также для адаптации модели к прикладным сценариям. Это базовая модель, поэтому её ответы не обязательно следуют инструкциям как у чат-модели; возможны фактические ошибки, предвзятые или вредоносные ответы без дополнительной настройки и фильтрации. Лицензия модели и кода — Apache 2.0.

OpenBuddy — мультиязычная разговорная модель, созданная на базе Meta Llama 3.1 8B Instruct. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов, предназначенная для диалога и генерации текста. Её можно запускать локально через Ollama, а для развёртывания API README рекомендует Transformers или vLLM и соответствующий формат токенизатора. Модель предназначена прежде всего для общения на английском и китайском языках; метаданные также перечисляют французский, немецкий, японский, корейский, итальянский и финский. OpenBuddy указывает лицензию как other, а README отсылает к условиям использования и предупреждает, что ответы могут быть ошибочными или вредными. Модель не рекомендуется для медицинских, финансовых, юридических и других критически важных решений.

Карточка модели OpenBuddy/openbuddy-llama3.1-8b-v22.3-131k на Hugging Face совпадает с карточкой OpenBuddy/openbuddy-llama3.1-8b-v22.2-131k, поэтому описание составлено по ней. OpenBuddy — мультиязычная разговорная модель, созданная на базе Meta Llama 3.1 8B Instruct. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов, предназначенная для диалога и генерации текста. Её можно запускать локально через Ollama, а для развёртывания API README рекомендует Transformers или vLLM и соответствующий формат токенизатора. Модель предназначена прежде всего для общения на английском и китайском языках; метаданные также перечисляют французский, немецкий, японский, корейский, итальянский и финский. OpenBuddy указывает лицензию как other, а README отсылает к условиям использования и предупреждает, что ответы могут быть ошибочными или вредными. Модель не рекомендуется для медицинских, финансовых, юридических и других критически важных решений.

OpenBuddy — многоязычная диалоговая модель, разработанная командой OpenBuddy на базе Llama 3.3 70B Instruct. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров и контекстом до 131 072 токенов, предназначенная для генерации ответов в чат-сценариях. В карточке заявлено применение на английском и китайском языках; метаданные также перечисляют французский, немецкий, японский, корейский, итальянский и финский. Модель подходит для диалоговых помощников, ответов на вопросы и генерации текста с длинным контекстом. Используются веса Safetensors; для работы с форматом запросов рекомендуется быстрый токенизатор Transformers, также упомянута совместимость с vLLM для развёртывания API. Модель является дообучением Llama 3.3 70B Instruct и распространяется по лицензии Llama 3.3. Ответы могут быть ошибочными, вредными или оскорбительными. Разработчики не рекомендуют применять модель в критических сценариях, включая медицинские, юридические и финансовые решения или управление системами, способными причинить вред.

OpenBuddy/openbuddy-qwen2.5llamaify-14b-v23.1-200k — многоязычная чат-модель OpenBuddy на 14 млрд параметров. Она основана на Qwen2.5-14B-Chat и использует плотную архитектуру LlamaForCausalLM; модель предназначена для диалоговой генерации текста. Заявленная длина контекста составляет 200 000 токенов. Модель подходит для чат-ботов и приложений, которым нужны ответы и диалог на китайском, английском, французском, немецком, японском, корейском, итальянском и финском языках. Репозиторий содержит веса в формате safetensors; для работы с шаблоном чата README рекомендует быстрый токенизатор из Transformers, также упоминается развёртывание API через vLLM. Лицензия — Apache 2.0. Модель может выдавать ошибочные, вредные или оскорбительные ответы. Разработчик предостерегает от применения в критических и высокорисковых сценариях, включая медицину и важные финансовые или юридические решения.

OpenBuddy/openbuddy-qwq-32b-v24.1-200k — дообученная диалоговая языковая модель OpenBuddy на архитектуре Qwen2, основанная на Qwen/QwQ-32B-Preview. Модель содержит 32 млрд параметров и рассчитана на контекст до 200 000 токенов; она принимает текст и генерирует текстовые ответы в формате чат-бота. Модель предназначена для многоязычного общения и генерации текста. Карточка указывает поддержку китайского, английского, французского, немецкого, японского, корейского, итальянского и финского языков. Лицензия — Apache 2.0. Для работы с форматом подсказок рекомендуется быстрый токенизатор Transformers; карточка также упоминает развёртывание через vLLM. Модель может выдавать ошибочные, вредные или оскорбительные ответы. Её не следует применять для критических решений в медицине, финансах и праве, а также для управления потенциально опасным программным или аппаратным обеспечением.

TheBloke/Orca-2-13B-GGUF — это квантизированная версия языковой модели Orca 2 13B, разработанной Microsoft и преобразованной TheBloke в формат GGUF. Модель предназначена для генерации текста и диалогового взаимодействия, включая работу через llama.cpp и совместимые графические интерфейсы и библиотеки. Для форматирования запросов используется шаблон ChatML с системным сообщением, запросом пользователя и ответом ассистента. Модель относится к архитектуре Llama и содержит около 13 миллиардов параметров. Она работает только с текстом; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. GGUF-файлы доступны с различными уровнями квантизации от 2 до 8 бит, что позволяет выбирать компромисс между размером модели, требованиями к памяти и качеством генерации, а также запускать её на CPU и GPU. К сильным сторонам относятся поддержка широкого набора локальных инструментов, возможность GPU-ускорения и выбор вариантов квантизации. Ограничения связаны с возможной потерей качества при низкой разрядности и с тем, что точные характеристики производительности и контекстного окна не приведены. В метаданных указана лицензия other, без уточнения конкретных условий использования.

Карточка модели CrossNow/Ornith-1.5-35B-A3B на Hugging Face совпадает с карточкой ornith-ai/Ornith-1.5-35B-A3B, поэтому описание составлено по ней. Ornith-1.5-35B-A3B — разработанная Ornith AI диалоговая модель семейства Ornith-1.5 с архитектурой Qwen3.5 MoE. В модели около 35 млрд параметров, из которых примерно 3 млрд активируются на каждом токене. Она создана для генерации текста, агентного программирования и выполнения задач с помощью инструментов; README сообщает о результатах на бенчмарках кодирования и агентных задач. Модель принимает текст и выдаёт текст, включая структурированные вызовы инструментов. Поддерживает контекст до 262 144 токенов; README описывает расширение окна примерно до миллиона токенов с помощью YaRN, с возможным небольшим ухудшением качества на обычной длине контекста. Для запуска в bf16 требуется около 70 ГБ памяти модели; в примере обслуживания используются две GPU по 80 ГБ. Репозиторий распространяется по лицензии MIT.

Ornith-Agents-A1-3.6-35B-A3B-MTP-GGUF — GGUF-сборка от tepirale, основанная на объединённой с помощью dare_ties модели Qwen3.5-35B-A3B с архитектурой Mixture-of-Experts. В модель встроен блок Multi-Token Prediction (MTP), заимствованный из официальной GGUF-версии Qwen3.6-35B-A3B. Доступны варианты квантования Q4_K_M, Q5_K_M, Q6_K, Q8_0 и F16 размером примерно от 20,5 до 69,4 GiB. Указан английский язык; репозиторий также содержит multimodal-проектор для сценариев image-text-to-text. Главное назначение модели — генерация текста и мультимодальные задачи с запуском через llama.cpp, включая серверное применение и обработку изображений при наличии соответствующего mmproj-файла. Встроенный MTP-блок позволяет использовать native speculative decoding без отдельной draft-модели. По данным автора, достигается около 45% принятия черновых токенов и до примерно 260 токенов в секунду на H100; фактическая скорость зависит от квантования, настроек и оборудования. В README приведены конфигурации с контекстом до 131 072 и 254 000 токенов, однако это параметры тестовых запусков, а не обязательно гарантированный максимальный контекст. Сильные стороны — несколько вариантов компромисса между качеством и требованиями к памяти, отсутствие двойного квантования и сохранение блока MTP в точности Q8_0 или F16 независимо от основной квантовки. Ограничения включают значительные требования к VRAM, необходимость сборки llama.cpp с поддержкой CUDA для заявленной производительности и зависимость от корректной поддержки MTP. Модель распространяется по лицензии Apache 2.0.

bartowski/Phi-3.1-mini-128k-instruct-GGUF — это GGUF-квантизованная версия инструкционной языковой модели Phi-3.1-mini-128k-instruct, разработанной Microsoft и подготовленной для распространения пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на вопросы, выполнение инструкций и задачи, связанные с обработкой естественного языка и кодом. Модель работает с текстом, заявлена поддержка английского языка, а контекстное окно составляет до 128 000 токенов. Доступны варианты от F32 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-разновидностей; размер файлов варьируется примерно от 1,42 до 15,29 ГБ. Более высокие варианты квантования обеспечивают лучшее сохранение качества, а низкобитные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Модель рассчитана на локальный запуск через llama.cpp и совместимые приложения, включая LM Studio. В README не приведены результаты тестирования, точные сведения об архитектуре, аппаратные требования или ограничения по применению, поэтому её возможности нельзя оценить за пределами указанных сценариев. Для модели указана лицензия MIT.

Phi-3.5-mini-instruct-IMat-GGUF — это GGUF-квантизованная версия модели microsoft/Phi-3.5-mini-instruct, подготовленная legraphista с использованием llama.cpp b3608. Модель предназначена для генерации текста в формате инструкций, диалоговых сценариев и задач обработки естественного языка, включая работу с кодом. В README указана поддержка multilingual-сценариев, однако конкретный перечень языков не приведён. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и ряда IQ-квантизаций размером примерно от 1,42 до 7,64 ГБ. Для многих вариантов с низкой разрядностью применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера модели; файлы предоставляются в формате GGUF и подходят для использования с совместимыми инструментами, включая llama.cpp. Точная архитектура, число параметров и размер контекста в README не указаны. Сильной стороной модели является широкий выбор уровней квантизации, позволяющий подобрать компромисс между качеством, скоростью и требованиями к памяти, а также наличие IMatrix для ряда компактных вариантов. Ограничения связаны с возможной потерей качества при агрессивной квантизации и отсутствием сведений о целевых метриках и производительности. Модель распространяется по лицензии MIT; исходная модель принадлежит Microsoft.

Phi-4-mini-instruct-4bit — это 4-битная версия модели Phi-4-mini-instruct, разработанной Microsoft и преобразованная в формат MLX с использованием mlx-lm 0.21.5. Модель предназначена для генерации текста в диалоговом формате, решения задач обработки естественного языка и работы с кодом. Модель относится к семейству text-generation, поддерживает мультиязычные сценарии согласно карточке и использует базовую модель microsoft/Phi-4-mini-instruct. Ключевая особенность этой версии — 4-битное представление в формате MLX, что ориентировано на запуск через библиотеку mlx-lm. Архитектура, количество параметров, максимальная длина контекста и точный перечень языков в README не указаны. Сильными сторонами являются инструктивная настройка, поддержка диалогового шаблона и компактное 4-битное представление. Ограничения связаны с отсутствием в карточке подробных характеристик качества, производительности, размера модели и контекста; поэтому область применимости и результаты на конкретных задачах следует оценивать отдельно. Модель распространяется по лицензии MIT.

cortexso/phi-4-reasoning — текстовая генеративная модель семейства Phi-4-reasoning, разработанная Microsoft Research и преобразованная Menlo Research для распространения в формате GGUF через Cortex и Jan. Модель ориентирована на рассуждения по шагам, решение математических задач, ответы на научные вопросы и выполнение инструкций. Для основной ветки phi-4-reasoning заявлен размер 14 млрд параметров. Доступны квантизованные варианты GGUF от q2_k до q8_0, что позволяет выбирать компромисс между качеством, требованиями к памяти и скоростью инференса. В README также упоминаются шаблоны ChatML и поддержка расширенного контекста, однако его точная длина не указана. Данных о перечне языков и мультимодальных возможностях нет; по заявленному pipeline_tag модель предназначена для генерации текста. Сильными сторонами модели являются специализация на логическом и математическом рассуждении, следовании инструкциям и возможность эффективного запуска в средах с ограничениями по памяти и задержке благодаря компактному размеру и квантизации. Ограничения включают отсутствие в представленных данных точных результатов бенчмарков, перечня поддерживаемых языков и значения контекстного окна. Модель распространяется по лицензии MIT.

bartowski/Qwen1.5-7B-Chat-GGUF — это набор квантизированных GGUF-версий диалоговой модели Qwen1.5-7B-Chat, разработанной командой Qwen. Квантизация выполнена bartowski с использованием llama.cpp, релиз b2440. Модель предназначена для генерации текста и чат-сценариев, включая локальный запуск через совместимое программное обеспечение на базе llama.cpp. Доступны варианты квантизации от Q8_0 до Q2_K размером примерно от 8,21 до 3,10 ГБ. Q6_K отмечен как рекомендуемый вариант с качеством, близким к исходному; Q5_K_M и Q5_K_S предлагают высокое качество при меньшем размере, а варианты Q3 и Q2 требуют меньше памяти, но заметно уступают по качеству. В метаданных указан английский язык; сведения о других языках, модальностях и размере контекста отсутствуют. Лицензия обозначена как tongyi-qianwen; подробные условия доступны по ссылке на лицензию исходной модели.

Mungert/Qwen2.5-14B-Instruct-GGUF — набор GGUF-версий инструкционной языковой модели Qwen2.5-14B-Instruct, разработанной командой Qwen и опубликованной в формате GGUF пользователем Mungert. Модель предназначена для генерации текста, диалоговых сценариев и чат-приложений, включая локальный запуск через llama.cpp и системы с ограниченными ресурсами. Модель содержит 14 миллиардов параметров и работает с текстом; в карточке указана поддержка английского языка. Доступны варианты BF16 и F16, а также квантизованные версии Q4_K, Q4_K_S, Q6_K и Q8_0. Более точные варианты требуют больше памяти, тогда как Q4_K и Q4_K_S подходят для CPU и устройств с небольшим объёмом памяти, но могут уступать по точности. Указанный размер контекста и дополнительные модальности не приведены. Основные преимущества — широкий выбор форматов для разных аппаратных конфигураций и возможность локального инференса с уменьшенным потреблением памяти. Ограничения включают компромисс между качеством и требованиями к памяти при квантизации, а также отсутствие в README подробных данных о производительности, бенчмарках и поддерживаемых языках помимо английского. Модель распространяется по лицензии Apache-2.0.

Hasnonname/Qwen2.5-14B-Wheatear-v0 — дообученная модель семейства Qwen2.5 на 14 млрд параметров, основанная на Qwen/Qwen2.5-14B-Instruct. Она предназначена для диалогов и генерации текста; метаданные также указывают интерфейс для вызова инструментов. Модель имеет плотную архитектуру Qwen2ForCausalLM, принимает текст и поддерживает контекст до 32 768 токенов. В репозитории README перечислены отдельные варианты квантования GGUF, но сведения о назначении дообучения, его данных и результатах не приведены. Основная модель опубликована в формате safetensors. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

TheRains/Qwen2.5-32B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Модель преобразована в формат GGUF с использованием llama.cpp и предназначена для локального запуска через llama.cpp в задачах генерации текста и диалогового взаимодействия. Модель имеет 32 миллиарда параметров в варианте квантизации Q4_K_M. В карточке указана поддержка английского языка и текстовая модальность; сведения о размере контекстного окна и других языках отсутствуют. Модель можно использовать через llama-cli или llama-server, в том числе на совместимом CPU и GPU-оборудовании при соответствующей сборке llama.cpp. Основные преимущества — локальное выполнение, совместимость с экосистемой llama.cpp и уменьшенные требования к памяти по сравнению с полноразмерной версией. Ограничения связаны с квантизацией, а также с отсутствием в карточке подробных данных о качестве, производительности и поддерживаемых сценариях. Лицензия — Apache-2.0.

ehristoforu/qwen2.5-7b-upscaled — языковая модель для генерации текста и диалогов, созданная слиянием весов через mergekit методом passthrough на основе Qwen/Qwen2.5-7B-Instruct. Она предназначена для общения, генерации текста и использования интерфейса вызова инструментов. Модель построена на плотной архитектуре Qwen2 и содержит 11,3 млрд параметров; максимальный контекст — 32 768 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. README не сообщает оценок качества или конкретных улучшений относительно базовой модели. Лицензия в доступных данных не указана.

Это GGUF-версия Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16, подготовленная theLittleStone с квантизацией K-Quant и калибровкой iMatrix; поддерживается MTP (предсказание нескольких токенов). Калибровка использовала 20 000 примеров из набора eaddario/imatrix-calibration. Модель предназначена для генерации текста и диалогов, включая рассуждения и программирование; карточка описывает её как вариант с ослабленными отказами. Для запуска подходят llama.cpp и LM Studio. В карточке заявлено, что калибровка iMatrix улучшает точность относительно обычной квантизации той же разрядности. Репозиторий указывает форматы GGUF BF16 и варианты K-Quant, включая IQ4 и Q4_K_M; размер базовой модели — 27 млрд параметров. Метаданные отмечают английский и китайский языки, а также многоязычность. Лицензия — Apache-2.0. Это производная от AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16 модель. Заявления карточки о точности, сохранении возможностей и снижении отказов основаны на описании автора и приведённых им проверках. Ослабленные отказы могут приводить к генерации небезопасного или нежелательного содержания; ответы модели также могут содержать ошибки.