I.11Классификация, ранжирование и сопоставление

bling-phi-2-v0 — языковая модель серии BLING, разработанная llmware для ответов на вопросы по контексту в RAG-сценариях. Это плотная модель семейства Phi с 3,5 млрд параметров, дообученная на базе Microsoft Phi-2B-Base на пользовательских инструктивных данных. Модель принимает текст и генерирует текст; основным языком в карточке указан английский. Длина контекста — 2048 токенов. Модель предназначена для прототипирования и автоматизации ответов по документам: отвечает на вопросы по предоставленному тексту, извлекает пары ключ-значение и выполняет простое суммирование. В описанном тесте RAG-Instruct-Benchmark-Tester указана точность 93 из 100; результаты теста не гарантируют аналогичного качества на других данных. Для использования необходима проверка фактов: модель может давать неполные или неточные ответы. Лицензия — Apache 2.0.

bling-phi-3 — языковая модель серии BLING от llmware, дообученная для инструктивных задач RAG на базе Microsoft Phi-3. Это плотная авторегрессионная архитектура Phi-3 с 3,7 млрд параметров и контекстом до 4096 токенов; модель распространяется в формате PyTorch и подходит для диалогового использования. Она предназначена для ответов на вопросы по переданному контексту, извлечения пар «ключ—значение» и краткого суммирования, в том числе в корпоративных системах поиска по документам. В карточке приведены результаты одного прогона RAG-Instruct-Benchmark-Tester: 99,5 балла из 100 по указанной авторами шкале; эти результаты не гарантируют качество на других данных. Основной язык модели — английский. Лицензия Apache 2.0. Ответы могут быть неполными или неточными, поэтому их следует проверять.

bling-tiny-llama-v0 — разработанная llmware модель серии BLING, дообученная для инструкций RAG на базе TinyLlama-1.1b. Это плотная авторегрессионная модель семейства Llama примерно с 1 млрд параметров и контекстом 2048 токенов; она принимает текстовый контекст и запрос, а затем генерирует текстовый ответ. Модель предназначена для быстрого тестирования и прототипирования сценариев поиска с дополненной генерацией, включая ответы на вопросы, извлечение ключевых значений и краткое изложение предоставленных материалов. В карточке указано, что модель рассчитана на английский язык и на применение в корпоративной автоматизации, в частности при работе с насыщенными знаниями источниками в финансовой, юридической и нормативной областях. На приведённом RAG-Instruct-Benchmark-Tester средний результат составил 86,5 балла из 100; качество математических и логических ответов было заметно ниже. Эти результаты получены всего в двух тестовых запусках и не гарантируют точность на других данных. Лицензия — Apache 2.0.

Blur-7b-slerp-v1.46 — языковая модель семейства Mistral, созданная объединением моделей liminerity/merge и bardsai/jaskier-7b-dpo-v5.6 методом SLERP с помощью mergekit. Она предназначена для генерации текста и диалоговых сценариев на основе текстовых запросов. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате safetensors; лицензия — Apache-2.0. Карточка приводит результаты оценивания на бенчмарках рассуждений и понимания текста, но не описывает конкретные языки или специализированные области применения.

c4ai-command-r7b-12-2024-abliterated-GGUF — GGUF-квантизированная версия текстовой генеративной модели c4ai-command-r7b-12-2024-abliterated. Модель подготовлена huihui-ai, а квантизации выполнены bartowski с использованием llama.cpp и метода imatrix. По идентификатору это модель класса 7B; точная архитектура и размер контекста в README не указаны. Модель предназначена для генерации и продолжения текста, диалоговых сценариев и локального запуска через llama.cpp или LM Studio. Указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского, арабского, греческого, персидского, польского, индонезийского, чешского, иврита, хинди, нидерландского, румынского, русского, турецкого, украинского и вьетнамского языков. Это текстовая модель без заявленной поддержки изображений, аудио или других модальностей. Доступны варианты от BF16 до различных уровней квантизации, примерно от 4,8 до 16,1 ГБ; версии Q5 и Q6 отмечены как высококачественные, а Q4_K_M рекомендована как стандартный вариант. Квантизация уменьшает требования к памяти и упрощает локальный запуск, но может снижать качество по сравнению с исходными весами. Модель помечена как abliterated и uncensored, поэтому её поведение, защитные ограничения и пригодность для чувствительных сценариев могут отличаться от исходной модели. Лицензия CC BY-NC 4.0 разрешает использование только на некоммерческих условиях; для загрузки требуется согласие с условиями лицензии.

calme-3.2-instruct-78b-GGUF — это квантизированная версия инструкционной языковой модели calme-3.2-instruct-78b, разработанной MaziyarPanahi и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях на базе llama.cpp и LM Studio. В README указана поддержка английского языка и шаблон чата с ролями system, user и assistant. Модель основана на Qwen2.5-72B-Instruct, но имеет заявленный размер 78B параметров. Это текстовая модель без заявленной поддержки изображений или других модальностей. Доступны варианты квантизации от Q2_K до Q8_0 с размером файлов примерно от 31,85 до 82,85 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M отмечены как рекомендуемые; более компактные варианты экономят память, но могут снижать качество. Длина контекста в предоставленных данных не указана. Сильная сторона модели — широкий выбор квантизаций для локального запуска и использование imatrix-квантизации, направленной на сохранение качества. Ограничения включают высокие требования к оперативной или видеопамяти, снижение качества в низкобитных вариантах и отсутствие сведений о результатах оценки. Лицензия обозначена как other с ссылкой на лицензию Qwen/Qwen2.5-72B-Instruct; перед использованием необходимо учитывать условия этой лицензии.

SvalTek/ColdBrew-Aphid-Large — разговорная причинно-языковая модель семейства Llama с 5,8 млрд параметров, созданная методом passthrough merge из SvalTek/ColdBrew-Aphid. Она предназначена для генерации текста и диалогов; интерфейс модели поддерживает вызов инструментов. Модель использует библиотеку Transformers и распространяется в формате safetensors. Контекстное окно — до 131 072 токенов. Модель подходит для диалоговых приложений, генерации ответов и сценариев с вызовом инструментов. В метаданных указана связь с SvalTek/ColdBrew-Aphid как с базовой моделью. Сведений о лицензии и специальных языковых возможностях в предоставленных данных нет.

DeepSeek-V4-Flash-0731-JANG-CRACK — дообученная и аблированная версия DeepSeek-V4-Flash-0731 от dealignai. Это языковая модель на архитектуре DeepSeek V4 с 10,7 млрд параметров и MoE-компонентами; опубликованный вариант использует смешанную квантизацию JANG affine и занимает около 95 ГБ. Модель рассчитана на генерацию текста, диалог, рассуждения и написание кода, а также на сценарии, где требуется отвечать без обычных отказов на опасные запросы. Модель поддерживает английский и китайский языки. В README заявлена длина контекста до 1 048 576 токенов с расширением yarn RoPE, однако такая длина не проверялась в тестах этой сборки: оценки проводились на коротких запросах. Для запуска автор рекомендует vMLX на Apple Silicon примерно с 128 ГБ объединённой памяти; также упомянуты vMLX и jang_tools как варианты запуска. В тестах README модель показала 71,84% на MMLU и 90% pass@2 на HumanEval, но результаты приведены разработчиком и не являются независимой оценкой. Ключевое свойство CRACK — снятие отказов на вредоносные запросы: README сообщает о выполнении всех 320 заданий HarmBench, включая запросы по киберпреступлениям и причинению вреда. Это делает модель пригодной для контролируемого исследования поведения моделей, но опасной для неограниченного использования. Известны редкие опечатки; генерация длинного контекста в этой сборке не стресс-тестировалась. Лицензия — MIT.

DeepSeek-V4-Flash-0731-ROCmFP4 — это квантизированная версия языковой модели DeepSeek-V4-Flash-0731, разработанная пользователем kingjones777 на основе модели deepseek-ai. Модель распространяется в формате GGUF для генерации текста и предназначена прежде всего для локального запуска на одной системе AMD Strix Halo с 128 ГБ объединённой памяти и полной выгрузкой на GPU. Архитектура модели — sparse MoE с 256 экспертами и механизмами indexer/DSA attention; указанный язык — английский. Основная сборка Q3 использует смешанную квантизацию ROCmFP4/ROCmFPX с размером около 101 ГБ и общей плотностью около 2,92 BPW, что позволяет вместить её в 128 ГБ памяти. Также доступна сборка Q4_0_ROCMFP4_STRIX размером около 141 ГБ. Модель рассчитана на AMD gfx1151, включая Ryzen AI MAX+ 395, и требует специальной ветки ROCmFPX для llama.cpp; стандартный llama.cpp эти тензоры загрузить не может. Сильная сторона сборки — возможность полностью разместить крупную MoE-модель на одной совместимой AMD-системе, избежав выгрузки части параметров на CPU. Заявленная скорость составляет примерно 5–8 токенов в секунду, однако она зависит от оборудования и конфигурации. Ограничения включают узкую аппаратную совместимость, необходимость специального загрузчика и рекомендуемый контекст 8192 токена для стабильной работы на указанной конфигурации. MTP включён в поставку, но для этой аппаратно-программной связки отключён, поскольку оказался медленнее обычной генерации; режим рассуждений можно включать отдельно. Модель является производной от DeepSeek-V4-Flash-0731, поэтому её возможности и ограничения определяются базовой моделью. Лицензия указана как other с названием deepseek; применяются условия лицензии исходной модели DeepSeek, ссылка на которую приведена в карточке.

DeepSeek-V4-Pro-GGUF — набор GGUF-квантизаций базовой модели DeepSeek-V4-Pro, разработанной DeepSeek и опубликованный командой teamblobfish. Модель предназначена для генерации текста и локального запуска через специализированную ветку llama.cpp с поддержкой архитектуры V4. Формат подходит для сценариев локального инференса, включая серверное использование и обработку tool calls. Модель использует архитектуру Mixture of Experts: 61 слой и 384 маршрутизируемых эксперта. В реализации применяются специфичные для V4 механизмы, включая compressor decode, hyperconnection, lightning indexer, FP8-эмуляцию KV и NextN heads. Доступны варианты Q8_0, Q4_K_M-XL и Q2_K-XL; размер файлов составляет примерно от 498 ГиБ до 1,46 ТиБ. README демонстрирует запуск с контекстом 65 536 токенов, но максимальный размер контекста модели явно не указан. Поддерживается текстовая модальность; список языков не приведён. Сильной стороной является возможность запуска крупной модели в GGUF с поддержкой Apple Silicon, NVIDIA CUDA и CPU, а также проверенная работа Q2_K-XL с tool calls. Основные ограничения — чрезвычайно большой объём памяти, низкая скорость на CPU и необходимость использовать V4-совместимый fork llama.cpp; стандартная upstream-версия llama.cpp не поддерживается. ROCm, Vulkan и Metal на AMD не имеют необходимых ядер. Для практического запуска часто требуются несколько GPU или частичная выгрузка на CPU. Модель распространяется по лицензии MIT.

DeepVeo-R1-A — объединённая текстовая языковая модель на архитектуре Qwen2, созданная сообществом mergekit-community методом DARE TIES. В слияние вошли Qwen/Qwen2.5-1.5B, Alfitaria/Q25-1.5B-VeoLu и deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B; размер модели — 1,5 млрд параметров. Репозиторий содержит веса в формате safetensors, рассчитанные на использование с Transformers. Модель предназначена для генерации текста в диалоговом формате; в метаданных также заявлен интерфейс вызова инструментов. Контекстное окно — до 131 072 токенов. Данные не уточняют отдельные языковые или предметные специализации, а также лицензию, поэтому эти характеристики не описываются.

DiscoPOP-zephyr-7b-gemma — языковая модель для генерации текста, разработанная Sakana AI и распространяемая в формате GGUF сообществом LM Studio. Она основана на Zephyr 7b Gemma и предназначена для общего использования: диалогов, ответов на запросы и других задач генерации текста в локальных приложениях, поддерживающих llama.cpp или LM Studio. Модель содержит около 8 млрд параметров и обучена методом DiscoPOP (Discovered Preference Optimization), разработанным Sakana AI для оптимизации предпочтений. По заявлению авторов, метод обеспечивает более высокий показатель Reward при меньшем отклонении от базовой модели по KL Divergence по сравнению с DPO. Модель работает в текстовой модальности, однако поддерживаемые языки и максимальный размер контекста в README не указаны. Для работы рекомендуется шаблон ChatML; системный промпт не предусмотрен. Предоставленная версия является квантизированной сборкой GGUF от bartowski на основе llama.cpp. Это делает её подходящей для локального запуска при ограниченных ресурсах, но конкретные параметры квантизации в README не указаны. Ограничения включают возможные неточные, вредные или нежелательные ответы, характерные для генеративных языковых моделей, а также отсутствие гарантии качества. Модель распространяется по лицензии gemma; дополнительные условия использования следует проверять в материалах исходной модели.

Dolphin-2.9.3-Mistral-Nemo-12B-Patched — текстовая генеративная модель, опубликованная AIOpsInSpace и созданная на основе cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b. Модель предназначена для локального запуска и генерации текста, включая работу с длинными запросами и документами. В README заявлена специализация на английском языке. Модель имеет плотную архитектуру с 12 млрд параметров и поддерживает контекст длиной до 128K токенов. Версия распространяется в формате GGUF и содержит исправление ошибок сопоставления токенов в tokenizer, из-за которых некоторые локальные backend могли аварийно завершаться или зацикливаться при генерации на длинных промптах. Это является её ключевым преимуществом для локального использования и сценариев с большим контекстом. Ограничения включают отсутствие сведений о точных изменениях относительно базовой модели, результатах независимых тестов, требованиях к оборудованию, производительности и поддерживаемых языках помимо английского. В README указана лицензия Apache-2.0.

Dolphin-5.1-7b — языковая модель на архитектуре Mistral, созданная слиянием моделей cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser и teknium/OpenHermes-2.5-Mistral-7B методом SLERP с помощью LazyMergekit. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев. Её можно применять для ответов на вопросы, написания и преобразования текста, а также для других задач, решаемых генеративной языковой моделью. В README не приведены отдельные результаты оценки качества или подробные рекомендации по применению. Модель распространяется под лицензией Apache-2.0. Карточка не сообщает о специальных ограничениях или дополнительных фильтрах контента.

Edge0-35B-A3B-preview — языковая модель класса 35B со sparse Mixture-of-Experts, разработанная командой Edge0 на базе Qwen3.6-35B-A3B. Модель предназначена для генерации текста, мультиязычного диалога и задач рассуждения на устройствах с ограниченной оперативной памятью, включая edge- и on-device-сценарии, а также пакетное обслуживание на обычном компьютере. Поддерживается режим размышлений через встроенный шаблон чата. Модель содержит 40 слоёв, 256 экспертов, из которых для каждого токена активны 4, и имеет hidden size 2048. Она поставляется в 4-битной квантизации вместе с LoRA-адаптером Recover-LoRA и prerouter-адаптером. Экспертные веса подгружаются с SSD по мере необходимости через фреймворк edge0 с MLX backend, что позволяет удерживать активную память примерно на уровне 2,9 ГиБ при коротком контексте. На Mac mini M4 Pro заявлены скорость декодирования 14,9–17,7 токена в секунду и производительность заполнения контекста до 140 токенов в секунду. По заявленным тестам средний результат квантизированной версии составляет 79,2 против 83,2 у базовой модели в FP16, то есть отставание составляет 3,9 балла. Сильными сторонами являются низкое потребление активной памяти, потоковая загрузка экспертов и возможность использовать одну базовую модель с несколькими наборами адаптеров. Ограничения включают статус раннего preview-релиза, слабую оптимизацию для инструментального использования, многошагового планирования и долгосрочной автономной работы, рост KV-кэша на длинных контекстах, а также текущую ориентацию MLX backend на Apple Silicon. Модель распространяется по лицензии Apache 2.0.

EVA-Qwen2.5-32B-v0.1-GGUF — это GGUF-квантизация текстовой генеративной модели EVA-Qwen2.5-32B-v0.1, разработанной EVA-UNIT-01. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, включая задачи следования инструкциям, написания текстов и ролевого взаимодействия; в обучении использовались наборы данных для instruction-following, creative writing, roleplay и синтетических диалогов. Модель основана на семействе Qwen2.5 и содержит 32 млрд параметров. Доступны варианты от F16 до различных 8-, 6-, 5-, 4- и 3-битных квантизаций, включая форматы, оптимизированные для ARM. Более качественные варианты требуют значительного объёма памяти, тогда как младшие квантизации подходят для систем с ограниченными ресурсами, но могут заметно уступать по качеству. README не указывает поддерживаемые языки, размер контекста и мультимодальные возможности, поэтому их нельзя достоверно определить по предоставленным данным. Для работы рекомендуется использовать формат prompt с маркерами Qwen и совместимый inference-инструмент, например LM Studio или llama.cpp. Модель распространяется по лицензии Apache-2.0.

Experiment28M7_Percival_01Shadow — объединённая модель на архитектуре Mistral, созданная слиянием automerger/Experiment28M7-7B и automerger/Percival_01Shadow-7B. Модель содержит 7,1 млрд параметров и предназначена для генерации текста; максимальная длина контекста составляет 32 768 токенов. Модель можно использовать для диалогов и других задач генерации текста. Она распространяется в формате Safetensors по лицензии Apache 2.0. Данных о специализации по языкам или предметным областям в карточке нет.

Experiment28T3q_NeuralsirkrishnaExperiment26 — слитая языковая модель семейства Mistral, созданная путём объединения automerger/Experiment28T3q-7B и automerger/NeuralsirkrishnaExperiment26-7B. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и сохранена в формате safetensors. Модель предназначена для генерации текста и принимает текстовые запросы, формируя текстовые ответы. Размер контекстного окна составляет 32 768 токенов. Репозиторий распространяется по лицензии Apache-2.0.

Gemma 2B — компактная текстовая авторегрессионная языковая модель с архитектурой decoder-only из семейства Gemma, разработанного Google на основе исследований и технологий, использованных для Gemini. Эта версия содержит 2 млрд параметров; доступны открытые веса, а семейство включает предварительно обученные и дообученные для следования инструкциям варианты. Модель предназначена для генерации текста на английском языке: она может отвечать на вопросы, создавать диалоги и черновики, суммировать материалы и помогать в исследовании текстов. Небольшой размер позволяет запускать её на ноутбуке, настольном компьютере или собственной облачной инфраструктуре. Как и другие языковые модели, Gemma может выдавать фактические ошибки, отражать предубеждения обучающих данных и испытывать трудности с неоднозначными формулировками и сложными задачами. Для модели указана лицензия Gemma; применение должно соответствовать политике запрещённого использования Gemma.

Gemma Orchid 7b — дообученная модель генерации текста на базе Gemma, опубликованная macadeliccc. Автор описывает её как второй чекпойнт будущего проекта, ориентированный на диалог и вызов функций. Модель содержит 8,2 млрд параметров, построена на плотной архитектуре GemmaForCausalLM и принимает текст. Контекстное окно — 8192 токена; для общения используется формат ChatML. Модель дообучена методом LoRA примерно на 80 тысячах примеров из наборов Thermostatic/flowers, Intel/orca_dpo_pairs, jondurbin/truthy-dpo-v0.1 и glaiveai/glaive-function-calling-v2. Она предназначена для диалоговых ответов, суммаризации и сценариев с вызовом функций. В README приведены результаты нескольких бенчмарков, а полная оценка обозначена как незавершённая. В репозитории доступны веса safetensors. Лицензия указана как other, без более точных условий в предоставленных данных. Это ранний чекпойнт проекта; качество вызова функций и пригодность для конкретных задач следует проверять отдельно.

GLM-5.3-Flash-MLX-6bit — это конвертированная и 6-битно квантованная сборка модели GLM-5.3-Flash от Z.ai, подготовленная PipeNetwork для MLX и Apple Silicon. Архитектура исходной модели сохранена, однако слой multi-token prediction не включён. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями; в сборке также присутствует vision tower в формате bfloat16. Языки и размер контекстного окна в представленном описании не указаны. Модель имеет размер 320B-A18B и построена как mixture-of-experts: включает 34 слоя с Kimi-Delta linear attention и 11 слоёв с разреженным вниманием DeepSeek, а также manifold-constrained hyper-connections. Размер файлов составляет около 255,9 ГБ против 642,7 ГБ у исходной bfloat16-версии. Основная масса параметров, включая 304B параметров routed experts, квантована в 6 бит с группами по 64; отдельные компоненты используют 8-битный или исходный формат. По результатам теста на wikitext-2 перплексия составила 3,4646 против 3,4607 у 8-битной сборки, что соответствует небольшой потере качества. Сильные стороны модели — значительное уменьшение размера по сравнению с bfloat16, близкое к 8-битной версии качество и адаптация к экосистеме MLX. Для корректной работы требуется runtime с исправлениями PipeNetwork для вычислительного пути; стандартной версии mlx-vlm может быть недостаточно из-за выявленных расхождений. Практическое использование требует около 256 ГБ дискового пространства и совместимого Apple Silicon-окружения. Модель и upstream-исходник распространяются по лицензии MIT; порт доступен в репозитории PipeNetwork.

GPT-4o версии от 6 августа 2024 года — мультимодальная модель OpenAI. Карточка указывает на улучшенную поддержку структурированных ответов: можно передать JSON Schema через параметр response_format, чтобы задавать формат вывода. Модель предназначена для генерации ответов в заданной структуре, включая JSON. В метаданных задача классифицирована как image-text-to-text, однако приведённый фрагмент карточки не описывает конкретные сценарии обработки изображений, архитектуру, размер, поддерживаемые языки или длину контекста. Условия лицензии в предоставленных данных не указаны.

GPT4 x Alpaca — языковая модель семейства LLaMA, разработанная maicomputer. Модель содержит 12,9 млрд параметров и дообучена в течение трёх эпох на ответах GPT-4; в качестве базовой модели использована Alpaca-13B. Она предназначена для генерации текста и диалоговых ответов. В карточке приведены результаты оценки на ARC и HellaSwag.

richardyoung/granite-4.2-8b-heretic — модифицированная версия IBM Granite 4.2 8B, созданная разработчиком richardyoung методом abliteration с помощью Heretic. Это плотный декодерный трансформер GraniteForCausalLM на 8,4 млрд параметров для диалогов и генерации текста; модель поддерживает контекст до 131 072 токенов и 12 языков. В карточке также заявлены режимы рассуждения и вызов инструментов, однако каталог подтверждает только чат-возможности и задачу text-generation. Модель предназначена для творческого письма, обучения и экспериментов с методами выравнивания, а также локального вывода с меньшим числом отказов на запросы, которые базовая модель отклоняет. По приведённому в README тесту доля отказов снизилась с 99 из 100 до 12 из 100; это результат автора, а не независимая оценка. Указанная лицензия — Apache 2.0.

GreenNode-mini-7B-multilingual-v1olet-Mistral-7B-Instruct-v0.1 — чат-модель, созданная слиянием Mistral AI и GreenNode. Она предназначена для генерации ответов на инструкции и диалоговые запросы. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров; в метаданных указан контекст длиной до 32 768 токенов. Слияние выполнено методом SLERP с настройками, различающимися для слоёв self-attention и MLP. Карточка заявляет многоязычную направленность, однако метаданные перечисляют только английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Это GGUF-квантизация модели grimjim/Llama-3-Instruct-8B-SimPO-SPPO-Iter3-merge, подготовленная featherless-ai-quants. Модель относится к семейству Llama 3 Instruct, предназначена для генерации текста и использования в диалоговых и других текстовых сценариях. Из README следует, что базовая модель имеет размер 8B параметров, однако сведения об архитектуре, языках, размере контекста и исходном разработчике не указаны. Репозиторий предоставляет несколько вариантов квантизации GGUF: от Q2_K и Q3_K до Q8_0, а также IQ4_XS. Они различаются размером файлов — примерно от 3 до 8 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Конкретные показатели производительности и качества в README не приведены, поэтому сильные стороны модели можно оценить только как практическую доступность различных уровней квантизации; возможное снижение качества при более агрессивной квантизации остается ограничением. Лицензия и условия использования в README не указаны. Сведения о поддерживаемых модальностях ограничены текстовой генерацией; данные о работе с изображениями, аудио или другими типами входов отсутствуют.

Hathor_Gamma-L3-8B-0.6-GGUF — квантизированная версия языковой модели Hathor_Gamma-L3-8B-0.6, разработанной Nitral-AI. Файлы в формате GGUF подготовлены пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия; в README указан английский язык и шаблон запросов в формате, совместимом с Llama 3. Модель содержит около 8 миллиардов параметров и доступна в нескольких вариантах квантования от Q8 до Q2 и IQ2/IQ3/IQ4. Размер файлов составляет примерно от 2,75 до 9,52 ГБ. Старшие варианты квантования обеспечивают очень высокое качество при повышенных требованиях к памяти, тогда как младшие позволяют запускать модель на устройствах с ограниченным объёмом RAM, но заметно снижают качество. Некоторые варианты используют f16 для весов эмбеддингов и выходного слоя и отмечены как экспериментальные. Эта сборка удобна для локального запуска через llama.cpp и совместимые инструменты. README не содержит сведений о длине контекста, мультимодальности, данных обучения, результатах тестирования или точных архитектурных особенностях. Лицензия указана как other, без дополнительных условий в представленном описании, поэтому перед использованием следует проверить лицензию исходной модели Nitral-AI.

Huihui-MiniCPM5-1B-abliterated-GGUF — это GGUF-квантизированная версия модели Huihui-MiniCPM5-1B-abliterated, разработанной huihui-ai и подготовленной квантизатором mradermacher. Модель относится к семейству MiniCPM5 и предназначена для генерации текста, работы с длинным контекстом и вызова инструментов, в том числе на устройствах с ограниченными ресурсами и периферийных устройствах. В метаданных заявлена поддержка английского и китайского языков. Модель имеет размер 1 млрд параметров. Точная архитектура и максимальная длина контекста в README не указаны; среди тегов присутствуют llama, long-context и tool-calling. Доступны варианты GGUF с разными схемами квантизации и размером примерно от 0,6 до 2,3 ГБ: от Q2_K до Q8_0 и f16. Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант очень хорошего качества, а Q8_0 — как вариант с лучшим качеством среди указанных. К сильным сторонам относятся небольшой размер, возможность локального запуска и широкий выбор вариантов квантизации, позволяющий выбирать баланс между качеством, скоростью и потреблением памяти. Ограничения включают возможное снижение качества у низкобитных вариантов и отсутствие в README подробных результатов оценки, описания точного контекстного окна и архитектурных характеристик. Модель распространяется по лицензии Apache-2.0.

HunyuanOCR-1.5 — лёгкая специализированная зрительно-языковая модель Tencent для распознавания и анализа текста на изображениях. Она объединяет разбор документов, поиск и распознавание текста на изображении, извлечение информации и перевод текста с изображений в одной модели семейства Hunyuan-VL. Репозиторий также содержит архивную версию HunyuanOCR-1.0 и черновую модель DFlash для ускорения декодирования. Модель предназначена для OCR-сценариев, включая обработку документов, таблиц и формул, распознавание малоресурсных и древних письменностей, а также ответы на вопросы по нескольким изображениям. Контекстное окно расширено до 128K токенов, а максимальное разрешение изображений — до 4K. DFlash использует спекулятивное декодирование для ускорения генерации длинных структурированных результатов с сохранением распределения выходов целевой модели. Для инференса предусмотрены Transformers, vLLM и llama.cpp; README указывает поддержку серверных GPU и развёртывания на CPU, потребительских GPU и ноутбуках через llama.cpp с преобразованными весами GGUF. Метаданные указывают формат Safetensors и библиотеку Transformers. Карточка заявляет мультиязычную поддержку, в частности английского и китайского. Лицензия обозначена как other, без уточнения условий в предоставленных данных.

ibm-granite_granite-4.1-3b-GGUF — это квантизированная версия языковой модели Granite 4.1 3B, разработанной IBM (ibm-granite). Модель предназначена для генерации текста и запускается в формате GGUF через llama.cpp и совместимые приложения, включая LM Studio, Ollama-подобные среды на базе llama.cpp, KoboldCpp, Jan AI и Text Generation Web UI. Для диалогов используется специальный шаблон промпта с ролями system, user и assistant. В набор входят варианты с разными уровнями квантизации: от BF16 и Q8_0 до более компактных Q4, Q3 и IQ-форматов. Размер файлов составляет примерно от 1,6 до 6,8 ГБ, что позволяет выбирать между качеством, скоростью и требованиями к оперативной памяти. В README не указаны архитектура, поддерживаемые языки, размер контекстного окна и мультимодальные возможности; по имеющимся данным модель относится к текстовым генеративным моделям и не заявлена как мультимодальная. Сильная сторона набора — широкий выбор квантизаций для локального запуска, включая варианты, рекомендованные для баланса качества и размера, а также форматы, оптимизированные для отдельных CPU-платформ. Более агрессивная квантизация снижает требования к памяти, но может ухудшать качество генерации. Модель распространяется по лицензии Apache-2.0; конкретные условия использования следует проверять с учетом лицензии исходной модели IBM.