I.11Классификация, ранжирование и сопоставление

BeagleB-7B — объединённая модель для генерации текста, созданная с помощью LazyMergekit на основе OmniBeagle-7B, BeagleX-7B и FoxBeagle-7B. В конфигурации указана Mistral-7B-v0.1 как базовая модель и метод слияния dare_ties. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов. Репозиторий содержит веса в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

bruphin-lambda — диалоговая языковая модель на архитектуре Mistral, созданная nbeerbower с помощью слияния SLERP через mergekit. Она объединяет chihoonlee10/T3Q-Mistral-Orca-Math-DPO и nbeerbower/bruphin-kappa и предназначена для генерации текста в формате диалога. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса Safetensors; модель распространяется по лицензии Apache-2.0. В карточке не приведены сведения о языках, специальных доменах или сравнительных оценках качества.

MaziyarPanahi/calme-2.3-llama3-70b-GGUF — это набор файлов модели в формате GGUF для модели calme-2.3-llama3-70b, разработанный и квантованный MaziyarPanahi. Модель предназначена для генерации текста и запуска в локальных приложениях и библиотеках, поддерживающих GGUF. В репозитории доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит. Из идентификатора и тегов следует, что исходная модель основана на архитектуре Llama 3 и имеет размер 70 млрд параметров; точные сведения о модальностях, языках и размере контекста в README не указаны. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими инструментами, что позволяет использовать модель с GPU-ускорением и через совместимые API. Сильные стороны модели — широкий выбор уровней квантования и совместимость с экосистемой локального запуска GGUF. Более низкая разрядность может уменьшить требования к памяти, но потенциально снижает точность по сравнению с полноразмерной версией; конкретные компромиссы для каждого варианта не приведены. Лицензия в README не указана, поэтому условия использования необходимо уточнять в источнике исходной модели и сопутствующих файлах.

ChatGLM2-6B-32K — двуязычная диалоговая языковая модель, разработанная командой THUDM и представленная организацией zai-org. Это версия ChatGLM2-6B, дообученная для работы с длинным контекстом: модель насчитывает 7,5 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для диалогов и генерации текста на китайском и английском языках, в том числе для работы с длинными документами и многоходовыми беседами. Модель использует архитектуру ChatGLM с плотной сетью, смешанную целевую функцию GLM и Multi-Query Attention; для расширения контекста применена интерполяция позиционных кодировок. В README отмечены обучение на 1,4 трлн китайских и английских токенов, выравнивание по предпочтениям людей и применение FlashAttention. По заявлению авторов, в официальной реализации контекст 32K доступен примерно при 20 ГБ памяти в форматах FP/BF16; INT4-квантизация позволяет вести диалог длиной до 8K при 6 ГБ памяти. Модель может помогать составлять ответы, поддерживать диалог и обрабатывать длинный текст, но для контекстов до 8K авторы рекомендуют обычную ChatGLM2-6B. README не приводит независимых оценок качества. Код распространяется по Apache-2.0, а для весов действует отдельная Model License: академическое использование открыто, бесплатное коммерческое использование разрешено после заполнения анкеты.

Это GGUF-квантизированная версия языковой модели Kevin-32B, разработанной cognition-ai и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. Доступны варианты от BF16 до низкоразрядных квантов, что позволяет выбирать между качеством, размером файлов и требованиями к оперативной памяти. В основе лежит модель Kevin-32B с 32 миллиардами параметров. В README не указаны архитектура исходной модели, поддерживаемые языки, длина контекста и мультимодальные возможности, поэтому эти характеристики нельзя достоверно определить. Формат prompt предполагает шаблон с ролями system, user и assistant, а также секцией <think>. Более высокие варианты квантования, такие как Q6_K_L, Q6_K и Q5_K, заявлены как обеспечивающие очень высокое или высокое качество, тогда как Q3 и Q2-варианты экономят память за счёт заметного снижения качества. Сильная сторона сборки — широкий выбор квантов и совместимость с локальным инференсом через llama.cpp, включая запуск на устройствах с ограниченными ресурсами. Ограничения связаны с потерями качества при использовании низкоразрядных вариантов, значительным размером файлов и отсутствием в README сведений о лицензии, результатах тестирования и точных требованиях к оборудованию. Условия использования исходной модели и квантованных файлов не указаны.

DeepSeek-V2.5-IMat-GGUF — это GGUF-квантизованная версия модели DeepSeek-V2.5, разработанной DeepSeek и подготовленной для распространения пользователем legraphista. Модель предназначена для генерации текста и локального запуска с использованием llama.cpp и совместимых инструментов. В качестве исходной использована версия в формате BF16, а квантизация выполнена с помощью llama.cpp b3675. В репозитории доступны варианты квантизации Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3, IQ3, Q2 и IQ2 с размерами файлов примерно от 69,87 до 250,62 ГБ; файлы поставляются разделёнными на части. Для большинства вариантов применена IMatrix-квантизация, которая призвана эффективнее сохранять качество при уменьшении размера модели, тогда как Q8_0 и Q6_K используют статическую квантизацию. Конкретные архитектурные параметры, поддерживаемые языки, модальности и размер контекста в README не указаны. Сильная сторона сборки — широкий выбор уровней квантизации и совместимость с экосистемой GGUF и llama.cpp, что позволяет подбирать компромисс между требованиями к памяти и качеством генерации. Ограничениями являются очень большой размер даже наиболее компактных вариантов, необходимость работы с разделёнными файлами и возможная потеря качества на низких уровнях квантизации. Модель распространяется по лицензии DeepSeek; указана лицензия other со ссылкой на LICENSE-MODEL исходной модели.

inferencerlabs/DeepSeek-V4-Flash-0731-MLX-Q3i — квантованная версия модели DeepSeek-V4-Flash-0731, разработанной deepseek-ai, подготовленная для выполнения на устройствах Apple с использованием библиотеки MLX и её модифицированной версии. Модель предназначена для генерации текста и локального текстового инференса, в том числе в сценариях, где требуется запуск крупной языковой модели при ограниченном объёме оперативной памяти. Сборка использует метод сжатия INF, не зависящий от обучающих данных, и формат MLX. Согласно README, она рассчитана на работу в системе с 128 ГиБ RAM при сохранении связности ответов. На M3 Ultra с 512 ГиБ RAM заявлена скорость около 39,7 токена в секунду при генерации примерно 500 токенов; потребление памяти в этом тесте составляло около 104,6 ГиБ. Архитектура, точный размер модели, поддерживаемые языки, контекстное окно и модальности в README не указаны; по назначению это текстовая модель. К сильным сторонам относятся возможность локального запуска на совместимом оборудовании Apple, уменьшенные требования к памяти благодаря квантованию и сохранение приемлемой связности генерации. Ограничения включают зависимость от MLX и аппаратной конфигурации, возможное снижение качества по сравнению с исходной моделью из-за квантования, а также отсутствие подробных данных о точности и поддерживаемых сценариях. Лицензия в README не указана; условия использования следует уточнять для исходной модели и данной квантованной сборки отдельно.

Квантизированная GGUF-сборка модели DeepSeek-V4-Flash-180B, разработанной DeepSeek и опубликованной в этой форме пользователем kingjones777. Модель предназначена для локальной генерации текста и запуска через llama.cpp-подобный сервер на системах с AMD Strix Halo, включая Ryzen AI Max+ 395 с графикой gfx1151. В README также указана работа с tool calling в проверенной конфигурации. Сборка основана на MXFP4-релизе и преобразована в формат Q4_0_ROCMFP4_STRIX_LEAN. Доступны варианты примерно на 90 ГБ без MTP-тензоров и на 92 ГБ с сохранёнными MTP-тензорами для экспериментов со speculative decoding. Контекст в примере запуска установлен на 32 768 токенов, однако это значение не обязательно является предельным. Сведения об архитектуре, языках и мультимодальности не приведены. Главное преимущество — адаптация FP4-квантизации под unified-memory-системы AMD Strix Halo при существенно меньшем размере по сравнению с полноразмерными весами. Ограничения включают высокие требования к памяти, необходимость специальной сборки ROCmFPX с поддержкой ROCmFP4 для gfx1151 и несовместимость со стандартным llama.cpp. В README отмечено, что MTP-вариант в одном родственном тесте показал замедление примерно до 0,78×, поэтому его эффективность необходимо проверять на конкретном оборудовании. Репозиторий распространяется по лицензии Apache-2.0. Форматы ROCmFP4 и соответствующий форк ROCmFPX имеют лицензию MIT; лицензия и права на базовую модель определяются её авторами.

Dolphin 2.0 Mistral 7B — диалоговая языковая модель, разработанная Eric Hartford и обученная при спонсорской поддержке a16z. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов в формате чата. Модель принимает текст и использует формат запросов ChatML; заявленная длина контекста — 32 768 токенов. Модель дообучена на наборе Dolphin, основанном на открытой реализации Microsoft Orca, с добавлением данных Airoboros 2.2.1. В карточке заявлены очистка данных от alignment и bias и высокая готовность следовать запросам. Подходит для диалоговых помощников, генерации и продолжения текста, а также творческих ответов. Основной язык карточки — английский. Модель распространяется под лицензией Apache-2.0 и заявлена как пригодная для коммерческого и некоммерческого использования. Автор предупреждает, что модель может выполнять в том числе неэтичные запросы, поэтому перед предоставлением пользователям рекомендуется добавить собственный слой контроля поведения.

DolphinStar-12.5B — разговорная текстовая модель, созданная Noodlz линейным слиянием моделей Dolphin и Starling на архитектуре Mistral. Репозиторий содержит веса Safetensors; размер модели в метаданных указан как 12,3 млрд параметров, а контекст составляет до 32 768 токенов. Модель предназначена для диалогов и генерации текста. В карточке рекомендованы шаблоны ChatML или LM Studio по умолчанию; автор отмечает, что результаты зависят от шаблона и размера пакета. Лицензия — Apache 2.0.

Eurus-2-7B-PRIME-GGUF — набор квантованных версий языковой модели Eurus-2-7B-PRIME, разработанной PRIME-RL и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. README не содержит подробностей о специализации модели, архитектуре исходной модели, поддерживаемых языках и длине контекста. Доступны варианты от полноразмерных F16 и Q8_0 до низкобитных IQ2 и Q2. Размер файлов составляет примерно от 2,78 до 15,24 ГБ. Квантование выполнено с использованием imatrix и llama.cpp b4404. Варианты Q6 и Q5 позиционируются как обеспечивающие очень высокое или высокое качество, а Q4_K_M — как компромиссный вариант для большинства сценариев; низкобитные версии требуют меньше оперативной памяти, но заметно уступают по качеству. Для работы рекомендуется использовать указанный в README формат prompt с ролями system, user и assistant. Модель распространяется по лицензии Apache-2.0.

Experiment26Neuralsirkrishna_Experiment24Yam — объединённая модель Mistral, созданная из automerger/Experiment26Neuralsirkrishna-7B и automerger/Experiment24Yam-7B. Она предназначена для генерации текста и диалогов, включая сценарии с длинным контекстом до 32 768 токенов. Модель содержит 7,1 млрд параметров и распространяется в формате Safetensors. Практические качества и языковой охват отдельно не описаны; пригодность модели для конкретных задач следует оценивать на собственных данных. Лицензия — Apache-2.0.

Experiment27pasticheT3q-7B — объединённая модель для генерации текста, созданная Maxime Labonne автоматическим слиянием automerger/Experiment27Pastiche-7B и chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Модель построена на архитектуре Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых ответов. В слиянии использован метод SLERP с разными весами для слоёв self-attention и MLP. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

Experiment28M7_Multi_verse_modelExperiment28 — объединённая текстовая модель семейства Mistral, созданная на основе automerger/Experiment28M7-7B и automerger/Multi_verse_modelExperiment28-7B. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и принимает контекст длиной до 32 768 токенов. Модель предназначена для генерации текста и диалогов. Её можно использовать для продолжения текста, составления ответов и ведения беседы в приложениях на базе языковых моделей. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Experiment28M7_NeuralsirkrishnaM7 — объединённая языковая модель семейства Mistral, созданная слиянием automerger/Experiment28M7-7B и automerger/NeuralsirkrishnaM7-7B. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и принимает текст для авторегрессионной генерации текста. Контекстное окно составляет до 32 768 токенов. Модель подходит для генерации продолжений, ответов и диалогового текста в сценариях, где нужен длинный контекст. Доступна в формате Safetensors. Лицензия — Apache-2.0. README не приводит сравнительных оценок качества или специальных сведений о поддерживаемых языках и ограничениях.

Experiment28M7_Strangemerges_32Ogno — объединённая авторами репозитория MaziyarPanahi модель на архитектуре Mistral с 7,1 млрд параметров. Она предназначена для генерации текста и диалогов, а контекст модели составляет до 32 768 токенов. Модель объединяет automerger/Experiment28M7-7B и automerger/Strangemerges_32Ogno-7B. Веса доступны в формате safetensors, лицензия — Apache-2.0. Сведения о специальных предметных областях или дополнительных возможностях не приведены.

FableOpus-9B-Delta-GGUF — это набор GGUF-квантизаций модели FableOpus-9B-Delta, разработанной bingleai и преобразованной в GGUF пользователем mradermacher. Модель относится к семейству Qwen и связана с тегами qwen3.5, fable-5, claude-opus, distillation и merge. В метаданных указан английский язык и библиотека Transformers. Основное назначение модели — локальный запуск в совместимых средах, поддерживающих формат GGUF. Доступны варианты с разным уровнем квантизации: от Q2_K размером около 3,9 ГБ до Q8_0 размером около 9,6 ГБ, а также версия f16 размером около 18 ГБ. В README также представлены мультимодальные дополнения mmproj-Q8_0 и mmproj-f16, однако конкретные поддерживаемые типы входных данных и возможности мультимодальной работы не описаны. Сильная сторона набора — широкий выбор компромиссов между размером, скоростью и качеством: Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант с очень хорошим качеством, а Q8_0 — как вариант с лучшим качеством среди указанных. Ограничения включают отсутствие описания архитектуры, числа параметров, контекстного окна, точных возможностей и результатов оценки; weighted/imatrix-квантизации на момент публикации не заявлены. Модель и квантизации распространяются по лицензии Apache-2.0.

OpenAssistant/falcon-40b-sft-mix-1226 — языковая модель OpenAssistant, созданная дообучением Falcon 40B от TII. Это плотный авторегрессионный трансформер с причинным декодером; метаданные указывают 65 млрд параметров. Модель обучена на смеси диалогов OpenAssistant OASST1, Dolly-15k и синтетических инструкционных данных; карточка связывает её с контрольной точкой обучения на 1226 шагах. Модель предназначена для генерации ответов и продолжения текста по инструкциям, в том числе в диалоговом формате с маркерами пользовательских и ассистентских реплик. Основные языки — английский, немецкий, испанский и французский; README также отмечает ограниченные возможности на итальянском, португальском, польском, нидерландском, румынском, чешском и шведском. Модель принимает текст и генерирует текст. Сильная сторона модели — дообучение на диалогах и инструкциях, позволяющее отвечать на вопросы и выполнять текстовые запросы на нескольких языках. Карточка приводит оценивание ilm-eval и демонстрации продолжения случайных запросов. Ограничения: дополнительные языки поддерживаются слабее основных, а в карточке нет данных о длине контекста. Лицензия — Apache 2.0.

Google Gemma 3 1B IT QAT Q4_0 Unquantized — компактная диалоговая модель на базе Gemma 3 1B IT. Репозиторий указан как дообучение google/gemma-3-1b-it; метаданные описывают чат-возможности и формат safetensors. Несмотря на название QAT Q4_0 Unquantized, доступные сведения не подтверждают, что в репозитории размещены квантизованные веса. Модель предназначена для диалоговой генерации текста, ответов на вопросы и суммаризации. README семейства Gemma 3 также описывает мультимодальный ввод изображений, однако метаданные этой конкретной модели подтверждают только задачу text-generation, поэтому поддержку изображений нельзя считать установленной для данного репозитория. В README для семейства заявлены контекст до 128K токенов и поддержка более 140 языков; эти характеристики не подтверждены отдельно для данного варианта. Модель может давать неточные или устаревшие сведения, испытывать трудности с неоднозначными и сложными запросами, а также воспроизводить смещения из обучающих данных. Лицензия — Gemma; использование регулируется условиями лицензии Google Gemma и соответствующей политикой допустимого использования.

glm-4-9b-chat-IMat-GGUF — это набор GGUF-квантизированных версий чат-модели THUDM/glm-4-9b-chat, разработанной командой THUDM. Квантизацию выполнил legraphista с использованием llama.cpp и IMatrix для ряда вариантов. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимое программное обеспечение, например llama.cpp. Модель имеет около 9 миллиардов параметров и создана на основе исходной версии в формате BF16. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантизаций; размеры файлов составляют примерно от 3,99 до 18,81 ГБ. В метаданных указана поддержка китайского и английского языков. Для низкобитных вариантов применена IMatrix, призванная улучшить качество квантизации, однако конкретные показатели качества и максимальный размер контекста в README не указаны. Главное преимущество набора — выбор между качеством, размером и требованиями к ресурсам, что позволяет запускать модель на различном локальном оборудовании. Ограничения связаны с потерями качества при более агрессивной квантизации, а также с отсутствием в предоставленных данных подробных бенчмарков, требований к памяти и описания архитектуры. Модель распространяется по лицензии glm-4; README указывает отдельную лицензию и ссылку на лицензионные условия исходной модели.

Это квантизированная GGUF-версия Gemma 3n E4B Instruct, разработанной Google и подготовленной пользователем bartowski для запуска через llama.cpp и совместимые приложения. Модель предназначена для генерации текста, а также, согласно указанным тегам, для сценариев автоматического распознавания и перевода речи и преобразования аудио или видео в текст. Доступен запуск, в частности, через LM Studio и другие проекты на базе llama.cpp. В README указано, что модель имеет размер E4B и представлена в нескольких вариантах квантизации от Q2 до Q8, с размером файлов примерно от 3 до 7,35 ГБ. Более качественными и рекомендуемыми названы варианты Q5–Q8, а варианты Q3 и ниже подходят для систем с ограниченным объёмом оперативной памяти, но снижают качество. Мультимодальность, поддерживаемые языки и размер контекста в предоставленных данных не уточнены. Формат промпта требует проверки по исходной карточке модели, поскольку шаблон чата в README не задан явно. Модель удобна для локального запуска на совместимом оборудовании благодаря выбору уровней квантизации, однако качество зависит от выбранного варианта, а низкие уровни могут заметно уступать исходной модели. Для использования требуется принять лицензию Google Gemma на Hugging Face; конкретные условия лицензии следует учитывать отдельно.

manojpreveen/gpt-neoxt-20b-v13 — дообученная модель генерации текста на архитектуре GPT-NeoX, созданная на базе togethercomputer/GPT-NeoXT-Chat-Base-20B. Автор сообщает, что модель обучена на наборе Instruction Tuning объёмом около 5,2 млн примеров с использованием Colossal-AI; также в метаданных указан набор Conversational Data. Размер модели — 26,9 млрд параметров, нативный контекст — 2048 токенов. Модель предназначена для генерации ответов на инструкции и диалоговых запросов. В карточке описано обучение в течение пяти эпох на восьми GPU A100 с размером блока 2020 токенов. Лицензия — BigScience OpenRAIL-M.

Карточка модели Asefalus/gpt-oss-20b-heretic на Hugging Face совпадает с карточкой p-e-w/gpt-oss-20b-heretic, поэтому описание составлено по ней. p-e-w/gpt-oss-20b-heretic — текстовая разговорная модель на архитектуре GPT-OSS, созданная на основе openai/gpt-oss-20b с помощью abliteration, направленной на снижение отказов. В карточке приведено сравнение: в тесте на 100 запросах модель отказала в 58 случаях против 100 у исходной модели; KL-дивергенция составила 0,96. README также описывает базовую модель как MoE с 21 млрд параметров и 3,6 млрд активных параметров, контекстом 131 072 токена и форматом Harmony; метаданные репозитория при этом указывают 1,6 млрд параметров. Модель предназначена для диалога, генерации текста и локальных или специализированных сценариев. Базовая модель поддерживает настраиваемый уровень рассуждений, вызов функций и агентные сценарии; в этом репозитории заявлено снижение числа отказов, но приведённый тест не гарантирует поведение на других запросах. Для корректной работы следует использовать формат Harmony. Лицензия — Apache-2.0.

Granite Docling 2stage — мультимодальная модель IBM Research для преобразования страниц документов в структурированный текст и другие форматы в составе Docling. Это дообученная версия IBM Granite Docling 258M с архитектурой Idefics3 и плотной моделью условной генерации; метаданные указывают размер семейства в названии базовой модели — 258M. Лицензия Apache 2.0. Модель принимает изображения документов и формирует текстовое представление их содержимого и структуры. Она предназначена для распознавания текста, формул, таблиц, диаграмм и элементов макета, преобразования документов в HTML и Markdown, а также ответов на вопросы о структуре документа. В двухэтапном процессе динамический запрос строится с использованием найденных на странице объектов макета; доступны обработка всей страницы и обработка области, заданной рамкой. Модель интегрируется с DoclingDocuments и рассчитана на использование в конвейерах библиотеки Docling. Основной язык — английский; README также сообщает об экспериментальной поддержке японского, арабского и китайского. К сильным сторонам относятся извлечение структуры документов, распознавание формул и встроенной математики, а также более устойчивая работа на данных вне обучающего распределения. Модель не предназначена для общего понимания изображений; ответы могут быть неточными, предвзятыми или содержать галлюцинации, поэтому результаты документов следует проверять.

Grug 12B — экспериментальная дообученная модель на базе Google Gemma 4 12B IT, созданная для компактных рассуждений. Разработчик обучил её сохранять важные шаги, ограничения, развилки и проверки ответа, сокращая многословные цепочки рассуждений. Веса опубликованы в формате Transformers/safetensors; модель доступна для диалогового использования и генерации текста. Модель подходит для задач общего рассуждения, математики и программирования, где полезны более короткие ответы и меньшее число токенов рассуждения. Дообучение выполнено методом QLoRA с последующим слиянием адаптера с базовой моделью. В метаданных базовая Gemma 4 описана как мультимодальная, однако README Grug заявляет только компактные рассуждения и не подтверждает отдельную настройку или оценку обработки изображений, видео и аудио. В небольшой локальной проверке на 36 математических примерах модель показала более короткую генерацию и более высокие прокси-показатели, но автор подчёркивает, что это не широкий бенчмарк. Модель может чрезмерно сжимать рассуждения в задачах, требующих длинных выводов, и наследует ограничения и поведение безопасности базовой модели. Лицензия указана как other; README рекомендует отдельно проверять лицензии и происхождение данных, особенно для коммерческого или чувствительного применения.

Nitral-AI/Hathor_Stable-v0.2-L3-8B — разговорная текстовая модель семейства Llama, представленная Nitral-AI. Она предназначена для генерации текста в диалоговом формате и может использоваться как чат-модель. В репозитории указано 7,5 млрд параметров; модель имеет плотную архитектуру LlamaForCausalLM, работает с контекстом до 8192 токенов и распространяется в формате safetensors. В карточке приведены результаты оценки Open LLM Leaderboard: средний балл 25,70, IFEval — 71,75 и BBH — 32,83. Указана лицензия other, поэтому условия использования следует проверять в материалах репозитория перед внедрением.

mlx-community/Hermes-3-Llama-3.1-8B-8bit — 8-битная версия Hermes 3 на базе Llama 3.1 8B, подготовленная сообществом mlx-community для формата MLX. Модель была преобразована из NousResearch/Hermes-3-Llama-3.1-8B с помощью mlx-lm 0.16.1; метаданные указывают на дообучение исходной Llama 3.1 8B и архитектуру LlamaForCausalLM с 7,5 млрд параметров. Модель предназначена для диалогов и следования инструкциям, включая генерацию текста, ролевые сценарии и вызов функций. Заявленный контекст составляет 131 072 токена; в карточке указаны английский язык, chat template ChatML, режим JSON и function calling. Формат MLX рассчитан на запуск через mlx-lm. Для модели указана лицензия llama3. Карточка не приводит отдельных результатов оценки качества; фактическая скорость и потребление памяти зависят от устройства и сценария запуска.

Hollow Ridge Q4 — каузальная языковая модель для генерации текста, опубликованная пользователем codex176743 на Hugging Face. По метаданным она связана с семейством Qwen2, содержит около 7,1 млрд параметров и рассчитана на запуск через библиотеку Transformers. В карточке также указаны форматы safetensors и conversational. Модель предназначена для диалоговой генерации текста, продолжения запросов и построения приложений на базе text-generation. Нативное контекстное окно составляет 32 768 токенов, что позволяет обрабатывать достаточно длинные инструкции и фрагменты диалога. Лицензия Apache-2.0 допускает использование в соответствии с её условиями. В README нет сведений о результатах оценки, поддерживаемых естественных языках, данных обучения, методе квантования Q4 или специализированных прикладных областях. Поэтому качество модели и её пригодность для конкретных языков и сценариев следует проверять отдельно.

Это GGUF-квантизированная версия языковой модели granite-4.0-h-micro, разработанной IBM Granite и опубликованной в формате llama.cpp-сумместимых файлов пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты с точностью от BF16 до Q3 и IQ3/IQ4, с размерами файлов примерно от 1,46 до 6,39 ГБ. Квантизация выполнена с использованием imatrix на базе llama.cpp, что позволяет снизить требования к памяти при сохранении приемлемого качества; наиболее качественными считаются варианты Q6 и Q5, а Q4_K_M указан как вариант по умолчанию для большинства сценариев. Исходный README не содержит сведений об архитектуре, числе параметров, поддерживаемых языках, модальностях, размере контекста или формате prompt. Сильной стороной модели является широкий выбор степеней квантизации для разных ограничений по памяти и оборудования, включая варианты, ориентированные на CPU и Apple silicon. Более компактные варианты экономят память, но обеспечивают более низкое качество. Лицензия в README не указана; условия использования следует уточнять на странице исходной модели IBM Granite и соответствующего репозитория.

Это GGUF-квантизированная версия языковой модели OREAL-32B, разработанной internlm и опубликованной в виде квантований пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В качестве исходной модели указана internlm/OREAL-32B, а для квантования использован llama.cpp b4688 с методом imatrix и набором данных internlm/OREAL-RL-Prompts. Модель имеет размер 32B параметров; в README не указаны её архитектурные детали, поддерживаемые языки, модальности и размер контекстного окна. Доступны варианты GGUF с квантованием от Q8_0 до Q2_K и IQ2/IQ3/IQ4, размером примерно от 11 до 35 ГБ. Более высокие уровни квантования обеспечивают лучшее качество, но требуют больше памяти; варианты Q4_K_M, Q5, Q6 и Q8_0 описаны как качественные, а Q2 и Q3 — как более экономичные, но с заметным снижением качества. Основные преимущества — возможность локального запуска, широкий выбор компромиссов между качеством и потреблением памяти, а также совместимость с распространёнными инструментами llama.cpp. Ограничения связаны с потерями качества при низком уровне квантования и значительными требованиями к памяти для крупных вариантов. Лицензия указана как Apache-2.0.