I.1Поиск и навигация по информации

Карточка модели liskasYR/MiniCPM5-2B-Base на Hugging Face совпадает с карточкой openbmb/MiniCPM5-2B-Base, поэтому описание составлено по ней. MiniCPM5-2B-Base — базовая плотная авторегрессионная языковая модель семейства MiniCPM5, разработанная OpenBMB. Она предназначена для локальных ассистентов, агентных сценариев, работы с инструментами и рассуждений на устройствах с ограниченными ресурсами. Модель содержит около 2,2 млрд параметров; в карточке указана архитектура LlamaForCausalLM с 42 слоями и поддержка длинного контекста. README указывает контекст 131 072 токена, тогда как метаданные каталога сообщают 524 288 токенов. Модель работает с текстом и ориентирована на английский и китайский языки. Среди заявленных сильных сторон — код, математика, понимание длинного контекста, использование инструментов и агентные задачи; это характеристики, заявленные разработчиком, а не независимая оценка. Для фактических результатов важны вычислительные ресурсы, среда запуска и проверка ответов: генерация может быть неточной, предвзятой или оскорбительной и уязвима к специально составленным запросам. Лицензия — Apache-2.0.

Mistral-Large-3-675B-Instruct-2512-GGUF — это квантизированная GGUF-версия инструкционной модели Mistral Large 3, разработанной mistralai и подготовленной пользователем bartowski для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для диалоговых сценариев и обработки текста, а также помечена как image-text-to-text, однако подробности о поддерживаемой работе с изображениями в README не приведены. Модель имеет заявленный размер 675B параметров и доступна в нескольких вариантах квантизации от Q8_0 до Q3 и IQ3/IQ4. Размер файлов составляет примерно от 279 до 716 ГБ, поэтому для запуска требуются значительные аппаратные ресурсы. Заявлены языки English, French, Spanish, German, Italian, Portuguese, Dutch, Chinese, Japanese, Korean и Arabic. Контекстное окно, точная архитектура и рекомендуемый формат промптов в README не указаны. Сильной стороной являются варианты Q6_K и Q5_K_M с качеством, близким к исходной модели, а также более компактные Q4- и IQ4-варианты с компромиссом между качеством и требованиями к памяти. Низкобитные варианты экономят место, но могут заметно уступать по качеству; часть форматов обозначена как устаревшая или нерекомендуемая. Модель распространяется по лицензии Apache-2.0.

Это квантованная сборка модели NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16, подготовленная FreedomAISVR в формате GGUF. Она предназначена для генерации текста и диалогов, включая задачи рассуждения. Архитектура сочетает Mamba2 и Transformer и использует MoE: из 128 экспертов для каждого токена выбираются шесть. Всего в модели около 30 млрд параметров, из которых активно около 3 млрд; контекст — до 262 тыс. токенов. Веса экспертов хранятся в MXFP4, плотные веса — в Q8_0, а тензоры Mamba2 — в F16 для совместимости с CUDA-ядрами SSM. В репозитории также есть F16-проектор SigLIP для обработки изображений. Для полноценного запуска требуется среда с поддержкой GGUF и мультимодального проектора, например llama.cpp. Гибридный формат экономит память, однако операции Mamba2 на CUDA могут переходить на CPU, что снижает скорость. README не уточняет лицензию производной сборки; метаданные указывают лицензию «other», поэтому условия следует сверить с карточкой модели и условиями базовой модели.

NeoHorse-1-4B-onw — TokenRhythm/NeoHorse-1-4B для запуска через движок onw на Intel NPU. Текстовая плотная авторегрессионная модель семейства Qwen3.5 с 3,4 млрд параметров и контекстом до 262 144 токенов. В README описана структура из 32 слоёв: 24 слоя Gated DeltaNet и 8 слоёв с gated attention. Веса преобразованы для движка onw и квантованы: группы весов используют INT4, выходной слой — INT8, эмбеддинги — INT4. Модель предназначена для диалогов, следования инструкциям, вызова инструментов и агентных сценариев, а также задач программирования и рассуждений. Поддерживает японский и английский языки, интерфейс вызова инструментов, совместимый с OpenAI API, включая параллельные вызовы. README приводит результаты измерений скорости и совпадения ответов на конкретном тестовом устройстве; эти показатели не гарантированы на другом оборудовании. Для работы нужны движок onw и совместимый Intel Core Ultra с NPU. Лицензия — Apache 2.0.

Kukedlc/Neural-4-QA-7b-v0.2 — объединённая языковая модель, созданная разработчиком с помощью mergekit методом SLERP из Kukedlc/Neural-4-QA-7b и allknowingroger/NeuralCeptrix-7B-slerp. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на вопросы. Она принимает текст и выдаёт текст; контекстное окно составляет до 32 768 токенов. Модель подходит для диалоговых сценариев, где нужно формировать текстовые ответы по запросу и работать с длинным контекстом. В репозитории представлены веса в формате safetensors. Лицензия в предоставленных данных не указана.

pixtral-12b-FP8-dynamic — это квантизированная версия мультимодальной модели mgoin/pixtral-12b, разработанная Neural Magic. Модель принимает изображения и текстовые запросы, а генерирует текстовые ответы. Она предназначена для задач визуального анализа, включая ответы на вопросы по изображениям, работу с документами, графиками и диаграммами, а также мультимодальные математические задачи. Модель также может применяться для отдельных текстовых сценариев, включая оценивание знаний и генерацию кода. В модели использована динамическая FP8-квантизация весов и активаций. Квантизация выполнена для линейных слоёв с сохранением vision tower, мультимодального проектора и lm_head в исходном виде. Размер базовой модели — 12B параметров; входная модальность — vision-text, выходная — text. В README указан английский язык. Для эффективного инференса модель рассчитана на использование с vLLM версии 0.5.2 и новее, включая OpenAI-совместимый режим сервинга. Приведённый пример использует контекст до 4096 токенов, а в оценочных конфигурациях встречается значение до 25000 токенов. Сильная сторона модели — снижение требований к памяти и вычислительным ресурсам благодаря FP8-квантизации при сохранении близких к исходной модели результатов на визуальных тестах: указаны оценки на MMMU, VQAv2, DocVQA, ChartQA и MathVista. Ограничения включают зависимость от совместимой инфраструктуры vLLM, необходимость поддержки мультимодального инференса и отсутствие в предоставленных данных подробных сведений о полном наборе языков, точном размере контекстного окна и аппаратных требованиях. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/Qwen2.5-32B-Instruct-GGUF — это набор файлов модели в формате GGUF для Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантованную версию подготовил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживающих исходную instruct-модель. Модель имеет размер 32B параметров и относится к текстовым моделям. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между качеством, потреблением памяти и скоростью работы. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими совместимыми инструментами, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Сильными сторонами являются широкий выбор уровней квантования и совместимость с популярной экосистемой локального инференса. README не содержит сведений о поддерживаемых языках, размере контекста, точной архитектуре, результатах оценки или ограничениях исходной модели. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять в документации Qwen2.5-32B-Instruct и данного репозитория.

Qwen2.5-72B-0.6x-Instruct-GGUF — набор GGUF-квантизированных версий инструкционной языковой модели Qwen2.5-72B-0.6x-Instruct. Квантизацию выполнил bartowski с использованием llama.cpp b4058 и метода imatrix. Модель предназначена для текстовой генерации и диалоговых сценариев, включая работу в LM Studio; README указывает английский язык и формат чата с системными и пользовательскими сообщениями. Доступны варианты квантизации от Q8_0 размером 77,26 ГБ до IQ1_M размером 25,49 ГБ. Версии Q6_K, Q5_K_M, Q5_K_S и Q4_K_M обозначены как рекомендованные благодаря хорошему соотношению качества и размера, при этом более сильная квантизация уменьшает требования к памяти, но может снижать качество ответов. Q3 и Q2-варианты рассчитаны на системы с ограниченным объёмом RAM и характеризуются более низким качеством. Некоторые форматы оптимизированы для ARM и AVX, а Q4_0_8_8 требует поддержки SVE на ARM и не рекомендуется для Mac. Модель использует лицензию Qwen; ссылка на текст лицензии ведёт к лицензии исходной модели Qwen2.5-72B-Instruct. В README не указаны архитектурные детали, размер контекстного окна, полный список поддерживаемых языков, мультимодальные возможности и результаты бенчмарков, поэтому эти характеристики нельзя надёжно определить по предоставленным данным.

Qwen3.5-9B-GGUF — это квантизированная версия языковой модели Qwen3.5-9B, распространяемая в формате GGUF. Исходную модель разработала команда Qwen; преобразование и квантизацию выполнила unsloth. Репозиторий tinnlab/Qwen3.5-9B-GGUF является зеркалом без изменений: Tin Nguyen Lab не обучала, не дообучала и не квантизировала модель. В поставке доступен один файл Qwen3.5-9B-Q4_K_M.gguf размером около 5,68 ГБ с квантизацией Q4_K_M. Модель предназначена для локальной генерации текста, текстового диалога и использования инструментов без API-ключа. В данном репозитории поддерживаются только текстовые сценарии; мультимодальный проектор отсутствует, поэтому обработка изображений и видео невозможна. Дополнительные сведения об архитектуре, языках и размере контекста в предоставленной карточке не указаны. Модель распространяется по лицензии Apache-2.0. Репозиторий общедоступен и не требует токена, учётной записи или соглашения о доступе. Зеркало содержит только вариант Q4_K_M, поэтому для других уровней квантизации и мультимодальных компонентов необходимо обращаться к исходному репозиторию unsloth.

Qwen3.6-35B-A3B-Q6_K-GGUF — это квантизированная версия модели Qwen3.6-35B-A3B, разработанная сообществом Qwen и преобразованная пользователем Abiray в формат GGUF с использованием llama.cpp. Модель предназначена для локального запуска на потребительском оборудовании и в сценариях с высокой нагрузкой на CPU; использовать её можно через llama.cpp и совместимые инструменты. Модель имеет архитектуру mixture-of-experts (MoE), что отражено в обозначении 35B-A3B: общий размер составляет около 35 млрд параметров, а активными при обработке, предположительно, являются около 3 млрд параметров. Вариант Q6_K использует 6-битное квантизирование и позиционируется как версия с очень высоким качеством при меньшем размере по сравнению с полной моделью. В метаданных указано назначение image-text-to-text, однако сведения о поддерживаемых языках, точном размере контекста, визуальном модуле и фактических мультимодальных возможностях отсутствуют. Сильными сторонами являются локальный запуск, совместимость с экосистемой GGUF и llama.cpp, а также компромисс между качеством и требованиями к ресурсам. Ограничения связаны с потерями качества, возможными для квантизированной версии, потребностью подобрать параметры потоков и контекста под конкретное оборудование и отсутствием подробных данных о производительности. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная версия Qwen3.8-27B, опубликованная HauhauCS. Это плотная языковая модель с поддержкой текста, рассуждений, агентских сценариев, изображений и видео. Она предназначена для прямых ответов без выраженного отказного поведения и минимального вступления, включая сложные запросы. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, FFN-размер 17408 и словарь из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный механизм MTP/NextN, а профиль HauhauCS FastMTP предназначен для ускорения генерации. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000. Поддерживаются английский, китайский и другие языки; для изображений и видео используется отдельный vision-проектор BF16. Сильные стороны модели — мультимодальность, большой контекст, несколько вариантов GGUF-квантизации и ускорение FastMTP. Агрессивный профиль может быть удобен, когда важны краткость и отсутствие отказов, однако для надёжных длинноконтекстных агентских задач автор рекомендует сбалансированный вариант, если он доступен. README не приводит независимых оценок качества и не уточняет риски, связанные с uncensored-поведением. Модель распространяется по лицензии Apache-2.0.

Vishva007/Qwen3.8-27B-W4A16-AutoRound-GPTQ — квантованная версия модели Qwen/Qwen3.8-27B, подготовленная с использованием алгоритма Intel AutoRound. Базовая архитектура разработана командой Qwen; автор репозитория адаптировал её для более экономичного запуска. Модель относится к мультимодальным vision-language моделям и поддерживает сценарии обработки текста и изображений с генерацией текста, включая визуальное рассуждение и OCR. Модель содержит около 27 млрд параметров и использует формат W4A16: веса представлены в 4-битном виде, а активации — в 16-битном. Квантование выполнено с размером группы 64, симметричной схемой и калибровкой на 512 образцах. Vision tower сохранён в формате BF16, как и специальные MTP-слои, что должно помогать сохранять качество работы с изображениями. Заявленное потребление видеопамяти составляет примерно 16–18 ГБ против около 54 ГБ у исходной BF16-модели; это позволяет запускать модель на одной видеокарте с 24 ГБ памяти. В README приведён пример использования с vLLM и длиной контекста 4096 токенов, однако полный набор поддерживаемых языков и исходный максимальный контекст не указаны. К преимуществам относятся существенно сниженные требования к VRAM, потенциально более высокая скорость декодирования за счёт уменьшения нагрузки на пропускную способность памяти и сохранение vision tower в BF16. Ограничениями являются возможная потеря точности из-за 4-битного квантования, зависимость от совместимости используемого движка с AutoRound или GPTQ и отсутствие подробных результатов бенчмарков. Модель распространяется по лицензии Apache-2.0.

Qwen-Qwen2-7B-Instruct-GGUF — набор GGUF-квантизаций модели Qwen2-7B-Instruct, разработанной Qwen и опубликованной в формате квантизированных файлов командой featherless-ai-quants. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие сценарии text-generation. GGUF-формат ориентирован на локальный запуск совместимыми инструментами, а разные уровни квантизации позволяют выбирать компромисс между размером файла, требованиями к памяти и качеством работы. В набор входят варианты IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 2,9 до 7,7 ГБ. Из README известно, что это текстовая модель с примерно 7 миллиардами параметров; сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста не указаны. Более сильная квантизация обычно уменьшает требования к ресурсам, но может снижать точность по сравнению с менее квантизированными вариантами. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять в материалах исходной модели Qwen2-7B-Instruct и репозитории квантизаций.

Kaoeiri/Qwenwify2.5-32B-v4.71-ED — языковая модель для генерации текста и диалогов, созданная слиянием нескольких моделей семейства Qwen2.5 при помощи mergekit. В README указан метод DARE TIES и базовая модель Qwen/Qwen2.5-32B-Instruct; в слияние также вошли модели, ориентированные на диалог, рассуждения, ролевые сценарии и японский язык. Модель использует плотную архитектуру Qwen2ForCausalLM, содержит 32 млрд параметров и имеет контекстное окно 32 768 токенов. Метаданные указывают поддержку китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков, а также интерфейс для вызова инструментов. Она подходит для диалогов, генерации текста и сценариев ролевого общения; подробные сравнительные оценки качества в карточке не приведены. Лицензия в предоставленных данных не указана.

mlx-community/QwQ-32B-Preview-bf16 — конвертированная в формат MLX версия QwQ-32B-Preview, подготовленная сообществом mlx-community из модели Qwen/QwQ-32B-Preview с помощью mlx-lm 0.20.1. Это плотная авторегрессионная модель семейства Qwen2 на 32 млрд параметров для генерации текста в диалоговом режиме; заявленная длина контекста — 32 768 токенов. Модель подходит для диалоговых ответов, математических рассуждений и программирования. В карточке заявлен интерфейс для вызова инструментов; английский указан среди языков. Репозиторий распространяется по лицензии Apache-2.0. Это конверсия в MLX, поэтому для запуска требуется совместимая среда MLX.

T3qm7xNeuralsirkrishna_NeuralsirkrishnaExperiment26 — объединённая языковая модель, созданная из automerger/T3qm7xNeuralsirkrishna-7B и automerger/NeuralsirkrishnaExperiment26-7B. Она использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и предназначена для генерации текста и диалогов с контекстом до 32 768 токенов. Модель принимает текст и выдаёт текст; репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. Карточка не приводит сведений о специализированной области применения или языках, поэтому модель описывается как общего назначения.

Это instruction-tuned вариант T5Gemma от Google с энкодером и декодером размера B, адаптированный с использованием UL2. Семейство T5Gemma состоит из компактных моделей типа энкодер-декодер, созданных на основе предварительно обученных моделей decoder-only; такая архитектура рассчитана на эффективную генерацию и понимание текста. Модель работает в формате text-to-text и предназначена прежде всего для английского языка. Модель подходит для генерации текста по инструкциям, ответов на вопросы, суммаризации и рассуждений; энкодер также может применяться для классификации и задач понимания текста. Её можно использовать для подготовки черновиков писем и маркетинговых текстов, а также для экспериментов и NLP-разработки. В метаданных указаны библиотека Transformers и формат весов safetensors; длина контекста и число параметров для этой конкретной версии не приведены. Качество зависит от обучающих данных и формулировки задания. Модель может ошибаться в фактах, упускать языковые нюансы и хуже справляться со сложными или неоднозначными запросами; возможны предвзятые или вредоносные генерации. Лицензия Gemma; применение должно соответствовать политике допустимого использования Gemma.

Triangulum-5B — диалоговая языковая модель prithivMLmods для генерации текста и многоязычных сценариев. Это плотная авторегрессионная модель семейства LLaMA с архитектурой LlamaForCausalLM и примерно 4,9 млрд параметров; для работы с Transformers требуется версия 4.43.0 или новее. Контекст составляет до 8192 токенов. Модель предназначена для генерации контента, диалога и ответов на вопросы, суммаризации, анализа текста, перевода и локализации. В карточке заявлены обучение на синтетических данных с длинными цепочками рассуждений, supervised fine-tuning и RLHF. Указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель представлена в формате safetensors и доступна для запуска через Transformers; README также описывает запуск варианта через Ollama. Лицензия — CreativeML Open RAIL-M. Карточка не приводит результаты оценок качества, поэтому заявленные возможности рассуждения не следует считать подтверждением превосходства на конкретных задачах.

AIArchiveInfo/Yi-34B-Chat — побайтовая архивная копия Yi-34B-Chat, исходно разработанной компанией 01.AI и опубликованной под лицензией Apache-2.0. Согласно карточке, веса не обучались, не дообучались и не изменялись при копировании; лицензия оригинала продолжает действовать. Это диалоговая плотная языковая модель на архитектуре Transformer семейства Llama, содержащая 33,9 млрд параметров и рассчитанная на генерацию текста в формате чата. Она предназначена для общения, ответов на вопросы, понимания языка, рассуждений, здравого смысла и чтения с пониманием. В README модель описана как двуязычная, с упором на английский и китайский; максимальный контекст составляет 4096 токенов. Карточка сообщает о сильных результатах Yi-34B-Chat в сравнительных оценках, но приведённые позиции относятся к данным 2024 года и не гарантируют качество для конкретных задач. Размер модели требует значительных вычислительных ресурсов; модель может ошибаться и не следует считать её ответы проверенными фактами. Репозиторий содержит веса в формате safetensors.

IsValorum/Apodex-1.1-mini-APEX-I-MiniPlus-V2-GGUF — это GGUF-квантизированная версия модели Apodex-1.1-mini, разработанная Apodex и квантизированная IsValorum. Модель предназначена для локального запуска и поддерживает сценарии генерации текста, рассуждений и обработки изображений вместе с текстом; в карточке также заявлены MoE-архитектура, speculative decoding и Multi-Token Prediction (MTP), однако подробные параметры базовой модели в представленном фрагменте README отсутствуют. Модель ориентирована на многоязычное применение. В заявленных языках указаны английский, китайский, испанский, французский, немецкий, португальский, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Для визуальных задач предусмотрен мультимодальный vision projector в формате Q8_0; конкретный размер модели, число параметров и точное максимальное окно контекста для этой версии не указаны. README описывает возможность работы с длинным контекстом свыше 160 тысяч токенов, но это приведено как характеристика практических испытаний семейства MiniPlus, а не как строгое спецификационное ограничение данной сборки. К сильным сторонам относятся специализированная покомпонентная квантизация, сохранение router gates в F32, token output head в Q6_K, attention gates в Q8_0 и использование не менее 3-битных представлений для ключевых reasoning-экспертов. Такая конфигурация призвана сохранить качество рассуждений и снизить требования к памяти по сравнению с неквантизированными моделями. Ограничения связаны с потерями точности, неизбежными для квантизированной версии, зависимостью производительности от аппаратного обеспечения и неполнотой опубликованных технических характеристик. Лицензия — Apache-2.0.

AutomatosX AX-Qwen3.8-27B-MLX-AXQ-6bit-MTP — это смешанно-точный квантованный MLX-чекпойнт на базе Qwen/Qwen3.8-27B, преобразованный компанией AutomatosX непосредственно из исходной модели BF16. Модель предназначена для генерации текста и запуска на устройствах Apple Silicon через MLX-LM, а также для нативного выполнения в AX Engine и интеграции с oMLX Lightning MTP. Модель имеет плотную архитектуру Qwen3_5ForConditionalGeneration и 27,36 млрд логических параметров. Основной языковой тракт квантован с использованием AXQuant 1.6.2; заявленный класс хранения — 6 bit, измеренный общий показатель с учётом MTP составляет 6,0001 BPW. Голова multi-token prediction и vision tower сохранены в BF16. Поддерживаются текст и vision-сценарии, аудио не поддерживается. Максимальный заявленный контекст — 262 144 токена, однако практический предел зависит от объёма unified memory. Размер весов составляет около 20,84 ГБ, полный загрузочный объём — около 20,86 ГБ. Сильными сторонами являются сохранение повышенной точности для отдельных компонентов, наличие MTP и vision tower, а также оптимизация под Apple Silicon. При этом стандартный запуск через MLX-LM гарантирует только текстовый inference и может не использовать MTP, vision-компоненты и метаданные AXQuant. Заявления об ускорении MTP ограничены профилями, указанными в сертификатах, поэтому фактическую производительность следует проверять в целевой конфигурации. Репозиторий содержит MLX Safetensors и не содержит весов PyTorch или GGUF. Модель распространяется по лицензии Apache-2.0.

QuantFactory/gemma-2-9b-GGUF — это квантованная версия языковой модели Gemma 2 с 9 млрд параметров, созданная на основе google/gemma-2-9b с использованием llama.cpp. Разработчик исходной модели — Google. Модель относится к авторегрессионным decoder-only моделям для генерации текста и распространяется в формате GGUF. Модель предназначена для текстовых задач, включая ответы на вопросы, суммирование, рассуждения, диалоговое взаимодействие и другую генерацию текста. Указана поддержка английского языка. Квантование уменьшает требования к вычислительным ресурсам и делает модель более подходящей для запуска на локальных компьютерах и в инфраструктуре с ограниченными ресурсами, однако может сопровождаться снижением качества по сравнению с исходными весами; конкретный уровень квантования в README не указан. Ключевые ограничения — текстовая модальность, отсутствие сведений о размере контекста, точной схеме квантования и результатах оценки именно этой сборки. Использование регулируется лицензией Gemma и соответствующими условиями Google.

zaakirio/gemma-4-12b-it-uncensored-GGUF — набор GGUF-квантизаций модели zaakirio/gemma-4-12b-it-uncensored, разработанной на основе Google Gemma 4 12B Instruct. Это декензурированная версия, полученная методом Heretic-abliteration, ориентированная на диалоговые сценарии и запуск через llama.cpp. Модель предназначена для генерации текста, общения, анализа изображений и аудио, а также обработки видео через выборку кадров и аудиодорожку. Модель представляет собой encoder-free unified multimodal decoder-only transformer с 12 млрд параметров и контекстным окном до 256K токенов. Поддерживаются текст, изображения, аудио и видео; для мультимодального ввода требуется отдельный проектор mmproj-gemma-4-12B-it-bf16.gguf. Доступны варианты от Q2_K до Q8_0 и f16 размером примерно от 4,50 до 22,20 ГБ. Опциональный MTP-драфтер может ускорить генерацию на GPU. Поддерживается reasoning-режим, а также системная роль. Сильные стороны модели — сочетание мультимодальности, большого контекста, различных уровней квантизации и совместимость с llama.cpp. Обработка аудио в llama.cpp отмечена как экспериментальная, поэтому качество распознавания может быть сниженным; обработка видео зависит от клиента, выполняющего извлечение кадров. Языки модели явно не перечислены, однако в README подтверждена точная многоязычная транскрипция речи. Лицензия указана как gemma.

google_gemma-4-31B-it-GGUF — это квантизированная версия instruction-tuned модели Gemma 4 31B-it, разработанной Google. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель опубликована как google/gemma-4-31B-it. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp, LM Studio, Ollama-подобные и другие совместимые инструменты. По указанной классификации pipeline_tag это модель для преобразования изображений и текста в текст, однако подробные сведения о поддерживаемых модальностях и языках в README не приведены. Доступны варианты с точностью от BF16 до Q3 и IQ3, включая Q4, Q5, Q6 и Q8. Размер файлов составляет примерно от 13,84 до 61,41 ГБ; варианты Q4–Q6 заявлены как обеспечивающие хороший или очень высокий уровень качества при меньшем потреблении памяти, а Q3 ориентированы на системы с ограниченными ресурсами и отличаются более низким качеством. Архитектура, максимальная длина контекста и точное число параметров, помимо обозначения 31B, в README не уточняются. Сильными сторонами являются широкий выбор уровней квантизации, совместимость с экосистемой llama.cpp и возможность локального инференса. Ограничения включают значительные требования к памяти, особенно для BF16 и высокоточных вариантов, а также возможное снижение качества у компактных Q3-вариантов. Для недавно поддерживаемых моделей может потребоваться обновление используемого программного обеспечения. Лицензия указана как Apache-2.0; при этом для Gemma также приведена отдельная ссылка на лицензионные условия Google.

Kimi-Linear-48B-A3B-Instruct-AWQ-4bit — квантизированная 4-битная версия инструкционной языковой модели Kimi Linear, разработанной Moonshot AI. Модель предназначена для генерации текста и работы в формате диалога, включая задачи с коротким и длинным контекстом, а также сценарии, связанные с reinforcement learning. В README указана поддержка Transformers и возможность развертывания через vLLM с OpenAI-совместимым API. Модель использует гибридную архитектуру с Kimi Delta Attention (KDA) и глобальными блоками MLA в соотношении 3:1. Всего она содержит 48 млрд параметров, из которых активируется около 3 млрд, и поддерживает контекст до 1 млн токенов. Архитектура снижает потребность в KV-кэше до 75% и обеспечивает ускорение декодирования до 6 раз на длинных последовательностях. README не указывает языки, поддерживаемые модальностями или результаты именно для AWQ-версии, поэтому эти характеристики нельзя достоверно оценить. К сильным сторонам относятся высокая эффективность на длинном контексте, уменьшенное потребление памяти и ускорение генерации. Для запуска требуются совместимые версии Python, PyTorch и fla-core, а при использовании Transformers может понадобиться trust_remote_code. Ограничениями являются значительные требования к ресурсам для модели такого размера и отсутствие в README подробных данных о качестве на конкретных прикладных задачах. Лицензия — MIT.

Meta Llama 3.1 405B — большая авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer с Grouped-Query Attention. Она принимает и генерирует текст; семейство Llama 3.1 включает базовые и дообученные версии, а этот репозиторий представляет модель размером 405 млрд параметров. В метаданных указаны библиотека Transformers и формат safetensors. Модель предназначена для генерации текста и многоязычного диалога: её можно применять как основу для помощников и чат-систем, а также адаптировать к другим задачам генерации естественного языка. Семейство поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В карточке отмечены расширенное контекстное окно и возможность интеграции с инструментами разработчиками, но точный размер контекста этой модели не указан. Модель разработана Meta и выпущена в июле 2024 года. Она распространяется по специальной коммерческой лицензии Llama 3.1 Community License; применение должно соответствовать лицензии и Acceptable Use Policy. К ограничениям относятся статичность обученных весов, отсутствие гарантии безопасности или корректности ответов и рекомендация не использовать неподдерживаемые языки без дополнительного дообучения и системных мер контроля.

Llama-3.1-Tulu-3-8B — языковая модель семейства Tülu 3, разработанного Allen Institute for AI (AI2). Это плотная авторегрессионная модель на архитектуре Llama с 7,5 млрд параметров, дообученная на основе allenai/Llama-3.1-Tulu-3-8B-DPO. Она предназначена для диалогов и следования инструкциям, а также для решения широкого круга задач, включая математические вопросы и проверку следования заданным условиям. Модель работает с текстом, поддерживает английский язык и имеет контекстное окно до 131 072 токенов. В карточке описана серия Tülu 3 как открытый пакет постобучения с данными, кодом и рецептами обучения; приведены результаты оценок на ряде бенчмарков. Модель можно загружать через Transformers и обслуживать с помощью vLLM. Указанная лицензия — Llama 3.1 Community License Agreement. Разработчики отмечают, что модель прошла ограниченное обучение безопасности и может выдавать проблемный контент, особенно при соответствующих запросах. В README также советуют при запуске через vLLM учитывать длину шаблона чата и задавать max_model_len=8192.

etri-xainlp/llama3-8b-dpo_v1 — диалоговая языковая модель команды ETRI xainlp, дообученная на базе meta-llama/Llama-8b-hf. Модель принимает и генерирует только текст; архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, контекст — до 8192 токенов. Модель обучалась с помощью SFT и LoRA на 1,821 млн примеров с инструкциями, затем с помощью DPO и LoRA на 221 тыс. примеров пользовательских предпочтений. Она предназначена для диалогов и выполнения текстовых инструкций. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

LLamaPhi3 — языковая модель семейства Llama, созданная bunnycore путём объединения частей двух моделей с помощью Mergekit: Dolphin-2.9.1-Phi-3-Kensho-4.5B-abliterated-v3 и HyperLlama-3.1-8B. В конфигурации указаны метод passthrough и формат весов bfloat16. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Репозиторий содержит веса Safetensors, а заявленный контекст составляет 131072 токена. Модель насчитывает 6,2 млрд параметров. Лицензия — Apache-2.0. Карточка не описывает языковую специализацию или подробные ограничения качества, поэтому их нельзя надёжно уточнить.

llm-jp-4-8b-instruct — японская и англоязычная языковая модель, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это плотная модель семейства Llama с 7,8 млрд параметров по метаданным и контекстом до 65 536 токенов. Репозиторий содержит веса в формате safetensors для Transformers. Модель предназначена для диалогов и выполнения инструкций на японском и английском языках. Она прошла предварительное и промежуточное обучение на суммарно 11,7 трлн токенов, а затем дообучение методом SFT; вариант instruct не проходил DPO. Шаблон чата совместим с форматом ответов OpenAI Harmony, но для корректной токенизации требуется токенизатор из репозитория. Разработчики предупреждают, что модели находятся на раннем этапе исследований и разработок и не были настроены для надёжного соответствия человеческим намерениям и требованиям безопасности. Модель распространяется по лицензии Apache-2.0.