I.14Автоматизация процессов и AI-агенты

Qwen2.5-7B-Instruct-1M-GGUF — GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct-1M, разработанной командой Qwen. Квантизацию выполнил bartowski на базе llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с инструкциями, а также для задач, требующих обработки очень больших текстовых контекстов. Модель имеет около 7 миллиардов параметров и поддерживает контекст длиной до 1 миллиона токенов. Она сохраняет возможности работы с короткими запросами и оптимизирована для задач с длинным контекстом. В README указан английский язык; сведения о других языках и дополнительных модальностях отсутствуют. Для последовательностей длиннее 262 144 токенов возможно снижение точности до появления улучшенной поддержки. Модель распространяется по лицензии Apache-2.0. Формат GGUF и совместимость с llama.cpp ориентированы на локальный запуск в инструментах, поддерживающих этот формат, включая LM Studio. README не содержит подробностей о конкретных вариантах квантования, требованиях к аппаратным ресурсам и результатах бенчмарков.

Sehyo/Qwen3.5-122B-A10B-NVFP4 — квантизированная версия модели Qwen/Qwen3.5-122B-A10B, подготовленная Sehyo с использованием схемы квантования NVFP4. Модель относится к семейству Qwen3.5 и имеет MoE-архитектуру; для загрузки и запуска используется библиотека Transformers, а для поддержки NVFP4 рекомендуется nightly-версия vLLM. Модель предназначена для запуска Qwen3.5-122B-A10B в более компактном квантизированном формате, что может быть полезно для инференса больших языковых моделей и сценариев, где важны снижение требований к памяти и эффективное выполнение. Квантование выполнено с помощью VLLM LLM Compressor с поддержкой Qwen3.5 MoE. При калибровке использовано 512 образцов из наборов ultrachat_200k и Nemotron-Post-Training-Dataset-v2, максимальная длина последовательности составляла 4096 токенов, а калибровка охватывала всех экспертов MoE. Ключевые особенности — NVFP4-квантование и наличие весов MTP (multi-token prediction), добавленных для поддержки speculative decoding в vLLM. Ограничения README не описывает: неизвестны точный размер контекста исходной модели, поддерживаемые языки, модальности, показатели качества и требования к оборудованию. Лицензия в предоставленных данных не указана.

Qwen3.5-9B-MXFP8-FP8KV-FP8Attn-CT-AutoRound — квантизированная версия модели Qwen3.5-9B, разработанной командой Qwen. Модель предназначена для генерации текста и запуска сценариев, требующих языкового понимания и вывода, при сниженном потреблении памяти по сравнению с полноточной версией. Квантизация выполнена в формате MXFP8 с использованием метода AutoRound. В README указано, что базовая модель имеет размер 9B параметров; сведения об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна не приведены. Для оценки указаны результаты на GSM8K — 0,9310, HellaSwag — 0,5825, MMLU — 0,7833 и PIQA — 0,7916. Основное преимущество модели — более компактное представление, потенциально позволяющее эффективнее использовать вычислительные ресурсы. Ограничения связаны с возможными потерями качества из-за квантизации и отсутствием в README подробностей о совместимых средствах запуска, точных характеристиках производительности и областях применения. Условия лицензирования отдельно не указаны: необходимо соблюдать лицензию исходной модели Qwen/Qwen3.5-9B.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель на базе Qwen3.6-27B. Её разработал DavidAU при участии Nightmedia, TeichAI, armand0e и trohrbaugh; обучение и подготовка выполнялись с использованием Unsloth. Модель распространяется в формате GGUF, включая обычные и MTP-варианты, а также различные уровни квантования. Модель предназначена для широкого круга задач: следования инструкциям, решения задач, рассуждений, программирования, диалогов, творческого письма, ролевых сценариев и работы с изображениями. Заявлены улучшенные instruction following, общая способность к решению задач и reasoning. Поддерживаются английский и китайский языки; README также заявляет мультимодальность с поддержкой vision. Размер контекста и точные технические параметры архитектуры не указаны. К сильным сторонам относятся доступность квантованных вариантов для потребительского оборудования, улучшения относительно базовой модели по заявленным бенчмаркам и сохранение широкого набора исходных возможностей Qwen. При этом утверждения о превосходстве основаны на данных автора и сторонних проверках, поэтому их следует интерпретировать с осторожностью. Модель помечена как uncensored/heretic, что может означать ослабленные ограничения безопасности и делает необходимой дополнительную проверку результатов при практическом использовании. Лицензия — Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая языковая модель на базе Qwen3.6-27B, разработанная в сотрудничестве автора модели с Nightmedia, TeichAI, armand0e и trohrbaugh. Это многоэтапная дообученная и объединённая модель, созданная с использованием Unsloth и рассчитанная на запуск на потребительском оборудовании. В README заявлена поддержка английского и китайского языков, а также vision, однако подробности о визуальной архитектуре и максимальном размере контекста не указаны. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, художественной генерации, ролевых сценариев и универсального диалога. Среди заявленных характеристик — улучшенные instruction following, интеллект, problem solving и thinking/reasoning. Доступны regular и MTP GGUF-квантизации, включая 4-битные и 8-битные варианты; все кванты используют NEO IMATRIX, а часть выходного тензора переведена в 16-битную точность. MTP-варианты поддерживают multi-token prediction. К сильным сторонам относятся заявленные улучшения относительно базовой Qwen3.6-27B, высокое качество низкоразрядных квантов, работа с текстом и изображениями, а также широкий спектр сценариев применения. Ограничения включают отсутствие в README точных результатов независимого тестирования, детальных требований к памяти и производительности, размера контекста и описания формата vision-входов. Модель распространяется по лицензии Apache-2.0.

Max73333/Qwen3.8-27B-GPTQ-Int4-V100 — это 4-битная GPTQ-квантизированная версия базовой модели Qwen/Qwen3.8-27B, подготовленная для текстовой генерации и запуска на видеокартах NVIDIA Tesla V100 с compute capability 7.0 (sm_70). Веса используют 4-битное представление, group size 128, симметричное квантование и параметры desc_act=false. Модель предназначена прежде всего для инференса через Transformers или совместимую сборку vLLM; мультимодальные возможности для этой версии не заявлены и не проверялись. Языки и точный размер контекста в README не указаны, однако конфигурация тестировалась с максимальной длиной контекста 4096 токенов. Архитектура текстового режима внутри vLLM связана с классами семейства Qwen3.5. Главное преимущество сборки — возможность практического запуска крупной модели на Volta, где некоторые AWQ и compressed-tensors ядра требуют более новой архитектуры GPU. На одной NVIDIA Tesla V100-SXM2 32 ГБ в протестированной конфигурации заявлена установившаяся скорость около 37–40 токенов в секунду после прогрева. При этом первый запуск контейнера и первый запрос могут занимать значительно больше времени, а производительность зависит от версий CUDA, PyTorch, Triton и vLLM. Для vLLM использовалась пропатченная сборка из исходников с поддержкой sm_70; совместимость со стандартными релизами не гарантируется. Более длинный контекст, конкурентная генерация и режимы 8192–32768 токенов требуют отдельной проверки из-за ограничений памяти KV-кэша. Лицензия модели — Apache-2.0.

iliaosipov998/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — многоэтапная fine-tune и merge-модель на базе DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU, подготовленная с использованием Unsloth и методов COLD FUSION и Fable Fusion. Репозиторий содержит обычные и MTP-варианты GGUF-квантов, включая версии с 4- и 8-битным представлением. Разработчик заявляет о создании модели для потребительского оборудования и о снижении объёма рассуждений по сравнению с базовой Qwen 3.8 27B при сохранении детализации и качества ответов. Модель предназначена для широкого спектра сценариев: решения задач и рассуждений, программирования, творческого письма, создания художественных текстов, ролевых диалогов и других универсальных применений. Заявлены поддержка английского и китайского языков, текстовый ввод и вывод; при этом в карточке присутствует тег image-text-to-text, но подробности о фактических мультимодальных возможностях не приведены. Архитектура, точное окно контекста и полный набор режимов работы не описаны, однако из названия и карточки следует размер базовой модели около 27B параметров и наличие MTP-режима. К заявленным сильным сторонам относятся высокая производительность на внутренних и упомянутых ARC-C и ARC-E тестах, уменьшенное количество рассуждающих токенов, ускоренная генерация, развитые способности к программированию и генерации подробных текстов. Эти результаты представлены авторами модели и не подтверждены независимыми измерениями в предоставленных данных. Ограничения включают возможную необъективность заявленных бенчмарков, отсутствие подробной информации о качестве, безопасности и поведении на других языках, а также позиционирование как uncensored/abliterated-модели, что может означать ослабленные защитные ограничения. Лицензия — Apache-2.0.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — многоэтапная дообученная и объединённая версия модели Qwen3.8-27B, опубликованная DavidAU. Модель создана с использованием Unsloth, методов COLD FUSION и Fable Fusion 711, а также представлена в форматах GGUF с обычными и MTP-квантами. Заявлены поддержка английского и китайского языков и лицензия Apache-2.0. В метаданных указан тип pipeline image-text-to-text, однако подробности о фактической поддержке изображений не приведены. Модель предназначена для широкого круга задач: рассуждений, решения задач, программирования, творческого письма, художественной прозы, ролевых сценариев и диалогов. Ключевая особенность — стремление сократить объём рассуждений и ускорить генерацию при сохранении подробности ответов; заявлено сокращение числа thinking-токенов примерно от двух до десяти раз по сравнению с обычной Qwen3.8. Доступны варианты для запуска на потребительском оборудовании, включая 4-битные и 8-битные квантизации. Ограничения включают отсутствие указаний на размер контекстного окна, точный набор поддерживаемых модальностей и подробные независимые результаты тестирования; приведённые сведения о превосходстве над другими моделями основаны на заявлениях автора.

dippitydoodle/Qwen3-8B-heretic — декензурированная версия Qwen3-8B, созданная с помощью Heretic v1.4.0. Это плотная авторегрессионная языковая модель на 7,6 млрд параметров с архитектурой Qwen3ForCausalLM; веса представлены в формате safetensors. Модель предназначена для диалоговой генерации текста и задач, в которых требуется меньше отказов на запросы: в карточке указано 15 отказов из 100 против 100 из 100 у исходной модели. Модель унаследовала от Qwen3 поддержку диалога, рассуждений, следования инструкциям, программирования, перевода и более чем 100 языков и диалектов. Метаданные указывают контекст до 40 960 токенов. README сообщает о KL-дивергенции 0,0577 относительно оригинала; это показывает, что изменение поведения сопровождается некоторым отклонением от исходной модели. Лицензия — Apache-2.0.

gangwayhaste/qwen38-fcf-gguf — это набор GGUF-квантов мног stages fine-tune модели Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX, разработанной на базе модели DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. В README указано, что обучение и сборка выполнялись с использованием Unsloth, методов COLD FUSION и Fable Fusion, а также датасетов DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Лицензия — Apache-2.0; заявленные языки — английский и китайский. Модель предназначена для общего решения задач, рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Основной акцент сделан на подробность ответов, сокращение избыточного внутреннего рассуждения и ускорение генерации, включая режимы MTP. Доступны обычные и MTP-кванты, в том числе варианты с точностью 4 и 8 бит и использованием imatrix. Размер базовой модели — 27B параметров. README также обозначает поддержку сценария image-text-to-text, однако подробности о фактических мультимодальных возможностях и максимальном размере контекста не приведены. К заявленным сильным сторонам относятся улучшенные по сравнению с базовой Qwen3.8-27B показатели на ряде бенчмарков, высокая детализация, способности к рассуждению, кодированию и художественной генерации, а также возможность запуска квантованных вариантов на потребительском оборудовании. Ограничения включают отсутствие независимой верификации заявленных результатов в предоставленных данных, неопределённость характеристик отдельных квантов и отсутствие точных требований к аппаратному обеспечению. Модель помечена как uncensored и abliterated, поэтому её поведение и уровень защитных ограничений могут отличаться от исходной модели.

taurusduan/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной модели Qwen3.8-Flash-Next, разработанной командой Qwen; репозиторий также содержит материалы Unsloth для запуска и квантования. Модель предназначена для генерации текста, задач с длинным контекстом и мультимодальных сценариев, включая обработку изображений, и может использоваться через llama.cpp или Unsloth Desktop. В README не указано точное назначение данного варианта квантования или его конкретные уровни квантования. Это причинная языковая модель с vision encoder и архитектурой, включающей Hybrid Attention с Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts, Gated Residual и n-gram embedding. Всего заявлено 125 млрд параметров, из которых активируется 6 млрд, а также 51 млрд параметров n-gram embedding и 4 млрд для MTP. Модель содержит 48 слоёв, 512 экспертов, из которых активируются 10 маршрутизируемых и один общий, поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддержка языков и точные характеристики GGUF-файлов в README не указаны. К сильным сторонам относятся высокая вычислительная эффективность за счёт разреженного внимания и MoE, ориентация на длинный контекст, мультимодальность и возможность ускорения инференса с помощью MTP. Ограничения связаны с экспериментальным статусом архитектуры, отсутствием в README результатов бенчмарков и подробностей о качестве конкретной квантованной сборки. Лицензия указана как qwen-community-1.0; ссылка на текст лицензии ведёт к файлу LICENSE.

Smaug-72B-v0.1 — языковая модель abacus.ai, дообученная методом DPO-Positive (DPOP) для повышения качества ответов и результатов на задачах общего назначения. Она построена на архитектуре LlamaForCausalLM и содержит 71 млрд параметров; исходной моделью для дообучения указана moreh/MoMo-72B-lora-1.8.7-DPO, которая, согласно README, основана на Qwen-72B. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Модель предназначена для диалога, ответов на вопросы, рассуждений и решения задач, в том числе математических. В README приведены результаты оценки на ARC, HellaSwag, MMLU, TruthfulQA, Winogrande, GSM8K и MT-Bench; они характеризуют тестирование авторов и не гарантируют аналогичное качество в других сценариях. Модель выпущена в формате safetensors. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует проверить в карточке модели.

Zamba2-7B-Instruct — диалоговая языковая модель Zyphra, дообученная на наборах данных для следования инструкциям и общения на основе Zyphra/Zamba2-7B. Это плотная гибридная архитектура, сочетающая слои пространства состояний Mamba2 с блоками внимания Transformer; общие веса внимания и LoRA-проекции помогают ограничить дополнительные параметры. В метаданных указано 16,8 млрд параметров, а базовый контекст составляет 4096 токенов. Модель предназначена для генерации ответов в чате, выполнения инструкций, рассуждений и других задач общего назначения. В README описан экспериментальный режим контекста до 16 тысяч токенов с резким снижением качества примерно после 18 тысяч. Разработчик заявляет о низкой задержке генерации и меньших затратах памяти по сравнению с сопоставимыми трансформерными моделями, однако оптимизированные ядра Mamba2 требуют отдельной установки; без них задержка и расход памяти значительно выше. Также README предупреждает о временной реализации Hugging Face, совместимость которой с некоторыми инструментами может быть неполной. Лицензия — Apache-2.0.

ArlowGPT-8B — англоязычная инструкционно настроенная текстовая модель, созданная на основе Meta Llama 3.1 8B Instruct и дообученная разработчиком на наборе инструкций в течение 10 эпох. Модель предназначена для диалогов, генерации текста, ответов на вопросы, суммаризации и анализа документов. По метаданным, это плотная архитектура Llama с 7,5 млрд параметров, класс LlamaForCausalLM, контекст до 131 072 токенов; поддерживаются чат и интерфейс вызова инструментов. Заявленные сценарии включают многошаговые диалоги, создание профессиональных и творческих текстов, объяснения и синтез информации. Карточка также заявляет области права, медицины и финансов, однако не приводит подтверждений специализированной отраслевой подготовки. Основной язык в метаданных — английский. Модель использует библиотеку Transformers и формат safetensors; лицензия — Llama 3.1. Для запуска нужны значительные вычислительные ресурсы, а качество ответов зависит от запроса и не гарантирует фактическую точность.

c4ai-command-r-08-2024-GGUF — это квантизированная версия языковой модели c4ai-command-r-08-2024, разработанной CohereForAI и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp. В карточке указано, что она поддерживает английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский и арабский языки. Модель относится к классу text-generation; сведения о размере, архитектуре и длине контекста в представленном README не указаны. Квантизация может снизить требования к ресурсам по сравнению с исходной моделью и упростить локальное развертывание, однако потенциально сопровождается потерей качества относительно полной версии. Доступ к исходной модели регулируется лицензией CC BY-NC 4.0 и дополнительным лицензионным соглашением Cohere; использование разрешено только в некоммерческих целях. Для доступа также предусмотрена форма с подтверждением согласия с условиями лицензии.

DeepSeek-R1-0528-GGUF — это набор квантизированных версий языковой модели DeepSeek-R1-0528, разработанной deepseek-ai и преобразованной в формат GGUF участником bartowski с использованием llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_XS и другие, размером примерно от 215 до 713 ГБ для представленных файлов. Квантизация выполнена с применением imatrix и специального набора данных; для повышения производительности использовались изменения из соответствующего PR для llama.cpp. README не содержит сведений о точной архитектуре, числе параметров, поддерживаемых языках, модальностях и размере контекста исходной модели. Сильной стороной набора является широкий выбор уровней квантизации: более высокие варианты обеспечивают качество, близкое к исходному, а более компактные позволяют экономить оперативную память. Ограничения связаны с очень большими требованиями к дисковому пространству и памяти, а также с неизбежным снижением качества у низкобитных вариантов. Для работы следует использовать указанный формат промпта с маркерами DeepSeek-R1. Модель распространяется по лицензии MIT.

huihui-ai выпустила uncensored-версию DeepSeek-R1-Distill-Qwen-14B, созданную методом abliteration для удаления отказов модели. Это экспериментальная версия с грубой реализацией концепции; архитектура — плотная Qwen2ForCausalLM на 14 млрд параметров, формат весов — safetensors. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения, математики и программирования; поддерживает контекст до 131072 токенов. Модель основана на deepseek-ai/DeepSeek-R1-Distill-Qwen-14B. Автор указывает, что доступна более новая версия v2. Условия лицензии в предоставленных данных не указаны.

aufklarer/EmbeddingGemma-300M-MLX-8bit — конверсия Google EmbeddingGemma 300M для запуска на устройствах Apple с Apple Silicon через библиотеку MLX. Модель предназначена для получения 768-мерных эмбеддингов предложений и поиска по текстовым расшифровкам; в карточке указана архитектура плотного энкодера Gemma 3 с двунаправленной обработкой, mean pooling, плотной головой и L2-нормализацией. Размер модели — 302,8 млн параметров, точность — 8 бит с группой 64; контекст составляет 512 токенов по README, тогда как метаданные указывают нативный контекст 2048 токенов. Модель принимает текстовые запросы и документы, размеченные специальными префиксами для поиска, и выдаёт нормализованные эмбеддинги. README сообщает о высокой близости результатов к исходной версии в float32 на тестовых расшифровках. Языковые сведения в карточке описывают базовую модель как многоязычную, но конкретный набор языков не приведён. Репозиторий указывает лицензию Gemma; применяются её условия использования.

LGAI-EXAONE/EXAONE-4.5-33B-AWQ — квантованная версия мультимодальной модели EXAONE 4.5, разработанной LG AI Research. Модель объединяет причинную языковую модель и визуальный энкодер и предназначена для работы с текстом и изображениями, включая понимание документов, визуально-языковые задачи, рассуждения и обработку контекста на корейском языке. Поддерживаются английский, корейский, испанский, немецкий, японский и вьетнамский языки. Модель имеет 33 млрд параметров: 31,7 млрд приходится на языковую часть и 1,29 млрд — на визуальный энкодер. Используется плотная архитектура с 64 основными слоями и одним MTP-слоем, гибридным вниманием, включающим локальное Sliding Window Attention и глобальное внимание. Размер контекста составляет 262 144 токена, отсечка знаний — декабрь 2024 года. Версия AWQ применяет 4-битное группажное квантование весов W4A16g128, что снижает требования к памяти, но может уменьшать точность по сравнению с исходной моделью. Сильными сторонами заявлены конкурентные результаты на общих бенчмарках, превосходство сопоставимых по размеру моделей в понимании документов и корейском контекстном рассуждении, а также поддержка изображений. Ограничения включают возможные потери качества из-за квантования, ограниченность знаний датой отсечки и отсутствие в README подробностей о требованиях к оборудованию, производительности и безопасном применении. Лицензия указана как exaone; дополнительные условия следует уточнять в файле LICENSE.

Momix-44/gemma-4-31B-it-heretic-v2 — модифицированная версия мультимодальной модели Google DeepMind gemma-4-31B-it. Модель создана с использованием Heretic 1.2.0 и метода Magnitude-Preserving Orthogonal Ablation (MPOA), направленного на снижение количества отказов в ответах. Согласно README, она предназначена для генерации текста, рассуждений, программирования и анализа изображений. Модель относится к плотной архитектуре Gemma 4 и содержит около 30,7 млрд параметров, 60 слоёв и контекстное окно до 256 тысяч токенов. Она принимает текстовые и визуальные входные данные и генерирует текст. Архитектура использует гибридное внимание с чередованием локального sliding window attention и глобального внимания; размер скользящего окна составляет 1024 токена. Семейство Gemma 4 поддерживает более 140 языков, однако отдельные характеристики языкового покрытия именно этой производной модели не указаны. Ключевая особенность модели — существенно меньшее число отказов по сравнению с исходной gemma-4-31B-it: в приведённом тесте 37 из 100 против 99 из 100 у оригинала. При этом значение KL divergence составляет 0,3801, поэтому поведение и распределение ответов отличаются от базовой модели. README не содержит независимых оценок качества, а снижение защитных ограничений может повышать риск генерации небезопасного или нежелательного контента. В качестве лицензии указана Apache 2.0 со ссылкой на лицензию Gemma 4.

Gemma 4 31B it qat JANG_4M CRACK — созданная dealignai модификация Google Gemma 4 31B Instruct для запуска в vMLX на компьютерах Mac с Apple Silicon. Это плотная мультимодальная модель класса Gemma4 с 60 слоями и гибридным скользящим и глобальным вниманием; она принимает текст и изображения, поддерживает диалог, ответы на вопросы, многошаговые рассуждения и генерацию кода. Квантизация JANG_4M использует 8-битную точность для attention и 4-битную для MLP. По заявлению авторов, модель сохраняет возможности зрения и связность ответов; в их тестах MMLU снизился на 1,8 процентного пункта относительно базовой модели. Авторы также сообщают о снятии отказов для широкого набора вредоносных запросов. Это существенно ограничивает безопасное применение модели: она может помогать с опасными действиями. Для запуска требуется vMLX с поддержкой Gemma 4 и Mac на Apple Silicon с достаточной общей памятью; стандартные mlx_lm и mlx_vlm, согласно карточке, не обеспечивают полной поддержки Gemma 4. Лицензия — Gemma; авторы указывают исследовательское назначение и ответственность пользователей за соблюдение законов.

granite-4.2-8b-MLX-6bit — это 6-битно квантованная версия языковой модели granite-4.2-8b, разработанной командой ibm-granite. Квантование выполнено командой LM Studio с использованием MLX, поэтому модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживает сценарии, связанные с рассуждениями, режимом thinking и вызовом инструментов. Модель относится к классу текстовых генеративных моделей, имеет размер 8B в исходной версии и работает с текстовой модальностью. В README заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Размер контекста и дополнительные архитектурные характеристики не указаны. Ключевые преимущества — уменьшенный объём хранения и потенциально более эффективный локальный запуск благодаря 6-битному квантованию и оптимизации MLX для Apple Silicon. Ограничения включают возможные потери качества по сравнению с полной точностью, зависимость от совместимого оборудования и отсутствие в README подробных данных о производительности, точности и размере контекста. Модель распространяется по лицензии Apache-2.0.

QuantFactory/granite-7b-instruct-GGUF — квантизированная версия instruct-модели IBM Granite-7B-Instruct, созданная с использованием llama.cpp. Базовая модель — ibm/granite-7b-base; исходная модель разработана IBM Research и обучена с применением метода LAB (Large-scale Alignment for chatBots), использующего синтетические данные от Mixtral-8x7B-Instruct в качестве учителя. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и других текстовых сценариях. Указанный язык — английский. Модель содержит около 7 млрд параметров; формат GGUF и квантизация ориентированы на более эффективный запуск с совместимыми инструментами и меньшими требованиями к памяти. В карточке не указаны размер контекстного окна, конкретный вариант квантизации, поддерживаемые модальности помимо текста и точные требования к аппаратному обеспечению. К сильным сторонам относятся использование структурированной таксономии задач, синтетической генерации данных, поэтапного обучения и replay buffer для добавления знаний и навыков с уменьшением риска катастрофического забывания. В приведённых тестах Granite-7b-lab получил средний результат 6,69 на MTBench и 51,91 на MMLU (5-shot), однако эти показатели относятся к исходной LAB-модели и не обязательно напрямую характеризуют данный квантизированный вариант. Модель распространяется по лицензии Apache-2.0.

Hermes-3-Llama-3.1-70B-IMat-GGUF — это квантизированная версия текстовой языковой модели NousResearch/Hermes-3-Llama-3.1-70B, подготовленная пользователем legraphista в формате GGUF для запуска через llama.cpp. Исходная модель имеет размер 70B параметров и тип данных BF16, а доступные варианты включают BF16, FP16 и несколько уровней квантования от 1 до 8 бит, в том числе варианты с IMatrix. Модель предназначена для генерации текста, диалоговых сценариев и работы в формате instruct/chat. В описании также заявлены поддержка ChatML, function calling и JSON mode, а среди возможных применений указаны ролевые диалоги и задачи, связанные с синтетическими данными и дистилляцией. Указан английский язык; сведения о других языках и размере контекстного окна отсутствуют. Модель является текстовой и не заявляет поддержку изображений или других дополнительных модальностей. Основное преимущество сборки — возможность выбрать баланс качества, размера файлов и требований к ресурсам за счёт большого набора GGUF-квантов; IMatrix применяется в ряде вариантов с более низкой разрядностью. Ограничения связаны с очень большим размером модели: файлы занимают примерно от 26 до 141 ГБ, а некоторые варианты разделены на несколько частей. Квантизация может снижать точность по сравнению с исходной BF16-моделью, особенно в вариантах с меньшей разрядностью. Лицензия указана как llama3.

InternVL3-38B — мультимодальная модель OpenGVLab для диалога и анализа изображений вместе с текстом. Она построена по схеме ViT-MLP-LLM: визуальная часть InternViT соединена с языковой моделью через MLP-проектор; стратегия динамического разрешения разбивает изображения на фрагменты 448×448, а V2PE улучшает работу с длинными последовательностями визуальных токенов. Размер модели — 38 млрд параметров. Модель предназначена для ответов на вопросы по изображениям, визуального рассуждения, понимания нескольких изображений и видео, а также текстовых задач. В README семейство также описано как подходящее для работы с инструментами, GUI, промышленными изображениями и 3D-сценами. Метаданные указывают дообучение на базе OpenGVLab/InternVL3-38B-Instruct и поддержку чата; модель распространяется в формате safetensors через Transformers. Карточка сообщает о мультиязычной поддержке, но не перечисляет конкретные языки или длину контекста. Лицензия — Apache 2.0. Практическое ограничение: обработка нескольких изображений увеличивает число входных токенов и может требовать большего окна контекста.

jina-embeddings-v2-base-code-GGUF — GGUF-квантизированная версия модели jinaai/jina-embeddings-v2-base-code, разработанной jinaai и преобразованной в GGUF компанией Second State Inc. Это модель для получения векторных представлений текста и исходного кода, предназначенная для семантического поиска, сравнения схожести, классификации и других задач feature extraction, включая работу с кодовыми фрагментами. Указан английский язык. Модель поддерживает контекст до 8192 токенов и формирует embedding размерностью 768. Доступны варианты квантования от 2 до 8 бит, а также f16; размеры файлов составляют примерно от 82,7 до 323 МБ. В README вариант Q4_K_M отмечен как сбалансированный и рекомендуемый, тогда как низкобитные варианты обеспечивают меньший размер ценой заметной потери качества. Модель может запускаться через LlamaEdge с prompt type embedding. Распространяется по лицензии Apache-2.0. Ограничения зависят от выбранного варианта квантования: чем сильнее сжатие, тем выше потенциальная потеря качества embeddings. Архитектура исходной модели, точное число параметров и перечень поддерживаемых языков, кроме указанного английского, в предоставленных данных не описаны.

WhiskyAKM публикует NVFP4-квантизированную GGUF-версию K2-Horizon-3.7B, модели семейства IFM. Это плотная авторегрессионная модель-декодер с 3,7 млрд параметров и контекстом до 524 288 токенов; репозиторий предназначен для запуска через llama.cpp и другие совместимые с GGUF движки. Модель поддерживает диалоговую генерацию текста, а карточка указывает английский язык. Версия NVFP4 использует 4-битный формат и ориентирована на совместимое оборудование NVIDIA Blackwell. В README приведены результаты исходной модели на математических, кодовых и других тестах, однако они не характеризуют отдельно качество этой квантизированной сборки. Базовая модель описана как предназначенная для генерации текста, программирования и рассуждений. Лицензия — Apache-2.0.

LeroyDyer/LCARS_TOP_SCORE — объединённая автором модель Mistral для генерации текста и диалога, основанная на нескольких моделях, включая chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Она содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. В метаданных заявлена поддержка английского языка, а карточка описывает её как модель с высокими результатами на тестах Open LLM Leaderboard v2. Модель предназначена для диалогов и генерации текста; метаданные также отмечают работу с кодом. Результаты в README не согласуются с приведёнными там же метриками: заявлено среднее 78,9, тогда как таблица показывает 20,32. Лицензия — OpenRAIL.

LLaMA-2-7B-32K-Instruct_GGUF — это набор файлов модели в формате GGUF, подготовленный пользователем rozek на основе Llama-2-7B-32K-Instruct от Together Computer, Inc., которая, в свою очередь, создана на базе Meta AI LLaMA-2-7B. Исходная модель дообучена для работы с контекстом до 32 000 токенов с использованием Position Interpolation и Rotary Position Embeddings (RoPE). Модель предназначена для генерации текста и выполнения инструкций на английском языке, включая сценарии локального запуска через llama.cpp. Репозиторий содержит варианты с различной степенью квантования: Q2_K, Q3_K, Q4, Q5, Q6_K, Q8_0, а также неквантованный F16. Квантованные версии снижают требования к памяти и позволяют запускать модель локально, но могут уступать F16 по точности. Несмотря на поддержку контекста до 32K, использование максимальной длины требует значительного объёма RAM; рекомендуется выбирать минимальный необходимый размер контекста. Модель текстовая и имеет около 7 миллиардов параметров. В README указана лицензия llama2.

0x Mini — языковая модель Ozone AI для генерации текста и диалоговых приложений. Это плотная авторегрессионная модель семейства Llama, дообученная на основе meta-llama/Llama-3.1-8B-Instruct; в репозитории указано 7,5 млрд параметров и формат safetensors. Модель предназначена для продолжения текста, суммаризации, перевода, чат-ботов и создания контента, в том числе при ограниченных вычислительных ресурсах. Модель принимает текст и генерирует текст; метаданные также отмечают интерфейс для вызова инструментов. Для базовой модели указан контекст до 131 072 токенов. Карточка заявляет быструю генерацию и пригодность для компактного развёртывания, но не приводит сравнительных тестов, подтверждающих эти заявления. Используется лицензия Llama 3.1; применяйте модель с учётом её условий.