I.14Автоматизация процессов и AI-агенты

Andycurrent/gemma-3-4b-it-uncensored-v2-GGUF — квантованные версии Gemma-3-4B-IT-Uncensored-v2, созданной на базе Gemma 3 и модели braindao/gemma-3-4b-it-uncensored-v2. Это инструкционно дообученная языковая модель примерно на 4 млрд параметров, предназначенная для локального, офлайн- и приватного развертывания. Указан английский язык; модель работает в текстовом режиме и использует формат чата Gemma с маркерами начала и конца хода диалога. Модель ориентирована на диалоги, генерацию текста, творческие задачи, рассуждения, структурированные ответы, объяснение кода, примеры и лёгкую отладку. Она делает акцент на высокой отзывчивости, следовании пользовательским инструкциям, стабильности в продолжительных диалогах и уменьшенном количестве встроенных ограничений, поэтому может применяться для персональных ассистентов, ролевых систем, prompt engineering, исследований выравнивания и экспериментов с поведением моделей. Ключевое преимущество — сочетание компактного размера и возможности запуска на потребительских GPU, CPU с квантованием и устройствах с ограниченными ресурсами. При этом точные параметры квантования, максимальная длина контекста и результаты бенчмарков не указаны. Из-за минимально ограниченного поведения модель может генерировать контент, который обычно фильтруется; пользователю необходимо самостоятельно учитывать требования законодательства, политики и этические нормы. Лицензия наследует условия оригинальной модели Gemma.

gghfez/gemma-3-4b-novision — текстовая версия Gemma 3 4B IT, созданная автором репозитория на основе google/gemma-3-4b-it. Из модели удалены компоненты обработки изображений, а мультимодальная архитектура преобразована в Gemma3ForCausalLM; сохранена генерация текста. Модель содержит 4 млрд параметров, использует Transformers и распространяется в формате safetensors. Модель предназначена для диалогов и генерации текста по текстовым запросам. Она наследует базовую модель Gemma 3 4B IT, а её контекст составляет до 131 072 токенов. Лицензия — Gemma. Поскольку компоненты зрения удалены, модель не принимает изображения; карточка не приводит отдельных оценок качества или дополнительных ограничений.

Gemma4-12B-Reasoning-Distill — это производная от Google Gemma 4 12B Instruct, подготовленная пользователем yuxinlu1 и распространяемая в формате GGUF. Модель предназначена для локального и офлайн-использования через llama.cpp и совместимые приложения, включая LM Studio, Jan и Ollama. Она ориентирована на диалоги, генерацию текста, программирование и задачи, требующие рассуждений; дообучение выполнено на синтетических данных рассуждений, связанных с Claude Opus 4.6, 4.7 и 4.8. Модель использует архитектуру Gemma 4 и имеет размер 12B параметров. Доступны варианты квантования Q2_K, Q4_K_M, Q6_K, Q8_0 и F16 размером примерно от 4,5 до 22,2 ГБ. Максимальная длина контекста заявлена до 131K токенов и зависит от квантования, объёма памяти и типа KV-кэша. Поддерживается режим рассуждений через нативный thought channel Gemma; рекомендованные параметры генерации — temperature 1.0, top_p 0.95 и top_k 64. Дополнительно доступен MTP draft-модель для speculative decoding, способная ускорять генерацию без изменения результата при использовании свежей версии llama.cpp. Сильные стороны модели — небольшой объём по сравнению с полноразмерными моделями, возможность запуска на локальном оборудовании, приватность и отсутствие зависимости от облачного API. Ограничения включают англоязычную направленность, стилистический характер синтетических рассуждений, необходимость перепроверять факты и числа, а также сниженную безопасность: модель менее склонна к отказам и не считается safety-aligned, поэтому для production-сценариев нужны собственные защитные механизмы. Производительность и доступный контекст зависят от выбранного квантования и оборудования. В README указана лицензия Apache 2.0 для производной модели и базовой модели Google Gemma 4.

Gemma-4-31B-it-Quark-W8A8-INT8 — мультимодальная модель для работы с текстом и изображениями, опубликованная под идентификатором nameistoken/Gemma-4-31B-it-Quark-W8A8-INT8 на основе google/gemma-4-31B-it от Google. Она предназначена для диалоговых сценариев, генерации текста, анализа изображений и задач vision-language. В описании заявлен английский язык. Модель использует архитектуру Gemma4ForConditionalGeneration и включает текстовый декодер на 31 млрд параметров, vision tower и визуальные embedding-слои. Текстовая часть квантизирована в W8A8 INT8: веса используют статическую симметричную per-channel-квантизацию, а активации — динамическую per-token-квантизацию. lm_head, embed_tokens и компоненты зрения сохранены в BF16, поэтому мультимодальные возможности не удалены. Размер файла модели составляет около 32 ГБ против примерно 62,5 ГБ у исходной BF16-версии, что дает двукратное сокращение объема. По результатам теста GSM8K на 1319 задачах модель показала точность 96,66% против 96,74% у BF16-базовой версии, то есть снижение составило 0,08 процентного пункта. Для запуска рекомендуется vLLM; в README приведена конфигурация с максимальной длиной контекста 8192 токена. Минимально требуется GPU с объемом памяти от 48 ГБ, например AMD MI300X, MI350X, MI355X, NVIDIA A100-80G или H100. Для длинного контекста и больших пакетов может потребоваться распределение на несколько GPU. Лицензия — Apache 2.0.

AtomicChat/gemma-4-E4B-it-GGUF — GGUF-квантизированная версия мультимодальной модели google/gemma-4-E4B-it, подготовленная командой Atomic Chat из оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые инструменты. Она поддерживает работу с текстом, изображениями и аудио, а также ориентирована на задачи, требующие рассуждений, с настраиваемыми режимами thinking. Модель имеет 4,5 млрд эффективных параметров, или 8 млрд параметров с учётом embeddings, 42 слоя и контекст до 128K токенов. Архитектура представляет собой плотный decoder с гибридным вниманием: sliding-window attention с окном 512 токенов и глобальное внимание; используются 8 attention heads и 2 KV heads. В репозитории доступны варианты квантования от Q2_K до Q8_0, включая imatrix-квантизации. Importance matrix помогает уменьшить потерю качества в низкобитных вариантах; Q4_K_M рекомендован как сбалансированный вариант по размеру, скорости и качеству. Для обработки изображений поставляется vision-проектор mmproj. Сильные стороны модели — мультимодальность, большой контекст, возможность локального запуска и широкий выбор квантов под разные объёмы памяти. Ограничения связаны с потерями качества при наиболее компактном квантовании, потребностью правильно применять chat template Gemma 4 и необходимостью отдельного vision-проектора для изображений. Заявленные benchmark-результаты относятся к базовой модели Google, а не к независимым измерениям этого репозитория. Лицензия — Apache 2.0.

Gemma-4-E4B-it-NVFP4 — мультимодальная instruct-модель семейства Gemma 4, созданная на основе google/gemma-4-E4B-it и оптимизированная для диалогового и чат-применения. Квантованную версию подготовил Mario Iseli с использованием NVIDIA Model Optimizer на платформе NVIDIA DGX Spark. Модель предназначена для генерации текста, а также обработки изображений и аудио; заявлена поддержка multilingual-сценариев и контекстного окна до 128K токенов. Архитектура основана на плотной модели с механизмом Per-Layer Embeddings (PLE), где каждый из 26 декодерных слоёв получает специализированный 256-мерный сигнал. Вариант использует квантование NVFP4 по схеме W4A4: веса и активации языковых слоёв представлены в FP4, а башни обработки изображений и аудио, соответствующие проекционные слои и lm_head сохранены в BF16. Размер модели на диске составляет около 10,2 ГБ, при этом мультимодальные компоненты занимают значительную часть памяти. Ключевые преимущества — уменьшенный размер, возможность запуска на совместимом оборудовании NVIDIA и высокая заявленная скорость около 65 токенов в секунду на DGX Spark. Ограничения включают необходимость vLLM с transformers версии 5.4 или новее, зависимость от поддержки NVFP4 и сохранение значительного потребления памяти мультимодальными башнями. Это общественная квантованная сборка, а не официальный релиз NVIDIA или Google. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

German-RAG-LLAMA-3.1-8B-MERGED-HESSIAN-AI — авторегрессионная языковая модель на архитектуре Transformer, разработанная командой Avemio AI при поддержке Hessian AI. Это объединённая модель семейства Llama 3.1 объёмом 7,5 млрд параметров, предназначенная для немецкоязычных RAG-систем и задач ответов на вопросы по предоставленному контексту. Она также подходит для извлечения релевантных сведений и краткого пересказа источников; в карточке заявлена поддержка немецкого и английского языков. Нативная длина контекста — 131 072 токена. Модель распространяется в формате safetensors и поддерживает чатовый режим. Метаданные Hugging Face указывают лицензию llama3.1, тогда как README заявляет Apache 2.0; лицензионные условия следует уточнить перед использованием. В оценке объединённая версия показала более низкий результат извлечения, чем варианты SFT и ORPO из той же серии. Ответы могут содержать фактические ошибки, а без фильтрации модель может генерировать вредный или чувствительный контент.

GLM-5.3-Flash-GGUF — это квантизированная GGUF-версия модели GLM-5.3-Flash, разработанной zai-org и преобразованной с использованием llama.cpp пользователем qtum. Модель предназначена для генерации текста и запуска через совместимые инструменты, включая llama.cpp. Заявлены английский и китайский языки. Модель содержит 320 млрд общих параметров, из которых 18 млрд активируются для отдельного токена. Архитектура включает 45 слоёв гибридного внимания: 34 слоя KDA с линейным вниманием и 11 слоёв DSA с разреженным вниманием, построенных на MLA и дополненных Manifold-Constrained Hyper-Connections. Используется MoE с 288 экспертами, маршрутизацией top-8 и общим экспертом. Максимальная длина контекста заявлена до 1 млн токенов. В репозитории представлены квантизации IQ4_XS, IQ3_XXS, IQ2_XS и IQ1_M; каждая поставляется в 15 сегментах. IQ4_XS и IQ3_XXS рекомендуются как варианты с меньшей деградацией качества, тогда как IQ2_XS и IQ1_M существенно экономят память, но заметно ухудшают показатели. Сильными сторонами модели являются большой контекст, MoE-архитектура с относительно небольшим числом активных параметров и несколько уровней квантизации для разных ограничений по памяти. Ограничения включают очень большой размер файлов, необходимость загрузить все 15 сегментов и зависимость качества от выбранного уровня квантизации. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

Granite 3.2 8B Instruct — языковая instruction-tuned модель семейства Granite, разработанная IBM (ibm-granite). Представленная версия — GGUF-квантизация исходной модели granite-3.2-8b-instruct, подготовленная bartowski с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи, требующие развитых способностей к рассуждению. Модель имеет размер 8 миллиардов параметров и поддерживает контекст длиной до 128 тысяч токенов. Она работает с текстом и поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Формат GGUF ориентирован на локальный инференс в совместимых инструментах, включая llama.cpp и LM Studio. К сильным сторонам относятся большой контекст, многоязычность и настройка на задачи, связанные с рассуждением. Ограничения включают влияние квантизации на качество по сравнению с исходной моделью, а также возможность получать неточные, неподходящие или вводящие в заблуждение ответы. В README не указаны конкретные параметры квантизации и требования к аппаратным ресурсам. Модель распространяется по лицензии Apache 2.0.

GRaPE 2 Nano — компактная мультимодальная модель SLAI (Skinnertopia Lab for Artificial Intelligence), дообученная на базе Qwen/Qwen3.5-0.8B. Она принимает текст и изображения и генерирует текст; модель рассчитана на диалоги, программирование, математику, научно-технические вопросы и задачи на логическое рассуждение. В README заявлены управляемые режимы глубины рассуждения, включая минимальный, краткий и адаптивный; доля кода в данных постобучения указана примерно как 50%. Архитектура — плотная Qwen3.5 с поддержкой зрения; размер базовой модели — 0,8 млрд параметров. Заявлена поддержка английского, китайского, французского, немецкого, испанского, японского, корейского, португальского, русского и арабского языков. Длина контекста в предоставленных данных не указана. Данные постобучения закрытые и проприетарные, независимая оценка качества в карточке не приведена. Модель выпущена по лицензии Apache 2.0.

InternLM2.5-7B — плотная авторегрессионная языковая модель семейства InternLM2.5, разработанная командой InternLM. Она содержит 7,4 млрд параметров и предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, рассуждения и работу с длинными документами. Модель сохраняет архитектуру InternLM2 и использует синтетические данные в итеративном развитии семейства. Разработчики сообщают о повышении результатов рассуждения на 20% относительно InternLM2 и сильных результатах на MMLU, CMMLU и BBH. Метаданные указывают контекстное окно 262 144 токена; README также описывает результаты тестирования на контексте до 1 млн токенов. Модель работает с текстом и поддерживает диалог. README не перечисляет поддерживаемые естественные языки явно, хотя результаты приведены для англоязычного MMLU и китайского CMMLU. Возможны предвзятые, дискриминационные и другие вредные ответы. Код распространяется по Apache-2.0; для весов заявлен доступ для академических исследований и возможность подать заявку на бесплатное коммерческое разрешение.

InternVL2-26B — мультимодальная диалоговая модель с настройкой по инструкциям, разработанная командой OpenGVLab. Она объединяет визуальный энкодер InternViT-6B-448px-V1-5, MLP-проектор и языковую модель internlm2-chat-20b; заявленный размер — около 25,5 млрд параметров. Модель предназначена для диалога по изображениям и видео, а также для анализа документов, диаграмм, инфографики и текста на изображениях, решения научных и математических задач. Модель принимает текст и изображения; видео может обрабатываться через кадры. Она обучена на контекстном окне 8k и данных с длинными текстами, несколькими изображениями и видео. README заявляет конкурентные результаты на мультимодальных бенчмарках, включая задачи OCR и понимания документов. Метаданные отмечают поддержку многоязычного режима, но конкретные языки не перечислены. Репозиторий распространяется по лицензии MIT.

Laserxtral — экспериментальная языковая модель семейства Mixtral, созданная Дэвидом, Фернандо и Эриком при поддержке VAGO Solutions. Это смесь экспертов (MoE) на базе mergekit: в README перечислены пять моделей семейства Mistral 7B, включая Dolphin, Marcoro14, CodeNinja, MetaMath-Cybertron и WizardMath. Авторы применили к экспертам метод «lasering» с laserRMT: анализировали отношение сигнал/шум слоёв и вмешивались в наиболее подверженные шуму слои. Модель предназначена для генерации текста, диалогов, рассуждений, математических задач и программирования. В метаданных указаны 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors. Авторы заявляют о высокой правдивости и сильных способностях к рассуждению, но отмечают, что продолжают работу над улучшением результата MMLU. Модель опубликована под лицензией CC BY-NC 2.0, которая ограничивает коммерческое использование. Это экспериментальная разработка; качество на конкретных задачах следует оценивать отдельно.

RedHatAI/Llama-3.1-8B-Instruct-NVFP4 — квантованная версия Meta-Llama-3.1-8B-Instruct, разработанная RedHatAI для коммерческого и исследовательского использования. Модель предназначена для диалоговых ассистентов и генерации текста на основе текстовых запросов; поддерживает ввод и вывод только в текстовой модальности. В метаданных заявлены языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, однако README отдельно ограничивает использование английским языком. Модель основана на архитектуре Meta-Llama-3.1 и имеет 8 млрд параметров. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат FP4 с использованием LLM Compressor; размер группы для весов — 16. Это снижает количество бит на параметр с 16 до 4, а требования к дисковому пространству и GPU-памяти примерно на 75%, что делает модель подходящей для эффективного инференса с vLLM версии 0.9.1 и выше. Контекстная длина в README не указана; для калибровки использовалась максимальная последовательность длиной 2048 токенов. К сильным сторонам относятся уменьшенные требования к памяти и возможность производительного развертывания через vLLM, включая OpenAI-совместимый сервер. Ограничением является потенциальное снижение качества по сравнению с неквантизированной базовой моделью, хотя README сообщает о сравнительной оценке без подробных результатов. Модель распространяется по лицензии llama3.1; применение должно соответствовать действующему законодательству, включая требования торгового контроля.

RedHatAI/Llama-3.2-3B-Instruct-FP8 — языковая модель для генерации текста и ассистентского диалога, разработанная Neural Magic на базе Meta Llama-3.2-3B-Instruct. Модель принимает текст и генерирует текст, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Она предназначена для исследовательского и коммерческого использования в многоязычных чат- и текстовых приложениях. Модель содержит около 3 миллиардов параметров и использует архитектуру Llama-3. Для весов и активаций применена FP8-квантизация линейных операторов в трансформерных блоках: веса квантизированы по каналам, активации — по всему тензору. Это примерно вдвое снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных операций. В README указана длина контекста до 8192 токенов для развертывания через vLLM. Сильной стороной модели является близкая к неквантизированной версии точность: на перечисленных бенчмарках заявлено восстановление результатов в пределах 0,7%. FP8-формат делает модель более удобной для эффективного инференса, в частности с использованием vLLM и OpenAI-совместимой серверной подачи. Ограничения включают меньший размер и потенциально более низкие возможности по сравнению с крупными моделями Llama, а также зависимость качества от языкового сценария и квантизации; сведения о специализированных ограничениях безопасности в README не приведены. Модель распространяется по лицензии Llama3.2.

duyntnet/Llama-3.2-3B-Instruct-imatrix-GGUF — набор квантизированных версий инструкционно дообученной языковой модели Llama 3.2 3B Instruct, разработанной Meta. Репозиторий распространяет модель в формате GGUF с использованием imatrix и предназначен для локального запуска через llama.cpp, KoboldCPP, text-generation-webui или Ollama. Модель представляет собой авторегрессионную текстовую модель на оптимизированной архитектуре Transformer с примерно 3 млрд параметров. Она работает по схеме «текст на входе — текст на выходе» и поддерживает английский язык; исходная модель описывается как мультиязычная, однако для этой конкретной публикации в карточке указан только английский. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning from human feedback и ориентирована на диалоги, агентный поиск и извлечение информации, суммирование и другие задачи генерации текста. К сильным сторонам относятся компактный размер, возможность локального запуска и совместимость с распространёнными инструментами инференса. Ограничения включают текстовую модальность, отсутствие в README сведений о размере контекста, конкретных параметрах квантизации и результатах бенчмарков. Лицензия указана как other; дополнительные условия использования в карточке не приведены.

Lzlv 70B AWQ — 4-битная AWQ-квантизованная версия языковой модели Lzlv 70B, созданной A Guy на базе Llama 2. Квантизацию выполнил TheBloke. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального или серверного инференса, включая диалоговые приложения, ответы на запросы и другие задачи обработки текста. Модель имеет архитектуру Llama, около 70 миллиардов параметров и поддерживает текстовую модальность. В опубликованной конфигурации используются 4-битные веса AWQ с групповым размером 128, последовательностью длиной до 4096 токенов и размером файлов около 36,61 ГБ. AWQ ориентирована на эффективный инференс с низким потреблением памяти; заявлена совместимость с Text Generation WebUI через AutoAWQ, vLLM, Hugging Face Text Generation Inference и AutoAWQ. Для взаимодействия предусмотрен шаблон запросов в формате Alpaca. К сильным сторонам относятся существенно уменьшенный размер по сравнению с исходной FP16-моделью и возможность быстрого инференса на совместимом GPU при сохранении качества, сопоставимого с распространёнными настройками GPTQ. Ограничения включают максимальную длину последовательности 4096 токенов, необходимость совместимого программного обеспечения и оборудования, а также возможные потери качества из-за квантизации. Модель заявлена под лицензией CC BY-NC 2.0; поскольку она основана на Llama 2, также применяются условия лицензии Meta Llama 2. Эти условия следует рассматривать как двойное лицензирование, а коммерческое использование требует отдельной проверки ограничений.

Meta-Llama-3.1-8B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta-Llama-3.1-8B-Instruct, разработанной Meta Llama и подготовленной для распространения компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций и работу в приложениях на базе GaiaNet. Для взаимодействия используется шаблон llama-3-chat, а запуск поддерживается llama.cpp. Модель основана на архитектуре Llama и содержит 8 миллиардов параметров. Она работает в текстовой модальности, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленный размер контекста составляет 128 000 токенов. Квантизация выполнена с использованием llama.cpp b4466, что делает модель более подходящей для запуска в средах с ограниченными ресурсами, однако README не уточняет конкретный формат квантизации, требования к оборудованию и возможные компромиссы между скоростью, качеством и потреблением памяти. Модель распространяется по лицензии llama3.1. README не содержит подробностей о дополнительных ограничениях лицензии и не приводит результаты оценки качества, поэтому её преимущества и ограничения можно описать только на общем уровне: это компактная инструкционная модель с широкой поддержкой языков и большим контекстом, но без подтвержденных характеристик производительности для отдельных задач.

mlx-community/Meta-Llama-3-8B-Instruct-4bit — 4-битная квантованная версия инструкционной языковой модели Meta Llama 3 с 8 млрд параметров, подготовленная сообществом mlx-community. Базовую модель разработала Meta. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые и другие сценарии обработки текста. Указанная поддерживаемая языковая версия — английский язык; модальность — текстовая. Размер контекста и дополнительные архитектурные характеристики в README не указаны. Ключевая особенность этой версии — 4-битное квантование, ориентированное на более эффективное локальное выполнение и снижение требований к памяти по сравнению с полноразмерными весами, однако README не содержит результатов оценки качества или точных эксплуатационных требований. Модель предназначена для text-generation и может использоваться в приложениях, которым требуется компактная инструкционная LLM. Модель распространяется по Meta Llama 3 Community License. Лицензия предоставляет ограниченные права на использование, копирование, распространение и создание производных работ при соблюдении условий Meta, включая сохранение лицензионного соглашения и уведомления об авторстве, отображение фразы «Built with Meta Llama 3» при распространении материалов или продуктов, соблюдение Acceptable Use Policy и специальные коммерческие условия для организаций с более чем 700 млн ежемесячных активных пользователей.

MetaModel_moe_multilingualv1 — языковая модель с архитектурой Mixtral Mixture of Experts, созданная с помощью mergekit путём объединения нескольких моделей на базе Mistral 7B. В состав объединения входят OpenChat, CodeNinja, PiVoT, WizardMath, komt-mistral, OpenBuddy, open-aditi-hi и SauerkrautLM. Модель предназначена для генерации текста в диалогах и других сценариях, где нужны общие ответы, помощь с кодом и математикой, а также многоязычная генерация. Карточка указывает на языки английский, хинди, немецкий, французский, арабский и японский; размер модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0. README описывает объединение специализированных моделей, но не приводит оценок качества или результатов тестирования. Поэтому пригодность для конкретного языка и задачи следует проверять на собственных примерах; качество может различаться между направлениями, представленными в смеси.

Minitron-4B-Base — базовая большая языковая модель NVIDIA для генерации текста. Она создана из Nemotron-4 15B: разработчики сократили размер эмбеддингов, число голов внимания и промежуточный размер MLP, а затем продолжили обучение с дистилляцией на 94 млрд токенов. Модель насчитывает 4,3 млрд параметров; её архитектура — авторегрессионный Transformer-декодер Nemotron с Grouped-Query Attention и Rotary Position Embeddings. Контекст составляет 4096 токенов. Модель принимает текст и генерирует текст. Она предназначена для исследований и разработки, включая генерацию и продолжение текста, ответы на вопросы, математические задачи и генерацию кода. В обучающих данных были английский и мультиязычный текст, а также код; корпус включал материалы из разных областей, в том числе право, математику, науку и финансы. Карточка приводит результаты оценок на MMLU, HellaSwag, Winogrande, GSM8K, ARC-C, XLSum и HumanEval. Модель может выдавать неточные, неполные или избыточные ответы, а также воспроизводить токсичный язык и предубеждения из обучающих данных. Данные предварительного обучения имеют срез по июнь 2023 года. Лицензия указана как other; перед использованием следует ознакомиться с условиями NVIDIA. Модель отмечена разработчиком как предназначенная для исследований и разработки.

EasierAI/Mistral-NeMo-12B — набор GGUF-квантизованных версий Mistral-Nemo-Instruct-2407, опубликованный с указанием quantized_by: bartowski и предназначенный для запуска через llama.cpp и LM Studio. Модель относится к классу генеративных текстовых моделей и поддерживает формат диалоговых запросов с шаблоном <s>[INST]{prompt}[/INST]. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях, включая чат и другие задачи обработки текста. В README заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Архитектура, точное число параметров и размер контекста в предоставленных данных не указаны; идентификатор 12B присутствует только в названии репозитория. Доступны варианты от F16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ3/IQ4, что позволяет выбирать между качеством генерации и требованиями к оперативной памяти. Квантизация выполнена с использованием imatrix и llama.cpp; некоторые варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки. Более сильное сжатие уменьшает потребление памяти, но может снижать качество. Лицензия — Apache-2.0.

Mistral-Nemo-Instruct-2407-GGUF — это набор квантованных версий инструкционной языковой модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы и локальный запуск через llama.cpp или совместимые приложения, например LM Studio. В репозитории представлены варианты с точностью от F16 до различных форматов Q8, Q6, Q5, Q4 и Q3, с размером файлов примерно от 5,7 до 24,5 ГБ. Квантование выполнено с использованием imatrix и llama.cpp; для общения рекомендуется шаблон prompt <s>[INST]{prompt}[/INST>. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Данные о числе параметров, архитектуре исходной модели, размере контекста и мультимодальности в README не указаны; по описанию это текстовая модель без заявленной поддержки изображений или других модальностей. Сильная сторона набора — широкий выбор квантований для баланса качества, объёма файлов и требований к оперативной памяти: варианты Q5 и Q6 отмечены как высококачественные, а Q3 подходят для систем с ограниченной памятью. Некоторые варианты оптимизированы для ARM-процессоров и требуют соответствующих инструкций; они не рекомендуются для Mac или Windows. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR/Muse-Glimmer-30B-NVFP4-GGUF — квантованная сборка Muse-Glimmer-30B от Meta в формате GGUF для локального запуска через llama.cpp. Это плотный причинный трансформер с интегрированным визуальным энкодером; базовая модель насчитывает 27,8 млрд параметров и принимает изображения, в том числе снимки экрана, диаграммы и документы. Контекст достигает 131 тыс. токенов. Сборка использует NVIDIA NVFP4: 4-битные значения E2M1 с масштабированием E4M3 на группы из 16 значений; размер файла — 15,6 ГБ. Модель предназначена для генерации текста и диалогов, а также анализа изображений при локальном инференсе. Для работы с изображениями README рекомендует llama-mtmd-cli или llama-server с mmproj. Проверенная конфигурация использует llama.cpp 1647+ с поддержкой CUDA и видеокарту NVIDIA с 16 ГБ видеопамяти; NVFP4 рассчитан на GPU NVIDIA Blackwell, например RTX 50-й серии. В README приведены результаты на RTX 5060 Ti 16 ГБ: 80,2 токена/с обработки входа и 8,7 токена/с генерации. README указывает лицензию Apache 2.0 для базовой модели. Среди ограничений — требования к совместимому GPU и CUDA-ядрам; отключение рассуждений через конфигурацию не гарантируется, поэтому автор рекомендует параметр --reasoning off при запуске.

Nemotron-3.5-Lightning-30B-A3B-Uncensored-xCloud-GGUF — языковая модель, разработанная xCloudinfo на основе NVIDIA Nemotron-3.5-Lightning-30B-A3B-BF16. Она предназначена для генерации текста и локального запуска через llama.cpp в сценариях разработки, исследований и технической валидации. Модель ориентирована на английский и китайский языки. Это гибридная архитектура Mamba-2, Mixture of Experts и Attention: общий объём составляет 30 млрд параметров, около 3 млрд активируются при обработке запроса. Поддерживаются Multi-Token Prediction и контекст до 1 млн токенов. Модель не переобучалась: из отдельных матриц Attention и MoE была удалена направленность, связанная с чрезмерными отказами, методом directional ablation с интенсивностью 0,8. Компоненты Mamba и MTP draft head сохранены. Доступны GGUF-квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и IQ2_M; рекомендуемый вариант для развёртывания — Q4_K_M, размером около 24 ГБ. Сильной стороной модели являются гибридная архитектура, высокая вычислительная эффективность за счёт MoE и варианты квантизации для локального использования. Ограничение — отсутствие исходного безопасного поведения отказа: модель может напрямую отвечать на чувствительные и двояко применимые запросы, поэтому ответственность за законность и этичность использования лежит на пользователе. Для корректного reasoning требуется достаточный лимит токенов, а при работе рекомендуется явно указывать текущую дату в системном запросе. Модель распространяется по лицензии OpenMDW-1.1, унаследованной от базовой модели. Коммерческое использование разрешено; при распространении необходимо сохранять текст лицензии и уведомления об авторских правах. xCloudinfo не несёт ответственности за выводы модели и их дальнейшее использование.

6block/Nex-N2.5-Pro-GGUF — это GGUF-квантизации мультимодальной модели Nex-N2.5-Pro, разработанной nex-agi и преобразованной в формат GGUF с помощью llama.cpp командой 6block. Модель предназначена для генерации и анализа текста, а также для задач понимания изображений при использовании отдельного vision-проектора mmproj. Заявлены поддерживаемые языки английский и китайский. Модель имеет 397 млрд параметров, 60 слоёв в гибридной архитектуре: 45 слоёв Gated DeltaNet с линейным вниманием и 15 полноценных attention-слоёв с GQA. Это MoE-модель: каждый токен направляется к 10 из 512 экспертов и общему эксперту. Контекст составляет 262 144 токена, словарь — 248 320 токенов. Vision-энкодер содержит 27 слоёв, принимает изображения размером до 768 пикселей и использует патчи 16 пикселей. Поддерживаются адаптивный режим рассуждений и его отключение. Доступны варианты IQ4_XS, Q2_K и IQ2_XS размером примерно 200,1, 138,9 и 113,2 ГиБ соответственно, каждый в 19 сегментах. IQ4_XS наиболее близок к исходной BF16-версии по заявленным метрикам, Q2_K позиционируется как сбалансированный вариант для CPU, а IQ2_XS предназначен для систем с жёсткими ограничениями по памяти. Основные ограничения — очень большой размер, необходимость загрузить все сегменты, наличие совместимой сборки llama.cpp с поддержкой Qwen3.5-MoE и отдельного vision-проектора для работы с изображениями. Для изображений рекомендуется выделять не менее 1024 image tokens. Модель распространяется по лицензии Apache-2.0. Для запуска требуется llama.cpp; параметры и возможности использования изображений зависят от соответствующих инструментов и шаблона чата модели.

Nous-Hermes-2-Mixtral-8x7B-DPO-GGUF — это квантизированная версия языковой модели Nous-Hermes-2-Mixtral-8x7B-DPO, разработанной NousResearch и преобразованной в формат GGUF компанией Second State Inc. Модель основана на архитектуре Mixtral и дообучена с применением DPO и RLHF; в метаданных также указаны синтетические данные и дистилляция. Заявленный язык — английский. Модель предназначена для диалоговых и инструкционных сценариев: генерации ответов, общения в формате чат-бота и выполнения текстовых запросов. Она использует шаблон ChatML и поддерживает контекст размером 4096 токенов. Доступно несколько вариантов квантизации от Q2_K до Q8_0 размером от 17,3 до 49,6 ГБ. Q4_K_M рекомендуется как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. К сильным сторонам относятся архитектура Mixtral, диалоговая настройка и широкий выбор уровней квантизации для локального запуска. Более агрессивная квантизация уменьшает требования к памяти, но приводит к заметной потере качества; наиболее компактные варианты не рекомендуются для большинства задач. В README не указаны мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Лицензия — Apache-2.0. Для запуска с LlamaEdge требуется версия 0.2.8 или новее.

Pretergeek создал OpenChat-3.5-0106_9.86B_44Layers-Appended на основе диалоговой модели OpenChat 3.5 0106. Это плотная причинная языковая модель семейства Mistral с 9,7 млрд параметров, предназначенная для генерации текста и общения в формате чата. Она принимает текст и выдаёт текст; заявленная длина контекста — 8192 токена. Модель получена расширением исходной сети дополнительными слоями в конце: автор применил вариант метода расширения блоков, описанного в работе LLaMA Pro. По README, после такого расширения модель ещё не проходила дополнительное обучение и должна вести себя близко к исходной. Её можно использовать для диалога, ответов на общие вопросы, программирования и математических рассуждений, но ожидаемые улучшения от новых слоёв пока не подтверждены обучением. Модель распространяется по лицензии Apache-2.0. Результаты в таблице README включают средний показатель 22,55, IFEval — 59,61 и BBH — 24,06; полный контекст оценки в доступной карточке не приведён.

VMware/open-llama-7b-v2-open-instruct — инструктивно дообученная версия OpenLLaMA 7B v2 от VMware на наборе Open-instruct. Это плотная авторегрессионная модель семейства LLaMA с 6,6 млрд параметров и контекстом 2048 токенов, предназначенная для генерации текста и ответов на инструкции. В карточке отмечено улучшение результатов на задачах программирования относительно первой версии OpenLLaMA; для инструктивного дообучения использован шаблон Alpaca. Основной язык карточки — английский. Модель подходит для диалоговых ответов, выполнения текстовых инструкций, объяснения понятий и генерации примеров кода. Она распространяется в форматах PyTorch и safetensors по лицензии CC BY-SA 3.0. Для корректной токенизации в README рекомендуется отключить быстрый токенизатор, поскольку он может кодировать текст неверно.

Penguin-VL-2B — компактная vision-language-модель Tencent, построенная на языковой основе Qwen3-1.7B. В модели объединены визуальный энкодер, созданный на основе Qwen3-0.6B, лёгкий MLP-проектор и языковой бэкенд Qwen3. Энкодер использует двунаправленное внимание и 2D-RoPE для обработки пространственной информации; для видео применяется сжатие токенов с учётом временной избыточности кадров. Модель предназначена для диалоговых задач с изображениями и видео: ответов на визуальные вопросы, OCR, понимания документов и диаграмм, а также рассуждений по содержимому кадров. Заявленная длина контекста — 40 960 токенов, размер языковой основы — 1,7 млрд параметров. В карточке приведены результаты на тестах для изображений, документов, OCR, математики и видео. Метаданные указывают английский язык; других языков карточка не подтверждает. Модель дообучена на Qwen/Qwen3-1.7B, распространяется в формате Safetensors по лицензии Apache-2.0. Качество может зависеть от разрешения и сложности визуального входа; опубликованные результаты бенчмарков не гарантируют точность на конкретных данных. Описание не уточняет ограничения по длительности видео или точную процедуру запуска.