I.14Автоматизация процессов и AI-агенты

Nemotron-H-8B-Reasoning-128K — языковая модель NVIDIA для диалогов, рассуждений и обычных текстовых задач. Она построена на гибридной архитектуре Mamba-2 и MLP с четырьмя слоями Attention, содержит 8 млрд параметров и основана на Nemotron-H-8B-Base-8K. Модель принимает и генерирует текст, поддерживает контекст до 128 тыс. токенов и работает с английским, немецким, испанским, французским, итальянским, корейским, португальским, русским, японским и китайским языками. Модель может сначала формировать рассуждение, а затем итоговый ответ; режим рассуждений задаётся системным промптом. NVIDIA предлагает контрольные точки BF16 для Transformers и TensorRT-LLM и FP8 для TensorRT-LLM. Модель подходит для ответов на вопросы, решения задач по математике и науке, работы с кодом и анализа длинных текстов. Для сложных запросов включение рассуждений обычно повышает качество, а отключение может немного снизить точность. Модель предназначена для исследований и разработки. Лицензия указана как other; конкретные условия следует сверять с лицензией репозитория. Возможны неточные, неполные или избыточные ответы, токсичный контент и усиление предвзятости; README также отмечает уязвимость к некоторым вариантам косвенной prompt injection.

Qwen2-57B-A14B-Instruct-GGUF — инструкционная языковая модель серии Qwen2, разработанная командой Qwen. Это текстовая модель для генерации и понимания текста, диалоговых приложений, решения задач на естественных языках, программирования, математики и рассуждений. Модель ориентирована на сценарии, где требуется чат-ассистент или локально развёртываемый сервис с совместимым с OpenAI API интерфейсом. Модель построена на декодерной архитектуре Transformer и использует Mixture-of-Experts с 57 млрд параметров, из которых 14 млрд активны (57B-A14B). Среди архитектурных особенностей указаны активация SwiGLU, bias в QKV и Grouped Query Attention. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования; в карточке явно указан английский язык. Модель прошла дообучение с учителем и Direct Preference Optimization. Доступны GGUF-квантизации от q2_k до q8_0, что позволяет выбирать компромисс между размером, скоростью и качеством. Сильными сторонами заявлены конкурентоспособность в задачах понимания и генерации текста, многоязычность, программирование, математика и рассуждения, а также возможность запуска через llama.cpp. Ограничения включают высокие требования к вычислительным ресурсам из-за размера модели, зависимость характеристик от выбранного уровня квантизации и отсутствие в README данных о максимальной длине контекста, точном наборе поддерживаемых языков и производительности. Модель распространяется по лицензии Apache 2.0.

Falcon-H1-34B-Instruct-GGUF — квантизированное в формате GGUF представление инструкционной языковой модели Falcon-H1-34B-Instruct, разработанной Technology Innovation Institute (TII). Это каузальная decoder-only модель с гибридной архитектурой, объединяющей Transformer attention и State Space Models на основе Mamba, что ориентировано на эффективную обработку длинного контекста и снижение вычислительных затрат. Вариант предназначен для запуска через совместимые инструменты, включая custom fork llama.cpp; семейство также поддерживается Transformers и vLLM. Модель рассчитана на генерацию текста, следование инструкциям, рассуждения, математические и научные задачи, программирование и многоязычное взаимодействие. Семейство Falcon-H1 поддерживает до 256K токенов контекста и 18 языков, включая русский, английский, арабский, китайский, японский, корейский, немецкий, французский, испанский, итальянский, португальский, польский, нидерландский, чешский, румынский, шведский, хинди и урду. Размер исходной модели — 34 млрд параметров; конкретные параметры квантизации данного GGUF-файла в README не указаны. К сильным сторонам относятся гибридная архитектура, эффективность по отношению к размеру, работа с длинным контекстом и высокие результаты в ряде общих, научных, математических и инструкционных тестов. Ограничения включают высокие требования к ресурсам по сравнению с небольшими моделями, возможные потери качества из-за квантизации и отсутствие в README подробностей о точном формате и уровне квантизации конкретного файла. Модель распространяется по лицензии Falcon-LLM License; условия доступны по ссылке, указанной разработчиком.

Gemma 3 12B IT — мультимодальная instruction-tuned модель семейства Gemma, разработанная Google DeepMind на основе исследований и технологий Gemini. Модель распространяется с открытыми весами и предназначена для взаимодействия по инструкциям с текстом и изображениями, генерируя текстовые ответы. Модель подходит для ответов на вопросы, суммаризации документов, рассуждений, анализа изображений, извлечения визуальной информации и генерации кода. Она принимает текстовые запросы и изображения, нормализованные до разрешения 896 × 896 и представленные 256 токенами на изображение. Для версии 12B заявлено входное контекстное окно до 128K токенов и максимальный объём генерируемого текста до 8192 токенов. Модель обучалась на данных более чем на 140 языках, включавших веб-документы, код, математические материалы и изображения. К сильным сторонам относятся мультимодальность, большой контекст, многоязычная поддержка и сравнительно компактный размер, позволяющий развёртывать модель на ноутбуках, настольных компьютерах или собственной облачной инфраструктуре при наличии подходящих ресурсов. Ограничения включают зависимость качества от языка, типа задачи и доступных вычислительных ресурсов, а также потенциальные риски, свойственные генеративным моделям. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use.

bullerwins/Meta-Llama-3.1-8B-Instruct-GGUF — GGUF-квантизированная версия инструкционной модели Meta-Llama-3.1-8B-Instruct, разработанной Meta. Это авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer; инструкционная настройка выполнена с использованием supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также коммерческого и исследовательского применения, включая создание синтетических данных и дистилляцию. Она работает только с текстом на входе и выходе, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Размер модели — 8B параметров, контекст — до 128K токенов, используется Grouped-Query Attention. Ключевые преимущества — мультиязычность, поддержка длинного контекста и локального запуска через совместимые инструменты llama.cpp. Эта версия требует llama.cpp 5e2727f или более новой из-за исправлений токенизатора и RoPE. Модель является статичной и обучена на офлайн-данных с отсечкой знаний в декабре 2023 года, поэтому не обладает актуальными знаниями без внешних источников. Качество и потребление ресурсов зависят от выбранного уровня GGUF-квантизации, который в README не указан. Распространяется по коммерческой лицензии Llama 3.1 Community License; использование также ограничено применимыми законами, Acceptable Use Policy и условиями лицензии.

AIArchiveInfo публикует побайтовую архивную копию Qwen2.5-7B-Instruct, созданную из репозитория Qwen/Qwen2.5-7B-Instruct; веса не изменялись, обучение или дообучение в этом репозитории не проводились. Это инструкционно настроенная причинная языковая модель семейства Qwen2.5 с архитектурой Qwen2ForCausalLM, примерно 7,1 млрд параметров и контекстом 32 768 токенов по метаданным. README описывает архитектуру на базе трансформера с RoPE, SwiGLU, RMSNorm и смещениями QKV; для более длинного контекста предлагается YaRN, но он может снижать производительность на коротких запросах. Модель предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов, работу с таблицами и структурированными ответами JSON, а также задачи программирования и математики. Указана поддержка более 29 языков, включая русский и английский. Использовать можно через Transformers; README рекомендует актуальную версию библиотеки. Лицензия Apache-2.0 распространяется на архивную копию согласно карточке.

Qwen3.5-9B Q4_K_M GGUF — это 4-битная квантованная версия языково-мультимодальной модели Qwen3.5-9B, первоначально разработанной Alibaba Cloud. Конвертацию в формат GGUF выполнила Unsloth, а квантование и оптимизацию для локального запуска на устройствах Apple — jc-builds. Модель распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста, рассуждений, программирования, использования инструментов, анализа изображений и работы с документами и видео. Она поддерживает режим рассуждений с блоками <think>...</think>, ChatML-формат запросов и ориентирована прежде всего на приватный автономный запуск через llama.cpp, включая iPhone, iPad и Mac с Apple Silicon. Для iOS она доступна в приложении HaploAI. Архитектура сочетает Gated DeltaNet и полное Gated Attention в соотношении 3:1 и включает 32 слоя, скрытое измерение 4096, GQA с 16 query-heads и 4 KV-heads, а также FFN с промежуточным размером 12288. Модель содержит около 9 млрд параметров, занимает примерно 5,3 ГБ, поддерживает контекст до 262 144 токенов с возможностью расширения свыше 1 млн через YaRN и заявляет поддержку 201 языка и диалекта, включая русский, английский, китайский, японский, корейский и европейские языки. Нативная мультимодальность основана на раннем слиянии визуальных данных. К сильным сторонам относятся высокая заявленная эффективность для модели такого размера, большой контекст, мультимодальность, широкий языковой охват и возможность локального использования без передачи данных в облако. Ограничения включают значительные требования к памяти: для комфортной работы рекомендуется устройство с минимум 8 ГБ RAM, а на старых iPhone с 6 ГБ модель не рекомендуется. Приведённые результаты бенчмарков и скорости зависят от реализации, устройства и настроек запуска.

IsValorum Qwen3.8-35B-A3B-Distill-MTP-APEX-I-MiniPlus-V2.1-Abliterated-GGUF — это GGUF-квантизированная версия модели empero-ai/Qwen3.8-35B-A3B-Distill, предназначенная для генерации текста, рассуждений, программирования и локального запуска через llama.cpp и совместимые инструменты. Модель относится к разреженной архитектуре Mixture-of-Experts и содержит 40 слоёв и 256 микроэкспертов. Заявлена поддержка контекста до 256K токенов, а также английского, китайского, испанского, французского, немецкого, португальского, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Это аблитерированная версия без стандартных ограничителей отказа, ориентированная на сценарии, где требуется минимизация отказов при задачах по безопасности систем, пентестингу и анализу соответствия требованиям. Вариант APEX-I-MiniPlus V2.1 использует настраиваемое покомпонентное квантование: маршрутизаторы gate_inp сохранены в F32, выходная голова — в Q6_K, attention gates — в Q8_0, а основные экспертные тензоры — преимущественно в IQ3_XXS. Размер модели составляет примерно 13,74 GiB, заявлены отсутствие существенных задержек AVX2 и поддержка ускоренного speculative execution с отдельной Q8_0 MTP-компонентой. К сильным сторонам относятся компактный размер для MoE-модели, сохранение маршрутизации экспертов в F32, высокая заявленная близость к качеству Q5–Q6-квантов и широкий языковой охват. Ограничение унаследовано от исходной BF16 Distill-модели: при очень длинных ответах возможны повторения, в том числе после блока рассуждений; это не связывается с квантованием. Релиз распространяется по лицензии Apache-2.0.

QuantFactory/Fireball-3.1-8B-ORPO-GGUF — квантизированная версия EpistemeAI/Fireball-3.1-8B-ORPO, созданная с помощью llama.cpp. В основе лежит Meta Llama 3.1 8B от Meta, дообученная методом ORPO, который объединяет supervised fine-tuning и выравнивание по предпочтениям в едином процессе. Разработчик и автор исходной версии — EpistemeAI; квантизацию также выполнила EpistemeAI. Модель предназначена для генерации текста, диалоговых ассистентов и других задач обработки естественного языка, включая работу с кодом. Это текстовая autoregressive Transformer-модель примерно на 8 млрд параметров с поддержкой Grouped-Query Attention. Заявлены мультиязычные текстовые входы и выходы, включая английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Максимальная длина контекста составляет 128 тысяч токенов, дата отсечения знаний — декабрь 2023 года. Квантизированный формат GGUF ориентирован на запуск через llama.cpp и может снизить требования к памяти и вычислительным ресурсам по сравнению с полноразмерными весами. Ограничения включают статичность знаний, возможные ошибки и ограничения качества после дообучения и квантизации, а также отсутствие поддержки изображений и других немультимодальных входов. В README указана лицензия Llama 3.1 Community License; при этом в разделе сведений о загруженной модели также упомянута Apache-2.0, поэтому условия распространения следует уточнить по актуальным файлам лицензии репозитория.

socrate-tech/gemma-3-12b-it-GGUF — это GGUF-версия инструкционно дообученной модели Google Gemma 3 12B, разработанной Google DeepMind и опубликованной в экосистеме Unsloth. Модель построена на базе google/gemma-3-12b-it и предназначена для локального и облачного развертывания, включая использование на ноутбуках, настольных компьютерах и собственной инфраструктуре. Модель принимает текст и изображения, а генерирует текст. Она подходит для ответов на вопросы, суммаризации документов, рассуждений, анализа изображений и других задач генерации текста. Для варианта 12B заявлено контекстное окно до 128K токенов и максимальный объём генерируемого ответа до 8192 токенов; изображения нормализуются до разрешения 896 × 896 и кодируются в 256 токенов. Поддерживается более 140 языков, включая английский, указанный для этой публикации. К сильным сторонам относятся мультимодальность, большое контекстное окно, сравнительно компактный размер по меркам современных моделей и возможность запуска в средах с ограниченными ресурсами. Ограничения включают зависимость качества от доступных вычислительных ресурсов и особенностей GGUF-инференса; конкретный уровень квантования в предоставленных данных не указан. Модель распространяется по лицензии Gemma; применяются условия использования Google.

unsloth/gemma-3-27b-it-bnb-4bit — 4-битная версия instruction-tuned модели Gemma 3 27B, подготовленная Unsloth на основе модели Google Gemma 3 27B IT. Разработчик исходной модели — Google DeepMind. Модель имеет открытые веса и предназначена для запуска и дообучения с использованием Transformers, в том числе в средах с ограниченными ресурсами. Модель принимает текстовые запросы и изображения, а генерирует текст. Она подходит для ответов на вопросы, суммаризации, рассуждений, генерации текста и анализа изображений. Для версии 27B заявлены контекст до 128K токенов и максимальный объём вывода 8192 токена; изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов. Поддерживается более 140 языков, включая английский, указанный в метаданных модели. Ключевое преимущество этой версии — 4-битное представление, снижающее требования к памяти и упрощающее локальный запуск и дообучение по сравнению с полноразмерной моделью. При этом квантование может влиять на точность и качество ответов, а мультимодальные возможности, производительность и фактическая совместимость зависят от используемого программного обеспечения и оборудования. Модель распространяется по лицензии Gemma; перед использованием необходимо учитывать условия Google Gemma Terms of Use.

muranAI/gemma-3n-E4B-it-GGUF — коллекция GGUF-квантизованных версий instruction-tuned модели Gemma 3n E4B IT. Базовая модель разработана Google, а muranAI подготовила варианты для эффективного запуска с использованием llama.cpp и Ollama. Модель предназначена для диалоговых приложений, генерации текста, ответов на вопросы, программирования и других задач общего назначения. Архитектура — Gemma 3n с эффективным объёмом около 4 миллиардов параметров, контекстным окном 32 768 токенов и словарём размером 256 000 токенов. Заявлена многоязычная поддержка более 140 языков. Доступны варианты квантования от F16 и Q8_0 до Q2_K размером примерно от 2,6 до 13 ГБ, что позволяет выбирать между качеством, скоростью и требованиями к памяти. Модель оптимизирована для работы на обычных компьютерах и периферийных устройствах; поддерживаются CPU и совместимые GPU через llama.cpp или Ollama. Сильные стороны модели — instruction tuning для диалогов, расширенный контекст, многоязычность и широкий выбор степеней квантования. К ограничениям относятся потенциальная потеря качества в более агрессивно квантованных вариантах и зависимость производительности от оборудования и версии программного обеспечения. В README приведены ориентировочные результаты исходной модели на ряде бенчмарков, но они не обязательно отражают показатели каждой квантизованной версии. Распространение осуществляется по лицензии Gemma.

Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS — мультимодальная производная модель на базе Qwen/Qwen3.8-27B, разработанная автором репозитория shuijiaodawang. Она предназначена для диалогов, генерации и анализа текста, программирования, работы с JSON, объяснений, математических задач, отладки, а также обработки изображений и текстово-визуальных запросов. Модель использует гибридную текстово-визуальную архитектуру Qwen3.8 с 27 млрд параметров и поддерживает мультиязычную работу. Доступен BF16-чекпойнт Transformers с текстовыми и визуальными весами, а также GGUF-варианты Q4_K_M, Q5_K_M и Q8_0 для локальной текстовой генерации. Заявлен контекст 32 768 токенов для примера Ollama; режим рассуждений Qwen3.8 сохраняется. Для BF16-версии рекомендуется около 56 ГБ памяти, не считая накладных расходов и KV-кэша. Главная особенность — существенное снижение отказов: во внутренних тестах заявлены 0 отказов на 842 промптах и на отдельной выборке из 126 промптов, при этом проверка связности дала 23 успешных результата из 24. Эти оценки являются внутренними, не являются независимыми бенчмарками и не подтверждают сохранение исходных показателей точности, рассуждений, программирования или компьютерного зрения. Поведение может изменяться при квантовании и использовании разных бэкендов; GGUF-файлы не поддерживают изображения без совместимого vision projector. MTP-голова отсутствует, поэтому спекулятивное декодирование на её основе недоступно. Модель распространяется по лицензии Apache License 2.0.

Gemma 2 27B Instruct — большая языковая модель Google из семейства Gemma, представленная в формате GGUF для запуска через llama.cpp и LM Studio. Квантование подготовлено bartowski на основе оригинальной модели google/gemma-2-27b-it. Модель предназначена для диалогового взаимодействия и универсальной генерации текста, включая работу с веб-текстами, программным кодом и математическими задачами. Модель содержит 27 миллиардов параметров и занимает промежуточное положение между моделями классов 8B и 70B, поэтому рассчитана на системы с умеренным объёмом видеопамяти. Она обучена на 13 триллионах токенов; обучающие данные включали преимущественно англоязычные веб-документы, код и математические материалы. Большой словарь способствует многоязычным возможностям и работе с кодом, однако точный перечень поддерживаемых языков и размер контекстного окна в README не указаны. Модель работает по шаблону Google Gemma Instruct и не поддерживает системный промпт. Для запуска рекомендуется LM Studio версии 0.2.27 или новее с пресетом Google Gemma Instruct. Модель является текстовой и не поддерживает мультимодальные входы или выходы. Использование регулируется лицензией Gemma; для доступа на Hugging Face необходимо принять условия лицензии Google. README также предупреждает, что модель может генерировать неточный, вредный или неприемлемый контент.

Granite 3.0 8B Instruct — это языковая модель для генерации текста, разработанная IBM и опубликованная в формате GGUF пользователем bartowski. Репозиторий содержит квантизированные варианты базовой модели ibm-granite/granite-3.0-8b-instruct, подготовленные с использованием llama.cpp и imatrix. Модель предназначена для локального запуска, в частности через LM Studio, и поддерживает стандартный формат диалога с системными и пользовательскими сообщениями. Модель имеет около 8 млрд параметров и работает в режиме text-generation. Она ориентирована на следование инструкциям, ответы на вопросы, рассуждения, математические задачи, генерацию кода и мультиязычные сценарии; в README приведены результаты на IFEval, AGI-Eval, OBQA, BoolQ, ARC-C, HumanEvalSynthesis, GSM8K и PAWS-X для семи языков. Архитектура, точный размер контекста, перечень поддерживаемых языков и модальности дополнительно не указаны, поэтому модель следует считать текстовой. Основное преимущество этой версии — выбор квантизаций от F16 до Q4, позволяющий снизить требования к памяти при сохранении качества. В README рекомендуются варианты Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S и Q4_K_M; более компактные варианты экономят память, но могут сильнее снижать качество. Ограничениями являются отсутствие мультимодальности в описании, неполные сведения о контексте и языках, а также необходимость самостоятельно выбрать подходящий файл и совместимое ПО. Модель распространяется по лицензии Apache-2.0.

legraphista/Meta-Llama-3.1-70B-Instruct-IMat-GGUF — вариант модели Meta-Llama-3.1-70B-Instruct, опубликованный пользователем legraphista. Это большая инструкционно настроенная языковая модель семейства Llama 3.1 от Meta, предназначенная для диалоговых сценариев, следования инструкциям и генерации текста. Из доступных данных известно, что модель относится к классу 70B и основана на Meta-Llama-3.1-70B-Instruct. Формат GGUF указан в идентификаторе модели, однако сведения о конкретном типе квантования, размере контекста, поддерживаемых языках и дополнительных изменениях по сравнению с базовой моделью отсутствуют. Модель ориентирована на текстовые задачи; информация о поддержке других модальностей не предоставлена. Использование регулируется Llama 3.1 Community License от Meta. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ на установленных условиях, включая соблюдение Acceptable Use Policy, указание лицензии и атрибуции, а также отображение надписи «Built with Llama» при распространении материалов или продуктов. Для продуктов с более чем 700 миллионами ежемесячно активных пользователей требуется отдельное разрешение Meta.

GLM-5.3-Flash-Alis-MLX-4bit — это 4-битная сборка модели GLM-5.3-Flash, разработанной Zhipu AI (zai-org), адаптированная для выполнения через MLX на устройствах Apple Silicon. Модель предназначена для генерации текста и локального инференса, включая сценарии программирования, работы с прозой, анализа табличных данных и решения математических задач. Базовая модель имеет архитектуру glm5_next: 320B параметров, из которых 18B активируются на токен (320B-A18B), mixture-of-experts с 288 экспертами, 34 слоями линейного внимания и 11 слоями DSA, а также механизмом mHC. Данная версия получена потоковой деквантизацией официального релиза FP8 и сохраняет маршрутизатор MoE и correction bias в формате FP32. В README также указана поддержка спекулятивного декодирования и двухузлового tensor parallelism, однако часть этих режимов относится к отдельным сборкам или экспериментальной инфраструктуре, а не непосредственно к опубликованному checkpoint. К сильным сторонам относятся существенно сниженный объём хранения по сравнению с полной моделью, оптимизация под MLX и высока скорость генерации на мощных системах Apple Silicon; для конфигурации M3 Ultra 512GB заявлялась скорость около 29 токенов в секунду при обычном декодировании. Ограничениями являются очень высокие требования к памяти, зависимость производительности от аппаратной конфигурации и MLX-окружения, а также экспериментальный статус некоторых режимов параллельного и спекулятивного декодирования. Модель распространяется по лицензии MIT.

Qwen2-7B-Instruct-GGUF — инструкционная языковая модель из серии Qwen2, разработанная командой Qwen. Это вариант Qwen2-7B-Instruct, представленный в формате GGUF для локального запуска и инференса с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, работу с инструкциями, понимание и создание текста, программирование, математику, рассуждения и многоязычные задачи. Модель содержит 7 миллиардов параметров и построена на архитектуре Transformer с активацией SwiGLU, смещениями QKV в механизме внимания и group query attention. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования. В репозитории доступны версия fp16 и квантизованные варианты GGUF: q5_0, q5_k_m, q6_k и q8_0. Точная длина контекста и полный список поддерживаемых языков в README не указаны. Модель работает только с текстом; сведения о поддержке других модальностей отсутствуют. К сильным сторонам относятся инструкционная настройка, пригодность для локального развёртывания, совместимость с llama.cpp и возможность выбирать между несколькими уровнями квантизации, балансируя качество и требования к ресурсам. Ограничения включают зависимость производительности и качества от выбранного формата GGUF и аппаратной конфигурации, а также отсутствие в предоставленных данных подробных результатов по прикладным задачам и информации о безопасностных ограничениях. Лицензия — Apache-2.0.

leonsarmiento/Qwen3.8-27B-3bit-mlx — мультимодальная модель VLM, разработанная на основе Qwen3.8-27B от Qwen и конвертированная автором в формат MLX с помощью mlx-vlm. Она предназначена для работы с текстом и изображениями, включая диалоговые, аналитические и программные сценарии. Модель поддерживает контекст до 262 тысяч токенов и рассчитана на запуск в экосистеме MLX, в частности через mlx-vlm, oMLX и LM Studio. Архитектура представляет собой плотную гибридную модель с 64 слоями: 48 используют линейное внимание, а 16 — полное внимание. Размер модели — 27B параметров. Применена смешанная квантизация: большинство языковых слоёв сжаты до 3 бит, эмбеддинги и lm_head — до 4 бит, а vision tower сохранён с 8-битной точностью. Объём модели составляет около 12,71 ГБ, пиковое потребление памяти в заявленном тесте — 15,61 ГБ. Модель поддерживает режимы с рассуждением и без него; по умолчанию в этой сборке reasoning_effort установлен на low, что сокращает задержку и длину рассуждений. Сильными сторонами являются поддержка изображений, большой контекст, сниженное потребление памяти и более высокая скорость декодирования по сравнению с равномерной 4-битной версией при сопоставимом качестве на приведённых тестах. Ограничения включают зависимость от MLX-совместимого программного обеспечения и аппаратной конфигурации, а также компромисс между качеством, скоростью и глубиной рассуждений при 3-битной квантизации. Лицензия — Apache-2.0.

Athene-V2-Chat-72B — диалоговая языковая модель с открытыми весами, разработанная командой Nexusflow. Это дообученная с помощью RLHF модель Qwen2.5-72B-Instruct с плотной архитектурой Qwen2; в репозитории доступны веса в формате safetensors. Модель рассчитана на диалог, генерацию текстов, решение математических задач и программирование. Она использует шаблон чата Qwen2.5-72B-Instruct и поддерживает контекст до 32 768 токенов. В карточке разработчик сообщает о сильных результатах в чат-бенчмарках, математике, программировании, следовании инструкциям и многошаговом диалоге. Модель также имеет интерфейс вызова инструментов, однако для сложных агентных сценариев Nexusflow выделяет отдельную модель Athene-V2-Agent-72B. Лицензия — Nexusflow Research License; перед использованием следует проверить её условия для конкретного сценария.

DeepSeek-V4-Flash-0731-W4A16 — это квантизированная версия языковой модели DeepSeek-V4-Flash-0731, разработанной DeepSeek. Модель предназначена для генерации текста, включая диалоговые ответы, рассуждения, решение математических задач, программирование, работу с инструкциями и задачи на понимание текста. В карточке указаны английский и китайский языки. Архитектура поддерживает 283 млрд параметров; сведения о контекстном окне и мультимодальных возможностях не приведены. Модель использует смешанную точность: routed experts преобразованы из FP4 в INT4 с group_size=32 и вычислениями активаций в BF16, attention, shared experts и indexer сохранены в FP8, а остальные перечисленные компоненты — в BF16. Формат совместим с vLLM и предназначен для запуска на GPU NVIDIA без аппаратной поддержки FP4, включая H20, H100, A100, L40S, L20 и RTX 4090, при наличии подходящей конфигурации. Размер файлов модели составляет около 166 ГБ; для запуска рекомендуется vLLM версии 0.26.0 или новее и не менее двух H20 96 ГБ либо четырёх A100 80 ГБ. Сильная сторона модели — возможность инференса исходной DeepSeek-V4-Flash-0731 на Hopper и Ampere без FP4 tensor core, при сохранении заявленного качества на небольшой проверочной выборке из 50 заданий. К ограничениям относятся неизбежная ошибка INT4-квантизации, высокая потребность в видеопамяти и необходимость использовать специальный модуль кодирования prompt вместо стандартного chat template. Лицензия обозначена как DeepSeek с отдельной ссылкой на её текст; условия коммерческого и иного использования следует уточнять в лицензии.

unsloth/gemma-3-27b-it-unsloth-bnb-4bit — это 4-битная версия instruction-tuned модели Gemma 3 27B, подготовленная Unsloth на базе google/gemma-3-27b-it. Исходная модель разработана Google DeepMind в рамках семейства Gemma, созданного с использованием исследований и технологий Gemini. Модель предназначена для генерации текста и мультимодального понимания изображений: она принимает текст и изображения, а на выходе генерирует текст. Подходит для ответов на вопросы, суммаризации документов, рассуждений, анализа содержимого изображений и диалоговых сценариев. Для размеров 4B, 12B и 27B заявлено контекстное окно до 128K токенов, максимальный объём генерируемого ответа — 8192 токена; изображения нормализуются до 896×896 и кодируются в 256 токенов. Поддерживается более 140 языков, при этом в метаданных данной версии явно указан английский язык. Ключевое преимущество версии — 4-битное квантование, снижающее требования к памяти и упрощающее локальное развёртывание, однако оно может сопровождаться потерей точности по сравнению с полноразмерными вариантами. Модель рассчитана на работу через Transformers и может быть полезна на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Использование регулируется лицензией Gemma и соответствующими Terms of Use.

Meta-Llama-3-8B-Instruct-llamafile — это инструкционная версия языковой модели Llama 3, разработанная Meta и упакованная в исполняемый формат llamafile проектом Mozilla Ocho. Версия содержит около 8 млрд параметров и предназначена для локального запуска на Linux, macOS, Windows, FreeBSD, OpenBSD и NetBSD на платформах AMD64 и ARM64. Указанный вариант связан с квантованием, выполненным jartine, и основан на meta-llama/Meta-Llama-3-8B-Instruct. Модель принимает только текст и генерирует текст и код. Она ориентирована прежде всего на англоязычные диалоговые сценарии, работу в формате ассистента и задачи генерации естественного языка. Архитектура представляет собой авторегрессионный оптимизированный Transformer с Grouped-Query Attention; модель дообучена с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Длина контекста составляет 8k токенов, данные обучения включают более 15 трлн токенов общедоступных онлайн-данных, дата отсечения знаний — март 2023 года. Сильными сторонами являются возможность автономного локального запуска без отдельной сложной инфраструктуры, поддержка распространённых настольных операционных систем и оптимизация для диалогового взаимодействия. Ограничения включают работу преимущественно с английским языком, текстовую модальность, статичность обученной версии и возможные потери качества или рост галлюцинаций при использовании более агрессивных форматов квантования. Модель распространяется по пользовательской коммерческой лицензии Llama 3; применение должно соответствовать условиям Llama 3 Community License, Acceptable Use Policy и действующему законодательству.

Qwen2.5-1.5B-Instruct-GGUF — инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это вариант базовой модели Qwen2.5-1.5B-Instruct в формате GGUF для локального запуска, в том числе с использованием llama.cpp. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, понимания таблиц и других структурированных данных, а также генерации структурированных ответов, включая JSON. Модель представляет собой causal language model на архитектуре transformers с RoPE, SwiGLU, RMSNorm, bias в Attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, из которых 1,31 млрд приходятся на параметры без учёта эмбеддингов, имеет 28 слоёв и GQA с 12 головами для Q и 2 для KV. Поддерживаются контекст до 32 768 токенов и генерация до 8192 токенов. Указана поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Репозиторий содержит варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. К сильным сторонам относятся небольшой размер, возможность локального запуска, улучшенные следование инструкциям, генерация длинных текстов, работа со структурированными данными, кодом и математикой, а также устойчивость к различным системным промптам. Ограничения связаны с компактным масштабом в 1,5 млрд параметров и потерями точности, возможными при квантовании; конкретные показатели производительности в README не приведены. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Qwen2.5-7B-GGUF — квантизированная в формате GGUF версия базовой языковой модели Qwen2.5-7B, созданной командой Qwen и подготовленной QuantFactory с использованием llama.cpp. Модель предназначена для генерации и обработки текста, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Это базовая модель после этапа предварительного обучения, поэтому разработчики не рекомендуют использовать её для диалогов без дополнительного дообучения, например SFT, RLHF или продолжительного предварительного обучения. Модель является авторегрессионной causal language model на архитектуре Transformer с RoPE, SwiGLU, RMSNorm и смещениями в QKV-проекциях внимания. Она содержит 7,61 млрд параметров, из которых 6,53 млрд не относятся к embedding-слою, имеет 28 слоёв и Grouped-Query Attention с 28 головами для Q и 4 для KV. Максимальная длина контекста составляет 131 072 токена, поддерживается генерация длинных текстов до 8K токенов. Qwen2.5 заявляет поддержку более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. К сильным сторонам относятся улучшенные знания, возможности в программировании и математике, следование инструкциям, обработка длинного контекста, понимание таблиц и генерация структурированных данных. К ограничениям относятся базовый, а не instruction-tuned характер модели, отсутствие указанных в README подробностей о конкретном методе и разрядности квантизации, а также необходимость учитывать требования к памяти и производительности среды запуска. Модель распространяется по лицензии Apache-2.0.

tripolskypetr/gemma-3-12b-it — модель на базе Google Gemma 3 12B IT, разработанная Google DeepMind. Это открытая инструкционно дообученная мультимодальная модель, принимающая текст и изображения и генерирующая текст. README не содержит сведений о специфическом дополнительном дообучении, выполненном автором репозитория. Модель предназначена для генерации текста, ответов на вопросы, суммаризации документов, рассуждений и анализа изображений. Она поддерживает более 140 языков, использует контекстное окно до 128 000 токенов, принимает изображения, нормализованные до 896×896 пикселей и представленные 256 токенами каждое, а максимальный объём генерируемого ответа составляет 8192 токена. Размер модели — 12 млрд параметров. К сильным сторонам относятся мультимодальность, широкий языковой охват, большое контекстное окно и возможность развёртывания на собственном оборудовании или в облачной инфраструктуре по сравнению с более крупными моделями. Ограничения включают неизвестные для данного репозитория результаты дополнительного обучения и оценки, а также необходимость учитывать требования к ресурсам для запуска модели такого размера. Использование регулируется лицензией Gemma и соответствующими условиями Google.

AtomicChat/gemma-4-E4B-it-assistant-GGUF — это локальная GGUF-квантизированная версия модели google/gemma-4-E4B-it-assistant, разработанной Google и самостоятельно преобразованной в GGUF командой Atomic Chat. Модель предназначена для генерации текста, диалоговых ассистентов, рассуждений, программирования и автономного офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые приложения. Архитектура модели — плотный decoder с 42 слоями, гибридным вниманием: скользящее окно 512 токенов сочетается с глобальным вниманием. Указано 4,5 млрд эффективных параметров и 8 млрд параметров с учётом embeddings, контекст до 128K токенов, словарь 262K токенов, 4 attention heads и 2 KV heads. Базовая модель поддерживает текст, изображения и аудио, однако представленные в этом репозитории кванты являются текстовыми и не содержат vision projector. Языки модели в README не указаны. Доступны варианты Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; квантизация выполнена с importance matrix, что должно уменьшать потери качества на низкой разрядности. Q4_K_M рекомендован как компромисс между размером, скоростью и качеством, а Q8_0 и F16 — для большей точности. Ограничениями являются текстовый формат поставки, возможная потеря качества из-за квантизации и необходимость использовать шаблон чата Gemma 4 через параметр --jinja. Приведённые в README результаты бенчмарков относятся к базовой модели Google, а не к независимым измерениям данной квантизированной версии. Модель распространяется по лицензии Apache 2.0.

Changgil/google-gemma-3-27b-it-text — текстовая адаптация Gemma 3 от Google DeepMind, представленная Changgil. Из модели удалены компоненты обработки изображений, при этом сохранена генерация текста; архитектура — плотная Gemma 3 для авторегрессионной генерации, размер — 28,3 млрд параметров. Модель работает через Transformers и распространяется в формате safetensors. Модель предназначена для диалогов, ответов на вопросы, суммаризации и рассуждений по текстовым запросам и документам. Она поддерживает контекст до 131 072 токенов и, согласно README, более 140 языков; максимальная длина генерации в README указана как 8 192 токена. Принимает и выдаёт только текст. Лицензия — Gemma License; удаление визуальных компонентов позволяет использовать текстовый вариант там, где обработка изображений не нужна.

Mungert/granite-3.0-8b-instruct-GGUF — квантованная GGUF-версия инструкционной языковой модели Granite 3.0 с 8 млрд параметров. Базовая модель — ibm-granite/granite-3.0-8b-base; модель предназначена для генерации текста и выполнения инструкций, включая рассуждения, ответы на вопросы, работу с кодом, математические задачи и задачи на понимание прочитанного. Разработчик GGUF-сборки — Mungert; исходное семейство моделей разработано IBM Granite. Модель создана с использованием llama.cpp. В README не указаны архитектурные детали, максимальная длина контекста, точный набор языков и конкретные варианты квантования. Упоминается экспериментальный подход к квантованию с повышением точности отдельных важных слоёв с помощью параметра --tensor-type; автор сообщает об улучшении точности на заданном уровне квантования ценой увеличения размера файла. Приведены результаты на англоязычных и многоязычных тестах, включая IFEval, MT-Bench, MMLU, HumanEval, GSM8K, PAWS-X и MGSM, однако их достоверность в метаданных не подтверждена. Модель подходит для локального запуска в совместимых инструментах экосистемы llama.cpp и сценариев, где важны снижение требований к памяти и возможность самостоятельного развертывания. Ограничения связаны с потерями качества, характерными для квантованных моделей, отсутствием подробных сведений о конфигурации и тем, что README не содержит инструкций по выбору конкретного файла квантования. Лицензия указана как Apache 2.0.

lmstudio-community/Meta-Llama-3.1-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta Llama 3.1 70B Instruct, подготовленная сообществом lmstudio-community и квантизированная bartowski. Базовую модель разработала Meta. Она предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии обработки естественного языка. Модель относится к семейству Llama 3.1 и использует архитектуру, поддерживаемую библиотекой Transformers; доступна в формате GGUF для локального запуска в совместимых инструментах. Заявлены языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Размер контекста, конкретный вариант квантизации и модальности в README не указаны; по представленным данным это текстовая модель. К сильным сторонам относятся большой размер 70B и инструкционная настройка, потенциально обеспечивающие высокое качество ответов и следование запросам. Ограничениями являются высокая потребность в вычислительных ресурсах даже после квантизации, а также отсутствие в предоставленных данных подробных сведений о производительности, точности и поддерживаемом контексте. Модель распространяется по Llama 3.1 Community License Meta с требованиями к атрибуции, указанию «Built with Llama» при распространении и соблюдению Acceptable Use Policy.