I.14Автоматизация процессов и AI-агенты

Swicked86/phi4-mm-gguf — набор GGUF-квантизаций мультимодальной модели Phi-4-multimodal-instruct, разработанной Microsoft. Модель содержит 5,6 млрд параметров и принимает текст, изображения и аудио; репозиторий подготовлен с помощью llama.cpp build b8347 для локального запуска на CPU и GPU. Модель предназначена для диалогов, ответов на вопросы по изображениям, визуального анализа, распознавания и объяснения содержимого графиков и документов, а также для обычных текстовых задач. Заявлен английский язык. Доступны варианты F16 размером 7,17 ГБ, Q8_0 размером 3,90 ГБ и Q4_K_M размером 2,37 ГБ. Для обработки изображений требуется отдельный файл vision encoder mmproj-phi4-mm-f16.gguf размером 825 МБ, совместимый со всеми текстовыми вариантами. В текстовом режиме README указывает поддержку контекста до 65 536 токенов, а в примерах мультимодального запуска используется контекст 8 192 токена. Q8_0 обеспечивает качество, близкое к F16, тогда как Q4_K_M требует меньше памяти и подходит для CPU или систем с ограниченной VRAM, но уступает по показателю perplexity. Ориентировочные требования VRAM при полной выгрузке на GPU составляют около 10 ГБ для F16, 5,4 ГБ для Q8_0 и 3,5 ГБ для Q4_K_M. Для работы с изображениями необходимо скачивать основной GGUF-файл вместе с mmproj; без него модель работает только с текстом. Мультимодальные оценки в README на момент публикации не завершены. Распространение заявлено по лицензии MIT, как и у исходной модели Microsoft.

Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

ente-ai/Qwen3.5-0.8B-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-0.8B, основанной на Qwen/Qwen3.5-0.8B. Модель разработана в экосистеме Qwen, а данный вариант опубликован ente-ai с использованием подходов Unsloth Dynamic 2.0. Она предназначена для локального запуска, прототипирования, исследовательских и прикладных задач, а также специализированного дообучения. Модель представляет собой каузальную языковую модель со зрительным энкодером и поддерживает обработку текста и изображений. Она содержит 0,8 млрд параметров, 24 слоя, скрытое измерение 1024 и нативный контекст до 262 144 токенов. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Артефакты совместимы с инструментами локального и серверного инференса, включая Hugging Face Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся компактный размер, мультимодальность, длинный контекст, возможность локального использования и потенциально высокая эффективность инференса. Из-за небольшого масштаба модель прежде всего ориентирована на прототипирование, task-specific fine-tuning и разработку; её возможности могут быть ограничены по сравнению с более крупными моделями в сложных задачах. Модель распространяется по лицензии Apache-2.0.

Synthia-v3.0-11B — языковая модель общего назначения от Migtissera, созданная на архитектуре Llama и дообученная для следования инструкциям и ведения развёрнутых диалогов. В README указано, что обучение проводилось на наборе Synthia-v3.0, включающем около 10 тысяч высококачественных примеров, сгенерированных GPT-4-Turbo, и опиралось на принципы LIMA. Модель предназначена для генерации текста, ответов на вопросы и продолжительных бесед. Её можно применять в диалоговых интерфейсах, для написания и объяснения материалов, а также для рассуждений в формате Tree of Thoughts и Chain of Thought. Размер модели — 10,6 млрд параметров, родной контекст — 4096 токенов; заявлена поддержка текстового ввода и вывода. Модель может выдавать неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или неподходящий контент. В README она названа uncensored, поэтому результаты требуют проверки и модерации. Лицензия — Apache-2.0.

Tess-3-Llama-3.1-70B — большая языковая модель общего назначения из серии Tess, созданной Migel Tissera. Вычислительные ресурсы для модели предоставила KindoAI. Модель построена на архитектуре Llama и предназначена для генерации текста и диалогового взаимодействия. Она содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Доступны веса в формате PyTorch. Для использования модели действует лицензия Llama 3.1. Карточка называет её моделью общего назначения, но не приводит конкретных результатов оценки качества или подробных ограничений.

Apertus-v1.1-4B-Instruct — мультиязычная инструктивная языковая модель, разработанная Swiss AI Initiative как часть открытой экосистемы Apertus. Это плотный Transformer-декодер с grouped-query attention и активацией xIELU: 24 слоя, размерность модели 3072, 4,6 млрд параметров. Модель поддерживает контекст до 4096 токенов и предназначена для генерации текста в диалоговом формате, включая работу на устройствах с ограниченными ресурсами. Модель получена дистилляцией от Apertus-8B-2509, затем прошла дообучение на инструкциях и выравнивание. Разработчики заявляют нативную поддержку 1811 языков. Среди подходящих сценариев — многоязычный чат, ответы на вопросы, создание и преобразование текста. Репозиторий содержит веса в формате safetensors; библиотека для работы — Transformers. Лицензия Apache-2.0. Модель может выдавать фактически неверные или логически непоследовательные ответы и наследовать смещения обучающих данных; качество сложного следования инструкциям и решения продвинутых математических задач ограничено. Фильтр персональных данных для выходов не предоставляется, поэтому важные ответы следует проверять.

BgGPT-7B-Instruct-v0.1 — болгарская инструкционная языковая модель, созданная Институтом INSAIT при Софийском университете на основе Mistral-7B-v0.1. Это плотный авторегрессионный трансформер с 7,1 млрд параметров, дообученный на болгарских веб-данных, специализированных болгарских наборах и машинных переводах англоязычных датасетов. Английские данные также использовались для сохранения навыков английского языка и логических рассуждений. Модель предназначена для диалога и выполнения инструкций на болгарском языке, а также может работать с английским текстом. Контекст составляет до 32 768 токенов. Токенизатор расширен для более эффективной обработки болгарских слов на кириллице; для инструкций в исходной карточке указаны маркеры [INST] и [/INST]. Модель распространяется по лицензии Apache 2.0. Как и другие генеративные языковые модели, она может выдавать ошибочные или неподтверждённые сведения; карточка не приводит подробных оценок таких ошибок или гарантий качества.

TwT-6/cr-model-v1 — диалоговая языковая модель семейства Qwen2, представленная в формате safetensors. В README она описана как модель для понимания и генерации текста, ответов на вопросы, рекомендаций и непринуждённого общения. Модель содержит 13,4 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Она предназначена для текстовых диалогов и других задач генерации текста. В README не приведены сведения о поддерживаемых языках и специальных предметных областях, поэтому модель можно описать только как универсальную. Лицензия — CC BY 4.0. Карточка не сообщает о конкретных ограничениях качества или безопасности; ответы модели могут требовать проверки.

Gemma 3 27B PT — мультимодальная модель Google, представленная на Hugging Face в версии, опубликованной Unsloth. Это дообучение предварительно обученной модели google/gemma-3-27b-pt; архитектура Gemma 3 — плотная, с 27 млрд параметров. Модель принимает текст и изображения и генерирует текст. В карточке семейства указаны контекст до 128 тыс. токенов и поддержка более 140 языков. Модель подходит для ответов на вопросы по изображениям и тексту, извлечения и суммирования визуальной информации, генерации текста, диалоговых интерфейсов и суммаризации документов. Карточка также описывает применение в исследованиях и образовательных инструментах. Это предварительно обученная версия, а не вариант, специально настроенный для следования инструкциям. Доступны веса в формате Safetensors; лицензия — Gemma. Качество ответов зависит от обучающих данных и формулировки запроса: возможны предвзятые, ошибочные или устаревшие утверждения, а также трудности с нюансами языка и сложными открытыми задачами. Для надёжных результатов ответы следует проверять.

Карточка модели SillyTilly/google-gemma-2-9b на Hugging Face совпадает с карточкой google/gemma-2-9b, поэтому описание составлено по ней. Gemma 2 9B — текстовая авторегрессионная модель семейства Gemma, разработанная Google. Это базовая предварительно обученная версия с открытыми весами; README также описывает семейство в целом, включая варианты, дообученные для следования инструкциям. Модель предназначена для генерации текста, диалогов, ответов на вопросы, суммаризации и рассуждений, а её сравнительно компактный размер позволяет запускать её на персональных компьютерах и в собственной облачной инфраструктуре. Модель принимает текст и генерирует текст. В карточке семейство указано как англоязычное; конкретная длина контекста и число параметров не приведены в предоставленных данных. Модель может выдавать неточные или устаревшие сведения, испытывать трудности со сложным контекстом, нюансами языка и здравым смыслом, а также воспроизводить предвзятости обучающих данных. Лицензия — Gemma, с условиями и ограничениями, заданными политиками Google для использования моделей Gemma.

Это GGUF-квантизованная версия мультимодальной инструкционной модели google/gemma-4-26B-A4B-it, разработанной Google и подготовленной в форматах GGUF автором bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций. Базовая модель имеет размер 26B и обозначение A4B, однако README не раскрывает подробности её архитектуры. Модель предназначена для диалогового применения и обработки задач, соответствующих режиму image-text-to-text, то есть может работать с текстом и изображениями. Она подходит для локального запуска через llama.cpp, LM Studio, Jan AI, KoboldCpp, Text Generation Web UI и другие совместимые инструменты. В README приведён специальный шаблон запросов и отмечены обновления шаблона чата и исправления совместимости. Сильная сторона сборки — широкий выбор уровней квантизации, позволяющий выбирать между качеством и требованиями к памяти: наиболее качественными названы Q6_K_L, Q6_K, Q5 и Q4 варианты, а Q4_K_M рекомендован как типичный компромисс. Более компактные варианты экономят память, но могут заметно уступать по качеству. Языки, размер контекстного окна, точные характеристики мультимодальности и требования к оборудованию в README не указаны. Распространение осуществляется по лицензии Apache-2.0; для самой базовой модели также указана отдельная лицензия Gemma 4.

Llama-3.1-Tulu-3-405B-GGUF — это набор GGUF-квантизаций большой языковой модели Llama-3.1-Tulu-3-405B, опубликованный bartowski. Исходная модель разработана Allen Institute for AI (AI2), а квантизация выполнена с помощью llama.cpp release b4585 и метода imatrix. Модель предназначена для генерации текста и запуска локальных LLM-приложений через llama.cpp, LM Studio и совместимые проекты. Модель содержит около 405 млрд параметров, работает в текстовой модальности и, согласно карточке, ориентирована на английский язык. Указан датасет RLVR-MATH, однако конкретные характеристики обучения и размер контекста в README не приведены. Доступно множество вариантов квантизации от Q8_0 до IQ2_XS с размером файлов примерно от 431 до 119 ГБ. Более высокие уровни квантизации обычно сохраняют лучшее качество, но требуют больше оперативной или видеопамяти; низкие уровни экономят память ценой снижения качества. Для диалогового использования указан формат промпта с ролями system, user и assistant. Сильной стороной являются очень большой масштаб модели и широкий выбор вариантов для подбора компромисса между качеством и требованиями к памяти. Ограничениями остаются исключительно высокие аппаратные требования даже для наиболее сжатых вариантов, а также потенциальная потеря качества при низкой квантизации. Модель распространяется по лицензии llama3.1; перед использованием необходимо учитывать условия этой лицензии.

LLM-jp-4-VL 9B beta — зрительно-языковая модель, разработанная исследовательской группой LLM-jp. Она дообучена на основе llm-jp/llm-jp-4-8b-instruct и объединяет языковую модель на 8,6 млрд параметров, визуальный энкодер SigLIP2 SO400M на 0,4 млрд параметров и лёгкий двухслойный MLP-проектор. Архитектура вдохновлена InternVL3.0; для обработки изображений высокого разрешения применяется динамическое разбиение на фрагменты. Модель предназначена для диалога с изображениями и ответов на визуальные вопросы, включая анализ диаграмм, документов, слайдов и сцен. Обучение использовало англоязычный набор FineVision и японский мультимодальный набор Jagle. В README сообщается о результатах на уровне Qwen3-VL-8B-Instruct в среднем по десяти японским задачам; это не гарантирует такого же качества на других данных. Модель доступна по лицензии Apache-2.0.

DevQuasar-12/meta-llama.Llama-4-Scout-17B-16E-Instruct-GGUF — это квантованная версия языковой модели meta-llama/Llama-4-Scout-17B-16E-Instruct, опубликованная DevQuasar. Модель предназначена для генерации текста и работы в сценариях инструкционного взаимодействия, включая ответы на запросы пользователя и выполнение текстовых задач. Модель относится к семейству Llama 4 Scout; в её обозначении указаны конфигурация 17B и 16E. Формат GGUF предназначен для использования в совместимых инструментах локального запуска квантованных моделей. Согласно README, модель работает только с текстом; сведения о поддерживаемых языках, размере контекста и конкретном варианте квантования не приведены. К сильным сторонам относятся инструкцийная настройка исходной модели и возможность локального использования квантованной версии, что может снизить требования к ресурсам по сравнению с полноразмерной моделью. Ограничения связаны с отсутствием мультимодальных возможностей и недостатком данных о качестве, точности, требованиях к оборудованию и параметрах квантования. Лицензия в README не указана; условия использования следует уточнять для исходной модели и данной публикации отдельно.

MonarchLake-7B — диалоговая языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная macadeliccc слиянием SLERP моделей AlphaMonarch-7B и WestLake-7b-v2-laser-truthy-dpo. Она предназначена для генерации текста и общения в диалоговом формате, включая ответы на вопросы и рассуждения. Модель принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. В README приведены результаты оценки на задачах рассуждения и здравого смысла. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Next-1B — компактная авторегрессионная языковая модель на базе Gemma 3, разработанная Lamapi. Модель содержит около 1 млрд параметров, использует трансформерную архитектуру и дообучена методом instruction fine-tuning (SFT) на турецких и многоязычных наборах данных. Она ориентирована на работу с текстом, поддерживает турецкий язык и широкий набор других языков, включая английский, русский, арабский, немецкий, французский, испанский, китайский, японский и корейский. Модель предназначена для генерации текста, суммаризации, ответов на вопросы, творческого письма, рассуждений и решения задач на естественном языке. К её сильным сторонам относятся небольшой размер, низкие требования к ресурсам, возможность запуска на пользовательских GPU с малым объёмом видеопамяти, а также поддержка CPU-развёртывания и вариантов квантования. README не указывает размер контекстного окна, точные показатели качества, доступные модальности помимо текста или систематические ограничения модели, поэтому её возможности в специализированных и критически важных сценариях требуют отдельной проверки. Модель распространяется по лицензии MIT, разрешающей использование, изменение и распространение.

next-32b-i1-GGUF — это набор квантизированных файлов в формате GGUF для языковой модели next-32b, разработанной thelamapi и дополнительно квантизированной mradermacher. Модель дообучалась на наборах данных FineTome-100k, CognitiveKernel-Pro-SFT, KAG-Thinker-training-dataset, ChatGPT-4o-Writing-Prompts, dolphin-r1 и Brief-Pro, поэтому предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, аналитических и письменных задач. Модель имеет около 32 млрд параметров и относится к transformer-моделям с instruction-tuning. В README заявлена поддержка турецкого, английского, немецкого, испанского, французского, русского, китайского, японского и корейского языков. Указана только текстовая генерация; сведения о мультимодальности и размере контекстного окна отсутствуют. Доступны варианты квантизации от IQ1_S до Q6_K, различающиеся размером, скоростью и качеством; рекомендуются i1-Q4_K_M и i1-Q4_K_S как сбалансированные варианты, а низкоразрядные варианты могут заметно снижать качество. Модель подходит для локального запуска и многоязычных чат-сценариев, однако для работы с большинством вариантов требуется значительный объём памяти. Качество конкретной версии зависит от выбранной квантизации; некоторые варианты в README прямо отмечены как низкокачественные. Лицензия — MIT.

Yarn-Solar-10b-64k — языковая модель NousResearch, созданная на основе SOLAR-10.7B-v1.0 и дополнительно обученная на двух миллиардах токенов длинного контекста с помощью метода YaRN. Это плотная авторегрессионная модель семейства Llama с 10,6 млрд параметров и окном контекста до 65 536 токенов. Модель предназначена для генерации текста и работы с длинными входными документами: например, для анализа больших текстов, ответов на вопросы по ним и суммаризации. Карточка приводит результаты тестов на длинном контексте и отмечает небольшое снижение качества на коротком контексте. Заявлена поддержка английского языка; метаданные указывают библиотеку Transformers и формат PyTorch. Модель распространяется по лицензии Apache-2.0. Для загрузки в Transformers карточка указывает необходимость `trust_remote_code=True` и актуальной версии библиотеки; это следует учитывать при использовании. Данные карточки не описывают отдельную настройку для диалогов или вызова инструментов.

MaziyarPanahi/Meta-Llama-3.1-8B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Meta-Llama-3.1-8B-Instruct, разработанной Meta и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и кода, а также для многоязычного диалога и других сценариев, где требуется следование инструкциям. Формат GGUF поддерживается llama.cpp и рядом локальных приложений и библиотек, включая llama-cpp-python, LM Studio и text-generation-webui, что позволяет запускать модель локально с использованием CPU и GPU-ускорения. Модель использует авторегрессионную оптимизированную архитектуру Transformer с Grouped-Query Attention (GQA), содержит 8 миллиардов параметров и работает только с текстом на входе и выходе. Контекстное окно составляет 128 тысяч токенов. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки; модель также генерирует код. Базовая модель обучалась на более чем 15 триллионах токенов общедоступных онлайн-данных, а инструкционная версия дополнительно настраивалась с помощью supervised fine-tuning и RLHF для повышения полезности и безопасности. Ключевые преимущества этой версии — широкий контекст, многоязычность, поддержка диалоговых сценариев и возможность более экономичного локального запуска благодаря квантизации с вариантами от 2 до 8 бит. Ограничения включают текстовую модальность, статичность знаний с отсечкой декабря 2023 года и возможные компромиссы между размером квантизации, качеством и требованиями к ресурсам. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License.

Qwen2-72B-Instruct-GGUF — крупная языковая модель с 72 миллиардами параметров, разработанная командой Qwen. Это instruction-tuned версия Qwen2, предназначенная для диалогов, генерации и понимания текста, многоязычных задач, программирования, математики и рассуждений. Модель относится к семейству decoder-only языковых моделей и распространяется в формате GGUF для запуска с помощью llama.cpp. Модель построена на архитектуре Transformer с активацией SwiGLU, смещениями в QKV-внимании и group query attention. В README указана улучшенная токенизация для нескольких естественных языков и языков программирования, однако точный список языков и размер контекстного окна не приведены. Доступны варианты квантования q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать компромисс между качеством, размером модели и требованиями к памяти. Поддерживается локальный запуск через llama.cpp и совместимый с OpenAI API сервер. К сильным сторонам относятся заявленная конкурентоспособность с проприетарными моделями и высокое качество на задачах понимания, генерации, многоязычности, кодинга, математики и рассуждений. Основные ограничения — очень большой размер, высокие требования к вычислительным ресурсам и возможная потеря качества при агрессивном квантовании. В метаданных указана лицензия other; конкретные условия использования в README не описаны.

AtomicChat/gemma-4-26B-A4B-it-assistant-GGUF — это GGUF-квантизированная версия модели Google Gemma 4 26B A4B It Assistant, подготовленная Atomic Chat на основе оригинальных весов google/gemma-4-26B-A4B-it-assistant. Модель предназначена для локального и полностью офлайн-использования в задачах генерации текста, диалоговых ассистентов, рассуждений, программирования, работы с математическими и визуальными задачами. Репозиторий содержит только текстовые варианты модели без vision projector. Модель имеет 25,2 млрд параметров, из которых 3,8 млрд активны на каждом токене, 30 слоёв и контекст до 256 тысяч токенов. Архитектура — decoder с гибридным вниманием: sliding-window attention с окном 1024 токена и глобальное внимание; используется 16 attention heads и 8 KV heads. Базовая модель поддерживает текст и изображения, однако данные GGUF рассчитаны только на текст. Доступны варианты квантизации Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; Q4_K_M указан как оптимальный баланс размера, скорости и качества. К сильным сторонам относятся высокая эффективность MoE-подобной конфигурации с малым числом активных параметров, большой контекст, возможности рассуждения и хорошие заявленные результаты в тестах по знаниям, математике, программированию и мультимодальным задачам. Результаты бенчмарков относятся к базовой модели Google, а не к независимым измерениям этих квантизированных файлов; качество также зависит от выбранного уровня квантизации. Для корректной работы требуется применять чат-шаблон Gemma 4 Assistant, например через поддержку jinja. Модель распространяется по лицензии Apache 2.0.

Gemma 2 9B Instruct — языковая instruction-tuned модель Google из семейства Gemma, распространяемая в формате GGUF для локального запуска. Квантизация выполнена bartowski на основе llama.cpp; исходная модель — google/gemma-2-9b-it. Модель предназначена для диалогов, генерации и анализа текста, работы с кодом, математическими задачами и сценариев общего назначения. Модель содержит около 9 миллиардов параметров и обучалась на 8 триллионах токенов, включая преимущественно англоязычные веб-документы, код и математические материалы. Большой словарный запас способствует работе с многоязычным текстом и программированием, однако README не указывает точный набор поддерживаемых языков и размер контекстного окна. Формат GGUF и относительно небольшой размер делают модель подходящей для систем с ограниченными ресурсами, но качество и скорость зависят от выбранного уровня квантизации и оборудования. Для корректной работы в LM Studio 0.2.27 или новее рекомендуется выбрать шаблон «Google Gemma Instruct». Системные сообщения не поддерживаются. Модель может создавать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face необходимо принять условия этой лицензии.

Yi-1.5-34B-Chat-GGUF — квантизированная в формате GGUF версия диалоговой языковой модели Yi-1.5-34B-Chat, разработанной компанией 01-ai. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для локального текстового общения и широкого круга задач: генерации текста, следования инструкциям, программирования, математики, рассуждений, понимания языка, здравого смысла и чтения с пониманием. Модель содержит около 34 млрд параметров и относится к семейству текстовых моделей с архитектурной основой Llama. Она поддерживает диалоговый шаблон ChatML и рассчитана на общий сценарий использования. Yi-1.5 была дополнительно обучена на корпусе объёмом 500 млрд токенов и дообучена на 3 млн разнообразных примеров; точная длина контекста, языки и другие технические характеристики в README не указаны. Сильные стороны модели — универсальность, развитое следование инструкциям, способности к программированию, математике, рассуждениям и пониманию текста. Ограничения включают отсутствие опубликованных подробных технических характеристик, а также типичные для генеративных моделей риски неточностей, неподходящего или вредного содержания. Модель распространяется по лицензии Apache-2.0.

google/gemma-3-4b-it-qat-q4_0-gguf — мультимодальная instruction-tuned модель Gemma 3, разработанная Google DeepMind. Она использует открытые веса и предназначена для генерации текста и понимания изображений: ответов на вопросы, суммаризации документов, рассуждений, анализа визуального содержимого и извлечения информации из изображений. Модель принимает текст и изображения, а выдаёт текст. Это 4B-версия в формате GGUF с квантизацией Q4_0 и Quantization Aware Training (QAT). QAT позволяет приблизить качество к версии в формате bfloat16 при существенно меньших требованиях к памяти, что облегчает запуск на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Для модели заявлено контекстное окно до 128K токенов, максимальный объём генерируемого вывода — 8192 токена; изображения нормализуются до 896×896 и кодируются в 256 токенов. Поддерживается более 140 языков. Ограничения включают зависимость качества от квантизации и используемой инфраструктуры, а также то, что поддержка изображений может различаться между инструментами запуска: например, в README указано отсутствие такой поддержки для Ollama через Hugging Face. Использование регулируется лицензией Gemma и соответствующими Terms of Use.

Blackfrost-AI/Qwen3.8-27B-ABLITERATED-NVFP4 — исследовательский производный чекпойнт, разработанный Blackfrost на базе официальной Qwen/Qwen3.8-27B. Это не дообученная модель, а модифицированная на уровне весов версия с уменьшенной поверхностью отказов, предназначенная для исследований, red teaming, анализа безопасности, программирования, рассуждений, работы с инструментами и мультимодальными сценариями. Модель имеет плотную гибридную архитектуру Qwen3.8-27B с Gated DeltaNet и полным attention, содержит 27 млрд параметров и использует квантование NVIDIA ModelOpt W4A4 NVFP4, ориентированное на GPU NVIDIA Blackwell. Она принимает текст, изображения и видео, генерирует текст и поддерживает контекст до 262 144 токенов; практический размер контекста зависит от доступной памяти и уровня параллелизма. Для запуска рекомендуется SGLang или другой совместимый движок, а валидированным оборудованием указан NVIDIA B200. К сильным сторонам относятся сохранение возможностей зрения, рассуждений, инструментального использования и длинного контекста при компактном квантованном формате, а также deployment-ориентированная конструкция. Ограничения включают исследовательский статус, отсутствие гарантий сохранения всех характеристик исходной модели после модификации и квантования, а также намеренно сниженную склонность к отказам: результаты безопасности, программирования, мультимодальности и работы с инструментами требуют осторожной интерпретации. В репозитории указана лицензия Apache-2.0; модель опубликована как общедоступный, не требующий допуска research preview и не предназначена для продажи.

unsloth/gemma-3-27b-it-GGUF — GGUF-версия instruction-tuned модели Gemma 3 27B, разработанной Google DeepMind и подготовленной для распространения Unsloth. Модель предназначена для генерации текста, диалогов, ответов на вопросы, суммаризации, рассуждений и понимания изображений с выдачей текстового ответа. Она подходит для локального запуска на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре при наличии достаточных ресурсов. Модель мультимодальная: принимает текст и изображения, нормализованные до 896×896 и представленные как 256 токенов каждое, а генерирует текст. Для версии 27B заявлено контекстное окно до 128K токенов и максимальный объём вывода 8192 токена. Gemma 3 поддерживает более 140 языков; в метаданных данного репозитория отдельно указан английский язык. Объём обучения 27B-версии составил 14 триллионов токенов. К сильным сторонам относятся большой контекст, мультимодальность, широкий языковой охват, instruction-tuned формат и возможность использования GGUF в совместимых локальных инструментах. Ограничения включают значительные требования к вычислительным ресурсам из-за размера 27B, а также зависимость совместимости и производительности от конкретного GGUF-квантизированного варианта и среды запуска; сведения о точном уровне квантизации в карточке не указаны. Использование регулируется лицензией Gemma и соответствующими Terms of Use Google.

Llama-3-8B-ProLong-64k-Instruct — диалоговая языковая модель Princeton NLP на архитектуре Llama 3 с 7,5 млрд параметров. Это вариант ProLong, дообученный для следования инструкциям и работы с длинным контекстом; в README описано продолженное обучение на данных до 64K токенов и supervised fine-tuning на UltraChat. Метаданные указывают контекст до 65 536 токенов. Модель предназначена для диалогов, генерации текста и задач, где нужно учитывать длинные документы или историю переписки. Авторы представляют семейство ProLong как модель для длинного контекста и сообщают об оценке на HELMET. Репозиторий использует формат Safetensors и лицензию Llama 3. README приводит характеристики обучения для основной версии семейства с контекстом 512K, поэтому эти параметры не следует переносить на вариант 64K.

bartowski/Phi-3-medium-4k-instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Phi-3-medium-4k-instruct, разработанной Microsoft. Модель предназначена для генерации текста и кода, диалоговых сценариев, ответов на пользовательские инструкции и локального запуска через llama.cpp или совместимые приложения, включая LM Studio. В README указана поддержка multilingual-сценариев, однако конкретный перечень языков не приведён. Модель работает с текстом и имеет контекст длиной 4K токенов, что следует из её названия и исходной модели. Доступны варианты от F32 до Q2_K и IQ-квантизаций с размером файлов примерно от 4,72 до 55,84 ГБ. Квантизации подготовлены bartowski с использованием llama.cpp и imatrix; обновление llama.cpp также учитывает исправление rope scaling. Более высокие варианты обычно обеспечивают лучшее качество, а низкобитные требуют меньше оперативной памяти, но могут заметно уступать по точности. Основные ограничения связаны с ограниченным контекстом 4K токенов, отсутствием заявленной поддержки изображений или других немультимодальных входов и возможной потерей качества при сильной квантизации. Формат prompt требует специальных маркеров ролей <|user|>, <|end|> и <|assistant|>. Для модели указана лицензия MIT.

Gemma 3n E4B-it LiteRT-LM — мультимодальная instruction-tuned модель семейства Gemma, разработанная Google DeepMind на основе исследований и технологий Gemini. Она предназначена для эффективного выполнения на устройствах с ограниченными ресурсами, включая смартфоны, ноутбуки, настольные компьютеры и собственную облачную инфраструктуру. Модель подходит для ответов на вопросы, суммаризации, рассуждений, анализа изображений, а также обработки аудио- и видеоданных с генерацией текстовых ответов. Модель поддерживает текстовые, визуальные, аудио- и видеовходы и принимает контекст объёмом до 32K токенов; максимальная длина вывода составляет до 32K токенов за вычетом входных токенов. Изображения подаются в разрешениях 256×256, 512×512 или 768×768 и кодируются по 256 токенов каждое, аудио — со скоростью 6,25 токена в секунду для одного канала. Gemma 3n использует selective parameter activation и архитектуру Matformer, благодаря чему эффективный размер модели составляет около 4B параметров при меньших требованиях к ресурсам. Указанная версия доступна в формате LiteRT-LM и использует int4-квантизацию весов с float-активациями. К сильным сторонам относятся мультимодальность, возможность локального запуска и оптимизация для мобильных и других малоресурсных устройств. Модель обучалась на данных более чем на 140 разговорных языках, однако конкретный перечень языков и гарантии качества для каждого из них не указаны. Производительность зависит от устройства, аппаратного ускорения, кэширования и текущей нагрузки; приведённые benchmarks относятся к preview-версии LiteRT-LM и не гарантируют такие же результаты в других условиях. Для использования требуется принять условия лицензии Gemma Google.

Phi-3-medium-4k-instruct-GGUF — это квантизированная GGUF-версия языковой модели Phi-3-medium-4k-instruct, разработанной Microsoft и подготовленной к квантизации компанией Second State Inc. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи обработки естественного языка и работы с кодом. Указана поддержка нескольких языков, но их точный перечень в карточке не приведён. Модель использует архитектуру Phi, имеет контекст до 4000 токенов и поддерживает формат GGUF с вариантами квантизации от 2 до 8 бит, а также f16. Размер файлов составляет примерно от 5,14 до 27,9 ГБ. Вариант Q4_K_M обозначен как рекомендуемый баланс размера и качества, а Q5_K_M и Q5_K_S — как варианты с очень низкой потерей качества. Модель совместима с LlamaEdge версии 0.11.2 и выше и использует шаблон запросов phi-3-chat. Основное преимущество этой версии — возможность локального запуска с выбором компромисса между потреблением памяти, размером файла и качеством ответов. Низкобитные варианты экономичнее, но могут заметно терять в качестве; для большинства практических сценариев рекомендуется избегать Q2_K и ряда более агрессивных квантизаций. Карточка не содержит данных о точном числе параметров, обучающих данных, результатах оценки, аппаратных требованиях или ограничениях безопасности. Модель распространяется по лицензии MIT.