I.14Автоматизация процессов и AI-агенты

coder3101/gemma-4-31B-it-qat-q4_0-unquantized-heretic — производная мультимодальная модель семейства Gemma 4, дообученная на google/gemma-4-31B-it-qat-q4_0-unquantized. Она предназначена для диалогов и анализа изображений: может отвечать на вопросы по визуальному содержимому, разбирать документы и PDF, распознавать текст и объекты на изображениях, понимать графики и интерфейсы, а также помогать с кодом и текстовыми задачами. Архитектура — плотная Gemma4ForConditionalGeneration с гибридным вниманием; исходная модель поддерживает контекст до 256K токенов. Модель рассчитана на ввод текста и изображений и генерацию текста; аудиовозможности README относит к другим размерам Gemma 4. Вариант помечен как uncensored, decensored и abliterated, поэтому его поведение в ответах может отличаться от базовой модели. Карточка также предупреждает о возможных ошибках и устаревших фактах, трудностях с нюансами языка и сложными открытыми задачами, а также о смещениях из обучающих данных. Репозиторий использует safetensors и библиотеку Transformers; лицензия — Apache-2.0.

unsloth/Qwen2.5-14B-bnb-4bit — 4-битная версия базовой языковой модели Qwen2.5-14B, подготовленная Unsloth на основе Qwen/Qwen2.5-14B, разработанной командой Qwen. Модель предназначена для задач генерации и продолжения текста, а также для последующего дообучения, включая SFT, RLHF и continued pretraining. Для диалоговых сценариев базовую модель использовать не рекомендуется без дополнительного постобучения. Это авторегрессионная текстовая модель с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Она содержит 14,7 млрд параметров, из которых 13,1 млрд не относятся к эмбеддингам, включает 48 слоёв и использует GQA с 40 головами для Q и 8 для KV. Контекстное окно составляет 131 072 токена. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Модель ориентирована только на работу с текстом; сведения о других модальностях отсутствуют. К сильным сторонам относятся улучшенные по сравнению с Qwen2 возможности в программировании и математике, следование инструкциям, обработка структурированных данных и генерация структурированных ответов, включая JSON, а также поддержка длинного контекста. 4-битное представление снижает требования к памяти и удобно для локального запуска и дообучения, однако может приводить к потере точности по сравнению с полной версией. Модель распространяется по лицензии Apache-2.0.

JunHowie/Qwen3-4B-Instruct-2507-GPTQ-Int4 — это 4-битная GPTQ-квантованная версия инструкционной языковой модели Qwen3-4B-Instruct-2507, созданная на базе модели Qwen/Qwen3-4B-Instruct-2507. Репозиторий содержит квантование с размером группы 128 и настройкой desc_act=False, которая, согласно описанию, повышает эффективность генерации токенов по сравнению с более ранними квантованными версиями. Модель предназначена для генерации текста и выполнения инструкций, включая понимание текста, логическое рассуждение, математику, науку, программирование, использование инструментов и открытые творческие задачи. Она поддерживает несколько языков и рассчитана на работу в режиме без рассуждений: модель не генерирует блоки <think></think>. Базовая архитектура — causal language model с 4,0 млрд параметров, 3,6 млрд параметров без учёта эмбеддингов, 36 слоями и Grouped Query Attention: 32 головы для Q и 8 для KV. Нативная длина контекста составляет 262 144 токена. Квантование уменьшает требования к памяти и может быть полезно для локального или высокопроизводительного развертывания, в частности через vLLM; для работы указана зависимость vllm>=0.9.2. Ограничения связаны с потерями качества, возможными при 4-битном квантовании, а также с тем, что это текстовая, а не мультимодальная модель. Лицензия — Apache 2.0.

RobinsonLabs/Qwen3.5-REAP-262B-A17B-abliterated-GGUF — набор GGUF-квантизаций текстовой MoE-модели, опубликованный RobinsonLabs на основе OpenMOSE/Qwen3.5-REAP-262B-A17B. Базовая модель создана после pruning на 34% экспертов из Qwen3.5-397B-A17B: она содержит 262 млрд параметров, около 17 млрд активных на токен, 333 эксперта и выбирает 10 экспертов для каждого токена. Модель предназначена для генерации текста, рассуждений, программирования, математики, работы с фактами и выполнения инструкций. Архитектура qwen3_5_moe включает 60 декодерных слоёв: 45 слоёв с линейным вниманием DeltaNet и 15 слоёв с полным вниманием, а также скрытый размер 4096 и размерность головы 256. Заявлен нативный контекст до 262 144 токенов. Это только текстовый путь, без vision mmproj и MTP/NextN. Доступны варианты Q5_K_M, Q4_K_M, Q4_K_S, IQ4_XS, Q3_K_M, IQ3_M, IQ3_XS, IQ2_M, IQ2_XS и IQ2_XXS размером примерно от 69 до 186 ГБ; все варианты используют importance matrix. Модель подвергнута abliteration — снижению жёстких отказов на взрослом и творческом контенте с сохранением заявленных возможностей. По данным README, на проверочном наборе вредоносных запросов срабатывание отказов составило 1 из 25, способности оценены как сохранённые на уровне 5/5, а детские защитные ограничения сохранились в 10 из 10 случаев. Это не модель для содействия реальному правонарушению; результаты и поведение следует проверять самостоятельно, особенно у наиболее компактных IQ2-вариантов, поскольку они сильнее теряют точность. Лицензия — Apache-2.0.

AriannaV4 — мультимодальная модель-ассистент, созданная SurgeFF на базе google/gemma-4-12B с объединёнными весами Aria v4. Это самостоятельная модель для локального запуска; доступны веса в формате safetensors и варианты GGUF разной точности для llama.cpp, Ollama и LM Studio. Архитектура относится к Gemma 4 Unified, размер базовой модели — 12 млрд параметров. Модель предназначена для диалогов, рассуждений, работы с текстом и кодом, математических задач, выбора инструментов, а также понимания изображений, аудио и видео. Для голосового ввода и вывода в реальном времени, генерации изображений и видео и получения эмбеддингов README описывает отдельные подключаемые компоненты: эти возможности не встроены в веса AriannaV4. Репозиторий предназначен для локального развертывания и позиционируется автором как production-ассистент. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространяет производные работы на тех же условиях и запрещает коммерческое использование.

Granite-4.1-30B-Base — базовая авторегрессионная языковая модель IBM Granite Team для генерации текста и широкого круга задач преобразования текста. Это плотный decoder-only Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами; модель содержит 28,9 млрд параметров и распространяется в формате safetensors для Transformers. Карточка описывает обучение с нуля примерно на 15 трлн токенов и расширение контекста до 512 тыс. токенов, тогда как метаданные репозитория указывают нативное контекстное окно 131 072 токена. Модель рассчитана на суммаризацию, классификацию и извлечение информации, ответы на вопросы, длинную генерацию и дополнение кода, включая Fill-in-the-Middle. Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Это базовая модель без выравнивания безопасности; для прикладных сценариев её можно дообучать под специализированные задачи. Лицензия Apache 2.0.

Meta-Llama-3.1-8B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Meta Llama 3.1 8B Instruct. Исходную модель разработала Meta, а файлы в формате GGUF подготовил brittlewis12 с использованием llama.cpp и autogguf. Модель работает с текстом на входе и выходе; в метаданных указано, что поддерживается английский язык. Модель предназначена для диалоговых сценариев, генерации текста, следования инструкциям, рассуждений, решения математических задач, программирования и использования инструментов. Формат GGUF ориентирован на локальный запуск через совместимые приложения и llama.cpp, включая устройства Apple. В README также указаны улучшения для работы с длинным контекстом, однако точный размер контекстного окна не приведён. Ключевые достоинства — относительно небольшой размер 8B, возможность локального использования и хорошие результаты исходной модели на ряде тестов, включая HumanEval, GSM-8K, MMLU и API-Bank. Ограничения включают текстовую модальность, отсутствие сведений о конкретном типе и степени квантизации, а также возможное снижение точности по сравнению с полной версией из-за квантизации. Модель распространяется по лицензии Llama 3.1; применимые условия определяются лицензией Meta.

Supertron-2.1-8B-A1B — языковая модель-ассистент, разработанная Surpem и дообученная на LiquidAI/LFM2.5-8B-A1B. Это причинная модель с архитектурой LiquidAI LFM2.5 MoE; в репозитории указаны класс 8B и поведение с примерно 1B активных параметров, а в метаданных — 1,6 млрд параметров. Контекст составляет до 128 000 токенов. Модель предназначена для диалога и следования инструкциям, ответов на общие вопросы, рассуждений, математики, программирования, письма, суммаризации и объяснения технических и научных тем. Принимает текст и генерирует текст; в карточке заявлена поддержка английского языка. Она совместима с Transformers и распространяется по лицензии Apache 2.0. Модель может ошибаться в фактах, математике и коде, а сложные рассуждения требуют проверки. Качество ответов зависит от настроек генерации; модель не предназначена для принятия критически важных решений в праве, медицине, финансах, безопасности и вопросах идентификации без независимой экспертной проверки.

Yi-1.5-34B-Chat-16K — диалоговая языковая модель от 01.AI, основанная на архитектуре Llama и содержащая 33,9 млрд параметров. Она предназначена для генерации ответов в чате, следования инструкциям, понимания языка и чтения текстов; в семействе Yi-1.5 также заявлено улучшение навыков программирования, математики и рассуждений. Модель непрерывно предобучали на Yi на корпусе из 500 млрд токенов, а затем дообучили на 3 млн разнообразных примеров; для этой версии заявлен контекст до 16 384 токенов. Модель принимает и генерирует текст. README не уточняет список поддерживаемых естественных языков. Репозиторий содержит веса в формате safetensors, а лицензия — Apache-2.0. Практическое применение требует ресурсов, соответствующих модели с 33,9 млрд параметров; конкретные требования к оборудованию и сравнительные результаты для версии 16K в предоставленных данных не приведены.

llm-jp-4-32b-a3b-thinking-gguf — языковая модель на базе Transformer, разработанная Research and Development Center for Large Language Models при National Institute of Informatics в Японии. Это thinking-вариант серии LLM-jp-4, предназначенный для генерации текста, диалогов и решения инструктивных задач на японском и английском языках, а также для работы с программным кодом на распространённых языках программирования. Модель использует архитектуру Mixture-of-Experts: 32 слоя, 128 маршрутизируемых экспертов, из которых для каждого входа активируются 8. Общее число параметров составляет около 32,1 млрд, при этом активируется около 3,83 млрд параметров. Контекстное окно — 65 536 токенов. Токенизатор основан на Unigram byte-fallback и совместим с шаблоном диалога OpenAI Harmony, однако необходимо использовать токенизатор из этого репозитория. Thinking-модель обучалась с помощью supervised fine-tuning и direct preference optimization без reinforcement learning; предварительное и промежуточное обучение проводилось на 11,7 трлн токенов. К сильным сторонам относятся специализированная поддержка японского языка, длинный контекст, MoE-архитектура с относительно небольшим числом активных параметров и дополнительное обучение для рассуждений и следования инструкциям. Ограничения включают отсутствие заявленных количественных результатов в доступной части README и необходимость специальной версии llama.cpp: стандартная upstream-версия может некорректно обрабатывать токенизацию и чат. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-122B-A10B-44GB-GPT5.6Sol-SFT-LynnStyle-GGUF — GGUF-сборка модели Qwen3.5-122B-A10B, опубликованная пользователем nerkyor. Модель предназначена для текстовой генерации, рассуждений, ответов на вопросы и программирования в среде llama.cpp. В репозитории также доступен опциональный мультимодальный vision projector для обработки визуального ввода; основной GGUF может использоваться отдельно для текстовых задач. Модель использует архитектуру qwen3next и содержит 807 тензоров. Это слойно-смешанная imatrix-assisted квантизация LynnStyle: наиболее важные компоненты сохранены в Q8_0, Q6_K или Q5_K, а значительная часть маршрутизируемых экспертных слоёв сжата до IQ2_XS. Основной файл занимает 44,61 ГБ, а вместе с mmproj — 45,23 ГБ. Указаны языки English и Chinese. Проверенный режим рассчитан на общий контекст 131 072 токена, Q4 K/V cache и полную выгрузку на GPU; пиковое потребление VRAM составило 45 551 МиБ. К сильным сторонам относятся сохранение высокой точности для attention, shared-expert и ключевых управляющих структур при существенном уменьшении размера, а также хорошие заявленные результаты без MTP: MMLU 91,6%, GPQA 86,4% и LiveCodeBench 82,0%. Ограничения — высокая требовательность к памяти, отсутствие MTP sidecar и необходимость использовать llama.cpp с рекомендуемыми настройками. LoRA step64 уже объединён с основным файлом и отдельно не требуется. Модель распространяется по лицензии Apache-2.0.

IsValorum/Qwen3.8-35B-A3B-Distill-MTP-APEX-I-MiniPlus-V2.1-GGUF — это GGUF-квантизированная версия модели empero-ai/Qwen3.8-35B-A3B-Distill, подготовленная IsValorum. Модель предназначена для генерации текста, рассуждений, программирования и других задач, поддерживаемых llama.cpp и совместимыми инструментами. Архитектура основана на разреженной смеси экспертов (MoE): заявлены 35 млрд параметров и около 3 млрд активных параметров на токен, 40 слоёв и 256 микроэкспертов. Заявленный максимальный контекст — 256K токенов. Модель поддерживает английский, китайский, испанский, французский, немецкий, португальский, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Квантизация APEX-I-MiniPlus V2.1 использует комбинацию форматов IQ3_XXS, Q3_K, Q5_K, Q6_K, Q8_0 и F32; размер файла составляет приблизительно 13,74 GiB. В README заявлены сохранение маршрутизации экспертов в F32, оптимизация для работы с системной RAM и поддержка Multi-Token Prediction. Для мультимодальных сценариев упоминаются отдельные компоненты mmproj и MTP, однако основная карточка относится к текстовой GGUF-модели. Сильными сторонами заявлены компактный размер при сохранении качества, поддержка длинного контекста и возможность запуска с частичной или полной выгрузкой в GPU VRAM либо системную RAM. Производительность существенно зависит от видеопамяти, процессора, пропускной способности памяти и настроек llama.cpp; приведённые в README показатели скорости и perplexity являются заявленными авторами и не подтверждены независимой проверкой. Модель распространяется по лицензии Apache-2.0.

unsloth/gemma-3-12b-it-qat-bnb-4bit — 12-миллиардная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind. Она создана на основе Google Gemma и использует Quantization Aware Training (QAT). Модель мультимодальная: принимает текст и изображения, а генерирует текст. Контрольные веса в данном репозитории указаны как соответствующие базовой модели google/gemma-3-12b-it-qat-q4_0-unquantized. Модель предназначена для генерации текста, ответов на вопросы, суммаризации документов, рассуждений, анализа изображений и извлечения визуальной информации. Она поддерживает более 140 языков и контекст до 128 000 токенов; максимальный объём генерируемого ответа составляет 8192 токена. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов каждое. Благодаря относительно небольшому размеру модель подходит для развёртывания на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Ключевое преимущество QAT — сохранение качества, близкого к bfloat16, при существенно меньших требованиях к памяти после квантования. При этом README уточняет, что размещённый checkpoint является неквантованным и его необходимо самостоятельно квантовать в формат Q4_0 подходящим инструментом. Модель распространяется по лицензии Gemma; для доступа к ней на Hugging Face требуется войти в аккаунт и принять условия использования Google.

unsloth/gemma-3-12b-it-unsloth-bnb-4bit — это 4-битная квантованная instruction-tuned версия Gemma 3 12B, разработанная Google DeepMind и подготовленная Unsloth. Модель использует открытые веса и предназначена для запуска и дообучения через Transformers, включая сценарии локального развёртывания на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Модель принимает текст и изображения, а генерирует текст. Она подходит для ответов на вопросы, суммаризации документов, рассуждений и анализа изображений. Для версии 12B заявлено контекстное окно до 128K токенов, изображения приводятся к разрешению 896 × 896 и кодируются в 256 токенов каждое, максимальный объём генерируемого результата составляет 8192 токена. Gemma 3 поддерживает более 140 языков, однако в метаданных этой карточки явно указан английский язык. Ключевое преимущество варианта — снижение требований к памяти благодаря 4-битной квантизации; Unsloth также указывает на селективную Dynamic Quantization, призванную сохранить больше качества по сравнению со стандартной 4-битной квантизацией. Ограничения включают возможные потери качества из-за квантизации, необходимость совместимого программного и аппаратного окружения, а также типичные риски генеративных моделей: ошибки, неточные ответы и зависимость результатов от формулировки запроса. Модель распространяется по лицензии Gemma; применяются соответствующие условия использования Google.

GPT-4 — крупная мультимодальная языковая модель OpenAI. В карточке она описана как флагманская модель, способная решать сложные задачи с большей точностью, чем предыдущие модели, благодаря широким общим знаниям и развитым способностям к рассуждению. Модель предназначена для генерации текста и решения разнообразных сложных задач. Карточка указывает на мультимодальность, но не уточняет поддерживаемые типы входных и выходных данных, языки, размер модели или длину контекста. Сведения о лицензии также отсутствуют.

RedHatAI/Meta-Llama-3.1-70B-Instruct-quantized.w8a8 — квантизированная версия Meta-Llama-3.1-70B-Instruct, разработанная Neural Magic. Это авторегрессионная текстовая модель архитектуры LlamaForCausalLM, предназначенная прежде всего для диалоговых ассистентов, генерации текста и коммерческого или исследовательского использования. Поддерживаемые в карточке языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель принимает и возвращает текст; заявленный сценарий развертывания использует контекст до 8192 токенов. Модель применяет INT8-квантизацию весов и активаций с использованием GPTQ и библиотеки llm-compressor. Квантизация уменьшает требования к памяти GPU и размер файлов примерно на 50%, а также заявлено увеличение пропускной способности матричных умножений примерно в 2 раза по сравнению с представлением FP16. Линейные операторы в трансформерных блоках квантизуются по каналам для весов и динамически по токенам для активаций; отдельные компоненты, включая lm_head, не квантизуются. По результатам, приведённым в README, модель сохраняет большую часть качества исходной версии: заявлены показатели восстановления 98,8% для Arena-Hard, 99,9% для OpenLLM v1, 100,0% для OpenLLM v2, 98,7% для HumanEval pass@1 и 98,9% для HumanEval+ pass@1. Основное ограничение — возможная потеря качества из-за квантизации, а также необходимость совместимого программного обеспечения и аппаратных ресурсов; для эффективного развертывания рекомендуется vLLM, в примере используются два GPU. Модель распространяется по лицензии Llama 3.1; использование должно соответствовать применимым законам и ограничениям.

Meta-Llama-3.1-8B-Instruct-quantized.w8a8 — языковая модель для генерации текста и ассистентского диалога, созданная Neural Magic на основе Meta-Llama-3.1-8B-Instruct от Meta. Модель поддерживает текстовый ввод и вывод, предназначена для коммерческого и исследовательского использования в многоязычных сценариях. В заявленной языковой поддержке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Архитектура — LlamaForCausalLM, размер базовой модели — 8 млрд параметров. Ключевая особенность — INT8-квантизация весов и активаций линейных слоёв Transformer-блоков с использованием GPTQ и библиотеки llm-compressor. Это примерно вдвое снижает требования к памяти и размер модели на диске, а также может примерно вдвое повысить пропускную способность матричных операций. По приведённым оценкам, модель сохраняет качество, близкое к неквантизированной версии: результаты составляют 105,4% для Arena-Hard, 100,3% для OpenLLM v1, 101,5% для OpenLLM v2, 99,7% для HumanEval pass@1 и 98,8% для HumanEval+ pass@1 относительно соответствующих базовых показателей. Для развёртывания рекомендуется vLLM; ограничения включают возможные последствия потери точности из-за квантизации и запрет использования с нарушением применимого законодательства. Лицензия — Llama 3.1.

Yi-1.5-6B-Chat — диалоговая языковая модель от 01.AI, основанная на архитектуре Llama и содержащая 5,8 млрд параметров. Модель предназначена для генерации ответов в чате, следования инструкциям, понимания текста, рассуждений, решения математических задач и помощи с программированием. Семейство Yi-1.5 прошло дополнительное предварительное обучение на 500 млрд токенов и тонкую настройку на 3 млн примеров; карточка конкретной модели подтверждает контекст 4096 токенов. Модель работает с текстом и выдаёт текст. README отмечает улучшения в программировании, математике, рассуждениях и следовании инструкциям, а также способности к пониманию языка, здравому смыслу и чтению. Лицензия — Apache 2.0. README не приводит отдельные оценки качества именно версии 6B; результаты больших вариантов семейства нельзя напрямую переносить на неё.

Bagel 8B v1.0 — диалоговая языковая модель, созданная jondurbin дообучением Meta Llama 3 8B на наборе инструкций Bagel. Она использует плотную архитектуру Llama и формат запросов Llama 3 Instruct; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель предназначена для генерации ответов в чате и выполнения разнообразных инструкций: ответы на вопросы, рассуждения, математика, программирование, суммаризация, творческое письмо и ролевой диалог. В обучающие данные также входили примеры вызова функций и работы с контекстом. В карточке приведено сравнение с Mistral 7B v0.2 по MT-Bench, где Bagel 8B v1.0 получила среднюю оценку 7,296875; это результат, заявленный автором, а не гарантия качества для конкретной задачи. Модель принимает текст и генерирует текст. В карточке перечислены многоязычные данные, включая Belebele, но основной язык отдельно не заявлен. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели.

Dolphin 2.8 Mistral 7b v0.2 — языковая модель общего назначения из семейства Dolphin, разработанная Cognitive Computations при дообучении Eric Hartford и Cognitive Computations. Эта версия распространяется в формате GGUF; квантизацию выполнил bartowski на основе llama.cpp. Базовая модель — Mistral-7B-v0.2, размер — около 7 млрд параметров. Модель предназначена для генерации текста, диалогов, ответов на вопросы, рассуждений и программирования. В обучении использовались разговорные, логические и кодовые данные, включая наборы Dolphin, Dolphin Coder, Samantha, Airoboros, OpenHermes и Code-Feedback. Указан английский язык. Модель работает только с текстом и рассчитана на локальный запуск, в том числе через LM Studio; для неё рекомендуется шаблон запросов ChatML и системная инструкция «You are Dolphin, a helpful AI assistant». Сильными сторонами являются универсальность, поддержка повседневных ассистентских сценариев и наличие данных для задач программирования. В README приведён результат HumanEval pass@1 0,469, однако он помечен как непроверенный. Размер контекста и другие подробные характеристики архитектуры не указаны, поэтому возможности модели могут зависеть от используемого варианта GGUF и настроек запуска. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-3-12b-it-GGUF — это GGUF-версия инструкционно дообученной модели Google Gemma 3 12B, опубликованная Unsloth. Модель создана Google DeepMind и относится к семейству компактных открытых моделей, разработанных на основе технологий Gemini. Модель предназначена для генерации текста, ответов на вопросы, суммаризации документов, рассуждений и анализа изображений. Она мультимодальная: принимает текст и изображения, но генерирует текст. Для версии 12B заявлено контекстное окно до 128 000 токенов, максимальный объём генерируемого ответа — до 8192 токенов. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов каждое. Gemma 3 поддерживает более 140 языков, однако для данной карточки явно указан английский язык. Сильными сторонами модели являются сочетание относительно компактного размера, мультимодальности, большого контекстного окна и пригодности для локального развёртывания на ноутбуках, настольных компьютерах или собственной облачной инфраструктуре. Ограничения включают зависимость качества от выбранного GGUF-квантизованного варианта и аппаратных ресурсов, а также возможное снижение точности по сравнению с более крупными моделями; конкретные параметры квантизации в README не указаны. Модель распространяется по лицензии Gemma; условия использования определяются официальными Terms of Use Google.

Granite-4.1-3B-Base — базовая языковая модель IBM Granite Team для генерации текста и кода. Это плотный decoder-only трансформер с 3,4 млрд параметров; в архитектуре используются GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Модель обучена с нуля и рассчитана на широкий круг задач преобразования текста, а также на дополнение кода в середине фрагмента (Fill-in-the-Middle, FIM). Контекстное окно в метаданных указано как 131 072 токена. Модель подходит для суммаризации, классификации и извлечения информации, ответов на вопросы, генерации текста с длинным контекстом и автодополнения кода; её также можно использовать как основу для специализированных дообучений. В README перечислены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Лицензия — Apache 2.0. Модель не прошла выравнивание безопасности, поэтому может выдавать проблемный или недостоверный контент; для меньших моделей также отмечен риск галлюцинаций и дословного воспроизведения фрагментов обучающих данных. Для применения в организациях IBM рекомендует проверять входы и выходы средствами Granite Guardian.

unsloth/Qwen3-14B-Base-unsloth-bnb-4bit — 4-битная версия базовой языковой модели Qwen3-14B-Base, подготовленная Unsloth с использованием квантования Unsloth Dynamic 2.0. Исходную модель разработала команда Qwen. Это причинная языковая модель на стадии предварительного обучения, предназначенная для генерации и продолжения текста, обработки естественного языка, программирования, STEM-задач, рассуждений и работы с многоязычными данными. Модель содержит 14,8 млрд параметров, из них 13,2 млрд без учёта embedding-слоёв, имеет 40 слоёв и использует Grouped Query Attention: 40 голов для запросов и 8 для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. При обучении использовался корпус объёмом 36 трлн токенов на 119 языках, включавший языковые, кодовые, научно-технические, книжные, многоязычные и синтетические данные. Квантование до 4 бит снижает требования к памяти и может упростить локальный запуск, однако потенциально сопровождается потерей точности по сравнению с полной или менее агрессивной разрядностью. Это базовая, а не instruction-tuned модель, поэтому для диалоговых сценариев и выполнения инструкций может потребоваться дополнительная настройка или специально подобранный prompting. Для работы рекомендуется использовать актуальную версию transformers; версии ниже 4.51.0 не поддерживают архитектуру Qwen3. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-99B-A5B-Niwaki-3bit-mlx — текстовая Mixture-of-Experts-модель, созданная проектом Niwaki на базе Qwen3.8-Flash-Next от команды Qwen. Модель получена pruning, реконструкцией и distillation экспертов, после чего сохранена в 3-битном формате для MLX. Она предназначена для генерации текста, диалогов, программирования, рассуждений и творческого письма, прежде всего на устройствах Apple Silicon с unified memory. Vision tower в этой версии отсутствует, поэтому модель работает только с текстом. Модель содержит около 99 млрд параметров, из которых примерно 5,2 млрд активны для каждого токена; исходный размер составлял около 177 млрд параметров. Архитектура включает 48 слоёв, 512 маршрутизируемых экспертов и top-k=10, при этом эксперты используются в 24 слоях. Размер промежуточного слоя экспертов — 448, экспертные веса имеют 3-битную точность с group size 64, n-gram embedding table — 2-битную, а backbone сохранён в 4-битном формате. Размер модели на диске — 36,7 ГБ; она рассчитана на комфортную работу в 48 ГБ unified memory. Для MLX требуются mlx-vlm версии не ниже 0.7.0rc0, mlx не ниже 0.32 и специальный загрузчик из репозитория модели. Главное преимущество — существенное снижение требований к памяти при сохранении заявленных характеристик базовой модели: на опубликованном наборе задач среднее качество составило 96,6% от 4-битного reference-варианта. Модель сохраняет беглость и релевантность ответов, однако сжатие ухудшает perplexity и надёжность числовых и узкоспециализированных технических сведений. На многошаговых арифметических задачах она может рассуждать дольше и более повторно. Оценивание проводилось преимущественно на англоязычных веб-данных, поэтому поведение в редких предметных областях и языках, отличных от английского, исследовано ограниченно. Лицензия указана как other; применимые условия приведены в лицензии базовой модели Qwen3.8-Flash-Next. Доступны также сборки GGUF для llama.cpp, требующие форка neopolita-llama.cpp.

Yi-1.5-9B — базовая языковая модель семейства Yi, разработанная 01.AI. Это плотная авторегрессионная модель архитектуры Llama с 8,6 млрд параметров, предназначенная для генерации текста и продолжения запросов. Yi-1.5 получена непрерывным предварительным обучением модели Yi на высококачественном корпусе объёмом 500 млрд токенов; в линейке также есть отдельные версии Chat, но данный репозиторий содержит базовую модель. Модель подходит для языкового понимания, чтения с пониманием, рассуждений, математики и программирования. В карточке семейства указаны контексты 4K, 16K и 32K; для этой модели в метаданных указан native context 4096 токенов. Веса доступны в формате Safetensors. Лицензия — Apache-2.0.

Granite-3.3-2B-Base — базовая языковая модель, разработанная командой Granite компании IBM. Это плотный decoder-only трансформер с 2,5 млрд параметров и контекстом до 131 072 токенов. Архитектура включает GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Поддержка Fill-in-the-Middle позволяет генерировать фрагмент текста с учётом контекста до и после него, в том числе для автодополнения кода. Модель предназначена для генерации текста, суммаризации, классификации и извлечения информации, ответов на вопросы и работы с длинным контекстом. Она обучена на данных из веба, кода, академических источников, книг и математики, а также на многоязычных, инструкционных и синтетических длинноконтекстных данных. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель выпущена под лицензией Apache 2.0. Она не прошла safety-выравнивание, поэтому может генерировать проблемный контент; возможны предвзятость, недостоверные ответы и дословное воспроизведение обучающих данных.

Inkbot — диалоговая языковая модель Tostino для генерации ответов по структурированным запросам, с дополнительным контекстом или без него. Модель построена на архитектуре Llama и содержит 12,9 млрд параметров; максимальный контекст составляет 4096 токенов. Доступны веса PyTorch, лицензия — Llama 2 Community License. Модель предназначена для ответов на вопросы, работы с контекстом в сценариях RAG, извлечения связей для представления знаний, рассуждений, перевода, суммаризации и творческого письма. Для лучших результатов автор рекомендует передавать дату, тип задачи и системное описание отдельно от диалога, а дополнительный контекст формулировать ясно. Модель стремится давать функциональные и лаконичные ответы. Среди ограничений — возможны повторяющиеся циклы текста при сложных задачах и заполнении контекста; при построении графа знаний модель может продолжать добавлять узлы и связи до исчерпания контекста. Влияние переданного пользовательского контекста обычно сохраняется лишь на один-два следующих запроса.

NVIDIA Nemotron-UltraLong-8B-Instruct — языковая модель на архитектуре Llama 3.1 с 7,5 млрд параметров, предназначенная для работы с длинными текстами и следования инструкциям. Модель принимает текст и генерирует текст; её контекстное окно достигает 1 073 152 токенов. Для запуска используется Transformers. Модель дообучена на основе meta-llama/Llama-3.1-8B-Instruct: обучение включало продолжение предобучения на длинных последовательностях и настройку на инструкциях по общим темам, математике и программированию. Модель подходит для анализа больших документов и контекстов, а также для диалогов и ответов на вопросы с опорой на предоставленный текст. Карточка сообщает о конкурентных результатах на стандартных тестах и сильных результатах на задачах с очень длинным контекстом. Модель рассчитана прежде всего на английский язык. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование; перед применением необходимо соблюдать её условия. Указанный размер контекста не гарантирует одинаковую точность на всём диапазоне длины, а качество может зависеть от задачи и содержимого запроса.

Mistral-Small-3.1-24B-Instruct-2503-MAX-NEO-Imatrix-GGUF — это GGUF-квантизированная версия инструкционной модели Mistral-Small-3.1-24B-Instruct-2503, разработанной Mistral AI. Сборку подготовил David_AU, применив собственный набор данных Neo Imatrix и конфигурацию «MAXED» с тензорами embedding и output в формате BF16 для повышения качества при увеличении размера файлов. Модель предназначена для генерации текста, выполнения инструкций, творческого письма, рассуждений и других универсальных текстовых сценариев. Она поддерживает контекст до 128 тысяч токенов и работает с текстом без компонентов компьютерного зрения. В README заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Neo Imatrix и «MAXED»-квантизация направлены на улучшение следования инструкциям, качества вывода и связности идей. Для общего использования рекомендуются варианты Q5, Q6 и Q8, а для творческих задач — IQ3, IQ4XS, IQ4NL и Q4. Очень низкие варианты IQ1S характеризуются автором как неприемлемые по качеству, тогда как IQ2 и выше считаются пригодными с оговорками. К ограничениям относятся зависимость результата от выбранного кванта и отсутствие поддержки изображений. Модель распространяется по лицензии Apache-2.0.

Natsumura Assistant 1.0 — разговорная модель общего назначения из серии Natsumura, разработанная Tohur. Это плотная авторегрессионная модель семейства Llama 3.1 с 7,5 млрд параметров и контекстом до 131 072 токенов; она предназначена для диалогов и помощи с широким кругом текстовых задач. Модель дообучена на основе meta-llama/Meta-Llama-3.1-8B-Instruct с использованием наборов Natsumura Identity, Dolphin, Dolphin Coder, OpenHermes 2.5 Uncensored и UltraChat Uncensored. Карточка характеризует её как uncensored и отмечает высокую готовность следовать запросам. Модель принимает текст и генерирует текст; заявлена лицензия Llama 3.1 Community License.