II.8Инженерия данных и аналитика

btbtyler09/Qwen3.8-Flash-Next-GPTQ-4bit — это GPTQ-квантизированная 4-битная версия Qwen/Qwen3.8-Flash-Next, разработанного командой Qwen. Модель представляет собой предварительную реализацию архитектуры Qwen4: разреженную мультимодальную MoE-модель, поддерживающую текст и изображения. Она предназначена для генерации и анализа текста, работы с кодом, обработки длинного контекста и мультимодальных сценариев, включая использование через Transformers и совместимые средства инференса, например vLLM. В составе модели 125 млрд параметров, из которых около 6 млрд активируются на один токен, а также 51 млрд параметров n-gram embedding table и 4 млрд параметров MTP-модуля; общий размер чекпойнта составляет около 180 млрд параметров. Архитектура включает 48 MoE-слоёв: 36 слоёв с линейным вниманием Gated DeltaNet и 12 слоёв с полным разреженным вниманием, 512 маршрутизируемых экспертов на слой, 4 параллельных residual-потока, vision encoder на базе 27-блочного ViT и однос layer MTP-модуль для speculative decoding. Нативный контекст составляет 262 144 токена и может быть расширен до 1 млн токенов с YaRN. Ключевые компоненты модели используют BF16, а эксперты и проекции полного внимания квантизированы в INT4 с group size 32. Главное преимущество чекпойнта — существенное сокращение объёма GPU-памяти: примерно до 80 ГБ для GPU-резидентной части вместо около 250 ГБ у исходной BF16-модели. При этом на тесте wikitext-2 ухудшение perplexity относительно BF16 составило 0,58%, а для Python-кода — 0,02%; однако качество и поведение в других сценариях могут отличаться. Для работы требуется около 188 ГБ общего хранилища или памяти, включая 102 ГБ BF16-таблицы n-gram, размещаемой в оперативной памяти, поэтому модель остаётся ресурсоёмкой и рассчитана на серверную инфраструктуру, например четыре GPU по 32 ГБ. Модель распространяется по лицензии qwen-community-1.0; в README она указана как license: other. Полные условия следует уточнять в файле LICENSE репозитория.

Seed-OSS-36B-Instruct-AWQ-4bit — квантизированная 4-битная версия инструкционной языковой модели Seed-OSS-36B-Instruct, разработанной командой ByteDance Seed. Квантизация выполнена с использованием llm-compressor от vLLM и набора данных Llama-Nemotron-Post-Training-Dataset. Модель предназначена для генерации текста, диалоговых систем, задач рассуждения, агентских сценариев с использованием инструментов и приложений, требующих обработки длинного контекста. Модель основана на архитектуре causal language model с RoPE, GQA, RMSNorm и активацией SwiGLU. Она содержит около 36 миллиардов параметров, 64 слоя, скрытый размер 5120, словарь примерно из 155 тысяч токенов и поддерживает контекст до 512K токенов. Указанные языки — английский и китайский; семейство Seed-OSS в целом ориентировано на международные сценарии. Предусмотрено гибкое управление бюджетом рассуждения, что позволяет выбирать компромисс между качеством и скоростью вывода. Основные преимущества этой версии — существенно сниженные требования к памяти по сравнению с полноразмерной моделью и сохранение возможностей исходной инструкционной модели для общих, логических и агентских задач. Ограничения связаны с 4-битной квантизацией, которая может снижать точность по сравнению с исходными весами, а также с высокой вычислительной нагрузкой модели на 36B параметров. Для работы требуются совместимые реализации Transformers и инфраструктура, поддерживающая AWQ; в README приведён пример запуска через vLLM с tensor parallelism. Модель распространяется по лицензии Apache-2.0.

puwaer/DeepSeek-V4-Flash-0731-reap-150b-gguf — GGUF-сборка модели puwaer/DeepSeek-V4-Flash-0731-reap-150b, подготовленная для llama.cpp с использованием moe-compress и llama.cpp. Это текстовая генеративная модель класса Mixture-of-Experts (MoE), созданная на основе DeepSeek-V4-Flash-0731 и сжатая методом REAP: в каждом слое используется 132 маршрутизируемых эксперта вместо 256 в базовой модели. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и программирования. В GGUF встроен шаблон чата с включённым по умолчанию режимом reasoning; поддерживаются вызовы инструментов через OpenAI-совместимый интерфейс. Доступны варианты MXFP4_MOE размером 79,21 GiB, а также Q3_K_M, IQ3_XXS и Q2_K размером от 66,07 до 58,11 GiB. Вариант MXFP4_MOE битово идентичен исходному checkpoint, тогда как остальные являются повторной квантизацией уже 4-битных данных и могут сильнее снижать качество. Рекомендуется полный GPU offload; проверенный размер контекста — 4096 токенов. Базовый вариант помещается в одну видеокарту с 96 GB памяти. Сильные стороны модели — существенно меньший размер по сравнению с базовой моделью, сохранение высокой производительности после экспертного pruning и поддержка llama.cpp. Для REAP 150b приведены результаты исходного checkpoint: GSM8K — 0,9295, MATH-500 — 0,7140, HumanEval+ — 0,8963 и MBPP+ — 0,7593; отдельные варианты квантизации не тестировались, поэтому их влияние на точность не измерено. Языки и максимальный контекст модели в README не указаны. Распространение заявлено по лицензии MIT.

unsloth/gemma-3-27b-it-unsloth-bnb-4bit — это 4-битная версия instruction-tuned модели Gemma 3 27B, подготовленная Unsloth на базе google/gemma-3-27b-it. Исходная модель разработана Google DeepMind в рамках семейства Gemma, созданного с использованием исследований и технологий Gemini. Модель предназначена для генерации текста и мультимодального понимания изображений: она принимает текст и изображения, а на выходе генерирует текст. Подходит для ответов на вопросы, суммаризации документов, рассуждений, анализа содержимого изображений и диалоговых сценариев. Для размеров 4B, 12B и 27B заявлено контекстное окно до 128K токенов, максимальный объём генерируемого ответа — 8192 токена; изображения нормализуются до 896×896 и кодируются в 256 токенов. Поддерживается более 140 языков, при этом в метаданных данной версии явно указан английский язык. Ключевое преимущество версии — 4-битное квантование, снижающее требования к памяти и упрощающее локальное развёртывание, однако оно может сопровождаться потерей точности по сравнению с полноразмерными вариантами. Модель рассчитана на работу через Transformers и может быть полезна на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Использование регулируется лицензией Gemma и соответствующими Terms of Use.

Карточка модели belltechsoft/gemma-4-12B-it-assistant на Hugging Face совпадает с карточкой google/gemma-4-12B-it-assistant, поэтому описание составлено по ней. Gemma 4 12B IT Assistant — мультимодальная модель с открытыми весами от Google DeepMind, предназначенная для диалогов и генерации текста. Эта карточка описывает вариант Multi-Token Prediction (MTP): компактная черновая модель для speculative decoding, которая предлагает несколько токенов заранее, а целевая модель проверяет их параллельно. Такой режим может ускорять декодирование до 3 раз без изменения качества относительно обычной генерации. Модель семейства Gemma 4 использует плотную архитектуру и поддерживает ввод текста, изображений и аудио; на выходе генерирует текст. Она предназначена для рассуждений, программирования, распознавания и понимания речи, работы с изображениями и агентных сценариев с вызовом инструментов. Семейство поддерживает длинный контекст до 256 тысяч токенов и многоязычную работу; в карточке указана поддержка более 140 языков при обучении. MTP-вариант рассчитан на использование в speculative decoding с соответствующей целевой моделью, а не как самостоятельная замена обычному checkpoint для всех сценариев. Лицензия — Apache 2.0.

GLM-4.7-Flash-FP8-Dynamic — динамически квантованная в формате FP8 версия языковой модели GLM-4.7-Flash. Квантование выполнено командой Unsloth на базе модели zai-org/GLM-4.7-Flash; исходную модель разработала команда GLM. Модель распространяется для генерации текста и предназначена для быстрого и эффективного локального инференса. GLM-4.7-Flash — разреженная MoE-модель с общей конфигурацией 30B параметров и активными 3B параметрами. Она поддерживает английский и китайский языки и может применяться для рассуждений, программирования, агентских сценариев, вызова инструментов и других задач генерации текста. В README приведены высокие результаты на ряде тестов, включая AIME 25, GPQA, SWE-bench Verified, τ²-Bench и BrowseComp, однако показатели зависят от условий оценки и не гарантируют аналогичную производительность в прикладных задачах. Ключевое преимущество этой версии — снижение вычислительных требований и ускорение инференса благодаря динамическому FP8-квантованию, при заявленном Unsloth сохранении высокой точности. Модель поддерживается фреймворками vLLM, SGLang и Transformers, но для некоторых сценариев требуются актуальные версии из основных веток проектов. В README не указаны размер контекста и мультимодальные возможности; описанная версия ориентирована на текстовые задачи. Лицензия — MIT.

GPT-3.5 Turbo 16k — вариант модели GPT-3.5 Turbo с увеличенным контекстным окном, разработанный OpenAI. Он предназначен для генерации текста и диалогов, в том числе для запросов, в которых нужно передать большой объём текста за один раз. По карточке модель обрабатывает примерно 20 страниц текста в одном запросе; использование обходится дороже, чем у стандартной версии GPT-3.5 Turbo.

salamanderDixon/LFM2.5-2.6B-heretic — декензурированная версия текстовой модели LiquidAI/LFM2.5-2.6B, созданная с помощью Heretic v1.4.0. Это плотная причинно-языковая модель семейства LFM2 с 2,6 млрд параметров, рассчитанная на диалоговое использование и локальное развёртывание. Модель принимает текст и генерирует текст; заявленный контекст — 131 072 токена, поддерживается 16 языков, включая русский. Версия Heretic изменяет поведение отказов: в приведённом сравнении отказы снизились с 96 до 4 из 100, а KL-дивергенция относительно исходной модели составляет 0,0263. Исходная карточка рекомендует семейство для агентных сценариев, вызова инструментов, извлечения данных, RAG и работы с длинным контекстом, но не рекомендует его для агентного программирования и задач, требующих обширных знаний. Репозиторий использует формат safetensors и библиотеку Transformers. Указана лицензия other; конкретные условия лицензии в предоставленных данных не раскрыты.

MiniCPM5-2B MLX 4-bit — это квантизированная версия языковой модели OpenBMB/MiniCPM5-2B, подготовленная для локального запуска в формате MLX. Исходная модель разработана OpenBMB; данный вариант представлен пользователем abenzerps. Модель предназначена для генерации текста, программирования, рассуждений, работы с длинным контекстом и использования инструментов. Модель имеет плотную Llama-подобную архитектуру и содержит около 2 млрд параметров. Это текстовая модель без поддержки изображений: в поставку не входят vision-проектор и файлы MTP. Поддерживаются английский и китайский языки. Заявленная нативная длина контекста исходной модели составляет 131 072 токена. Квантование выполнено методом affine 4-bit с размером группы 64; размер MLX safetensors-файлов — около 1,4 ГБ. Ключевые преимущества модели — небольшой размер, возможность локального запуска, поддержка длинного контекста и сценариев с инструментами при существенно сниженных требованиях к памяти. Ограничения связаны с 4-битным квантованием, текстовой модальностью и отсутствием заявленных в карточке подробных результатов тестирования для этой конкретной конвертации. Модель распространяется по лицензии Apache-2.0.

MyAwesomeModel — модель из репозитория liufeftwer145, распространяемая через Hugging Face и предназначенная для извлечения признаков; в метаданных указаны библиотека Transformers, PyTorch и тег BERT. README описывает обновлённую версию модели с улучшенными способностями к рассуждению и выводу, а также применением алгоритмической оптимизации на этапе post-training. Модель заявлена для математического и логического рассуждения, понимания текста, ответов на вопросы, классификации, анализа тональности, генерации кода и текста, суммаризации, перевода, диалогов, поиска знаний и следования инструкциям. README также упоминает поддержку системного промпта, function calling, загрузки файлов и генерации с использованием результатов веб-поиска, а также доступ через чат-интерфейс и API. В README приведены результаты внутренних или заявленных benchmark-оценок по нескольким категориям, включая математику, программирование и общую логику; для AIME 2025 указано повышение точности с 70% до 87,5% по сравнению с предыдущей версией. Рекомендуемая температура составляет 0,6. Модель распространяется по лицензии MIT.

Nemotron-3-Nano-30B-A3B-GGUF — это квантизированная GGUF-версия языковой модели NVIDIA Nemotron-3-Nano-30B-A3B, подготовленная пользователем bartowski на базе NVIDIA. Квантизация выполнена с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель ориентирована на задачи общего назначения, включая работу с текстом, кодом, математикой, научными данными, следование инструкциям и агентские сценарии. В метаданных указаны поддерживаемые языки: английский, испанский, французский, немецкий, японский и итальянский. Архитектурные подробности и размер контекста в README не указаны; из названия известно обозначение 30B A3B. Доступны варианты от BF16 до различных уровней квантизации Q8_0, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Рекомендуемыми названы варианты Q6 и Q4. Сильная сторона модели — широкий выбор квантизаций и возможность локального запуска при существенно меньших требованиях к памяти по сравнению с полными BF16-весами. При этом более сильная квантизация может снижать качество генерации, а низкокачественные варианты предназначены прежде всего для систем с ограниченным объёмом RAM. Лицензия указана как NVIDIA Open Model License; точные условия следует уточнять в тексте лицензии NVIDIA.

XythicK/Qwen3-1.7B-GGUF — это GGUF-версия причинной языковой модели Qwen3-1.7B, разработанной командой Qwen. Модель предназначена для генерации и понимания текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческого письма и сценариев с интеграцией внешних инструментов. Она поддерживает более 100 языков и диалектов, включая английский; в предоставленных данных явно указан язык en. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к эмбеддингам, и имеет 28 слоёв. В архитектуре используется групповое совместное внимание (GQA) с 16 головами для Q и 8 для KV. Контекстное окно составляет 32 768 токенов. Qwen3-1.7B поддерживает переключение между режимом рассуждений для сложных логических, математических и программных задач и режимом без рассуждений для более эффективного универсального диалога. К сильным сторонам относятся компактный размер, поддержка многоязычных инструкций, рассуждений, генерации кода, диалогов и агентских сценариев. Ограничения, связанные с точностью, качеством на отдельных языках, ресурсоёмкостью и возможностями GGUF-квантизации, в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.

Qwen3.6-27B-Seven-GGUF — это GGUF-квантизированная версия модели nightmedia/Qwen3.6-27B-Seven, подготовленная mradermacher. Модель предназначена для генерации и понимания текста, диалогов, программирования, математических и STEM-задач, исследовательских сценариев, творческого письма и ролевого взаимодействия. Доступны варианты квантования от Q2_K до Q8_0, что позволяет выбирать баланс между размером файлов, скоростью работы и качеством; размер файлов составляет примерно от 11 до 29,1 ГБ. Заявлена поддержка английского, китайского, японского и испанского языков. Для мультимодального использования предоставляются отдельные компоненты mmproj в форматах Q8_0 и f16. README не содержит точных сведений об архитектуре, числе параметров базовой модели помимо обозначения 27B, фактическом размере контекстного окна и поддерживаемых типах входных данных, поэтому эти характеристики нельзя уточнить. Варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а Q8_0 — как вариант с лучшим качеством среди перечисленных. Модель распространяется по лицензии Apache-2.0. К ограничениям относятся неизбежные компромиссы квантования: более компактные варианты могут уступать по качеству более крупным, а для мультимодальной работы требуется отдельный mmproj-файл. Указание долгого контекста в тегах README не подтверждено подробными техническими параметрами.

leonsarmiento/Qwen3.8-27B-3bit-mlx — мультимодальная модель VLM, разработанная на основе Qwen3.8-27B от Qwen и конвертированная автором в формат MLX с помощью mlx-vlm. Она предназначена для работы с текстом и изображениями, включая диалоговые, аналитические и программные сценарии. Модель поддерживает контекст до 262 тысяч токенов и рассчитана на запуск в экосистеме MLX, в частности через mlx-vlm, oMLX и LM Studio. Архитектура представляет собой плотную гибридную модель с 64 слоями: 48 используют линейное внимание, а 16 — полное внимание. Размер модели — 27B параметров. Применена смешанная квантизация: большинство языковых слоёв сжаты до 3 бит, эмбеддинги и lm_head — до 4 бит, а vision tower сохранён с 8-битной точностью. Объём модели составляет около 12,71 ГБ, пиковое потребление памяти в заявленном тесте — 15,61 ГБ. Модель поддерживает режимы с рассуждением и без него; по умолчанию в этой сборке reasoning_effort установлен на low, что сокращает задержку и длину рассуждений. Сильными сторонами являются поддержка изображений, большой контекст, сниженное потребление памяти и более высокая скорость декодирования по сравнению с равномерной 4-битной версией при сопоставимом качестве на приведённых тестах. Ограничения включают зависимость от MLX-совместимого программного обеспечения и аппаратной конфигурации, а также компромисс между качеством, скоростью и глубиной рассуждений при 3-битной квантизации. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next GGUF — это квантизированная версия официальной модели Qwen/Qwen3.8-Flash-Next, подготовленная BatiAI в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста, программирования, работы с инструментами и структурированного вывода, включая JSON. Заявлена поддержка английского, корейского и китайского языков. Модель использует MoE-архитектуру qwen4exp: около 176,9 млрд параметров, из которых примерно 4,9 млрд активируются на каждом токене; всего используется 512 экспертов с выбором top-10. Доступны варианты квантизации IQ3_XXS, IQ4_XS, Q4_K_M и Q6_K размером примерно от 79 до 141 ГиБ. Вариант IQ4_XS показал скорость генерации 11,7 токена в секунду на CPU и 32,74 токена в секунду на Mac Studio M2 Ultra с 192 ГиБ памяти. Для запуска требуется актуальная версия llama.cpp с поддержкой qwen4exp; старые версии, а также ранние сборки Ollama и LM Studio могут не загружать модель. Сильными сторонами являются высокая скорость для модели такого размера, проверенная генерация на корейском языке, поддержка вызова инструментов, программирования, длинных текстов и структурированного вывода. При этом модель ненадёжна в арифметике: в тестах она допустила ошибки в двух нетривиальных выражениях, поэтому вычисления, особенно связанные с деньгами и количествами, следует передавать калькулятору или проверять отдельно. Для работы требуется значительный объём памяти. Лицензия указана как qwen-community-license-1.0; применяются условия лицензии Qwen.

Qwen3-VL-32B-Instruct — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen и представленная в формате GGUF компанией Unsloth. Это инструкционно настроенная dense-модель для обработки текста и визуальных данных, включая изображения и видео, с поддержкой сценариев image-text-to-text. Модель предназначена для визуального вопросно-ответного взаимодействия, анализа изображений и видео, OCR, понимания документов, STEM- и математического рассуждения, пространственного анализа, генерации кода и взаимодействия с графическими интерфейсами через визуального агента. Заявлены нативный контекст 256K токенов с возможностью расширения до 1M, улучшенное понимание длительных видео и событий с временными метками, а также OCR на 32 языках. Среди архитектурных компонентов указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. К сильным сторонам относятся объединённое понимание текста и визуальной информации, детальное восприятие сцен, объектов и документов, расширенный контекст и широкий набор мультимодальных задач. Ограничения включают высокие требования к вычислительным ресурсам, характерные для модели с 32B параметрами, а также потенциальные потери точности из-за квантования в GGUF; конкретный вариант квантования в README не указан. Для llama.cpp рекомендуется использовать параметр --jinja из-за исправлений chat template. Лицензия модели — Apache-2.0.

Карточка модели luckyChenY/think_99 на Hugging Face совпадает с карточкой Qwen/Qwen3-1.7B, поэтому описание составлено по ней. Qwen3-1.7B — компактная плотная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 40 960 токенов по метаданным. Модель дообучена на базе Qwen/Qwen3-1.7B-Base и распространяется в формате safetensors под лицензией Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с внешними инструментами через соответствующий интерфейс. Она поддерживает более 100 языков и диалектов. Заявлены режимы рассуждения и обычного диалога; компактный размер подходит для приложений с ограниченными ресурсами по сравнению с более крупными моделями семейства. В README указана длина контекста 32 768 токенов, тогда как метаданные каталога приводят 40 960; для характеристики использовано значение метаданных. В README также отмечен риск бесконечных повторов при некоторых настройках генерации и рекомендована настройка presence_penalty. Качество ответов и точность фактов требуют проверки в целевом сценарии.

Mungert/EXAONE-4.0-32B-GGUF — GGUF-квантизированная версия языковой модели EXAONE-4.0-32B, разработанной LG AI Research. Модель предназначена для генерации текста, диалоговых приложений, решения сложных задач и агентских сценариев с использованием инструментов. Она поддерживает обычный режим работы и режим рассуждений, а также английский, корейский и испанский языки. Модель содержит около 30,95 млрд параметров без учёта эмбеддингов, 64 слоя, архитектуру GQA с 40 attention-головами и 8 KV-головами, словарь размером 102 400 токенов и контекст до 131 072 токенов. Архитектура использует гибридное внимание: локальное и глобальное внимание в соотношении 3:1, а также QK-Reorder-Norm. Включение режима рассуждений выполняется через параметр enable_thinking. Данный вариант подготовлен с помощью llama.cpp и использует GGUF-квантизацию; автор сборки применяет дополнительное повышение точности отдельных важных слоёв, что может улучшать качество при низкой разрядности ценой увеличения размера файла. Сильными сторонами являются большой контекст, мультиязычность, сочетание обычного и reasoning-режимов, а также возможность локального запуска через экосистему llama.cpp. Ограничения конкретного варианта зависят от выбранного уровня квантизации и аппаратных ресурсов; README не содержит точных характеристик каждой квантованной сборки и результатов сравнительных тестов. Модель распространяется по лицензии EXAONE, обозначенной как other; подробные условия указаны в файле LICENSE.

MoonRide/gemma-4-31B-it-heretic-ara-custom-GGUF — GGUF-версия инструкционно настроенной мультимодальной модели Gemma 4 31B, разработанной Google DeepMind и модифицированной MoonRide. Модель создана на основе google/gemma-4-31B-it с использованием Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA), направленного на снижение частоты отказов от ответов. По заявленным данным, она обрабатывает текст и изображения и генерирует текст. Модель предназначена для генерации и понимания текста, рассуждений, программирования, работы с длинным контекстом и мультимодальных сценариев с изображениями. Архитектура базовой модели — плотная Transformer-модель примерно с 30,7 млрд параметров, 60 слоями, гибридным вниманием с локальным окном 1024 токена и глобальными слоями. Максимальный контекст заявлен до 256K токенов, размер словаря — 262K; поддерживается более 140 языков. Формат GGUF ориентирован на локальный запуск в совместимых средствах инференса, однако конкретная степень квантования и требования к памяти в README не указаны. Главная особенность этой версии — существенно меньшее число отказов в приведённой оценке: 16 из 100 против 99 из 100 у исходной модели; при этом указано KL-расхождение 0,0417 относительно оригинала. Это может сделать модель более готовой к ответам на запросы, которые базовая версия отклоняет, но одновременно снижает гарантии встроенного безопасного поведения. Модель распространяется по лицензии Apache 2.0 согласно README; для Gemma также следует учитывать применимые условия лицензии Google Gemma 4.

lmstudio-community/Meta-Llama-3.1-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta Llama 3.1 70B Instruct, подготовленная сообществом lmstudio-community и квантизированная bartowski. Базовую модель разработала Meta. Она предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии обработки естественного языка. Модель относится к семейству Llama 3.1 и использует архитектуру, поддерживаемую библиотекой Transformers; доступна в формате GGUF для локального запуска в совместимых инструментах. Заявлены языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Размер контекста, конкретный вариант квантизации и модальности в README не указаны; по представленным данным это текстовая модель. К сильным сторонам относятся большой размер 70B и инструкционная настройка, потенциально обеспечивающие высокое качество ответов и следование запросам. Ограничениями являются высокая потребность в вычислительных ресурсах даже после квантизации, а также отсутствие в предоставленных данных подробных сведений о производительности, точности и поддерживаемом контексте. Модель распространяется по Llama 3.1 Community License Meta с требованиями к атрибуции, указанию «Built with Llama» при распространении и соблюдению Acceptable Use Policy.

Ministral-3-Instruct-2512-AIO-GGUF — набор квантованных моделей в формате GGUF, опубликованный prithivMLmods на основе семейства Ministral 3 Instruct от Mistral AI. В набор входят варианты на 3B, 8B и 14B параметров, совместимые с llama.cpp и интеграциями через Transformers. Модели предназначены для локального и эффективного запуска на устройствах с ограниченными ресурсами. Это мультимодальные vision-language модели для работы с текстом и изображениями. Они поддерживают анализ изображений, генерацию описаний, понимание документов, извлечение данных, перевод, краткую генерацию контента и агентские сценарии с function calling и JSON-выводом. Заявлено контекстное окно до 256K токенов и поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Архитектура включает языковую модель и vision encoder примерно на 0,4B параметров. Сильные стороны набора — разнообразие размеров и уровней квантования, поддержка мультимодальных задач, многоязычность, следование системным инструкциям и возможность локального развертывания. Компромиссом квантованных вариантов могут быть снижение точности и качества по сравнению с полноразмерными версиями; требования к памяти зависят от размера модели и выбранного формата. Доступ предоставляется по лицензии Apache 2.0.

Occiglot-7B-EU5-Instruct — инструктивная языковая модель, разработанная Occiglot Research Collective. Это плотный авторегрессионный трансформер с архитектурой Mistral и 7,1 млрд параметров, дообученный на 400 млн токенов многоязычных и программных инструкций. Модель принимает текстовые запросы в формате ChatML и генерирует текст; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы, выполнения инструкций и задач с кодом на английском, испанском, французском, немецком и итальянском языках. Карточка приводит предварительные результаты тестирования и отмечает, что часть неанглоязычных оценок основана на машинном переводе, поэтому их следует интерпретировать осторожно. Модель не проходила выравнивание по безопасности и может создавать проблемный контент. Распространяется по лицензии Apache 2.0.

Phi-3-medium-128k-instruct-GGUF — квантизированная версия инструкционной языковой модели Microsoft Phi-3-medium-128k-instruct, подготовленная пользователем bartowski в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для генерации текста, диалогового взаимодействия и задач, связанных с обработкой естественного языка и программным кодом. В README заявлена поддержка multilingual-сценариев и контекстное окно до 128 000 токенов. Доступны варианты от F32 до низкобитных квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, а также форматы IQ. Размер файлов составляет примерно от 5,14 до 55,84 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее сохранение качества, тогда как компактные варианты снижают требования к памяти ценой качества ответов. Ключевые характеристики исходной архитектуры, точное число параметров, перечень поддерживаемых языков и результаты тестирования в README не указаны. Модель подходит для локального инференса, чат-ботов, генерации и анализа текста, а также помощи с кодом при наличии оборудования с достаточным объёмом оперативной или видеопамяти. Ограничениями являются зависимость качества и требований к ресурсам от выбранной квантизации, а также отсутствие в предоставленных данных подробных оценок производительности и гарантий точности. Указана лицензия MIT, унаследованная от исходной модели Microsoft.

Qwen2.5-1.5B-Instruct-GPTQ-Int4 — это компактная инструкционно дообученная причинная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для чат-ботов, генерации и продолжения текста, следования инструкциям, работы со структурированными данными и формирования структурированных ответов, включая JSON, а также для задач программирования и математики. Она поддерживает более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, японский и корейский. Модель содержит 1,54 млрд параметров, 28 слоёв и использует архитектуру Transformers с RoPE, SwiGLU, RMSNorm, смещениями QKV в механизме внимания и связанными эмбеддингами слов. Применяется GQA с 12 головами для Q и 2 для KV. Контекст составляет до 32 768 токенов, максимальная длина генерации — 8192 токена. GPTQ-квантизация до 4 бит уменьшает требования к памяти по сравнению с полноразмерной версией, но квантизация может влиять на качество и производительность. Модель ориентирована на локальное и ресурсо-ограниченное развертывание через библиотеку Transformers; для работы рекомендуется использовать актуальную версию библиотеки. README не содержит конкретных результатов тестов, требований к видеопамяти или показателей скорости, поэтому практические характеристики зависят от оборудования и конфигурации. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-GGUF — это квантизированная версия языковой модели Qwen3-4B, разработанной командой Qwen. Квантизацию в формате GGUF выполнил bartowski на основе llama.cpp, релиз b5200. Модель предназначена для локального запуска и генерации текста. Модель поддерживает режимы рассуждения и обычной генерации, а также параметр /no_think для отключения рассуждений. Она ориентирована на следование инструкциям, творческое письмо, ролевые сценарии, многошаговые диалоги, математику, программирование, задачи на здравый смысл и агентские сценарии. Заявлена поддержка более 100 языков и диалектов. Максимальная длина контекста составляет до 131 072 токенов при использовании YaRN, при этом значение по умолчанию указано как 32 000 токенов. Сильными сторонами являются улучшенные способности к рассуждению, широкий языковой охват и возможность выбора между режимами с рассуждением и без него. Ограничения включают типичные для языковых моделей риски неточных, вредных или неподходящих ответов; кроме того, README не содержит сведений о конкретном варианте квантизации, требованиях к ресурсам и лицензии.

Карточка модели Content-AI/Qwen3.5-4B на Hugging Face совпадает с карточкой Qwen/Qwen3.5-4B, поэтому описание составлено по ней. Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.

Карточка модели LinkRur/Qwen3.5-4B на Hugging Face совпадает с карточкой Qwen/Qwen3.5-4B, поэтому описание составлено по ней. Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.

Qwen3.8-27B-OBLITERATED-W4A16-24GB — это 4-битная GPTQ-квантизованная версия модели OBLITERATUS/Qwen3.8-27B-OBLITERATED, опубликованная пользователем quocbao747. Модель предназначена для генерации текста, диалогов, программного кода и задач рассуждения; она рассчитана на запуск через vLLM с ядром Marlin на одной видеокарте объёмом 24 ГБ, например RTX 4090. Модель содержит 27 млрд параметров и использует схему W4A16: int4-квантизация весов с симметричным group size 128 и статическим actorder. Формат — compressed-tensors/pack-quantized. Сохранены vision tower для мультимодальных возможностей и MTP head для speculative decoding, однако поддерживаемые языки и точный перечень мультимодальных сценариев в карточке не указаны. Заявлен контекст до 81 920 токенов, а в измерениях на RTX 4090 максимальный фактически помещавшийся запрос составлял 72 000 токенов с учётом служебных токенов шаблона. К сильным сторонам относятся небольшое для модели такого размера потребление памяти, высокая скорость декодирования и близкое к исходной модели качество: результат MMLU составил 81,63% против 82,3% у исходной версии в BF16. Ограничения включают снижение качества из-за квантизации, значительный рост времени обработки длинных промптов и резкое ухудшение задержек при высокой конкуренции и больших контекстах. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-2B-Thinking-GGUF — мультимодальная vision-language модель серии Qwen, разработанная командой Qwen. Это GGUF-версия базовой модели Qwen3-VL-2B-Thinking, предназначенная для локального запуска через llama.cpp, Ollama и другие инструменты, совместимые с GGUF. Модель сочетает языковую модель примерно на 2 млрд параметров с vision encoder и работает с текстом и изображениями, а также поддерживает анализ видео. Релиз включает языковые веса в форматах FP16, Q8_0 и Q4_K_M и отдельный vision encoder в FP16 или Q8_0. Заявлены расширенный контекст до 256K токенов с возможностью масштабирования до 1M, визуальное и пространственное рассуждение, OCR для 32 языков, понимание документов, STEM-задач, видео и пользовательских интерфейсов. Архитектурные особенности включают Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Модель подходит для визуального вопросно-ответного взаимодействия, распознавания и структурирования текста на изображениях, анализа документов и видео, визуального рассуждения, генерации кода и задач визуального агента. Наличие нескольких уровней точности позволяет выбирать баланс между качеством, скоростью и требованиями к памяти, а поддержка CPU, NVIDIA GPU, Apple Silicon и Intel GPU упрощает локальное развертывание. Ограничения включают возможное снижение качества при квантовании, зависимость производительности от оборудования и отсутствие в README подробных числовых результатов тестирования и полного списка поддерживаемых языков. Модель распространяется по лицензии Apache-2.0.