II.2Создание и понимание программного кода

jondurbin/airoboros-jamba-3-3 — экспериментальная чат-модель Джона Дурбина, дообученная методом QLoRA на базе jamba-v0.1. Модель содержит 7,2 млрд параметров, использует архитектуру Jamba с mixture-of-experts и предназначена для генерации текста в диалоге. В README заявлена настройка на синтетических данных Airoboros 3.2 и дополнительных наборах данных для вопросов по контексту, суммаризации, программирования, ролевого общения и генерации аргументов функций. Для контекстных вопросов модель обучали отвечать по предоставленным материалам и ограничивать ответ их содержанием, чтобы снизить галлюцинации. Поддерживаются многоходовый чат и шаблон запросов в формате Llama 2; для задач по контексту README рекомендует специальную разметку блоков. Хотя базовая Jamba заявляет контекст до 256 тысяч токенов, это дообучение выполнялось с длиной 8192 токена, поэтому результаты за этим пределом не определены. Модель распространяется в формате safetensors по лицензии Apache-2.0. Автор характеризует её как экспериментальную; качество и поведение могут быть нестабильными, а генерация планов для вызова функций сама по себе не выполняет инструменты.

BLOOM-1b7 — плотная авторегрессионная языковая модель на базе Transformer, разработанная проектом BigScience. Она предназначена для генерации текста, исследования поведения языковых моделей и использования в качестве предварительно обученной основы для дальнейшей настройки. В карточке указаны сценарии извлечения информации, ответов на вопросы и суммаризации; модель также обучалась на данных с кодом. Модель относится к семейству BLOOM и принимает текст, выдавая продолжение текста. Контекст — до 4096 токенов. Метаданные содержат языковые теги для широкого набора естественных языков, а также код; точный размер этой версии в предоставленных данных не указан. Модель выпущена BigScience под лицензией BigScience BLOOM RAIL v1.0. BLOOM может выдавать ошибочную информацию как достоверную, повторяться и воспроизводить стереотипы или оскорбительный контент. Карточка не рекомендует применять её для высокорисковых решений, а также в медицинской, политической, юридической и финансовой сферах.

BlueLM-7B-Chat-32K — диалоговая языковая модель с архитектурой BlueLMForCausalLM, разработанная лабораторией vivo AI. Модель содержит 6,9 млрд параметров и предназначена для генерации ответов в чате, понимания длинных текстов и решения языковых задач. В репозитории представлены веса PyTorch. Модель обучена на корпусе объёмом 2,6 трлн токенов, преимущественно на китайском и английском языках, с небольшим количеством японских и корейских данных. В README заявлена поддержка контекста до 32K токенов и приведены результаты на LongBench, включая задачи суммаризации, ответов по одному и нескольким документам и работы с кодом. Однако метаданные указывают native_context_tokens 2048, поэтому заявленную длину контекста следует сверить с конфигурацией конкретной версии. Лицензия указана как other; README сообщает, что веса открыты для академических исследований и коммерческого применения.

DatarusAI Datarus-R1-14B-preview — языковая модель с открытыми весами для аналитики данных и многошагового решения задач. Это плотная авторегрессионная модель семейства Qwen2, дообученная на базе Qwen/Qwen2.5-14B-Instruct. В README указано 14,8 млрд параметров; в метаданных — 14 млрд. Модель поддерживает генерацию текста и диалоговый режим, а также интерфейс вызова инструментов. Нативная длина контекста — 131 072 токена. Модель предназначена для анализа данных, статистических расчётов и визуализации, решения математических и научных задач, генерации аналитического кода и работы в интерактивных ноутбуках. README описывает два режима рассуждения: интерактивный ReAct с итеративным выполнением кода и режим Reflection для компактных объяснений и отчётов. Обучение проводилось на синтетических аналитических траекториях и наборах данных для рассуждений; заявленные области включают финансы, медицину и количественный анализ. Основной язык — английский. В карточке приведены высокие результаты на LiveCodeBench и AIME, однако это заявления разработчика, и качество на других задачах может отличаться. Интерфейс выполнения кода требует подключённой среды исполнения; сама модель генерирует текст. Модель распространяется по лицензии Apache 2.0.

Dirk-Qwen3.8-27B-MLX-oQ4e — это квантизированная версия базовой модели Qwen3.8-27B от Qwen, подготовленная peculiar-ragdoll для запуска на Apple Silicon через MLX и совместимые среды, включая oMLX и mlx-vlm. Модель предназначена для текстовых и визуальных запросов, генерации ответов, анализа изображений, агентного программирования и других сценариев, где важны скорость, компактность и экономное использование токенов. Модель представляет собой плотную vision-language модель с 27 млрд параметров, поддерживает английский и китайский языки, сохраняет vision tower и MTP head для multi-token-prediction и speculative decoding. Используется смешанная imatrix-калиброванная квантизация oQ4e примерно 4,9 bpw; размер модели составляет около 15,8 ГБ, что позволяет запускать её на Mac с 24 ГБ памяти с запасом под контекст. Заявлено окно контекста до 262 144 токенов при использовании соответствующей настройки runtime. В комплект включён Sharp chat template v22.5.0 с компактным стилем ответов и управляемым уровнем reasoning_effort от low до xhigh; по умолчанию используется medium. Сильные стороны модели — поддержка изображений без отдельного projector-файла, возможность ускорения генерации с помощью MTP, компактные ответы и адаптация под локальный запуск на Apple Silicon. Ограничения связаны с потерями точности, характерными для квантизации, зависимостью от совместимого vision loader и runtime, а также с тем, что заявленные собственные benchmark-результаты ещё находятся в процессе измерения. Для корректной работы рекомендуется mlx-vlm версии 0.6.3 или новее; mlx-lm использовать не следует. Модель распространяется по лицензии Apache-2.0.

AtomicChat/gemma-4-26B-A4B-it-GGUF — это GGUF-квантизированная версия инструкционной модели google/gemma-4-26B-A4B-it, подготовленная Atomic Chat на основе оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования в задачах генерации текста, диалогов, рассуждений и других сценариях, поддерживаемых базовой text-generation-моделью. Для запуска в llama.cpp требуется применять шаблон чата Gemma 4 с параметром --jinja. Модель использует архитектуру Mixture-of-Experts: 25,2 млрд параметров всего и около 3,8 млрд активных на каждый токен, 30 слоёв, 128 маршрутизируемых экспертов с выбором top-8, гибридное внимание с локальным окном 1024 токена и глобальным вниманием, 16 attention heads и 8 KV heads. Заявленная длина контекста составляет 256 тысяч токенов, размер словаря — 262 тысячи. Базовая модель поддерживает текст и изображения, однако данный репозиторий содержит только текстовые квантизации и не включает vision projector. К сильным сторонам относятся высокая вычислительная эффективность MoE-архитектуры, большой контекст, режимы рассуждения и широкий выбор квантизаций от Q2_K до Q8_0. Квантизация с importance matrix призвана сохранить качество оригинальной модели, но низкобитные варианты могут заметно терять качество; Q4_K_M обозначен как оптимальный баланс размера, скорости и качества, а Q6_K и Q8_0 — как варианты с минимальными потерями. Размер файлов составляет примерно от 10,6 до 26,9 ГБ, поэтому требуются значительные оперативная память или видеопамять. Модель распространяется по лицензии Apache-2.0.

OnlyTextLLMs выпустила текстовую версию Gemma 4 E2B IT на основе google/gemma-4-E2B-it. Это плотная авторегрессионная языковая модель с архитектурой Gemma4ForCausalLM; из исходной мультимодальной модели удалены компоненты обработки изображений и аудио и соответствующие специальные токены, а текстовый блок и языковая голова сохранены. Карточка указывает 4,65 млрд параметров, 35 слоёв и размер скрытого состояния 1536, тогда как метаданные каталога приводят 1,6 млрд параметров; точный размер поэтому расходится между источниками. Метаданные указывают контекст до 131072 токенов и поддержку диалогового режима. Модель предназначена для генерации текста и диалоговых сценариев, где вход и выход представлены текстом. Она не принимает изображения или аудио, в отличие от исходной Gemma 4 E2B IT. README сообщает, что новые обучающие данные и дообучение не добавлялись: изменён состав компонентов модели. Репозиторий распространяется по лицензии Apache 2.0.

Это квантованная версия Granite 3.3 8B Instruct — инструкционной текстовой модели, разработанной командой IBM Granite. Репозиторий подготовлен bartowski в формате GGUF с использованием llama.cpp и метода imatrix; базовая модель указана как ibm-granite/granite-3.3-8b-instruct. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, поддерживающих llama.cpp, включая LM Studio. Доступны варианты от BF16 до различных уровней квантования Q3–Q8 и IQ, что позволяет выбирать между качеством ответа, размером файла и требованиями к оперативной памяти. Размер исходной модели составляет 8 миллиардов параметров, однако README не указывает архитектуру, языки, длину контекста или дополнительные модальности; по назначению это текстовая, а не мультимодальная модель. Сильной стороной сборки является широкий выбор квантований: варианты Q5 и Q6 заявлены как высококачественные, а Q4 подходят для большинства сценариев при меньшем потреблении памяти. Более компактные варианты позволяют запускать модель на системах с ограниченной RAM, но могут снижать качество ответов. Для корректной работы следует использовать указанный шаблон prompt и совместимый llama.cpp-based runtime. Распространение осуществляется по лицензии Apache-2.0.

NVIDIA Llama 3.1 8B Instruct FP8 — FP8-квантизированная версия инструкционно настроенной авторегрессионной языковой модели Meta Llama 3.1 8B Instruct. Модель подготовлена NVIDIA с помощью TensorRT Model Optimizer; README уточняет, что она не принадлежит NVIDIA и была собрана по требованиям стороннего разработчика. Архитектура — трансформер Llama 3.1 с плотной моделью примерно на 7,5 млрд параметров. Модель принимает текстовые последовательности и генерирует текст, поддерживает диалоговый режим и контекст до 128 тысяч токенов. Квантизация весов и активаций линейных операторов до FP8 предназначена для более экономичного и быстрого инференса: в README указано сокращение требований к диску и памяти GPU примерно на 50% и ускорение примерно в 1,3 раза на H100. Предусмотрен запуск через TensorRT-LLM и vLLM на совместимых GPU NVIDIA. Модель подходит для диалогов, генерации и продолжения текста, а также ответов на инструкции. В README заявлено коммерческое и некоммерческое использование; лицензия в метаданных — llama3.1. Качество и скорость зависят от оборудования и среды инференса; оценка ускорения приведена для конфигурации с H100.

lmstudio-community/Meta-Llama-3-70B-Instruct-BPE-fix-GGUF — версия модели Meta-Llama-3-70B-Instruct, разработанной Meta и опубликованной сообществом lmstudio-community в формате GGUF с исправлением BPE. Это текстовая генеративная языковая модель для диалогов, следования инструкциям и других задач генерации текста. В карточке указаны английский язык и конвейер text-generation. Модель относится к семейству Llama 3 и содержит 70 млрд параметров; она предназначена для сценариев, где требуется создание и обработка текста в формате инструкций или диалога. Поддерживаются только текстовые входы и выходы. Сведения об архитектурных деталях, размере контекста, точном наборе поддерживаемых языков и характеристиках производительности в карточке не приведены. Модель требует значительных вычислительных ресурсов из-за большого числа параметров, а формат GGUF ориентирован на локальное или совместимое с ним инференс-развёртывание. Условия использования определяются Meta Llama 3 Community License: лицензия предоставляет ограниченные права на использование, копирование, модификацию и распространение при соблюдении условий Meta, включая принятие Acceptable Use Policy, указание атрибуции и отображение фразы «Built with Meta Llama 3» при распространении. Для продуктов с более чем 700 млн ежемесячных активных пользователей требуется отдельное разрешение Meta.

Mistral-7B-Instruct-v0.2 — диалоговая инструкцияязычная модель семейства Mistral, разработанная Mistral AI. Это плотная причинная языковая модель на 7,1 млрд параметров для генерации текста и ответов на запросы в формате чата; для работы с ней в README приведены примеры токенизации и инференса через mistral-common и mistral-inference. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Репозиторий содержит веса PyTorch в формате safetensors и распространяется по лицензии Apache-2.0. Карточка характеризует её как быструю демонстрацию возможностей дообучения базовой модели. В README отмечено, что у модели нет встроенных механизмов модерации, поэтому её ответы могут не соблюдать ограничения безопасности и требуют соответствующей защиты при развёртывании.

MaziyarPanahi/Mistral-Large-Instruct-2407-GGUF — это набор файлов модели в формате GGUF для инструкционной языковой модели Mistral-Large-Instruct-2407, разработанной компанией Mistral AI. Репозиторий содержит квантизированные варианты исходной модели, включая уровни 2-, 3-, 4-, 5-, 6- и 8-битной квантизации. Модель предназначена для генерации текста и выполнения задач по инструкциям, а формат GGUF ориентирован на локальный запуск и эффективное использование ресурсов. Файлы совместимы с llama.cpp и рядом связанных инструментов и приложений, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие. Поддерживаются сценарии локального диалога, генерации текста и интеграции через программные библиотеки или API-совместимые серверы. Ключевые характеристики исходной архитектуры, количество параметров, поддерживаемые языки, размер контекста и мультимодальные возможности в README не указаны. Сильными сторонами являются несколько вариантов квантизации и широкая совместимость с экосистемой GGUF; при этом степень потери качества и требования к памяти зависят от выбранного уровня квантизации. Лицензия в представленном описании не указана.

ShayanCyan/phi4-multimodal-quantisized-gguf — это набор предварительно сконвертированных GGUF-весов модели microsoft/Phi-4-multimodal-instruct, подготовленный для локального запуска через специализированную ветку llama.cpp. Репозиторий содержит квантизированную языковую модель phi4-mm-Q4_K_M.gguf и отдельный мультимодальный проектор phi4-mm-omni.gguf с визуальным энкодером на основе SigLIP/Navit-style и аудиоэнкодером Conformer. Нового обучения или новых обучающих данных набор не добавляет. Модель предназначена для локального инференса, исследований, экспериментов и создания прототипов агентов, работающих с текстом, изображениями и аудио. Она поддерживает следование инструкциям, рассуждения, программирование и многоходовой диалог, визуальные вопросы и ответы, создание описаний изображений, анализ документов и графиков, а также автоматическое распознавание речи, перевод с английского на французский и суммаризацию аудио при наличии соответствующего Conformer-пути. Заявленные языки: английский, урду, немецкий, испанский, турецкий, французский и итальянский. Основная языковая модель использует 4-битную групповую квантизацию Q4_K_M, тогда как мультимодальный проектор хранится в F16/F32 для сохранения качества работы с изображениями и аудио. Для запуска требуются совместимые возможности llama.cpp и одновременное подключение языковой модели и mmproj-файла. К преимуществам относятся локальная работа, поддержка нескольких модальностей и снижение требований к памяти за счёт квантизации. Ограничения включают возможные галлюцинации и ошибки интерпретации; модель не следует применять для медицинских, юридических или критически важных решений без проверки человеком. Использование регулируется лицензией phi4-model-license от Microsoft; необходимо соблюдать условия исходной лицензии.

MaziyarPanahi/Qwen2.5-14B-Instruct-GGUF — это квантованные файлы модели Qwen2.5-14B-Instruct в формате GGUF. Исходную модель разработала команда Qwen, а набор GGUF-файлов подготовил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и локальных сценариях инференса. Формат GGUF поддерживается llama.cpp и совместимыми инструментами, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, candle и рядом других решений. Это позволяет запускать модель локально, в том числе с ускорением на GPU и через OpenAI-совместимые серверные интерфейсы, в зависимости от выбранного инструмента. Размер исходной модели составляет 14B параметров. В репозитории доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью и качеством генерации. Модель относится к текстовым; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Конкретные требования к оборудованию зависят от выбранного варианта квантования. Лицензия в предоставленных данных не указана.

JunHowie/Qwen3-0.6B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия языковой модели Qwen3-0.6B, опубликованная JunHowie на базе модели Qwen/Qwen3-0.6B, разработанной командой Qwen. Она предназначена для генерации текста, диалогов, следования инструкциям, решения задач, программирования, перевода и других сценариев применения причинных языковых моделей, включая локальный запуск и развёртывание через vLLM. Модель имеет архитектуру causal language model, 0,6 млрд параметров, из которых 0,44 млрд не относятся к эмбеддингам, 28 слоёв и механизм GQA с 16 головами для Q и 8 для KV. Максимальная длина контекста составляет 32 768 токенов. Qwen3 поддерживает более 100 языков и диалектов, а также переключение между режимами рассуждения и обычной генерации. Квантизация выполнена до 4 бит с размером группы 128; параметр desc_act установлен в false, что, согласно README, повышает эффективность по скорости генерации токенов по сравнению с более ранними квантизованными версиями. К сильным сторонам относятся небольшой размер, сниженные требования к памяти, поддержка мультиязычных задач, диалогов, рассуждений и интеграции с инструментами, а также совместимость с vLLM при наличии версии не ниже 0.9.2. Ограничениями являются малый масштаб модели по сравнению с крупными версиями Qwen3 и возможное снижение качества из-за 4-битной квантизации; конкретные результаты бенчмарков и требования к аппаратному обеспечению в README не приведены. Модель распространяется по лицензии Apache 2.0.

NVIDIA Qwen3-14B NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3-14B, разработанной Alibaba и подготовленной с помощью NVIDIA TensorRT Model Optimizer. Модель предназначена для генерации текста и может использоваться в AI-агентах, чат-ботах, RAG-системах и других приложениях на основе искусственного интеллекта. Модель построена на архитектуре Transformers и содержит около 14,8 млрд параметров. Она принимает и генерирует текстовые последовательности, поддерживает контекст до 131K токенов и использует квантизацию весов и активаций линейных операторов в трансформерных блоках до формата FP4. Модель подготовлена для инференса через TensorRT-LLM, оптимизирована для систем с GPU NVIDIA, включая микроархитектуру Blackwell, и рассчитана прежде всего на Linux. Версия Model Optimizer — 0.35.0. К сильным сторонам относятся уменьшенное представление модели за счёт FP4-квантизации, поддержка длинного контекста и возможность производительного развёртывания на совместимом оборудовании NVIDIA. Ограничения включают зависимость от TensorRT-LLM и совместимой NVIDIA-платформы; сведения о языках, результатах тестирования, обучающих данных и характеристиках качества в карточке не раскрыты. Использование регулируется лицензией Apache 2.0 и допускается для коммерческих и некоммерческих задач.

Qwen3.6-35B-A3B-W4A16-AWQ — это 4-битная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Qwen и дополнительно квантованной пользователем hyperhuzaifa. Квантизация выполнена методом AWQ в формате compressed-tensors pack-quantized с симметричной схемой int4, размером группы 128 и разрядностью W4A16. Модель использует MoE-архитектуру с 35 млрд параметров и рассчитана на запуск с длинным контекстом на одной потребительской видеокарте с 24 ГБ памяти. На диске она занимает около 20,5 ГБ, а в памяти GPU — около 19,06 GiB. Модель предназначена для генерации текста и обработки изображений, поскольку сохраняет vision tower. В архитектуре используются 40 слоёв, включая 30 слоёв gated DeltaNet с линейным вниманием и 10 блоков полного внимания, а маршрутизация MoE выбирает 8 экспертов из 256. Также сохранена MTP-голова для спекулятивного декодирования. Квантированы языковые Linear-слои, включая routed и shared experts, но эмбеддинги, lm_head, vision tower, маршрутизаторы, нормализации и MTP-голова оставлены в bf16 для сохранения качества и совместимости. Основные преимущества — заметно сниженные требования к памяти, поддержка длинного контекста, мультимодальность и совместимость с vLLM версии 0.26.0 и новее. На одной 24-ГБ видеокарте заявлена работа с контекстом до 32K при использовании CUDA graphs; на двух GPU через tensor parallelism поддерживается до 262K токенов. Ограничения включают невысокую допустимую конкурентность на одной карте из-за recurrent cache для DeltaNet, резкое снижение скорости при использовании enforce-eager и необходимость корректно выбирать мультимодальный класс загрузки. MTP не рекомендуется включать на одной 24-ГБ карте из-за резкого уменьшения доступного KV-кэша; на двух PCIe-GPU он также может снижать итоговую производительность. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF-q4kp — квантизированная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Это плотная causal language model на 27 млрд параметров с vision encoder, предназначенная для генерации текста, рассуждений, агентских сценариев, работы с изображениями и видео. Aggressive-профиль ориентирован на прямые ответы без выраженного отказного поведения и с минимальными вступлениями на сложные запросы. Модель содержит 64 слоя, размер скрытого представления 5120, размер FFN 17408, словарь из 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняет встроенный MTP/NextN и дополнительно поддерживает HauhauCS FastMTP для ускорения спекулятивного декодирования; для визуального ввода используется отдельный BF16-проектор. Заявлены языки английский, китайский и другие многоязычные сценарии. Нативный контекст составляет 262 144 токена и может расширяться до 1 000 000. Сильные стороны модели — широкий набор текстовых, reasoning-, agentic-, image- и video-возможностей, большой контекст, несколько вариантов квантизации K_P и ускорение FastMTP. Aggressive-профиль может быть менее подходящим для надёжных длинноконтекстных агентских задач, где предпочтительнее более сбалансированная версия. Модель распространяется по лицензии Apache-2.0; для работы с изображениями и видео требуется отдельный vision projector.

MIRALABS/Qwen3.8-27B-W4A16-AutoRound — 4-битная квантованная версия модели Qwen/Qwen3.8-27B, разработанная MIRALABS на основе базовой модели Qwen. Модель предназначена для генерации текста и обработки изображений с текстом; заявлены английский и китайский языки. Поддерживает рассуждения, вызов инструментов и работу в режиме image-text-to-text. Модель использует INT4-квантизацию весов при BF16-активациях (W4A16), алгоритм AutoRound 0.14.2 с размером группы 128 и формат compressed-tensors для ядер Marlin в vLLM. Размер файлов составляет около 19,5 ГБ. Нативный контекст — 262 144 токена, а с YaRN заявлена поддержка до 1 000 000 токенов. Квантование заметно снижает требования к памяти по сравнению с версией BF16, при этом запуск рассчитан на видеокарты Ampere и новее, включая RTX 3090, RTX 4090 и A100. Сильными сторонами являются большой контекст, поддержка мультимодального ввода, режима рассуждений и эффективный запуск через vLLM на распространённых GPU. Ограничения связаны с требованиями к видеопамяти: на одной RTX 3090 веса помещаются, но полный контекст 262 144 токена недоступен; для длинного контекста рекомендуется несколько GPU или другой формат. Модель использует AutoRound, а не AWQ, GGUF или NVFP4. Распространяется по лицензии Apache 2.0, как и базовая модель.

Qwen3-VL-4B-Thinking-1M-GGUF — мультимодальная vision-language модель в формате GGUF, подготовленная Unsloth на базе Qwen/Qwen3-VL-4B-Thinking. Это reasoning-ориентированная версия семейства Qwen3-VL с плотной архитектурой и примерно 4 млрд параметров, предназначенная для локального и эффективного развёртывания, в том числе через llama.cpp с использованием шаблонов чата Jinja. Модель принимает текст и изображения, а также ориентирована на понимание видео. Она предназначена для визуального вопросно-ответного взаимодействия, распознавания и анализа изображений, OCR, понимания документов, STEM- и математического рассуждения, пространственного анализа, генерации кода и взаимодействия с графическими интерфейсами и инструментами. Заявлены улучшенные возможности визуального распознавания, анализа временной структуры видео и работы с длинным контекстом: базовый контекст составляет 256K токенов с возможностью расширения до 1M. Ключевые архитектурные особенности включают Interleaved-MRoPE для пространственно-временного позиционного кодирования, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками для анализа событий в видео. Заявлена поддержка OCR на 32 языках, однако полный список языков модели в карточке не приведён. Сильными сторонами являются сочетание текстового и визуального рассуждения, работа с длинными документами и видео, пространственное понимание и сценарии visual agent. Ограничения включают зависимость качества от используемой квантизации GGUF, вычислительных ресурсов и совместимости программного окружения; конкретные параметры квантизации и результаты тестов в README не указаны. Модель распространяется по лицензии Apache-2.0.

RWKV7-G1i-1.5B-20260805 — базовая предварительно обученная языковая модель архитектуры RWKV-7, разработанная Бо Пэном, Ю Чжаном, Сонглином Яном, Жуйчуном Чжаном и Чжиюанем Ли при поддержке RWKV Project под эгидой LF AI & Data Foundation. Модель содержит 1,5 млрд параметров и использует рекуррентную архитектуру без attention: состояние фиксированного размера и вычисления на каждый генерируемый токен постоянны, при этом обучение допускает параллелизацию. Для работы применяется формат flash-linear attention и токенизатор RWKV World с размером словаря 65 536 токенов. Модель предварительно обучена на веб-текстах, коде, синтетических данных, инструкциях, чатах и материалах для рассуждений. Она предназначена для генерации текста, оценки, последующего обучения и тонкой настройки; шаблон чата задаёт формат промпта, но сам по себе не означает, что модель является безопасным или согласованным ассистентом. Метаданные каталога указывают контекст 2048 токенов и поддержку английского, китайского, японского, корейского, французского, арабского, испанского и португальского языков. Лицензия — Apache-2.0.

Spark-X2.5-1.7B-GGUF — компактная языковая модель в формате GGUF, разработанная XHToken на базе XHToken/Spark-X2.5-1.7B. Она предназначена для общего назначения: диалогов, написания и перевода текстов, рассуждений, программирования, использования инструментов и агентских сценариев. Модель имеет гибридную архитектуру внимания и поддерживает нативный контекст длиной до 1 миллиона токенов. Заявлена поддержка более 200 языков; в карточке модели отдельно указаны английский и китайский. Размер базовой модели — 1,7 млрд параметров. Формат GGUF ориентирован на локальный запуск с помощью llama.cpp, Ollama, LM Studio и Unsloth, однако для нативной поддержки архитектуры требуются совместимые версии этих инструментов. К сильным сторонам относятся компактный размер, широкий набор задач, многоязычность, очень длинный контекст и возможность локального развертывания. README не содержит результатов тестирования, подробностей обучения, сведений о конкретных вариантах квантования или детального описания ограничений качества, поэтому производительность в отдельных задачах по этим данным оценить нельзя. Модель распространяется по лицензии Apache License 2.0.

StarPII — модель распознавания именованных сущностей, разработанная BigCode для поиска персональных данных и секретов в исходном коде. Она основана на дообученном bigcode-encoder с линейной головой классификации токенов и размечает шесть категорий: имена, адреса электронной почты, ключи, пароли, IP-адреса и имена пользователей. Для обучения использованы размеченные данные и предварительно псевдоразмеченные примеры; датасеты включают код на 31 языке программирования, а базовый энкодер предварительно обучался на 88 языках программирования. Модель подходит для обнаружения потенциально чувствительных данных в исходном коде и подготовки к их маскированию при обучении моделей или обработке репозиториев. В опубликованных результатах качество различается по типам сущностей: например, F1 для электронной почты составляет 96,01%, IP-адресов — 91,61%, ключей — 56,66%; псевдоразметка улучшила показатели для имен, имен пользователей и паролей. Авторы рекомендуют постобработку, включая фильтрацию коротких значений, проверку IP-адресов и отбрасывание имен пользователей из-за ложных срабатываний и пропусков. Возможны ложноположительные и ложноотрицательные результаты, а качество зависит от типа данных и языка программирования. Лицензия в предоставленных сведениях не указана.

Stockmark-2-100B-Instruct — плотная авторегрессионная языковая модель семейства Llama, разработанная Stockmark Inc. с нуля. Она содержит около 95,1 млрд параметров, обучена примерно на 2 трлн токенов: 60% английских данных, 30% японских и 10% кода. После предобучения модель прошла SFT и DPO на синтетических японских данных для улучшения следования инструкциям. Модель предназначена для диалогов и генерации текста, особенно на японском языке, а также поддерживает английский. Контекстное окно составляет 32 768 токенов; архитектура использует 86 слоёв и групповое запросное внимание с 72 головами Q и 8 головами KV. В опубликованной оценке Japanese MT-bench модель показала средний результат 7,87, включая задачи извлечения информации, ролевого диалога, STEM и программирования. Для запуска доступны веса в формате Safetensors; README приводит примеры использования с Transformers и vLLM. Модель распространяется по лицензии MIT. Для практического развертывания требуется значительный объём вычислительной памяти из-за размера модели; результаты бенчмарка не гарантируют качество в конкретном приложении.

TechxGenus/DeepSeek-V2-Lite-Chat-AWQ — AWQ-квантованная версия диалоговой модели DeepSeek-V2-Lite-Chat, разработанной DeepSeek AI. Это языковая модель, дообученная для взаимодействия в формате чата и предназначенная для генерации текста, ответов на вопросы и других сценариев использования разговорных LLM. Модель построена по архитектуре Mixture-of-Experts (MoE) с Multi-head Latent Attention (MLA): всего она содержит 16 млрд параметров, из которых при обработке активируется 2,4 млрд. MLA сжимает KV-кэш в латентное представление, а разреженные вычисления MoE повышают эффективность обучения и инференса. Контекстное окно составляет 32 тысячи токенов. В README заявлена поддержка сценариев на английском и китайском языках; модель обучалась с нуля на 5,7 трлн токенов. К сильным сторонам относятся сравнительно небольшое число активных параметров, эффективность инференса и возможность развертывания на одной GPU с 40 ГБ памяти. Квантованный формат AWQ ориентирован на более экономичное локальное развертывание, однако README не приводит подробностей о влиянии квантования на качество, аппаратных требованиях конкретного запуска или результатах именно этой квантованной сборки. Модель распространяется по лицензии DeepSeek Model Agreement; код проекта отдельно отмечен как распространяемый по MIT, но это не заменяет условия лицензии самой модели.

DeepSeek-V4-Flash-0731-GGUF — квантизированная версия модели DeepSeek-V4-Flash-0731, разработанной DeepSeek и опубликованной в формате GGUF организацией ggml-org. Модель предназначена для задач генерации текста и может использоваться в совместимых инструментах для локального или серверного запуска, включая llama.cpp и приложение llama.app. В README не указаны архитектура, количество параметров, поддерживаемые языки, размер контекста и точный набор модальностей; по имеющимся данным модель относится к текстовым генеративным моделям. Доступны квантизированные варианты, при этом для вариантов Q2 пока не применялась imatrix-калибровка, что может влиять на их качество. Модель автоматически конвертирована средствами проекта ggml-org/convert. Модель распространяется по лицензии MIT. Для запуска требуется совместимое программное обеспечение, поддерживающее формат GGUF.

DeepSeek-V4-Pro — крупная языковая модель, разработанная DeepSeek и преобразованная сообществом mlx-community в формат MLX. Эта версия предназначена для генерации текста и запуска с библиотекой mlx-lm, преимущественно в сценариях локального инференса на совместимом оборудовании Apple MLX. Модель использует архитектуру Mixture-of-Experts (MoE), содержит около 1,6 трлн параметров в общей сложности, из которых активируется около 49 млрд, и поддерживает контекст до 1 млн токенов. Представленная версия имеет 8-битное представление весов. В карточке указана поддержка английского языка и текстовая модальность; сведения о других языках и модальностях отсутствуют. К сильным сторонам относятся очень большой контекст, MoE-архитектура с существенно меньшим числом активируемых параметров при каждом обращении и адаптация к MLX. Ограничения этой карточки — отсутствие подробных данных о качестве, бенчмарках, требованиях к памяти, скорости, поддерживаемых языках и особенностях применения; за дополнительной информацией предлагается обращаться к исходной карточке DeepSeek-V4-Pro. Лицензия указана как MIT.

Это мультимодальная модель Gemma 4 E4B, разработанная Google DeepMind и представленная в формате GGUF. Данная версия основана на checkpoint coder3101/gemma-4-E4B-it-qat-q4_0-unquantized-heretic, прошла Quantization-Aware Training и предназначена для запуска через llama.cpp, в том числе на устройствах с ограниченными ресурсами. Модель работает с текстом, изображениями и аудио, поддерживает системные сообщения, нативный вызов функций и настраиваемый режим рассуждений. Архитектура использует гибридное внимание со скользящим окном и глобальным вниманием; модель содержит 42 слоя, размер скользящего окна составляет 512 токенов, а контекстное окно — 131 072 токена. Эффективный объём параметров заявлен на уровне 4,5 млрд при 8 млрд параметров с учётом embeddings. Основные текстовые тензоры представлены в формате Q4_0_PURE, согласованном с QAT-калибровкой; vision/audio projector доступен в вариантах Q8_0 и BF16. Для мультимодального ввода требуется отдельный projector-файл. Особенностью версии heretic является постобработка с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation, направленная на подавление отказов при сохранении рассуждений и мультимодальных возможностей. Заявленные показатели отказов являются самоотчётными и не подтверждены независимым тестированием. Использование формата ограничено Q4_0_PURE: стандартные варианты вроде Q4_K_M или Q5_K_M для этой QAT-модели не рекомендуются, поскольку могут ухудшить качество. Модель распространяется по лицензии Gemma; условия определяются официальными условиями Google Gemma.

GLM4.7-Distill-LFM2.5-1.2B — компактная плотная языковая модель на архитектуре Liquid AI LFM2, разработанная автором репозитория на основе LiquidAI/LFM2.5-1.2B-Instruct. Модель содержит около 1,5 млрд параметров по метаданным (в README указано 1,2 млрд) и обучена методом офлайн-дистилляции: для обучения использовались синтетические ответы GLM-4.7 и открытые наборы инструкций. Учитель не нужен при запуске, а цепочки рассуждений в модель не включены. Модель предназначена для диалогового помощника, следования инструкциям, планирования и разбиения задач, суммаризации, объяснений, лёгкой помощи с кодом и агентных сценариев, включая локальный запуск на периферийных устройствах. Заявлены контекст до 128 000 токенов и поддержка английского языка; метаданные также указывают интерфейс для вызова инструментов. Модель ориентирована на краткие ответы и совместима с Transformers и safetensors. Автор предупреждает, что модель может галлюцинировать, ошибаться в сложных логических выводах и уверенно отвечать при недостатке оснований; она не подходит для актуальных событий и критически важных медицинских, юридических или безопасностных решений без проверки. Лицензия — Apache-2.0.

GLM-4.7-heretic — версия GLM-4.7 от Z.ai, обработанная методом abliteration с помощью Heretic v1.1.0. По данным карточки, изменение снижает частоту отказов, сохраняя качество исходной модели; в выбранном испытании зафиксировано 4 отказа из 100, а KL-дивергенция составила 0,0181. Модель предназначена для генерации текста и диалогов, а базовая GLM-4.7 рассчитана на программирование, агентные задачи и рассуждения. Это модель семейства GLM-4 MoE с 23,4 млрд параметров и контекстом до 202 752 токенов; метаданные указывают английский и китайский языки. Доступны веса в формате Safetensors и интерфейс чата. Лицензия — MIT.