II.8Инженерия данных и аналитика

Qwen1.5-1.8B-Chat-GPTQ-Int4 — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это авторегрессионная языковая модель для генерации текста и диалоговых сценариев: виртуальных ассистентов, ответов на вопросы, написания и преобразования текста, а также работы с естественными языками и кодом. Модель прошла supervised fine-tuning и direct preference optimization для улучшения соответствия пользовательским предпочтениям. Модель основана на decoder-only архитектуре Transformer и содержит 1,8 млрд параметров. Вариант GPTQ-Int4 использует 4-битное квантование, что снижает требования к памяти и делает модель более подходящей для локального запуска. Указаны поддержка нескольких естественных языков и кода, текстовая модальность и контекст до 32K токенов. Для beta-версии Qwen1.5 заявлены SwiGLU, смещения в QKV attention и улучшенный токенизатор; group query attention и сочетание sliding window attention с полной attention в этой версии временно не включены, кроме модели 32B. Сильные стороны модели — небольшой размер, квантование, поддержка многоязычных сценариев и диалоговая настройка. Ограничения связаны с относительно малым числом параметров, возможными проблемами при переключении языков и более низкой точностью по сравнению с крупными моделями семейства. Модель распространяется по лицензии Tongyi Qianwen Research License; точные условия следует проверять в файле лицензии репозитория.

sudo-0x2a/Qwen3.6-27B-NVFP4-GPTQ — квантованная версия базовой модели Qwen/Qwen3.6-27B, подготовленная автором репозитория sudo-0x2a. Это текстогенерационная модель с поддержкой визуальных компонентов, предназначенная прежде всего для локального запуска и инференса на высокопроизводительном потребительском оборудовании. Тестирование проводилось на одной NVIDIA RTX 5090 с использованием vLLM и FP8 для KV-кэша. Модель использует смешанную точность: слои внимания, линейного внимания и MLP квантованы в NVFP4, а vision-компоненты, MTP, lm head и embeddings сохранены в BF16. При квантовании применялись SmoothQuant и GPTQ, калибровка выполнена на 512 образцах с длиной последовательности 8192. По приведённым локальным оценкам модель показывает 85,0 на подмножестве MMLU-Pro и GPQA Diamond, 57,0 на SWE-bench Verified Easy и 84,0 на подмножестве MMMU Pro; результаты напрямую сопоставимы с BF16-оценками ограниченно, поскольку получены в разных средах. Главное преимущество — существенное снижение требований к памяти при сохранении широких возможностей базовой модели, включая работу с текстом, кодом и визуальными задачами. При этом надёжность работы с длинным контекстом не гарантируется: из-за сильного квантования чувствительных linear attention layers возможна деградация на больших длинах последовательности. Модель распространяется по лицензии Apache-2.0.

Карточка модели claymorecrystal/Qwen3.6-27B-PRISM-PRO-DQ на Hugging Face совпадает с карточкой Ex0bit/Qwen3.6-27B-PRISM-PRO-DQ, поэтому описание составлено по ней. Ex0bit/Qwen3.6-27B-PRISM-PRO-DQ — квантованная версия PRISM-PRO на базе Qwen3.6-27B, подготовленная проектом PRISM в формате GGUF для llama.cpp с применением динамического квантования. Она сохраняет встроенную MTP-голову для черновой генерации и полную башню обработки изображений; размер файла составляет около 13,7 ГБ вместо 55 ГБ у BF16-версии. Модель предназначена для диалоговой генерации текста и может использоваться в сценариях, где нужны возможности базовой Qwen3.6-27B, включая программирование, агентные задачи и работу с изображениями. Для ускорения вывода README описывает спекулятивное декодирование с MTP или отдельной EAGLE-3-моделью; заявлено совпадение результата с обычным жадным декодированием с оговоркой о вычислительных различиях при пакетной проверке. Базовая архитектура сочетает 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания; в карточке не приведены общее число параметров и длина контекста. Модель распространяется по лицензии Apache-2.0. Квантование уменьшает размер по сравнению с BF16, однако README не сообщает точные потери качества или требования к видеопамяти.

Avesed/Qwen3.6-35B-A3B-INT4-W4A16 — это квантизированная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen и подготовленной Avesed. Модель предназначена для генерации текста, решения математических и академических задач, рассуждений и многоязычных сценариев на английском и китайском языках. В README также указано наличие vision tower и MTP head, однако подробности поддерживаемых мультимодальных сценариев не приведены. Это гибридная Mixture-of-Experts-модель с 256 экспертами, из которых для каждого запроса активируются 8; суммарный размер составляет около 35B параметров, а активная часть — около 3B. Архитектура использует GatedDeltaNet для линейного внимания. Основная особенность версии — weight-only-квантизация AWQ до INT4 в формате W4A16 с group_size 32: квантизированы экспертные FFN, тогда как чувствительные к качеству компоненты, включая self-attention, роутер, shared expert, GatedDeltaNet, эмбеддинги, lm_head, vision tower и MTP head, сохранены в bf16. Заявленные результаты составляют 96,8% на GSM8K и 80,2% на MMLU-Pro. Модель ориентирована на эффективный инференс через vLLM; для запуска требуется конфигурация с tensor parallelism, а на Ampere доступен режим W4A8 с INT8-активациями через специализированную сборку vllm-ampere-optimized. Ограничениями являются зависимость от совместимого программного стека и аппаратного ускорения, а также возможное снижение качества из-за квантизации; размер контекста в README не указан. Модель распространяется по лицензии Apache-2.0.

Карточка модели bzannah/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 на Hugging Face совпадает с карточкой lactroiii/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16, поэтому описание составлено по ней. Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 — дообученная методом abliteration версия мультимодальной модели Qwen3.8-27B от Alibaba, опубликованная lactroiii. Это плотная модель на 27 млрд параметров в формате BF16 на базе архитектуры Qwen3.5; она принимает текст и изображения и генерирует текст. В README описана проверка на NVIDIA H200 через vLLM, включая работу с изображениями, режим рассуждений и вызов инструментов. Для обслуживания автор проверял контекст 16 384 токена и указывает, что базовое окно модели достигает 262 144 токенов. Модель предназначена для диалогов и инструкций, рассуждений, программирования, анализа изображений, вызова инструментов, творческого письма и исследований безопасности и выравнивания. Abliteration уменьшает склонность модели отказывать и делает ответы более прямыми; автор сообщает о сохранении связности ответов, но это не является независимой оценкой качества. Модель может выдавать опасный, незаконный или откровенный контент и не должна использоваться в сценариях высокого риска без внешних мер безопасности. Лицензия — Apache-2.0.

KostkaIT/Qwen3.8-27B-Huihui-Abliterated-oQ6e-MTP-MLX — мультимодальная версия семейства Qwen3.8-27B, подготовленная независимым технологическим проектом KostkaIT (Łukasz Frąckowiak, vsnake87). Модель является MLX-конвертацией производного варианта huihui-ai/Huihui-Qwen3.8-27B-abliterated и предназначена для локального запуска на компьютерах с Apple Silicon через oMLX и совместимые MLX-рантаймы. Модель поддерживает работу с текстом и изображениями, включая vision-конфигурацию, файлы процессора и необходимые vision-тензоры. В комплект включены нативные веса MTP, предусмотрен один скрытый слой MTP, а в совместимых версиях oMLX эту функцию можно включать и отключать. Модель ориентирована на программирование, рассуждения, мультимодальные ассистенты и исследовательские задачи. Сведения о поддерживаемых языках и размере контекста в карточке не указаны. Используется качественно ориентированное 6-битное affine-квантование oQ6e с group_size 64, importance matrix и сохранением отдельных чувствительных тензоров в 8-битном виде. Веса распространяются в формате MLX safetensors, разделённых на пять файлов. К сильным сторонам относятся сохранение нативной MTP-поддержки и мультимодальных возможностей при уменьшенном размере, а ограничениями — зависимость от Apple Silicon и совместимого MLX/oMLX-окружения, а также потенциальные потери качества, связанные с квантованием; результаты бенчмарков не приведены. Лицензия — Apache-2.0.

Qwen3.8-27B-IQ4-XS-16GB-VRAM-GGUF — квантованная версия модели Qwen3.8-27B, опубликованная tooltd и распространяемая в формате GGUF для работы с llama.cpp. Модель оптимизирована для запуска на видеокартах с 16 ГБ VRAM примерно при 4 BPW, а отдельные варианты позволяют использовать карты с 12 ГБ памяти примерно при 3 BPW. Ключевая особенность репозитория — смешанное квантование ZB-ZipBrain, распределяющее разрядность тензоров с учётом их влияния на качество и калибровки по importance matrix. Доступны варианты IQ4_XS и IQ3, включая сборки с настройками для разных ограничений по памяти. В README модель также классифицирована как image-text-to-text, однако подробные сведения об архитектуре мультимодального компонента, поддерживаемых языках и максимальном контексте не указаны. Модель предназначена для локального запуска общих LLM-сценариев, включая генерацию текста и кода; для отдельных квантованных вариантов приведены результаты HumanEval и MBPP. Сильной стороной является сочетание размера 27B с уменьшенным потреблением памяти и относительно высоким качеством: вариант ZB4.00-MIN-v5.1-IQ4_XS показывает 0,921 на HumanEval+ и 0,780 на MBPP+. Ограничения связаны с потерями качества из-за квантования, зависимостью результата от конкретного варианта и отсутствием подробных данных о языках, контексте и мультимодальных возможностях. Лицензия — Apache-2.0.

Qwen3-VL-2B-Instruct-1M-GGUF — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen и представленная в формате GGUF с динамической квантизацией Unsloth Dynamic 2.0. Репозиторий основан на Qwen3-VL-2B-Instruct и предназначен для запуска и инференса через совместимые инструменты, включая llama.cpp и Transformers. Модель принимает текст и изображения, а также ориентирована на понимание видео. Она предназначена для визуального вопросно-ответного взаимодействия, описания изображений, OCR, анализа документов, STEM- и математического рассуждения, пространственного анализа, генерации кода и взаимодействия с графическими интерфейсами и инструментами. Заявлены поддержка контекста 256K с возможным расширением до 1M токенов, улучшенное понимание длительных видео и OCR на 32 языках; конкретный перечень языков в README не приведён. Архитектурно модель использует плотную конфигурацию с примерно 2 млрд параметров, а среди ключевых компонентов указаны Interleaved-MRoPE для временных и пространственных позиций, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками. Сильными сторонами являются сочетание текстового и визуального понимания, работа с длинным контекстом, документами, видео и пространственными отношениями. Ограничения включают небольшой по современным меркам размер, возможные потери качества из-за квантизации и отсутствие в README подробных количественных результатов, точного списка языков и требований к аппаратному обеспечению. Лицензия — Apache-2.0.

Qwen3-VL-30B-A3B-Thinking — мультимодальная модель семейства Qwen3-VL в варианте с режимом рассуждений, представленная в репозитории Unsloth как набор весов с исправлениями шаблона чата. Она принимает текст и изображения и предназначена для диалога, визуального анализа и ответов на вопросы по изображениям; карточка также описывает распознавание текста, понимание видео, пространственные рассуждения и взаимодействие с инструментами. Архитектура — Qwen3 VL MoE для условной генерации; веса опубликованы в формате safetensors, лицензия Apache-2.0. В README заявлены контекст 256K с возможностью расширения до 1M, поддержка OCR на 32 языках, анализ длительных видео, распознавание элементов интерфейса и генерация кода или схем по визуальным примерам. Эти возможности перечислены для семейства Qwen3-VL; подробные результаты тестирования именно этого набора весов в карточке не приведены. Для запуска с llama.cpp README рекомендует параметр --jinja.

Qwen3-VL-32B-Thinking — плотная мультимодальная модель семейства Qwen3-VL от Qwen, предназначенная для диалога и рассуждений по тексту и визуальным данным. Репозиторий содержит веса модели для использования с библиотекой Transformers; заявлена лицензия Apache-2.0. Модель принимает изображения и текст, а также рассчитана на понимание видео, пространственных отношений, OCR и визуальных интерфейсов. Она подходит для ответов на вопросы по изображениям и видео, распознавания и разбора документов, STEM-задач, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. В README заявлены контекст 256 тысяч токенов с возможностью расширения до 1 миллиона и поддержка OCR на 32 языках. Ключевые особенности включают объединение текстовой и визуальной обработки, временное позиционирование для видео и извлечение признаков на нескольких уровнях. Это вариант Thinking, ориентированный на усиленное рассуждение; качество и скорость на конкретных задачах зависят от сценария и реализации. Описание не приводит результаты бенчмарков или подробные ограничения применения.

Raptor 0.6 — GGUF — это квантизированная версия модели Raptor 0.6, разработанная Osaurus AI на базе XHToken/Spark-X2.5-4B. Модель предназначена для генерации текста, рассуждений, агентских сценариев и использования инструментов, включая работу с файлами и вызов функций. Заявлена поддержка английского и китайского языков, а формат GGUF ориентирован на локальный запуск, в частности в Osaurus for Windows и совместимых рантаймах семейства llama.cpp. Модель содержит около 4 млрд параметров и использует архитектуру spark2_5: объединённый q_k_v_proj, sigmoid-gate на выходе attention, GELU-MLP, RMSNorm без сдвига, а также комбинацию sliding и full attention с окном 512 токенов. В репозитории доступны варианты Q6_K размером около 3,38 ГБ и Q4_K_M размером около 2,60 ГБ; оба созданы с importance matrix для снижения потерь при квантизации. Поддерживаются встроенное рассуждение с отделением reasoning_content от основного ответа и преобразование вызовов инструментов в стандартный OpenAI JSON. Сильными сторонами являются возможность локального запуска, небольшой размер, поддержка reasoning и tool use, а также калибровка imatrix; для Q6_K заявлено совпадение top-1 с исходными bf16-весами на уровне 98,27%. Ограничение — необходим runtime с поддержкой архитектуры spark2_5: стандартные версии llama.cpp, Ollama и LM Studio без такой поддержки эти файлы не загрузят. Для работы рекомендуется llama.cpp с параметром --jinja; при сложных запросах рассуждения могут потребовать более 8192 выходных токенов, которые учитываются вместе с входом в пределах контекстного окна. Лицензия — Apache-2.0.

Zamba2-7B-Instruct — диалоговая языковая модель Zyphra, дообученная на наборах данных для следования инструкциям и общения на основе Zyphra/Zamba2-7B. Это плотная гибридная архитектура, сочетающая слои пространства состояний Mamba2 с блоками внимания Transformer; общие веса внимания и LoRA-проекции помогают ограничить дополнительные параметры. В метаданных указано 16,8 млрд параметров, а базовый контекст составляет 4096 токенов. Модель предназначена для генерации ответов в чате, выполнения инструкций, рассуждений и других задач общего назначения. В README описан экспериментальный режим контекста до 16 тысяч токенов с резким снижением качества примерно после 18 тысяч. Разработчик заявляет о низкой задержке генерации и меньших затратах памяти по сравнению с сопоставимыми трансформерными моделями, однако оптимизированные ядра Mamba2 требуют отдельной установки; без них задержка и расход памяти значительно выше. Также README предупреждает о временной реализации Hugging Face, совместимость которой с некоторыми инструментами может быть неполной. Лицензия — Apache-2.0.

Behemoth-Gigaberg-SLERP-0.2 — объединённая языковая модель на архитектуре Mistral, созданная методом SLERP с помощью mergekit из Behemoth-123B-v1.2 и Gigaberg-Mistral-Large-123B. Модель предназначена для генерации текста и диалогового общения; в метаданных также заявлен интерфейс вызова инструментов. Модель содержит 122,2 млрд параметров, использует формат safetensors и имеет контекстное окно до 131 072 токенов. Она принимает текст и генерирует текст. Данные о поддерживаемых естественных языках в предоставленной карточке не приведены. Лицензия и конкретные ограничения применения в предоставленных данных не описаны. Качество и надёжность ответов могут зависеть от запроса и сценария использования; ответы следует проверять, особенно при вызове инструментов.

Citaman/command-r-6-layer — слитая с помощью mergekit методом SLERP языковая модель на архитектуре CohereForCausalLM. Она собрана из двух срезов слоёв Citaman/command-r-7-layer и предназначена для диалоговой генерации текста и взаимодействия с инструментами. Модель содержит 7 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Репозиторий распространяет веса в формате safetensors; лицензия в предоставленных данных не указана.

Command R7B (12-2024) — компактное обновление модели Command R+, выпущенное Cohere в декабре 2024 года. Она предназначена для генерации текста и рассчитана на быстрые ответы при работе с дополненной поиском генерацией (RAG), вызовом инструментов и агентными сценариями, где требуется сложное рассуждение. Модель подходит для создания помощников, которые отвечают на вопросы с опорой на документы, используют подключённые инструменты и выполняют многошаговые задачи. В доступных сведениях не указаны размер, архитектура, контекст, языки и лицензия, поэтому их нельзя надёжно описать.

Citaman/command-r-9-layer — объединённая текстовая модель, созданная автором репозитория с помощью mergekit из срезов Citaman/command-r-10-layer методом SLERP. Это плотная авторегрессионная архитектура Cohere с 9,5 млрд параметров; метаданные также указывают поддержку диалога и интерфейса вызова инструментов. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы и работу с инструментами. Контекст — до 8192 токенов; вход и выход — текст. Репозиторий содержит веса в формате safetensors. Модель опубликована под лицензией, сведения о которой не представлены в предоставленных данных.

cyberneurova-Qwen3.8-27B-GGUF — набор квантизированных сборок модели cyberneurova-Qwen3.8-27B, разработанной cyberneurova. Модель предназначена для локального запуска в llama.cpp, Ollama, LM Studio, Jan и других средах, поддерживающих формат GGUF, и относится к задачам генерации текста. Модель имеет размер 27B параметров и доступна в вариантах квантизации от Q2_K до Q8_0 объёмом примерно от 10 до 29 ГБ. Рекомендуется вариант Q4_K_M как компромисс между качеством и требованиями к памяти. Заявлена мультимодальность: для обработки изображений требуется отдельный vision projector mmproj-F16.gguf объёмом около 0,9 ГБ. В README приведён пример контекста 8192 токена, однако максимальный размер контекста явно не указан. Языки не заявлены. К сильным сторонам относятся локальный запуск, несколько уровней квантизации, поддержка изображений и заявленный результат базовой модели 11 из 12 на исполняемом бенчмарке программирования. Ограничения включают зависимость качества и требований к памяти от выбранной квантизации, необходимость дополнительного проектора для работы с изображениями и наличие сокращённых встроенных отказов; пользователь несёт ответственность за применение модели и соблюдение законодательства. Модель распространяется по лицензии Apache-2.0.

DeepHermes 3 Preview — предварительная версия языковой модели серии Hermes, разработанная Nous Research. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров, дообученная на базе meta-llama/Meta-Llama-3.2-3B. Она предназначена для диалогов, следования инструкциям и генерации текста; режим рассуждений с развёрнутой цепочкой рассуждений и обычный режим ответа переключаются системным запросом. Модель также поддерживает интерфейс вызова функций и генерацию структурированных ответов в формате JSON. Модель использует формат чата Llama-Chat, рассчитана на контекст до 131 072 токенов и поддерживает английский язык. В карточке описаны применение Transformers и vLLM, а веса доступны в формате safetensors. Это предварительный выпуск с ранними возможностями рассуждения, поэтому возможны нестабильное поведение и недочёты. Лицензия — Llama 3 Community License (llama3).

unsloth/DeepSeek-R1-GGUF-UD — это GGUF-квантизированная версия модели DeepSeek-R1, разработанной командой DeepSeek и подготовленной в формате динамической квантизации Unsloth Dynamic v2.0. Модель предназначена для локального запуска через llama.cpp и ориентирована на задачи рассуждений, генерации текста, программирования и диалогового использования. В README указан английский язык, библиотека Transformers и поддержка формата GGUF. Доступны варианты с эффективной разрядностью от 1,58 до 2,51 бит: UD-IQ1_S, UD-IQ1_M, UD-IQ2_XXS и UD-Q2_K_XL. Размер файлов составляет примерно от 131 до 212 ГБ. Квантизация выборочно применяет разные разрядности к компонентам MoE, чтобы сохранить больше точности по сравнению со стандартными 1-битными и 2-битными вариантами. В README приведены оценки качества от Fair до Best, однако архитектурные параметры, общее число параметров и размер контекста исходной модели не указаны; для примеров запуска используется контекст 8192 токена. Сильные стороны модели — возможность локального запуска, уменьшенный объём хранения относительно полной точности и повышенная точность благодаря динамической квантизации. Ограничениями являются очень большой размер даже у наиболее компактной версии, необходимость совместимого оборудования и llama.cpp, а также возможная потеря качества на низких уровнях квантизации. Для запуска рекомендуется использовать специальный chat template и параметр --min-p 0.05; доступна выгрузка части слоёв на GPU. Репозиторий распространяется по лицензии MIT.

MuXodious выпустил статические квантизованные GGUF-сборки Gemma 4 26B A4B Instruct, дообученной с помощью Heretic 1.2.0 и Arbitrary-Rank Ablation. Это диалоговая мультимодальная модель семейства Gemma 4 с архитектурой Mixture-of-Experts; в этой версии доступны текстовый и визуальный ввод и текстовый вывод. В репозитории есть GGUF и GGUF BF16. Шаблон чата обновлён с исправленной версией от Google. Модель предназначена для диалога, рассуждений и анализа изображений, включая извлечение информации из документов, OCR, понимание диаграмм и интерфейсов. README семейства Gemma 4 также описывает генерацию и редактирование кода, суммаризацию, поддержку длинного контекста до 256K токенов и мультиязычность; эти свойства приведены для семейства и отдельно не подтверждены для данной сборки. Ablation заметно уменьшила отказы: в приведённой проверке их стало 3 из 104 против исходных 103 из 104. Модель распространяется под лицензией Apache 2.0. Из-за ablation-процедуры она может отказывать реже, поэтому ответы на потенциально рискованные запросы требуют проверки; результаты теста отказов не гарантируют поведение в других сценариях. Для запуска GGUF требуется совместимый движок и корректный шаблон чата.

Grafted-Hermetic-Platypus-B-2x7B — языковая модель для диалогов и генерации текста, созданная объединением Platyboros-Instruct-7B и Hermes-Instruct-7B-100K. Модель построена на архитектуре Mixtral с механизмом смеси экспертов (MoE), содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель подходит для ответов на инструкции, диалогов и других задач генерации текста. В README указаны два варианта формата запросов: Mistral-Instruct и Alpaca; токенизатор по умолчанию настроен на Alpaca. В карточке приведены результаты оценок на нескольких тестах, включая AI2 Reasoning Challenge и HellaSwag. Модель распространяется по лицензии Apache-2.0. Данные о поддерживаемых языках и специфических ограничениях качества в предоставленных материалах отсутствуют.

Hermes2pro-mistral-saul-instruct-slerp — объединённая разговорная языковая модель, созданная с помощью mergekit методом SLERP из NousResearch/Hermes-2-Pro-Mistral-7B и Equall/Saul-Instruct-v1. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для диалогов и генерации текста по инструкциям. Она принимает текст и выдаёт текст; нативное окно контекста составляет 32 768 токенов. Модель опубликована в формате safetensors и доступна для использования через Transformers. Карточка не уточняет лицензию и языковой охват объединённой модели.

Vikhrmodels/it-5.3-fp16-32k — русско-английская чат-модель семейства Vikhr, разработанная авторами открытых Vikhr instruction-tuned моделей. Это плотная авторегрессионная Llama-модель на 7,3 млрд параметров для диалогов и генерации текста. Вариант 0.5 получил дополнительное обучение SFT, настройку параметров предобучения и контекст RoPE длиной 32 768 токенов. Модель рассчитана на многоходовые диалоги, ответы на сложные запросы и создание JSON; README отмечает более стабильную работу с JSON и многоходовыми диалогами на длинном контексте. Репозиторий содержит веса в формате Safetensors и распространяется по лицензии Apache 2.0. Карточка указывает поддержку русского и английского языков. Модель может ошибаться в фактах и следовании формату; улучшенная стабильность JSON и длинного контекста не гарантирует корректный результат для каждого запроса. Для задач, требующих высокой надёжности, ответы следует проверять.

Jan-v1-4B-GGUF — языковая модель для генерации текста, разработанная командой Jan (Jan Community/Jan HQ). Она предназначена для агентских сценариев, рассуждений, решения задач, диалогового взаимодействия и использования инструментов, прежде всего в приложении Jan и при локальном развёртывании через совместимые средства, такие как llama.cpp. Модель основана на Jan-v1-4B, созданной на базе подходов Lucy и Qwen3-4B-Thinking-2507. Модель имеет размер 4B параметров, поддерживает английский язык и относится к классу text-generation. Формат GGUF ориентирован на локальный запуск, в том числе с llama.cpp; README также описывает интеграцию с Jan App и использование tool calling. Среди заявленных сильных сторон — улучшенные возможности рассуждения и работы с инструментами, а также результат 91,1% в SimpleQA. Рекомендуемые параметры генерации включают temperature 0.6, top_p 0.95, top_k 20 и max_tokens 2048. В README не указаны размер контекстного окна, точная схема квантования GGUF, поддерживаемые модальности помимо текста и подробные условия проведения бенчмарков, поэтому эти характеристики нельзя определить по имеющимся данным. Модель распространяется по лицензии Apache 2.0.

Jan-v1-AIO-GGUF — набор GGUF-квантованных версий моделей семейства Jan-v1, опубликованный prithivMLmods. В состав входят Jan-v1-2509, Jan-v1-edge и Jan-v1-4B, предназначенные для локального запуска через совместимые inference-движки, интеграции с приложением Jan, автономной работы и повышения приватности. Модели ориентированы на генерацию текста, агентское рассуждение, решение задач, использование инструментов, ответы на фактические вопросы и сценарии с веб-поиском. Jan-v1-4B — языковая модель на 4 млрд параметров, построенная на архитектуре Qwen3-4B-thinking и поддерживающая контекст до 256 000 токенов. Для неё заявлена точность 91,1% на бенчмарке SimpleQA. Jan-v1-edge — облегчённая модель для быстрой работы на устройствах с ограниченными ресурсами; она дистиллирована из более крупной Jan-v1 и дообучалась в два этапа: supervised fine-tuning и reinforcement learning with verifiable rewards. В README точные размеры Jan-v1-2509 и Jan-v1-edge, а также сведения о мультимодальности не указаны. Поддерживается английский язык. Доступны варианты с разными типами квантования — от Q2_K до Q8_0, а также BF16, F16 и F32, что позволяет выбирать между размером файлов, требованиями к памяти и потенциальным качеством. Размеры файлов варьируются примерно от 778 МБ до 16,1 ГБ в зависимости от модели и формата. Ограничения включают зависимость производительности от выбранного квантования и оборудования, а также отсутствие в README подробных результатов для всех вариантов. Модели распространяются по лицензии Apache-2.0.

JiRackTernaryGemma4_26b — текстовая диалоговая модель CMSManhattan, созданная на основе Google Gemma 4 26B-A4B-it и адаптированная под тернарную архитектуру JiRack. Она предназначена для генерации текста, общения, программирования и работы с инструментами; в карточке также описаны сценарии маршрутизации и робототехники. Модель имеет архитектуру MoE: около 26 млрд параметров всего, примерно 4 млрд активны на токен, 128 экспертов с выбором top-8. Заявлен путь обучения с квантованием-aware training для тернарных весов; доступны GGUF-варианты от Q3_K_M до Q8_0 и F16, а также safetensors. Модель принимает текст и выдаёт текст. Зрительный модуль исходной Gemma 4 удалён, поэтому обработка изображений не поддерживается. Карточка указывает поддержку 14 языков: английского, китайского, японского, корейского, французского, испанского, португальского, немецкого, итальянского, русского, арабского, вьетнамского и тайского. Контекстный размер не приведён. Для тегов робототехники и маршрутизации рекомендуется расширенный токенизатор CMSManhattan/GemmaRoboticsTokenizer; дополнительные 107 токенов требуют расширения эмбеддингов и обучения новых строк перед генерацией соответствующих ID. Карточка ориентирует модель на локальный запуск через CPU, GGUF, llama.cpp и Ollama и приводит оценку требований к памяти для разных квантований. Автор предупреждает, что модель не проверялась на больших контекстах, и просит не переносить на неё результаты исходной Gemma 4. Лицензия — MIT.

K2-Horizon-3.7B-GGUF — набор GGUF-квантизаций модели IFM/K2-Horizon-3.7B, разработанной IFM. Это плотная decoder-only языковая модель размером 3,7 млрд параметров, предназначенная для генерации текста, рассуждений, программирования, работы с длинным контекстом и использования инструментов. Указан английский язык. Модель поддерживает нативный контекст до 524 288 токенов (512K), однако практическая производительность зависит от используемого оборудования и настроек запуска. Доступны варианты квантизации Q4_0, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 3,02 до 5,39 ГБ. В файлы встроен совместимый с llama.cpp шаблон чата; для вызовов инструментов по умолчанию используется формат XML, также доступны JSON и xml_typed. Для запуска требуется сборка llama.cpp с поддержкой архитектуры K2 Horizon, в частности форк MBZUAI-IFM до появления поддержки в upstream-версии. К сильным сторонам относятся компактный размер, несколько вариантов квантизации и заявленная поддержка очень длинного контекста, а также сценариев программирования и tool use. Ограничения включают зависимость от специализированной реализации llama.cpp, отсутствие в README подробных результатов бенчмарков и характеристик качества, а также отсутствие сведений о мультимодальности и поддержке языков, кроме английского. Модель распространяется по лицензии Apache-2.0.

Kai-30B-Instruct-i1-GGUF — набор квантованных GGUF-версий модели Kai-30B-Instruct, разработанной NoesisLab и квантованной mradermacher. Модель ориентирована на генерацию текста, следование инструкциям, математические и логические рассуждения, программирование и другие задачи, связанные с текстом. В метаданных также указана тематика ads и distillation, однако подробности соответствующей специализации не приведены. Базовая модель содержит около 30 миллиардов параметров; архитектура и размер контекста в README не указаны. Поддерживаемый язык — английский. Модель работает с текстом и поставляется в различных вариантах квантования, включая IQ1–IQ4, Q2–Q6 и другие форматы. Доступны версии с разным компромиссом между размером, скоростью и качеством: например, i1-Q4_K_M отмечена как быстрая и рекомендуемая, а i1-Q4_K_S — как оптимальная по соотношению размера, скорости и качества. Наиболее компактные варианты имеют заметно более низкое качество. Основные преимущества — возможность локального запуска в формате GGUF и широкий выбор вариантов квантования под доступные ресурсы. Ограничения включают возможное ухудшение качества при низких уровнях квантования, отсутствие данных о контекстном окне, мультимодальности, результатах оценки и языках помимо английского. Лицензия базовой модели — Apache-2.0; README не уточняет, распространяются ли квантованные файлы на дополнительных условиях.

Dingdust выпустил Dingdust/LFM2.5-350M-heretic — производную текстовую модель Liquid AI LFM2.5-350M-Base с архитектурой LFM2 и 444,6 млн параметров. По карточке это версия с abliteration: в приведённом сравнении частота отказов снизилась с 89 до 7 на 100 запросов; модель рассчитана на диалоговую генерацию текста и локальный запуск. Для базовой модели в README описаны извлечение данных, выдача структурированных результатов и вызов инструментов. Указаны 16 слоёв, гибридные сверточные блоки и блоки GQA, а также поддержка девяти языков: английского, арабского, китайского, французского, немецкого, японского, корейского, португальского и испанского. Метаданные указывают контекст 128 000 токенов; README базовой модели приводит 32 768 токенов, поэтому фактическая длина контекста именно этой производной версии по источникам неясна. Лицензия обозначена как other, без дополнительных условий в предоставленных данных.

Ling-3.0-flash-VL-int4 — мультимодальная модель семейства Ling-3.0, разработанная командой inclusionAI. Она предназначена для анализа изображений и видео, визуального понимания документов, графиков, сложных макетов и интерфейсов, а также для задач, где требуются рассуждение, планирование, проверка информации и выполнение действий на основе визуальных данных. Модель содержит 124 млрд параметров, из которых для каждого токена активируется 5,5 млрд, и поддерживает контекст до 256K токенов. Архитектура включает визуальный ViT-энкодер, двухслойный MLP-проектор, VideoRoPE для учёта пространственных и временных позиций, а также 42-слойный гибридный backbone с чередованием слоёв KDA и Gated MLA в соотношении 5:1. Используется разреженная MoE-архитектура, ориентированная на эффективность инференса при большой общей ёмкости модели. Поддерживаются текстовые, графические и видеовходы; режим рассуждений включён по умолчанию. Сильные стороны модели — объединение визуального восприятия с многошаговым рассуждением и агентными сценариями, поддержка длинного контекста, анализа длительных видео, локализации событий, вопросов по видео и взаимодействия с программными и веб-интерфейсами. В README не указаны поддерживаемые языки и подробные ограничения качества, поэтому языковое покрытие и надёжность в отдельных прикладных областях требуют дополнительной проверки. Модель распространяется по лицензии MIT.