I.14Автоматизация процессов и AI-агенты

Qwen3.8-27B-OrcaRouter-GSQ-RCO-IQ3_XXS-Uncensored — это 3-битная GGUF-квантизация базовой модели Qwen3.8-27B, подготовленная RentedNoodle на основе uncensored-чекпойнта orcarouter/Qwen3.8-27B-Uncensored. Это не новая дообученная модель: снижение отказов унаследовано от OrcaRouter, а квантизация выполнена с использованием методологии GSQ/RCO, разработанной ISTA-DASLab. Модель распространяется под лицензией Apache-2.0. Модель предназначена для генерации текста, рассуждений, работы с инструментами и мультимодальных сценариев с изображениями. Поддерживаются английский и китайский языки. Архитектурное окно контекста составляет 262 тысячи токенов, однако поставляемый профиль рассчитан на 32 тысячи токенов. Модель имеет размер около 9,75 GiB, использует квантизацию IQ3_XXS примерно на 3,06 бит на вес, а MTP draft head сохранён в формате Q6_K для speculative decoding. Для работы с изображениями требуются отдельные projector-файлы. Сильные стороны модели — возможность запуска на одной видеокарте с 16 ГБ VRAM, сохранённая поддержка MTP, хорошие результаты на извлечении данных из длинного контекста, GPQA-Diamond и TruthfulQA, а также отсутствие избыточных отказов в тесте XSTest. Ограничения включают потери качества, типичные для сильной 3-битной квантизации, неполную надёжность вызова инструментов и зависимость intended tool-use и reasoning-поведения от специального шаблона froggeric-qwen3.8-tool-use.jinja. Результаты тестов зависят от конфигурации llama.cpp, параметров запуска и используемого шаблона; заявленная «uncensored» направленность не гарантирует универсальное выполнение любых запросов.

SwagMessiah100/Qwen3.8-27B-Unleashed-GGUF — это квантованная GGUF-версия uncensored-модели Qwen3.8-27B-Uncensored, разработанной JonathanColetti. Репозиторий SwagMessiah100 применяет к исходным весам карту динамического распределения битов Unsloth Dynamic 3.0 и соответствующую матрицу важности. Модель предназначена для генерации текста, диалогов и локального запуска через совместимые инструменты, включая llama.cpp. Заявлены английский и китайский языки. Модель имеет размер 27 млрд параметров и поддерживает контекст до 262 144 токенов, включая заявленное извлечение информации на длине около 250 806 токенов для варианта UD-Q3_K_XL. Доступны девять уровней квантования, включая UD-IQ4_XS, UD-Q3_K_XL и UD-IQ3_XXS. Динамическое распределение битов сохраняет более высокую точность в чувствительных тензорах и сильнее сжимает менее чувствительные, благодаря чему, по приведённым измерениям, вариант Q3 превосходит протестированные варианты Q4 по perplexity и может обеспечивать более высокую скорость. К сильным сторонам относятся uncensored-поведение, длинный контекст, несколько вариантов размера и качества квантования, а также проверка файлов нагрузочным тестированием. Производительность и качество зависят от конкретного варианта, оборудования и длины генерации; измерения проводились на RTX 4090 24 ГБ с llama.cpp и DFlash2. Для коротких запросов заявлена медианная скорость около 24,9 токена в секунду, для длинной генерации — до 56,3 токена в секунду, поэтому модель требовательна к ресурсам. Лицензия — Apache 2.0.

Vontra/Qwen3.8-Flash-Next-MLX-3bit-MTP — это 3-битная MLX-конверсия мультимодальной модели Qwen/Qwen3.8-Flash-Next, созданная на основе официального BF16-чекпойнта. Модель предназначена для запуска на устройствах Apple Silicon через совместимые MLX-VLM и oMLX. Она поддерживает работу с текстом и изображениями, а также использует архитектуру qwen4_exp с vision-language стеком и разреженной mixture-of-experts моделью. Общий объём языковой части составляет 125B параметров, из которых активны около 6B; дополнительно указаны 51B параметров в hashed bigram/trigram embedding и 4B параметров в блоке native MTP. Контекст рассчитан на 262 144 токена. Ключевые компоненты включают Gated DeltaNet, Qwen Sparse Attention, sparse MoE-слои, gated residual streams, vision encoder и один draft-блок native MTP для speculative decoding. Квантизация выполнена методом uniform affine quantisation с группой 32; мультимодальные модули и роутеры MoE сохранены в BF16. Размер весов — около 90,774 GB. Сильные стороны модели — существенное снижение размера по сравнению с полноформатным чекпойнтом, поддержка мультимодальных сценариев и возможность ускорения генерации с помощью native MTP. В приведённом тесте на Apple M3 Studio скорость выросла с 28,0408 до 30,5895 токена в секунду, то есть примерно на 9,09%, при принятии 65,4% предложенных токенов. Ограничения включают необходимость runtime с явной поддержкой qwen4_exp и native MTP; старые версии MLX-VLM или oMLX могут быть несовместимы, а поддержка изображений зависит от используемых версий компонентов. Модель распространяется по лицензии Qwen Community License 1.0.

Vontra/Qwen3.8-Flash-Next-MLX-4bit — общественная MLX-конверсия модели Qwen3.8-Flash-Next, разработанной Qwen, для запуска на устройствах с Apple Silicon. Конверсия выполнена Vontra непосредственно из официального BF16-чекпойнта и предназначена для задач генерации текста и обработки изображений в сценариях vision-language. Модель использует архитектуру qwen4_exp с разреженной смесью экспертов, объединяющую Gated DeltaNet, Qwen Sparse Attention, разреженные MoE-слои, расширенные gated residual-потоки и хешированные bigram/trigram-эмбеддинги. Языковая часть содержит 125 млрд параметров, из которых активно используется около 6 млрд, а таблицы n-gram-эмбеддингов включают 51 млрд параметров. Архитектура имеет 48 слоёв, 512 маршрутизируемых экспертов с активацией 10 экспертов и одного общего, 24 attention heads и 2 KV heads. Заявленный контекст — до 262 144 токенов; сохранены исходные токенизатор, chat template, vision processor и настройки генерации. Весы представлены в формате MLX safetensors и подвергнуты 4-битному аффинному квантованию с group size 32, что делает модель пригодной для локального запуска через совместимые версии MLX-VLM или oMLX. На Apple M3 Studio сообщается около 24,1–26,1 токена в секунду при прогретой генерации через oMLX и 31 токен в секунду в коротком standalone-тесте. К ограничениям относятся возможное снижение качества из-за квантования, высокая потребность в памяти, отсутствие опциональной MTP-head и необходимость runtime с поддержкой qwen4_exp; подключение Qwen3.8 27B MTP drafter несовместимо. Модель распространяется по Qwen Community License 1.0. Это неофициальный релиз Qwen: дизайн, обучение и исходная документация принадлежат Qwen и первоначальным авторам, а MLX-конверсия, проверка на Apple Silicon и упаковка выполнены Vontra.

Qwen3.8-Flash-Next REAP-288 — экспериментальный неофициальный пакет для инференса на Apple Silicon, опубликованный 30cmtonyfaker и созданный на основе Qwen3.8-Flash-Next от Qwen. Модель адаптирована для запуска через MLX Serve и использует community REAP-288 pruning, 4-битное квантование и Native MTP для ускорения декодирования. В метаданных указаны английский и китайский языки, а также тег image-text-to-text, однако подробности о поддержке изображений в представленном README не приведены. Пакет предназначен для локального запуска языковой модели, диалогов, генерации текста, программирования, структурированных ответов и сценариев с инструментами. Заявлена поддержка контекста до 65 536 токенов в протестированной конфигурации, но качество работы на длинном контексте и полноценные возможности настольного режима отдельно не подтверждены. Исторические измерения на M4 Max с 128 ГБ unified memory показывают ускорение декодирования с MTP примерно в 1,54–2,24 раза на тестовом наборе, однако результаты относятся к изменённой версии MLX Core, ограниченному сценарию и не гарантируют аналогичную производительность в других нагрузках. Для актуальной версии исправлена ошибка заголовка тензора, а базовый запуск через официальный MLX Core 26.9.1 был проверен на M4 Max. Ограничения включают экспериментальный статус, зависимость от Apple Silicon и MLX, отсутствие подтверждения универсальной корректности MTP и различия между последовательным и MTP-выводом в тестах. Модель распространяется по qwen-community-license-1.0; лицензия обозначена как other, а полный текст доступен в файле LICENSE.

Qwen3-Next-80B-A3B-Thinking-4bit — языковая модель для генерации текста, опубликованная сообществом mlx-community. Она представляет собой конвертированную в формат MLX версию базовой модели Qwen/Qwen3-Next-80B-A3B-Thinking; конвертация выполнена с использованием mlx-lm версии 0.27.1. Модель предназначена для запуска и генерации текста в экосистеме MLX, в частности через библиотеку mlx-lm на совместимых системах. Из известных характеристик указаны размер исходной модели 80B и 4-битное квантование, обозначенное в идентификаторе модели. Название Thinking указывает на ориентированность исходной модели на задачи, требующие рассуждений, однако README не содержит подробностей об архитектуре, количестве активных параметров, языках, размере контекста, поддерживаемых модальностях или результатах тестирования. В README также не описаны конкретные сильные стороны и ограничения качества модели; практические характеристики зависят от среды MLX и доступных вычислительных ресурсов. Модель распространяется по лицензии Apache-2.0. Для использования требуется библиотека mlx-lm; README приводит пример загрузки модели, токенизатора и генерации ответа с поддержкой chat template, если он определён.

Qwen_Qwen3.5-27B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-27B, разработанной командой Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач генерации текста и обработки изображений с текстом; запуск возможен через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В README указан pipeline image-text-to-text, однако подробности о поддерживаемых языках и максимальном контексте не приведены. Доступны варианты от исходных весов BF16 размером 54,66 ГБ до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти; варианты Q6 и Q5 отмечены как близкие к исходному качеству, а Q4_K_M указан как стандартный вариант для большинства сценариев. Меньшие варианты экономят память, но могут заметно снижать качество ответов. Для ускорения генерации поддерживаются MTP-слои при использовании соответствующей функции llama.cpp. Модель удобна для локального запуска на совместимом оборудовании и выбора компромисса между качеством, скоростью и потреблением памяти. Ограничения включают значительные требования к памяти даже у компактных вариантов, зависимость совместимости от обновлений используемого программного обеспечения и возможное ухудшение качества при сильной квантизации. Лицензия — Apache-2.0.

RekaAI_reka-flash-3.1-GGUF — набор GGUF-квантизованных версий модели RekaAI/reka-flash-3.1, подготовленный пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp; README также указывает формат промпта human: {system_prompt} {prompt} <sep> assistant:. Доступны варианты от исходных весов BF16 размером 41,82 ГБ до компактных квантований Q2 и IQ3 размером примерно от 9,18 ГБ, а также Q3, Q4, Q5, Q6 и Q8. Более высокие уровни квантования обеспечивают лучшее сохранение качества, но требуют больше памяти; Q4_K_M обозначен как рекомендуемый вариант общего назначения, а Q5 и Q6 — как высококачественные варианты. Некоторые форматы оптимизированы для определённых аппаратных платформ, включая Apple silicon, ARM и AVX CPU. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, модальностях и размере контекста исходной модели, поэтому эти характеристики нельзя достоверно указать. Ограничения связаны с потерями качества при низких уровнях квантования и значительными требованиями к памяти у крупных вариантов. Распространение указано по лицензии Apache-2.0.

SmolLM3-3B — открытая языковая модель с 3 млрд параметров, разработанная HuggingFaceTB и преобразованная в формат LiteRT-LM для локального запуска на устройствах и компьютерах. Это decoder-only модель для генерации текста, диалогов, рассуждений и других задач, поддерживаемых базовой SmolLM3. Модель ориентирована на сценарии on-device и edge-инференса, включая Android-смартфоны, iPhone, Raspberry Pi, настольные системы и локальный OpenAI-совместимый API-сервер. Представленная версия использует блочную симметричную int4-квантизацию с размером блока 32 и оптимальным клиппингом OCTAV; эмбеддинги имеют формат INT8, вычисления выполняются в целочисленном формате. Файл основной версии занимает около 1,9 ГБ, контекст KV-кэша ограничен 4096 токенами. В архитектуре базовой модели заявлены GQA, расписание внимания NoPE, мультиязычная поддержка и обучение на длинном контексте. В комплект входят токенизатор и шаблон ChatML, поэтому отдельные файлы токенизатора не требуются. Сильные стороны модели — небольшой размер для класса 3B, открытая лицензия Apache-2.0, поддержка полностью локального инференса и наличие GPU-ускорения на совместимых устройствах. Производительность зависит от оборудования: в приведённых измерениях она достигала 93,2 токена/с при декодировании на Apple M4 Max и 22,5 токена/с на iPhone 17 Pro. Ограничения включают потери качества и возможные особенности поведения, связанные с int4-квантизацией, фиксированный контекст 4096 токенов и зависимость скорости от конкретного LiteRT-LM backend, устройства и объёма доступной памяти.

Это instruction-tuned вариант T5Gemma от Google с энкодером и декодером размера B, адаптированный с использованием UL2. Семейство T5Gemma состоит из компактных моделей типа энкодер-декодер, созданных на основе предварительно обученных моделей decoder-only; такая архитектура рассчитана на эффективную генерацию и понимание текста. Модель работает в формате text-to-text и предназначена прежде всего для английского языка. Модель подходит для генерации текста по инструкциям, ответов на вопросы, суммаризации и рассуждений; энкодер также может применяться для классификации и задач понимания текста. Её можно использовать для подготовки черновиков писем и маркетинговых текстов, а также для экспериментов и NLP-разработки. В метаданных указаны библиотека Transformers и формат весов safetensors; длина контекста и число параметров для этой конкретной версии не приведены. Качество зависит от обучающих данных и формулировки задания. Модель может ошибаться в фактах, упускать языковые нюансы и хуже справляться со сложными или неоднозначными запросами; возможны предвзятые или вредоносные генерации. Лицензия Gemma; применение должно соответствовать политике допустимого использования Gemma.

Wizard-Tulu-Dolphin-70B-v1.0 — объединённая языковая модель на архитектуре Llama, созданная sophosympatheia методом SLERP из Wizard-Tulu-70B-v1.0 и Dolphin 2.2 70B. В репозитории представлены веса SafeTensors; размер модели — 68,7 млрд параметров, контекст — до 4096 токенов. Модель предназначена для генерации текста и следования инструкциям. Автор включал этот бленд в Midnight Rose v2.0.3 и описывает его как попытку объединить сильные стороны WizardLM, Tulu и Dolphin 2.2, однако отмечает, что отдельно модель тестировалась мало. Лицензия в предоставленных данных не указана.

fradinho/world-llama2 — объединённая диалоговая языковая модель на архитектуре Llama с 6,6 млрд параметров. Она создана методом task arithmetic с помощью mergekit из LargeWorldModel/LWM-Text-Chat-1M и NousResearch/Llama-2-7b-chat-hf; веса сохранены в формате safetensors, исходная точность — bfloat16. Модель предназначена для генерации текста и ведения диалогов. Заявленная длина контекста составляет 1 048 576 токенов, что позволяет обрабатывать длинные текстовые запросы и документы. В карточке базовая диалоговая модель описана как англоязычная; отдельные языковые возможности итогового объединения не уточняются. Модель распространяется по лицензии MIT. Карточка не приводит сравнительных оценок качества или специальных мер безопасности; результаты на длинном контексте и в других языках могут зависеть от сценария применения.

Yi-1.5-9B-Chat-16K-GGUF — это набор квантованных GGUF-версий диалоговой языковой модели Yi-1.5-9B-Chat-16K, разработанной 01.ai и квантованной компанией Second State Inc. Модель предназначена для генерации текста и ведения диалогов в локальных приложениях, включая сценарии, совместимые с LlamaEdge. Для работы используется шаблон prompt типа chatml, а заявленный размер контекста составляет 16 384 токена. Доступны варианты квантования от Q2_K до Q8_0, а также версия f16; размеры файлов варьируются примерно от 3,35 до 17,7 ГБ. В README не указаны поддерживаемые языки, модальности и подробности архитектуры базовой модели. Основное преимущество набора — выбор между меньшим размером и сохранением качества: Q4_K_M рекомендован как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с очень низкой потерей качества. Низкобитные версии занимают меньше места, но могут заметно терять в качестве. Модель распространяется по лицензии Apache-2.0. Для запуска требуется совместимое программное окружение, например llama.cpp или LlamaEdge; в README указано, что поддержка LlamaEdge на момент публикации ожидается.

airoboros-2.2.1-y34b — неофициально дообученная модель DS-Archive на наборе инструкций airoboros 2.2.1 от Jon Durbin, поверх базовой Llama-fied Yi 34B от Charles Goddard. Это плотная авторегрессионная языковая модель семейства Llama с 33,9 млрд параметров, grouped-query attention и контекстом 4096 токенов; формат весов в репозитории — safetensors. Предназначена для диалогов и выполнения текстовых инструкций в формате, производном от Vicuna 1.1. Модель переносит способности следовать инструкциям на основу Yi 34B. В README указано, что для инференса можно использовать 4-битную квантизацию на потребительском GPU с 24 ГБ видеопамяти; также опубликованы варианты EXL2 с разной разрядностью. Лицензия в метаданных обозначена как other, поэтому перед использованием следует проверить условия на странице модели. Обучение неофициальное; контекст ограничен 4096 токенами.

BitNet b1.58 2B4T — языковая модель для генерации текста, разработанная Microsoft Research. Она предназначена для диалоговых сценариев, следования инструкциям и работы с текстом и кодом. Модель обучена на 4 триллионах токенов и содержит около 2 миллиардов параметров; заявленный язык — английский. Модель построена на архитектуре Transformer с модифицированными BitLinear-слоями, RoPE, активацией ReLU² в FFN и нормализацией subln. Она обучена с нуля с использованием нативной схемы квантования W1.58A8: веса принимают тернарные значения {-1, 0, +1}, а активации квантуются до 8 бит. Максимальная длина контекста составляет 4096 токенов, используется токенизатор LLaMA 3 с размером словаря 128 256 токенов. Обучение включало предварительное обучение, supervised fine-tuning и DPO. Ключевое преимущество модели — потенциальное снижение требований к памяти, энергопотреблению и задержке благодаря нативным 1,58-битным весам. Однако эти преимущества раскрываются только при использовании специализированной реализации bitnet.cpp; стандартный запуск через transformers не обеспечивает ожидаемого прироста эффективности и может быть сопоставим по скорости и энергопотреблению с полноточными моделями. Представленная BF16-версия предназначена главным образом для обучения и дообучения, а не для развертывания. Модель распространяется по лицензии MIT.

DeepSeek-R1-Distill-Llama-70B-GGUF — это набор GGUF-квантизаций 70-миллиардной языковой модели DeepSeek-R1-Distill-Llama-70B, подготовленный пользователем bartowski на основе модели DeepSeek AI. Квантизация выполнена с помощью llama.cpp релиза b4514 и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio, а также для инференса с использованием llama.cpp и совместимых инструментов. Модель является текстовой, однако в README не указаны точная архитектура исходной модели, размер контекстного окна и поддерживаемые языки. Доступны варианты с различной степенью квантизации: от Q8_0 размером около 75 ГБ до низкобитных IQ2 и Q2 размером около 22–27 ГБ. Более высокие уровни, включая Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, ориентированы на сохранение качества, тогда как варианты Q3 и Q2 требуют меньше памяти, но заметно уступают по качеству. Сильной стороной набора является широкий выбор форматов для подбора компромисса между качеством, размером и требованиями к памяти; для большинства сценариев в README рекомендуются Q6_K, Q5_K и Q4_K_M. Ограничения включают очень высокие требования к оперативной или видеопамяти даже у компактных вариантов, а также возможное снижение качества при сильной квантизации. Лицензия в предоставленном README не указана.

bartowski/DeepSeek-R1-Distill-Qwen-14B-GGUF — это набор GGUF-квантизаций модели DeepSeek-R1-Distill-Qwen-14B, разработанной DeepSeek. Квантизация выполнена bartowski с использованием llama.cpp b4514 и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio, с применением формата промпта, указанного в README. Доступны варианты от полных F32 и F16 весов до квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, размером примерно от 6,66 до 59,09 ГБ. Более высокие разрядности обеспечивают лучшее сохранение качества, но требуют больше памяти; Q4_K_M обозначен как вариант по умолчанию для большинства сценариев, а Q5 и Q6 — как рекомендуемые варианты высокого качества. Некоторые форматы оптимизированы для работы на CPU и Apple Silicon, включая online repacking для ARM и AVX. В README не указаны архитектурные детали, длина контекста, поддерживаемые языки и модальности, а также лицензия. Поэтому модель следует рассматривать как текстовую локальную модель, совместимость и фактические требования к памяти которой зависят от выбранного файла квантизации и используемого программного обеспечения.

Dracarys-Llama-3.1-70B-Instruct-GGUF — это квантованные версии инструкционной языковой модели Dracarys-Llama-3.1-70B-Instruct, разработанной AbacusAI. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на запросы и другие задачи, поддерживаемые текстовыми LLM. Варианты подготовлены пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix; запуск рекомендуется через LM Studio или совместимое программное обеспечение. Модель основана на архитектуре Llama 3.1 и содержит 70 миллиардов параметров. Доступны уровни квантования от Q8_0 до IQ1_M, что позволяет выбирать между качеством ответов и требованиями к оперативной памяти: наиболее качественными считаются Q6_K, Q5_K_M и ряд вариантов Q4, тогда как версии Q2 и Q3 заметно уступают по качеству, хотя некоторые из них остаются пригодными для использования. Размер файлов составляет примерно от 16,75 до 74,98 ГБ. Мультимодальность, поддерживаемые языки и размер контекстного окна в README не указаны. Основные преимущества — большой размер модели, инструкционная настройка и широкий выбор квантований для локального запуска. Ограничения связаны с высокими требованиями к памяти, особенно для качественных вариантов, а также с потерей качества при сильном квантовании. Для корректной работы следует использовать указанный формат prompt с системным, пользовательским и ассистентским сообщениями. Лицензия указана как llama3; дополнительные условия лицензии в README не приведены.

Это квантизированная версия Gemma 3 12B IT, разработанная Google и преобразованная пользователем nocturne23 в формат GGUF с помощью llama.cpp и инструмента GGUF-my-repo. Модель предназначена для запуска через llama.cpp в CLI-режиме или как сервер для генерации ответов и выполнения задач, поддерживаемых исходной инструкционной моделью. Известно, что модель основана на google/gemma-3-12b-it и имеет размер 12 миллиардов параметров. Вариант Q4_K_M использует 4-битную квантизацию, что уменьшает требования к памяти по сравнению с полной версией, но может снижать точность. В метаданных указана мультимодальная задача image-text-to-text, однако подробные сведения о поддерживаемых языках, длине контекста, архитектуре и возможностях работы с изображениями в README отсутствуют. В качестве ограничения также следует учитывать зависимость от llama.cpp и необходимость настройки под используемое оборудование. Для доступа и использования модели требуется принять лицензию Google Gemma на Hugging Face; в README лицензия обозначена как gemma. Условия коммерческого и иного применения следует проверять в исходной лицензии Google и оригинальной карточке модели.

Gemma 3 27B PT — предварительно обученная мультимодальная модель Google из семейства Gemma 3 с открытыми весами. Она принимает текст и изображения и генерирует текст; размер модели — 27 млрд параметров. Модель предназначена для понимания изображений и генерации текста: ответов на вопросы, суммаризации, рассуждений, диалогов и создания контента. Контекстное окно — до 128 тыс. токенов, заявлена поддержка более 140 языков. Вариант PT является базовой предварительно обученной моделью, а не версией, настроенной для следования инструкциям. Модель можно применять для описания изображений и извлечения из них данных, создания текстовых ассистентов, составления кратких пересказов и исследовательских экспериментов с VLM и NLP. Google отмечает, что ответы могут содержать фактические ошибки, отражать смещения обучающих данных и хуже справляться со сложными запросами, неоднозначностями и тонкими языковыми нюансами. Лицензия — Gemma; перед использованием следует учитывать условия лицензии и политику запрещённого использования Gemma.

GLM-5.3-Flash-NVFP4 — это квантизированная версия модели GLM-5.3-Flash от zai-org, опубликованная пользователем tattrongvu. Модель предназначена для генерации текста, рассуждений и работы с изображениями и текстом; в карточке она классифицирована как image-text-to-text. Это reasoning-модель, рассчитанная на серверное применение с SGLang и распределённым инференсом на нескольких GPU. В основе используется MoE-архитектура с 45 основными слоями и одним дополнительным multi-token-prediction слоем. Маршрутизируемые эксперты MoE в слоях 3–45 сжаты методом NVFP4: веса представлены в 4-битном формате с группами по 16 элементов, тогда как активации остаются в bf16. В bf16 также сохранены механизмы внимания, маршрутизатор, общие эксперты, некоторые плотные MLP-слои, embeddings, lm_head и вся vision tower. Размер весов уменьшен с 328,4 до 194,6 ГБ. Данные о поддерживаемых языках и размере контекстного окна в карточке не указаны. Сильная сторона модели — значительное сокращение объёма весов при сохранении близкой к пределу формата точности реконструкции, а также единая схема квантизации всех routed experts, включая MTP-слой. В приведённых тестах модель показала 72,64% на bfcl_v4, 77% на aa_lcr и 97,62% на завершённых задачах aime26; результаты зависят от лимита генерации, настроек оценки и не являются прямым сравнением с опубликованными результатами базовой модели. Ограничения включают очень высокие требования к памяти и необходимость совместимого стека инференса; для SGLang требуется специальный образ и параметр modelopt_fp4, а поддержка vLLM в карточке обозначена как ожидаемая, но не проверенная. Лицензия — MIT.

Это GGUF-квантизации инструкционной модели Gemma 3 4B IT, разработанной Google и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогов, генерации и обработки текста, а также поддерживает работу с изображениями через vision-компонент. Она может использоваться локально в LM Studio, llama.cpp и других совместимых проектах. Модель содержит около 4 миллиардов параметров и доступна в вариантах BF16, F32/F16 для vision-компонента и многочисленных квантизациях от Q8_0 до Q2_K_L, что позволяет выбирать баланс между качеством, размером файлов и требованиями к памяти. Для анализа изображений требуется отдельный файл mmproj и сборка llama.cpp с поддержкой Gemma 3. В README не указаны поддерживаемые языки, размер контекста и точные архитектурные характеристики. Сильными сторонами являются локальный запуск, широкий выбор уровней квантизации и мультимодальные возможности. Более низкие варианты квантизации экономят память, но снижают качество; некоторые форматы отмечены как устаревшие или нерекомендуемые. Лицензия в предоставленных данных не указана.

Granite-4.1-30B (FP8) — это версия модели IBM Granite 4.1-30B, представленная в формате FP8. Репозиторий подготовлен для использования с библиотекой Transformers и предназначен для языковых задач; более подробные сведения о возможностях и сценариях применения приведены в карточке исходной модели ibm-granite/granite-4.1-30b, которая в предоставленных данных отсутствует. Ключевая характеристика этой версии — представление весов в формате FP8, что может быть полезно для более эффективного хранения и выполнения модели в совместимой инфраструктуре. Из доступного README не указаны архитектура, точный размер в параметрах помимо обозначения 30B, поддерживаемые языки, длина контекста, модальности, результаты тестирования, сильные стороны и ограничения. Модель распространяется по лицензии Apache-2.0.

ice-AI-i1-GGUF — это набор квантованных вариантов модели ice-AI, разработанной darkps и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для генерации текста, диалогового взаимодействия и задач программирования; заявлена поддержка нескольких языков. Представлены файлы с различными уровнями квантования, поэтому модель можно запускать на системах с разным объёмом доступной памяти и выбирать компромисс между размером, скоростью и качеством. В репозитории доступны варианты от i1-IQ1_S размером около 2,2 ГБ до i1-Q6_K размером около 6,8 ГБ. Для некоторых вариантов указаны преимущества и ограничения: Q4_K_M обозначен как быстрый и рекомендуемый, Q4_K_S — как оптимальный по соотношению размера, скорости и качества, а отдельные низкобитные варианты характеризуются более низким качеством. Точная архитектура, число параметров, размер контекста, перечень языков и мультимодальные возможности в README не указаны; по описанию модель является текстовой и не поддерживает заявленные мультимодальные сценарии. Лицензия — Apache-2.0.

Liberalis Cogitator Llama 3.1 8B — разговорная текстовая модель Locutusque, дообученная на базе meta-llama/Llama-3.1-8B примерно на 450 тысячах диалогов, задач и историй. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для генерации текста и диалогов; заявленная длина контекста — 131 072 токена. В карточке указана поддержка английского языка. Модель ориентирована на решение STEM- и логических задач, программирование, ролевые диалоги, рассказы и построение вымышленных миров. В обучающих данных также использовались синтетические диалоги пациента и психолога, однако карточка не подтверждает пригодность модели для профессиональной психологической помощи. Автор предупреждает, что ответы могут быть ошибочными, необычными или спорными и что модель не знает актуальных событий. Лицензия — Llama 3.1; её условия определяются лицензией Meta Llama 3.1.

Это диалоговая языковая модель Eric111, полученная слиянием методом SLERP моделей Mistral-7B-Instruct-v0.2 от Mistral AI и UNA-TheBeagle-7b-v1. Модель построена на архитектуре MistralForCausalLM с плотной структурой и содержит 7,1 млрд параметров; репозиторий предоставляет веса в формате safetensors. Модель предназначена для генерации текста и ответов на инструкции в диалоге. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Данные не уточняют отдельные целевые языки или специализированные области применения. Модель опубликована по лицензии CC BY-NC-ND 4.0, которая ограничивает коммерческое использование и распространение производных материалов. Качество ответов, фактическая точность и поведение после слияния зависят от запроса и требуют проверки в целевом сценарии.

MaziyarPanahi/Mistral-7B-model_45k6e2e4-Mistral-7B-Instruct-v0.1 — объединённая авторами модель на архитектуре Mistral для генерации текста и ответов в диалоге. Она создана методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и pankajmathur/Mistral-7B-model_45k6e2e4; конфигурация указывает точность bfloat16. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации ответов на текстовые инструкции и диалоговые запросы. В метаданных указан английский язык, интерфейс чата и задача text-generation. Репозиторий распространяется по лицензии Apache-2.0.

Ministral-3-14B-Instruct-2512-GGUF — это GGUF-квантизированная версия инструкционной модели Ministral-3-14B-Instruct-2512, разработанной Mistral AI и подготовленной квантизатором bartowski. Модель предназначена для запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp, включая сценарии генерации текста и работы с изображениями согласно заявленному типу pipeline image-text-to-text. Модель имеет около 14 млрд параметров в исходной версии, а репозиторий содержит варианты от BF16 до низкобитных форматов Q3 и IQ4. Доступны версии с разным компромиссом между качеством, размером и требованиями к памяти; рекомендуемыми названы некоторые варианты Q4–Q6. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Архитектура и размер контекстного окна в README не указаны, а формат промпта рекомендуется уточнять на странице исходной модели. Основные преимущества этой версии — возможность локального запуска, широкий выбор уровней квантизации и применение imatrix-калибровки для снижения потерь качества. Ограничения связаны с тем, что низкобитные варианты требуют компромисса между качеством и потреблением памяти, а подробные сведения о возможностях, контекстном окне и ограничениях исходной модели в README отсутствуют. Репозиторий распространяется по лицензии Apache-2.0.

zelk12/MT3-Gen2-gemma-2-9B — объединённая языковая модель на архитектуре Gemma 2, созданная с помощью mergekit. В слиянии методом SLERP использованы zelk12/MT3-Gen2-GMM-gemma-2-9B и zelk12/MT3-Gen2-IMUBMA-gemma-2-9B; конфигурация указывает базовую модель zelk12/MT3-Gen2-GMM-gemma-2-9B и параметр t=0,25. Модель содержит 9 млрд параметров, работает через Transformers и принимает контекст до 8192 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. В карточке приведены результаты оценки на Open LLM Leaderboard, включая IFEval и BBH. В репозитории указаны веса в формате safetensors. Лицензия в предоставленных данных не указана.

NeuralsirkrishnaShadow_Inex12Neural — слитая языковая модель семейства Mistral, созданная из automerger/NeuralsirkrishnaShadow-7B и automerger/Inex12Neural-7B. Она содержит 7,1 млрд параметров и предназначена для генерации текста на основе текстового запроса; длина контекста составляет до 32 768 токенов. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Данные карточки не описывают специализацию по языкам или прикладным областям, поэтому её следует рассматривать как модель общего назначения. Качество и конкретные возможности зависят от запроса и сценария применения.