I.14Автоматизация процессов и AI-агенты

Gemma 2 9B — текстовая авторегрессионная модель семейства Gemma, разработанная Google. Это базовая предварительно обученная версия с открытыми весами; README также описывает семейство в целом, включая варианты, дообученные для следования инструкциям. Модель предназначена для генерации текста, диалогов, ответов на вопросы, суммаризации и рассуждений, а её сравнительно компактный размер позволяет запускать её на персональных компьютерах и в собственной облачной инфраструктуре. Модель принимает текст и генерирует текст. В карточке семейство указано как англоязычное; конкретная длина контекста и число параметров не приведены в предоставленных данных. Модель может выдавать неточные или устаревшие сведения, испытывать трудности со сложным контекстом, нюансами языка и здравым смыслом, а также воспроизводить предвзятости обучающих данных. Лицензия — Gemma, с условиями и ограничениями, заданными политиками Google для использования моделей Gemma.

Gemma 4 12B-it JANG 4M CRACK — мультимодальная инструкционная модель dealignai, основанная на Google Gemma 4 12B-it. Она предназначена для диалогов и задач с текстом, изображениями, аудио и видео; карточка также заявляет поддержку рассуждений и вызова инструментов. Модель имеет 48 слоёв, гибридное скользящее и полное внимание и контекст до 128 тысяч токенов. Разработчик сообщает, что модель прошла абляцию отказов CRACK и смешанную квантизацию JANG: 8-битные веса внимания и 4-битные веса MLP. Версия подготовлена для MLX и Apple Silicon, занимает около 9,6 ГБ. В README приведены результаты собственных оценок на HarmBench и MMLU; они не гарантируют качество на других задачах. Из-за удаления поведения отказа модель может выдавать ответы на потенциально опасные запросы. Разработчик указывает исследовательское применение и авторизованное тестирование безопасности. Лицензия — Gemma; перед использованием следует учитывать её условия.

Vontra/GLM-5.3-Flash-MLX-2bit-MTP — это конвертированная и гибридно квантованная версия мультимодальной модели GLM-5.3-Flash от Z.ai, подготовленная Vontra для Apple Silicon на базе MLX. Модель предназначена для генерации текста и работы с изображениями в совместимых MLX- и VLM-средах, включая oMLX. Заявлены английский и китайский языки. Модель использует архитектуру glm5_next с разреженной смесью экспертов (MoE), чередованием KDA-линейного и разреженного внимания, vision encoder и одним нативным NextN/MTP-слоем для спекулятивного декодирования. Объём параметров составляет 320 млрд, из них 18 млрд активны при обработке запроса; заявленный контекст — до 1 048 576 токенов. Чекпойнт хранится в MLX safetensors и занимает около 111,3 ГБ. Квантование выполнено по гибридной схеме: основные экспертные веса имеют точность 2 бита, отдельные проекции — 8 или 4 бита, а чувствительные компоненты, включая vision encoder, projector, эмбеддинги и выходную голову, сохранены в BF16. К сильным сторонам относятся существенное уменьшение размера весов, поддержка мультимодальных сценариев, сохранённый нативный MTP и совместимость с экосистемой Apple MLX. В тесте на Apple M3 Studio включение MTP повысило скорость декодирования с 6,063 до 6,257 токена в секунду при совпадении результатов. Производительность и прирост от MTP зависят от оборудования, запроса и степени принятия черновых токенов. Для работы требуется runtime с поддержкой архитектуры glm5_next, нативного MTP и покомпонентных метаданных квантования MLX; указаны совместимые версии oMLX 0.6.3rc3, MLX 0.32.0, mlx-lm 0.31.3 и mlx-vlm 0.6.3. Лицензия — MIT.

Vontra/GLM-5.3-Flash-MLX-4bit-MTP — MLX-конверсия модели GLM-5.3-Flash от Z.ai, подготовленная для Apple Silicon. Это мультимодальная sparse MoE-модель архитектуры glm5_next с поддержкой текста и изображений, рассчитанная на работу с английским и китайским языками. Модель распространяется в формате MLX safetensors и сохраняет оригинальные токенизатор, chat template, мультимодальный процессор и настройки генерации. Модель предназначена для локальной генерации текста и обработки изображений в совместимых окружениях MLX и MLX-VLM. Она использует гибридное линейное и разреженное внимание, manifold-constrained hyper-connections и встроенный блок предсказания следующего токена для speculative decoding (native MTP). Заявленный контекст составляет до 1 048 576 токенов. Квантование выполнено методом weight-only post-training quantization: основные подходящие матрицы переведены в 4-bit с group size 64, тогда как vision encoder, projector, embeddings, output head и часть служебных тензоров сохранены в исходной или совместимой точности. К сильным сторонам относятся мультимодальность, очень длинный контекст, поддержка sparse MoE, оптимизация под Apple Silicon и существенное уменьшение размера весов по сравнению с полноточной моделью. Репозиторий занимает около 181,7 ГБ, поэтому для запуска требуется значительный объём объединённой памяти. Native MTP требует специальной интеграции GLM5 Next в runtime; проверена работа с oMLX 0.6.3rc3, MLX 0.32.0 и MLX-VLM 0.6.3 с соответствующей поддержкой. Старые или стандартные сборки без этой интеграции могут работать только без MTP либо не поддерживать модель. Приведённый тест на Apple M3 Ultra показал около 6,27 токена в секунду при отключённом MTP, но фактическая производительность зависит от нагрузки и окружения. Лицензия — MIT.

OneNexus/GLM-5.3-Flash-MXFP4 — это чекпойнт модели GLM-5.3-Flash, разработанный OneNexus на базе zai-org/GLM-5.3-Flash. Модель предназначена для серверной обработки текстовых запросов и задач преобразования изображений в текст, включая сценарии с длинным контекстом и мультимодальными запросами. Заявлены английский и китайский языки; обработка видео не оценивалась. Модель имеет 320 млрд параметров, из которых 18 млрд активируются при обработке запроса. В большинстве слоёв используются маршрутизируемые эксперты с форматом весов MXFP4, а для других тензоров сохраняется заявленная точность. Архитектура включает разреженное внимание, K-пул для выбора контекста и встроенный механизм speculative decoding MTP с EAGLE. Максимальный контекст составляет 1 048 576 токенов, однако описанные тесты AgentX использовали ограничение 262 144 токена. Индексированный объём тензоров — около 182,12 GiB. На фиксированных выборках модель показала небольшие преимущества над amd/GLM-5.3-Flash-Quark-MXFP4 в MMLU и GPQA Diamond, но немного уступила в GSM8K; статистически значимое превосходство не установлено. Измеренная производительность при обслуживании запросов практически совпала с сопоставимым чекпойнтом AMD. Результаты зависят от ограничений длины ответа и не подтверждают превосходство в общем качестве, безопасности или агентских сценариях. Основной проверенный вариант развёртывания использует четыре AMD Instinct MI355X, ROCm и SGLang с TP4/EP4 и FP8 KV-кэшем. Лицензия — MIT.

IndexTeam разработала Index-1.9B-32K — плотную авторегрессионную языковую модель примерно на 2 млрд параметров с контекстом до 32 768 токенов. Модель прошла продолжительное предобучение и дообучение с учителем на длинных текстах и инструкциях для работы с контекстами свыше 32 тысяч токенов. Модель предназначена для генерации текста и диалогового взаимодействия, особенно для перевода и суммаризации длинных документов. В README также приведены результаты теста NeedleBench на извлечение сведений из длинного контекста. Указанные результаты отражают оценки разработчиков и не гарантируют качество на других данных. Репозиторий содержит веса PyTorch; лицензия обозначена как other, поэтому условия использования следует проверить в карточке модели. Модель может выдавать неточные, предвзятые или нежелательные ответы; разработчики рекомендуют проверять результаты и проводить оценку безопасности перед внедрением.

inception42/jais-family-30b-16k-chat — чат-модель семейства Jais, созданного Inception Institute of Artificial Intelligence. Это дообученная для диалога версия базовой модели inceptionai/jais-family-30b-16k: автор описывает Jais Family как двуязычные англо-арабские большие языковые модели, оптимизированные для арабского языка и обладающие сильными возможностями на английском. Модель предназначена для диалоговых приложений, генерации и понимания текста, анализа тональности и суммаризации арабских и англоязычных документов. Модель имеет архитектуру декодера с авторской реализацией класса, для загрузки которой требуется включить trust_remote_code. В названии указаны размер 30B и контекст 16k; файлы представлены в формате safetensors. Метаданные помечают модель как чат-модель. Лицензия — Apache-2.0. Сильная сторона модели — ориентация на арабский язык при сохранении возможностей английского, включая диалоговые сценарии. Ограничения: ответы ориентированы на арабский и английский, возможны ошибки, предвзятость и оскорбительный либо вводящий в заблуждение контент; модель не предназначена для высокорисковых решений без контроля человека и обработки конфиденциальных данных.

Letemoin/L3-Deluxe-Smurge_l3-12B — объединённая языковая чат-модель, созданная с помощью mergekit из трёх моделей: ehristoforu/llama-3-12b-instruct, jsfs11/Llama-3-RPMerge-8B-SLERP и Casual-Autopsy/L3-Deluxe-Scrambled-Eggs-On-Toast-8B. В README указан метод passthrough; архитектура — плотная Llama с классом LlamaForCausalLM, формат весов — safetensors, число параметров — 23,4 млрд, контекст — до 8192 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Метаданные связывают её с русско-английской чат-моделью, поэтому она подходит для общения и ответов на запросы на русском и английском языках. Лицензия в предоставленных данных не указана.

Llama3.1-8B-ShiningValiant2-GGUF — это квантизированная GGUF-версия языковой модели Llama3.1-8B-ShiningValiant2, разработанной ValiantLabs и подготовленной к распространению пользователем bartowski. Модель предназначена для генерации текста, диалоговых и инструкционных сценариев, включая работу с научно-техническими темами: физикой, биологией, химией, информатикой и инженерией. Указан английский язык. Модель основана на архитектуре Llama и имеет около 8 млрд параметров. Она представлена в форматах от F16 до различных вариантов квантизации Q8, Q6, Q5, Q4, Q3 и IQ4, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Файлы подготовлены с использованием llama.cpp и imatrix; запуск рекомендуется через LM Studio. В README не указаны модальности, максимальный размер контекста и результаты сравнительных тестов, поэтому её преимущества можно уверенно связывать главным образом с выбором размера и уровня квантизации. Качество и потребление памяти зависят от выбранного варианта: F16 обеспечивает максимальное сохранение исходных характеристик, а квантизированные версии подходят для локального запуска на менее производительном оборудовании, но могут уступать по качеству. Некоторые варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки. Модель распространяется по лицензии llama3.1.

TartuNLP и TalTechNLP разработали Llama 3.1 EstLLM 70B 0826 Instruct — плотную авторегрессионную языковую модель с инструкционной настройкой для диалогов и генерации текста. Модель продолжает предобучение Llama 3.1 70B на примерно 60 млрд токенов, затем прошла supervised fine-tuning и оптимизацию предпочтений DPO. Она содержит 69,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; нативное окно контекста — 131 072 токена. Модель рассчитана прежде всего на эстонский и английский языки. Она подходит для диалоговых ответов, следования инструкциям и генерации текста; в карточке также приведена оценка перевода с английского на эстонский. В опубликованных результатах она сравнивается на задачах проверки инструкций, языковой компетенции, знаний и рассуждений. Лицензия — Llama 3.1 Community License Agreement.

Это текстовая версия Llama 3.2 11B Vision Instruct, опубликованная theo77186: автор карточки сообщает, что из исходной модели оставлена только языковая часть размером около 8 млрд параметров. Модель построена на архитектуре Llama и предназначена для генерации текста в формате инструкций и диалогов, включая ответы на вопросы и работу в роли чат-ассистента. Модель принимает текст и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленная длина контекста — 131 072 токена. В репозитории указаны веса safetensors и лицензия Llama 3.2 Community License с особыми условиями использования. Хотя исходная Llama 3.2 Vision рассчитана на задачи с изображениями, автор этого репозитория оставил только языковую часть, поэтому описанные сценарии обработки изображений к данной версии не относятся. Карточка не приводит отдельной оценки качества именно этой текстовой версии. Следует учитывать условия Community License и Acceptable Use Policy; модель обучена на статическом наборе данных.

lmstudio-community/Llama-4-Scout-17B-16E-MLX-text-8bit — это текстовая версия модели Llama 4 Scout, адаптированная сообществом lmstudio-community для экосистемы MLX. Базовая модель — meta-llama/Llama-4-Scout-17B-16E-Instruct, разработанная Meta. Обозначение модели указывает на использование 8-битного представления весов и архитектуру с 17 млрд параметров и 16 экспертами, однако в README не приведены подробности о механизме маршрутизации экспертов или фактическом объёме активных параметров. Модель предназначена для генерации и обработки текста, включая диалоговые и инструкционные сценарии. Заявлена поддержка арабского, немецкого, английского, испанского, французского, хинди, индонезийского, итальянского, португальского, тайского, тагальского и вьетнамского языков. Сведения о размере контекста, дополнительных модальностях, результатах тестирования, производительности и конкретных ограничениях в README отсутствуют, поэтому их нельзя достоверно оценить. Использование регулируется Llama 4 Community License от Meta. Лицензия предоставляет ограниченные права на использование, копирование, распространение, модификацию и создание производных работ при соблюдении условий соглашения, включая передачу текста лицензии, указание «Built with Llama», атрибуцию и соблюдение Acceptable Use Policy. Для продуктов и сервисов с более чем 700 млн ежемесячных активных пользователей требуется отдельная лицензия Meta.

Magnum v2 12B — чат-модель Anthracite, созданная для генерации связного текста с качеством прозы, ориентированным на Claude 3 Sonnet и Opus. Это полносвязная модель семейства Mistral с 12,1 млрд параметров, дообученная на Mistral-Nemo-Base-2407 и настроенная на инструкции в формате ChatML. Модель предназначена для диалогов, ответов на инструкции и создания текстов. При обучении использовались отфильтрованный Stheno и наборы инструкций и прозы, включая данные Opus Instruct и Sonnet 3.5. В метаданных указаны поддержка девяти языков и контекст до 1 024 000 токенов. В README приведены результаты Open LLM Leaderboard: средняя оценка 18,68 и 37,62 на IFEval (0-shot). Это результаты отдельных оценок, а не гарантия качества для конкретной задачи. Модель распространяется по лицензии Apache-2.0; веса доступны в формате safetensors.

Это версия Meta-Llama-3.1-8B-Instruct в формате GGUF, подготовленная mlx-community и опубликованная MaziyarPanahi. Модель предназначена для диалоговой генерации текста и выполнения инструкций; её можно запускать локально с помощью llama.cpp и совместимых приложений. Каталог указывает на 8 млрд параметров у базовой модели и плотную архитектуру семейства Mistral. Репозиторий содержит файлы GGUF в формате BF16. README перечисляет llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другие совместимые средства запуска. Лицензия и конкретные ограничения применения в предоставленных данных не описаны.

Ministral-3-14B-Reasoning-2512-GGUF — мультимодальная языковая модель в формате GGUF, созданная на основе Ministral-3-14B-Reasoning-2512 от MistralAI. Конвертацию и квантизацию выполнил EnlistedGhost с использованием llama.cpp версии 8189. Модель предназначена для локального запуска через Ollama и llama.cpp и поддерживает как текстовые, так и визуальные запросы благодаря двум файлам мультимодального проектора mmproj. Модель ориентирована на диалоговые сценарии, рассуждение, анализ изображений и генерацию ответов на нескольких языках: английском, французском, испанском, немецком, итальянском, португальском, нидерландском, китайском, японском, корейском, арабском и русском. Заявлен размер базовой модели — 14B параметров. В поставку входит пользовательский шаблон чата с ограничением скользящего окна примерно до 46 взаимодействий, которое можно изменять в шаблоне. К сильным сторонам относятся совместимость с Ollama и llama.cpp, локальный запуск, мультимодальность, многоязычность и наличие квантованных вариантов, позволяющих снизить требования к ресурсам. Ограничения связаны с потерями качества и точности, характерными для квантизации, а также с возможными проблемами шаблона чата: автор сообщает, что при загрузке с Hugging Face механизм тегов рассуждений может работать некорректно и требует исправления или настройки. Модель распространяется по лицензии Apache-2.0.

EnlistedGhost/Ministral-3-8B-Instruct-2512-GGUF — это квантизированная версия мультимодальной модели Ministral 3 8B Instruct 2512 BF16, разработанной Mistral AI и преобразованной в формат GGUF пользователем EnlistedGhost с помощью llama.cpp. Модель предназначена для диалогов, выполнения инструкций и задач image-text-to-text с поддержкой текста и изображений. Указаны языки: английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский. Доступны варианты квантования от Q2_K_L до Q8_0_L, а также F16 и мультимодальные vision-проекторы в форматах F16 и F32. Модель ориентирована на локальный запуск и совместима с llama.cpp, Ollama и Yollama. Семейство Ministral 3 разработано для edge-развёртывания; исходная версия 8B, по данным README, может работать примерно в пределах 32 ГБ VRAM в BF16 и менее 24 ГБ RAM или VRAM в квантизированном виде. К сильным сторонам относятся компактный размер, поддержка мультимодального ввода и широкий выбор квантованных вариантов, однако качество и требования к ресурсам зависят от выбранного варианта. Лицензия — Apache-2.0.

mncai/mistral-7b-v5 — языковая модель MindsAndCompany на архитектуре Mistral, основанная на mistral-7b. Согласно карточке, модель прошла инструкционное дообучение и оптимизацию DPO. Она предназначена для генерации ответов на инструкции и диалоговых сценариев; в примере из карточки пользователь задаёт вопрос на корейском языке и просит объяснить решение. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст. Указанная длина контекста — 32 768 токенов. В метаданных отмечен английский язык; пример также демонстрирует ввод на корейском, но этого недостаточно, чтобы считать корейский заявленным поддерживаемым языком. Модель может быть полезна для прототипов бизнес-чатботов и ассистентов, упомянутых разработчиком. Лицензия указана как llama2; перед использованием следует проверить её условия для конкретного сценария.

MythoMist-7b-Mistral-7B-Instruct-v0.1 — объединённая чат-модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она создана методом SLERP-слияния mistralai/Mistral-7B-Instruct-v0.1 и Gryphe/MythoMist-7b; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Она поддерживает контекст до 32 768 токенов и рассчитана прежде всего на английский язык. Лицензия — Apache-2.0. Качество ответов зависит от формулировки запроса и может быть непоследовательным; как и другие языковые модели, она может генерировать фактически неверную информацию. Она не предназначена для обработки изображений, аудио или видео.

Trisert/nerde-14B — объединённая чат-модель на архитектуре Mistral, созданная автором репозитория с помощью mergekit методом SLERP из HuggingFaceH4/zephyr-7b-beta и Nexusflow/Starling-LM-7B-beta. Несмотря на название репозитория, в метаданных указан размер 7,1 млрд параметров. Модель предназначена для диалогов и генерации текста в ответ на запросы; её контекст составляет до 32 768 токенов. Модель распространяется в формате safetensors и рассчитана на работу через библиотеку Transformers. Метаданные и README не сообщают лицензию или результаты оценки качества, поэтому условия использования и сравнительную эффективность установить нельзя.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это GGUF-квантизированная версия языковой модели NVIDIA Nemotron-3.5-Lightning-30B-A3B, разработанной NVIDIA и подготовленной для запуска с llama.cpp. Квантизацию выполнил bartowski с использованием imatrix. Модель предназначена для генерации текста и поддерживает только текстовый ввод; заявленное количество параметров — 33 млрд. Вариант включает поддержку MTP. Модель подходит для локального запуска и задач текстовой генерации, включая диалоговые сценарии при использовании рекомендованного шаблона промпта. Доступны варианты квантизации от BF16 и Q8_0 до более компактных Q3 и IQ3, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. В README рекомендуются Q4_K_M как сбалансированный вариант, а также варианты Q5 и Q6 для более высокого качества. Заявлена поддержка английского, испанского, французского, немецкого, итальянского и японского языков. Ограничения модели включают отсутствие мультимодального ввода и неизвестный из предоставленных данных размер контекстного окна. Более сильное сжатие уменьшает требования к памяти, но может снижать качество по сравнению с BF16 и вариантами с более высокой точностью. Модель распространяется по лицензии openmdw-1.1; в README она обозначена как license: other, с дополнительной ссылкой на условия лицензии.

OriOn-Qwen Synthetic Reasoning 1 — мультимодальная модель LightOn на базе Qwen3-VL-32B-Instruct, дообученная и объединённая с базовыми весами для ответов на вопросы по длинным визуальным документам. Она принимает текстовые вопросы и изображения страниц, извлекает релевантные свидетельства и объединяет сведения с нескольких страниц; подходит для анализа длинных PDF-файлов и презентаций, включая документы объёмом более 250 страниц. Модель построена на архитектуре Qwen3VLForConditionalGeneration, содержит 32 млрд параметров и поддерживает контекст длиной 262 144 токена. Для управления режимом рассуждения в системный запрос можно добавить специальный токен управления. По данным карточки, модель достигает 58,3 на MMLongBenchDoc и выдаёт в среднем около 250 токенов, сохраняя преимущество на длинных документах без явной генерации цепочки рассуждений. Карточка также сообщает о применении в юридических, научных и финансовых сценариях. Лицензия — Apache-2.0.

QuantFactory/Phi-3-mini-4k-geminified-GGUF — квантизированная версия модели failspy/Phi-3-mini-4k-geminified, созданная с использованием llama.cpp. Исходная модель основана на Microsoft Phi-3-mini-instruct и подвергнута ортогонализации весов в формате bfloat16 safetensors по методологии, связанной с исследованием о механизмах отказа больших языковых моделей. Автором исходной модификации указан failspy; QuantFactory подготовила версию GGUF. Модель предназначена для генерации текста и, согласно метаданным, обработки естественного языка и кода. Заявлена поддержка multilingual-сценариев. В карточке упоминается контекст 4K в названии производной модели, однако в описании исходной модели также указано Phi-3-mini-128k-instruct, поэтому точный размер контекстного окна именно этой сборки неоднозначен. Архитектура и точное количество параметров не указаны; формат GGUF ориентирован на локальный inference через совместимые инструменты. К потенциальным сильным сторонам относятся компактность исходного семейства Phi-3-mini, возможность локального запуска в квантизированном формате и поведение, изменённое в сторону меньшего количества стандартных отказов. Ограничения включают неполную информацию о типе и уровне квантизации, неоднозначность относительно контекстного окна и отсутствие результатов бенчмарков. Модель распространяется по лицензии MIT; в README приведена ссылка на лицензию Microsoft Phi-3-medium-4k-instruct.

Qwen3.5-35B-A3B RAMP v2 — GGUF-квантизация модели Qwen/Qwen3.5-35B-A3B, подготовленная независимым ML-исследователем Кевином Ремондером. Это генеративная MoE-модель для диалогов; сборка оптимизирована для запуска на видеокарте RTX 5060 Ti с 16 ГБ памяти и занимает около 15,2 ГБ. В README описана схема RAMP: точность квантизации выбирается отдельно для тензоров с учётом их чувствительности, а калибровочная imatrix создавалась на англо- и франкоязычных текстах, коде и клинических данных. Модель предназначена для локального текстового диалога и генерации, в том числе на английском, французском и китайском языках. В качестве основы использована Qwen3.5-35B-A3B; метаданные каталога указывают поддержку чата. Для запуска автор приводит инструкции с llama.cpp и рекомендует ik_llama.cpp для видеокарт sm_120. README сообщает о функциональной проверке 30 из 30 тестов, но не приводит подробных результатов бенчмарков. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP-RFA_S — это смешанная малобитная квантованная версия модели Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. Базовую модель разработал DavidAU совместно с Nightmedia, TeichAI, armand0e и trohrbaugh; репозиторий квантования поддерживает tcclaviger. Модель основана на Qwen3.6 с 27 млрд параметров и предназначена для широкого круга задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, сторителлинга и ролевого взаимодействия. В карточке заявлена поддержка английского и китайского языков, а также текстово-графического сценария, однако размер контекста не указан. Версия RFA_S использует смешанную точность: основные dense MLP-слои, часть attention-блоков и MTP-блок квантованы в RFA 4-bit, линейное и gated-delta attention — в RFI int8 W8A8, а отдельные компоненты, включая vision tower, embeddings и lm_head, сохранены в bf16. Всего квантовано 405 модулей, общий размер составляет около 22,97 ГБ. Такой подход уменьшает требования к памяти по сравнению с менее агрессивной сборкой, сохраняя часть компонентов в более высокой точности. Ключевые ограничения связаны с совместимостью: требуется специальный образ tcclaviger/vllm:dev или более новый runtime с поддержкой RFA/RFI и оборудования RDNA 4 (gfx12xx); работа на другом оборудовании не подтверждена. Это не самостоятельная дообученная архитектура, а численно изменённая квантованная сборка родительской модели. Лицензия указана как Apache-2.0.

lued/Qwen3.8-27B-INT8-W8A16-MTP — это квантизированная версия базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель не является дообученной версией: в ней применена числовая квантизация для запуска через vLLM на видеокартах архитектуры Ampere, в частности на конфигурации из двух RTX 3090. Она предназначена для диалоговых и мультимодальных сценариев, включая работу с текстом и изображениями, а также для инференса с ускорением speculative decoding посредством MTP. Используется формат W8A16: веса представлены в INT8, а активации — в FP16 или BF16; размер группы квантизации — 128, применяется симметричная data-free RTN-квантизация. Сохраняются vision tower, управляющие механизмы reasoning, BF16 MTP head и контекстное окно до 262 144 токенов. Модель поддерживает FP8 E4M3 KV-кэш; заявлена возможность расширения контекста до 1 млн токенов через YaRN на уровне исходной модели, однако приведённая конфигурация памяти этого не поддерживает. Сильной стороной является высокая близость к BF16-версии: заявлены 99,36% совпадения top-1 и меньший дрейф весов по сравнению с официальной FP8-версией. Ограничения связаны с требованиями к памяти и текущей стабильностью многопоточного обслуживания: на проверенной версии vLLM параллельные запросы могут приводить к сбоям движка. Производительность зависит от длины контекста и принятия черновых токенов MTP; при длинных запросах время до первого токена существенно возрастает. Данные о функциональном качестве, использовании инструментов, генерации JSON, программировании и мультимодальных возможностях в карточке не приведены. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-Flash-Next-GGUF — GGUF-квантизированная версия модели Qwen3.8-Flash-Next, разработанной Qwen и квантизированной пользователем qtum с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp; заявленные языки — английский и китайский. Модель содержит около 180 млрд параметров: MoE-ядро на 125 млрд параметров с 48 слоями, 512 экспертами, маршрутизацией top-10 и одним общим экспертом, а также 51-миллиардную PLE-таблицу n-грамм. Используется гибридное внимание: линейное внимание Gated DeltaNet чередуется с блоками Qwen Sparse Attention и гиперсвязями. Максимальная длина контекста — до 262 тысяч токенов. Слой MTP для чернового предсказания был исключён при конвертации. Доступны варианты BF16 и квантизации IQ4_XS, IQ3_XXS, IQ2_XS-layered и IQ1_M-layered размером примерно от 76,4 до 118,8 GiB; каждый вариант поставляется в восьми сегментах. Квантизация снижает требования к хранилищу, но ухудшает показатель perplexity относительно BF16, особенно у низкобитных вариантов. Для работы необходимо скачать все восемь сегментов и использовать llama.cpp; модель предъявляет очень высокие требования к ресурсам. Лицензия — Qwen Community License 1.0, унаследованная от исходной модели, а не MIT.

SauerkrautLM-7b-HerO-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием методом SLERP моделей Mistral-7B-Instruct-v0.2 и SauerkrautLM-7b-HerO; конфигурация слияния использует bf16. Модель предназначена для генерации текста и ответов на инструкции в формате диалога. Контекстное окно составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

TareksGraveyard/Savant-Qwen2.5-72B — объединённая модель на основе Qwen2.5, созданная автором репозитория методом della_linear с помощью mergekit. В качестве базовой использована zetasepic/Qwen2.5-72B-Instruct-abliterated; в объединение также вошли EVA-Qwen2.5-72B-v0.2, 72B-Qwen2.5-Kunou-v1, Q2.5-MS-Mistoria-72b-v2 и ChatWaifu_72B_v2.2. Модель предназначена для генерации текста и диалогового общения. Она имеет плотную архитектуру Qwen2ForCausalLM, содержит 71,5 млрд параметров и поддерживает контекст до 32 768 токенов. Веса представлены в формате safetensors; лицензия указана как other. Сведения о конкретных поддерживаемых языках и особых ограничениях в карточке не приведены.

google/t5gemma-s-s-ul2-it — англоязычная instruction-tuned encoder-decoder-модель Google из семейства T5Gemma. Она получена дообучением базовой google/t5gemma-s-s-ul2, адаптированной из decoder-only-модели по схеме UL2; веса опубликованы в формате safetensors. Архитектура использует энкодер и декодер размера S. Модель предназначена для генерации текста по инструкциям, в том числе для ответов на вопросы, суммаризации, рассуждений и создания черновиков текстов. Текстовый формат входа и выхода позволяет применять её в сценариях text-to-text и диалоговых приложениях. Карточка не приводит число параметров и длину контекста этой версии. К ограничениям относятся возможные фактические ошибки, смещения в ответах и трудности с нюансами языка или сложными открытыми задачами; качество зависит от обучающих данных и формулировки запроса. Лицензия — Gemma; применяются условия и ограничения использования Gemma.

BgGPT-7B-Instruct-v0.2 — инструктивно дообученная языковая модель INSAIT Institute при Софийском университете, созданная на основе Mistral-7B-v0.1. Это плотный авторегрессионный трансформер с 7,1 млрд параметров и контекстом до 32 768 токенов; для работы с инструкциями использует формат Mistral с маркерами [INST] и [/INST]. Модель предназначена для диалогов, ответов на вопросы и генерации текста на болгарском и английском языках. В версии 0.2 продолжено предварительное обучение на болгарских веб-данных и специализированных наборах, а также на переводах англоязычных данных; токенизатор расширен для более эффективной обработки болгарского текста на кириллице. Английские данные использовались для сохранения навыков английского языка и логического рассуждения. Модель распространяется по лицензии Apache 2.0. В карточке приведены бенчмарки, основанные на переводах англоязычных тестов; их результаты могут не полностью отражать качество на исходных языковых наборах. Указанный контекст — технический предел модели, а качество ответов и рассуждений зависит от запроса и сценария применения.