I.14Автоматизация процессов и AI-агенты

MaziyarPanahi/Mistral-7B-Instruct-v0.1-16k-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 от Mistral AI и NurtureAI/Mistral-7B-Instruct-v0.1-16k методом SLERP. Это плотная авторегрессионная модель Mistral с 7,1 млрд параметров для генерации текста и выполнения инструкций в диалоговом формате. Модель принимает текст и генерирует текст; максимальная длина контекста по метаданным — 32 768 токенов. Она подходит для диалогов, ответов на вопросы и работы с длинными текстовыми запросами. Лицензия — Apache-2.0.

Qwen/Qwen1.5-110B-Chat — чат-модель из серии Qwen1.5, разработанной командой Qwen. Это бета-версия Qwen2: плотная авторегрессионная языковая модель на архитектуре Transformer с 110 млрд параметров, предназначенная для диалогов и генерации текста. Модель обучена следовать инструкциям и выдана в формате safetensors. Модель поддерживает многоязычное общение, а её контекстное окно составляет 32 768 токенов. В архитектуре серии используются SwiGLU, смещение в проекциях внимания QKV и, для версии 110B, групповое внимание запросов (GQA). Для работы подходит актуальная версия библиотеки Transformers; удалённый код модели не требуется. Модель подходит для диалоговых ассистентов, генерации и редактирования текста, а также ответов на вопросы по длинным входным материалам. Карточка не приводит конкретные результаты оценки качества и не перечисляет поддерживаемые языки по отдельности. Лицензия указана как other, поэтому условия использования следует проверять в карточке репозитория.

AtomicChat/Qwen2.5-7B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct, подготовленная Atomic Chat из оригинальных весов Qwen. Модель предназначена для генерации текста, диалоговых приложений и локального офлайн-использования через совместимые инструменты, включая llama.cpp, Ollama, LM Studio и Jan. Модель имеет 7,6 млрд параметров, 28 слоёв и архитектуру плотного декодера Qwen2ForCausalLM с гибридным вниманием: sliding-window attention и глобальным вниманием. Заявленная длина контекста составляет 32 768 токенов, размер словаря — 152 064 токена. Поддерживается только текстовый ввод и вывод; заявлена многоязычная работа более чем с 29 языками, включая китайский, английский, французский, испанский, немецкий, русский, японский, корейский, вьетнамский, тайский и арабский. Репозиторий содержит варианты GGUF-квантизации Q4_K_M, UD-Q4_K_XL, Q5_K_M, Q6_K и Q8_0. Квантизация с importance matrix помогает сохранить качество исходной модели при уменьшении размера; Q4_K_M рекомендуется как компромисс между размером, скоростью и качеством, а Q8_0 обеспечивает практически исходную точность, но требует около 8,1 ГБ. Ограничения связаны с потерями качества у низкобитных вариантов и необходимостью применять шаблон чата Qwen2.5; в llama.cpp следует использовать параметр --jinja. Исходная модель распространяется по лицензии Apache 2.0; квантизация выполнена Atomic Chat.

RedHatAI/Qwen3.5-4B-FP8-dynamic — мультимодальная модель RedHatAI, созданная на основе Qwen/Qwen3.5-4B. Она принимает текст и изображения, а генерирует текст, поэтому предназначена для диалогов, анализа изображений, ответов на вопросы, следования инструкциям и решения задач рассуждения. Указанная конфигурация рассчитана на инференс через vLLM и поддерживает текстовый режим с пониженным потреблением памяти. Модель использует архитектуру Qwen/Qwen3.5-4B и контекст до 262 144 токенов при развертывании с рекомендованными параметрами. Веса и активации линейных операторов внутри трансформерных блоков динамически квантизированы в FP8; для активаций применяется масштабирование на уровне тензора без калибровочных данных. Размер на диске составляет около 8,0 ГБ вместо 9,3 ГБ у версии BF16, что уменьшает требования к памяти примерно на 14%. Языки в README не указаны. По опубликованным оценкам, квантизация в целом сохраняет качество базовой модели: результаты на GSM8k-Platinum, MMLU-Pro, IFEval, Math 500, AIME 2025 и GPQA Diamond близки к показателям исходной Qwen/Qwen3.5-4B. Ограничения включают отсутствие подробных сведений о языковой поддержке и аппаратных требованиях; качество также может зависеть от поддержки FP8 и используемого рантайма. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.5-4B-quantized.w4a16 — квантизированная версия мультимодальной модели Qwen3.5-4B, разработанная RedHatAI на основе базовой модели Qwen/Qwen3.5-4B. Она принимает текст и изображения, а генерирует текст и предназначена для задач диалогового взаимодействия, следования инструкциям, рассуждений и анализа визуального содержимого. Модель использует архитектуру Qwen3.5-4B и оптимизирована для инференса через vLLM. Веса линейных операторов в трансформерных блоках сжаты до INT4, тогда как активации сохраняют исходную точность. Vision encoder, токеновые эмбеддинги и слои linear attention остаются в формате BF16. Размер модели на диске составляет около 5,2 ГБ против 8,8 ГБ у версии BF16, что снижает требования к памяти. В конфигурации vLLM заявлена поддержка контекста до 262 144 токенов; также доступен текстовый режим с отключением визуальной части. Языки модели в README не указаны. К сильным сторонам относятся существенное уменьшение размера и требований к памяти при сохранении близких к исходной модели результатов на ряде тестов, включая GSM8k-Platinum, MMLU-Pro, IFEval и Math 500. Ограничениями являются возможное снижение качества на отдельных задачах рассуждений, заметное на AIME 2025 и GPQA Diamond, а также зависимость от совместимого окружения vLLM и связанных инструментов. Модель распространяется по лицензии Apache-2.0.

KridgeDookie/Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS — мультимодальная производная модель на базе Qwen/Qwen3.8-27B. Она сохраняет гибридную текстово-визуальную архитектуру исходной модели, имеет 27 млрд параметров и распространяется в формате BF16 Safetensors, а также в нескольких текстовых вариантах GGUF. Модель заявлена как многоязычная и предназначена для диалогов, генерации и анализа текста, программирования, работы с JSON, объяснений, математических задач и обработки изображений. Для запуска в Transformers рекомендуется около 56 ГБ памяти под веса без учёта служебных расходов и KV-кэша; в примере для Ollama указан контекст 32768 токенов, но это не подтверждает максимальный контекст модели. Основная особенность версии PHILADELPHIA CLASS — существенное снижение отказов от ответа. По внутренним автоматизированным проверкам авторов, модель не отказала в 842 основных и 126 отложенных запросах, а также прошла 23 из 24 проверок связности; эти результаты не являются независимым аудитом или публичными бенчмарками, причём часть тестовых запросов использовалась при настройке преобразования. Возможные ограничения включают отсутствие гарантии сохранения исходных показателей рассуждений, точности, программирования и компьютерного зрения, зависимость поведения от квантования и серверной части, а также отсутствие MTP-головы, из-за чего недоступно спекулятивное декодирование на её основе. Safetensors предназначен для проверенного мультимодального режима, тогда как GGUF-файлы являются текстовыми и требуют отдельного совместимого vision projector для работы с изображениями. Модель выпущена по лицензии Apache License 2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-сборка плотной мультимодальной causal language model Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также анализа изображений и видео. Вариант Aggressive ориентирован на прямые ответы без выраженного отказного поведения и с минимальным предварительным вступлением в сложных запросах. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, размер FFN 17408 и словарь из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются встроенные MTP/NextN и профиль ускорения HauhauCS FastMTP 32K; заявлены ускорение генерации до 3,02 раза для документов и до 1,93 раза для рассуждений относительно варианта без MTP. Нативный контекст составляет 262 144 токена и может расширяться до 1 000 000. Для визуального ввода используется отдельный vision-проектор BF16. Заявлены английский, китайский и мультиязычный режимы. Сильными сторонами являются большой контекст, текстовые и визуальные возможности, поддержка нескольких уровней квантизации GGUF и ускорение FastMTP. Aggressive-профиль может быть удобен там, где нужны краткие прямые ответы, однако его сниженное отказное поведение может быть менее подходящим для надёжных и критичных к безопасности приложений; автор README рекомендует для таких агентских задач Balanced-вариант, если он доступен. Доступны квантизации Q2–Q8 и пользовательские K_P-кванты, оптимизированные для сохранения качества. Модель распространяется по лицензии Apache-2.0.

devan-carlin/Qwen3.8-Flash-Next-W4A16 — сообщественная W4A16-квантизированная версия Qwen3.8-Flash-Next, базовую модель и лицензию которой разработала команда Qwen. Репозиторий предоставляет квантизацию и рецепт запуска на Intel XPU с использованием patched vLLM. Модель предназначена для генерации текста, рассуждений, вызова инструментов и мультимодальных сценариев с обработкой изображений; доступны текстовые и графические входы через процессор Qwen3-VL. Модель использует MoE-архитектуру с 125B параметров и примерно 6B активных параметров. Экспертные веса квантизированы в int4 по схеме group-128 с активациями A16, а отдельные компоненты, включая визуальный модуль, эмбеддинги и ряд служебных слоёв, сохранены в BF16. Поддерживается контекст до 256K токенов и FP8 KV-кэш. В составе присутствует 27-блочный vision tower, совместимый с Qwen3-VL. Для корректной работы требуется PLE n-gram table объёмом около 96 ГБ в оперативной памяти. К сильным сторонам относятся большой контекст, MoE-эффективность, поддержка изображений и возможность производительного запуска на Intel Arc Pro B70: заявлено около 53,4 токена в секунду на конфигурации из четырёх ускорителей. Ограничения существенны: необходимы четыре Intel Arc Pro B70 с суммарно 128 ГБ VRAM, не менее 128 ГБ оперативной памяти, специальная версия vLLM и закреплённые версии XPU-зависимостей. Для этого чекпойнта рекомендуется температура не выше примерно 0,7, поскольку при более высоких значениях наблюдаются повторения и деградация вывода. Модель распространяется по Qwen Community License 1.0; лицензия указана как other.

Vikhr-Llama3.1-8B-Instruct-R-21-09-24 — русско- и англоязычная унимодальная языковая модель команды VikhrModels, дообученная на базе Meta-Llama-3.1-8B-Instruct. Это плотная causal language model семейства Llama с 7,5 млрд параметров, предназначенная для диалогов и генерации текста. Модель поддерживает контекст до 131 072 токенов и распространяется в формате Safetensors по лицензии Apache-2.0. Модель подходит для ответов на инструкции и вопросы, рассуждений, суммаризации, генерации кода и ролевого диалога. Отдельно обучена для grounded RAG: может использовать предоставленные документы и выбирать их идентификаторы для ответа. В README авторы описывают этапы SFT и собственный метод выравнивания SMPO и приводят результаты внутренних бенчмарков; эти оценки не гарантируют качество на иных данных. У модели отмечен низкий уровень безопасности ответов, поэтому перед применением в пользовательских сценариях нужны собственные проверки. Для режима RAG требуется специальный системный промпт, и модель может дополнять сведения из документов собственными знаниями. Авторы рекомендуют низкую температуру генерации; системные промпты лучше использовать для задания стиля, а не персонажа.

Xiaolong-Qwen3-14B — 14-миллиардная плотная языковая модель семейства Qwen3, созданная nbeerbower дообучением Qwen3-14B-abliterated-TIES методом ORPO с использованием QLoRA. Модель ориентирована на диалог и рассуждения; в обучающую выборку вошли примеры по общему, физическому и математическому рассуждению, программированию, а также художественные тексты. Интерфейс модели поддерживает диалог и вызов инструментов. Модель принимает и генерирует текст, имеет контекстное окно 32 768 токенов и распространяется в формате safetensors для Transformers. Карточка описывает её как uncensored; это характеристика поведения модели, а не гарантия точности или безопасности ответов. Лицензия — Apache-2.0.

C4AI Command-R — исследовательская генеративная языковая модель с открытыми весами, разработанная Cohere For AI. Модель предназначена для рассуждений, суммаризации, ответов на вопросы и многоязычной генерации, а также демонстрирует высокую эффективность в сценариях Retrieval-Augmented Generation (RAG). В README указано, что модель относится к крупным языковым моделям размером около 35 млрд параметров; также доступны варианты на 32 и 35 млрд параметров. Многоязычные возможности оценивались для 10 языков. Сведения об архитектуре, максимальной длине контекста и точном перечне поддерживаемых языков не приведены. К сильным сторонам относятся открытые веса, поддержка широкого спектра текстовых задач, многоязычность и ориентация на RAG-сценарии. Ограничения связаны с исследовательским статусом модели, отсутствием подробных данных о характеристиках и применимостью условий некоммерческой лицензии CC BY-NC 4.0. В README также указано, что конвертацию выполнила Homebrew.

casperhansen/deepseek-r1-distill-llama-8b-awq — это 4-битная AWQ-квантизованная версия DeepSeek-R1-Distill-Llama-8B, опубликованная пользователем Casper Hansen на Hugging Face. Исходную модель разработала DeepSeek; она создана дистилляцией DeepSeek-R1 в базовую архитектуру Llama 3.1 8B с использованием синтетических образцов, с акцентом на рассуждения. Репозиторий Casper Hansen содержит веса в формате Safetensors и конфигурацию для запуска квантизованной модели. Модель предназначена для текстовой генерации и задач, требующих языкового и логического рассуждения, включая ответы на вопросы, математические и программные задачи. Она использует архитектуру LlamaForCausalLM, около 8 млрд параметров, 32 слоя, 32 attention-heads и 8 key-value heads. Конфигурация указывает контекст до 131 072 токенов, хотя практическая поддержка зависит от используемого ПО и ресурсов. Мультимодальность не заявлена; модель работает с текстом. Квантизация снижает требования к памяти и ускоряет локальный запуск, но может ухудшать качество по сравнению с полной точностью. Карточка производной модели почти не содержит описания, поэтому подробные сведения о бенчмарках, ограничениях безопасности, языковой поддержке и рекомендуемых сценариях именно этой AWQ-сборки отсутствуют. В репозитории указана лицензия MIT; при использовании также следует учитывать условия исходной модели DeepSeek-R1-Distill-Llama-8B.

DeepSeek-R1-ReDistill-Qwen-1.5B-v1.0 — версия DeepSeek-R1-Distill-Qwen-1.5B, повторно дистиллированная Mobius Labs для повышения качества. Это плотная авторегрессионная языковая модель семейства Qwen2 с 1,5 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для генерации текста и диалогового применения; исходная модель ориентирована на рассуждения и решение задач, включая математику и программирование. В карточке приведены сравнительные результаты на ARC, HellaSwag, MMLU, GPQA, MMLU PRO и MUSR, где версия ReDistill показывает улучшения относительно исходной на перечисленных тестах. Репозиторий содержит веса SafeTensors. Лицензия — MIT.

AtomicChat/gemma-4-26B-A4B-it-GGUF — это GGUF-квантизированная версия инструкционной модели google/gemma-4-26B-A4B-it, подготовленная Atomic Chat на основе оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования в задачах генерации текста, диалогов, рассуждений и других сценариях, поддерживаемых базовой text-generation-моделью. Для запуска в llama.cpp требуется применять шаблон чата Gemma 4 с параметром --jinja. Модель использует архитектуру Mixture-of-Experts: 25,2 млрд параметров всего и около 3,8 млрд активных на каждый токен, 30 слоёв, 128 маршрутизируемых экспертов с выбором top-8, гибридное внимание с локальным окном 1024 токена и глобальным вниманием, 16 attention heads и 8 KV heads. Заявленная длина контекста составляет 256 тысяч токенов, размер словаря — 262 тысячи. Базовая модель поддерживает текст и изображения, однако данный репозиторий содержит только текстовые квантизации и не включает vision projector. К сильным сторонам относятся высокая вычислительная эффективность MoE-архитектуры, большой контекст, режимы рассуждения и широкий выбор квантизаций от Q2_K до Q8_0. Квантизация с importance matrix призвана сохранить качество оригинальной модели, но низкобитные варианты могут заметно терять качество; Q4_K_M обозначен как оптимальный баланс размера, скорости и качества, а Q6_K и Q8_0 — как варианты с минимальными потерями. Размер файлов составляет примерно от 10,6 до 26,9 ГБ, поэтому требуются значительные оперативная память или видеопамять. Модель распространяется по лицензии Apache-2.0.

NVIDIA Llama 3.1 8B Instruct FP8 — FP8-квантизированная версия инструкционно настроенной авторегрессионной языковой модели Meta Llama 3.1 8B Instruct. Модель подготовлена NVIDIA с помощью TensorRT Model Optimizer; README уточняет, что она не принадлежит NVIDIA и была собрана по требованиям стороннего разработчика. Архитектура — трансформер Llama 3.1 с плотной моделью примерно на 7,5 млрд параметров. Модель принимает текстовые последовательности и генерирует текст, поддерживает диалоговый режим и контекст до 128 тысяч токенов. Квантизация весов и активаций линейных операторов до FP8 предназначена для более экономичного и быстрого инференса: в README указано сокращение требований к диску и памяти GPU примерно на 50% и ускорение примерно в 1,3 раза на H100. Предусмотрен запуск через TensorRT-LLM и vLLM на совместимых GPU NVIDIA. Модель подходит для диалогов, генерации и продолжения текста, а также ответов на инструкции. В README заявлено коммерческое и некоммерческое использование; лицензия в метаданных — llama3.1. Качество и скорость зависят от оборудования и среды инференса; оценка ускорения приведена для конфигурации с H100.

bartowski/Meta-Llama-3.1-70B-Instruct-GGUF — это квантованная версия инструкционной модели Meta-Llama-3.1-70B-Instruct, разработанной Meta и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текстов и другие задачи обработки естественного языка. Из доступных данных известно, что модель относится к семейству Llama 3.1, содержит около 70 миллиардов параметров согласно идентификатору базовой модели и работает с текстом. Заявлены языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Формат GGUF обычно ориентирован на локальный инференс, однако конкретный уровень квантования, требования к памяти, размер контекста и точные характеристики производительности в README не указаны. Сильными сторонами модели являются большой размер, инструкционная настройка, поддержка нескольких языков и совместимость с экосистемой GGUF. Ограничениями могут быть высокие требования к вычислительным ресурсам, а также возможная потеря качества по сравнению с полной точностью из-за квантования; степень этого влияния зависит от конкретной версии квантования и не указана. Модель распространяется на условиях Llama 3.1 Community License от Meta. Лицензия предусматривает требования к атрибуции, маркировке продуктов, соблюдению Acceptable Use Policy и особые коммерческие условия для организаций с более чем 700 миллионами ежемесячных активных пользователей.

Meta-Llama-3.1-70B-Instruct-iMat-GGUF — это квантизированная версия инструкционной языковой модели Meta-Llama-3.1-70B-Instruct, разработанной Meta. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. Доступна в формате GGUF для использования с совместимыми инструментами, в частности с актуальными версиями llama.cpp. Модель содержит около 70 миллиардов параметров и работает с текстовыми данными. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Представлены варианты квантизации от Q8_0 до IQ1_S, включая экспериментальные варианты; при квантизации использовалась importance matrix (imatrix), призванная уменьшить потери качества. Длина контекста в README не указана. Сильной стороной модели является сочетание крупного размера, инструкционного обучения и широкого набора вариантов квантизации, позволяющих выбирать компромисс между качеством, скоростью и требованиями к памяти. Ограничения связаны с тем, что качество и ресурсоёмкость зависят от выбранного варианта квантизации, а для работы требуется современная сборка совместимого программного обеспечения. Модель распространяется по лицензии llama3.1.

MiniCPM-V 4.5 int4 — мультимодальная vision-language модель, разработанная OpenBMB. Она предназначена для анализа одиночных и нескольких изображений, видео, документов и текстовых запросов, включая распознавание текста, разбор PDF, визуальные вопросы и ответы, а также понимание коротких и длинных видеоматериалов. Модель поддерживает более 30 языков и ориентирована в том числе на локальный запуск на мобильных устройствах и компьютерах. В основе лежат языковая модель Qwen3-8B и визуальный энкодер SigLIP2-400M; общий размер составляет около 8 млрд параметров. Архитектура включает unified 3D-Resampler для совместной обработки изображений и видео: до шести кадров 448×448 могут сжиматься в 64 видеотокена, что снижает вычислительную стоимость и позволяет анализировать видео с частотой до 10 кадров в секунду. Для изображений поддерживаются произвольные пропорции и разрешение до 1,8 млн пикселей. Модель также использует подходы LLaVA-UHD для работы с изображениями высокого разрешения и отличается сильными заявленными результатами в OCR, понимании документов и мультимодальном рассуждении. К сильным сторонам относятся высокая эффективность для модели такого размера, поддержка изображений, нескольких изображений и видео, развитое распознавание текста, режимы быстрого и глубокого рассуждения, а также варианты запуска через llama.cpp, Ollama, vLLM и SGLang. Представленная версия использует квантование int4, поэтому может требовать меньше памяти, но потенциально уступает полноразмерным вариантам по точности. README не указывает максимальную длину текстового контекста и не приводит подробный перечень ограничений; фактическая скорость и качество зависят от оборудования, формата инференса и сложности входных данных. Модель распространяется по лицензии Apache 2.0.

Mistral-Small-3.2-24B-Instruct-2506-GGUF — квантизированная GGUF-версия инструкционной модели Mistral-Small-3.2-24B-Instruct-2506, разработанной Mistral AI и подготовленной пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для диалоговых приложений, генерации и обработки текста, а также, согласно метаданным, для сценариев image-text-to-text. Поддерживаются английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский и другие языки, перечисленные в карточке модели. Модель содержит около 24 млрд параметров и доступна в вариантах от BF16 до различных уровней Q3–Q8, что позволяет выбирать между качеством, размером файлов и требованиями к оборудованию. Размер файлов варьируется примерно от 13,5 ГБ для компактных квантизаций до 47,15 ГБ для BF16. Версия поддерживает запуск через llama.cpp, LM Studio и совместимые проекты. Исправленный chat template добавляет поддержку tool calling; для корректной работы требуется соответствующий шаблон Mistral-Small-3.2-24B-Instruct-2506.jinja и актуальная поддержка со стороны llama.cpp. К сильным сторонам относятся широкий выбор квантизаций, возможность локального запуска и высокое заявленное качество вариантов Q5–Q8. Ограничения включают значительные требования к памяти даже у компактных вариантов, зависимость от совместимого llama.cpp-окружения и необходимость правильной настройки шаблона чата для вызова инструментов. Размер контекста и подробные характеристики архитектуры в README не указаны. Модель распространяется по лицензии Apache-2.0.

Mistral-Nemo-Instruct-2407-4bit — это 4-битная версия модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.16.0. Модель предназначена для выполнения инструкций и генерации текста в приложениях, поддерживающих MLX и библиотеку mlx-lm. В карточке указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Ключевая характеристика этой версии — 4-битное представление, которое уменьшает требования к памяти по сравнению с полноразмерной моделью, но может сопровождаться некоторой потерей качества. Архитектура, число параметров, модальности и размер контекста в предоставленных данных не указаны. Для использования требуется библиотека mlx-lm; модель загружается по идентификатору mlx-community/Mistral-Nemo-Instruct-2407-4bit. Лицензия — Apache-2.0. Условия запуска и производительность зависят от совместимой с MLX среды.

Mistral-Small-4-119B-Uncensored-GGUF — текстовая GGUF-версия модели Mistral Small 4 119B Instruct, разработанная TIMTEH на базе модели Mistral AI. Из исходной мультимодальной модели удалена vision tower, поэтому данная версия работает только с текстом. Модель предназначена для генерации текста, диалогов, рассуждений, программирования и других задач обработки естественного языка, включая сценарии, где требуется меньше ограничений на ответы. Модель содержит 119 млрд параметров и использует архитектуру Mixture of Experts с 128 маршрутизируемыми и одним общим экспертом на каждом слое; для каждого токена активируются 4 эксперта. Архитектура включает 36 decoder layers и Multi-Latent Attention. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского и корейского языков. Исходная модель поддерживает контекст до 128K токенов, однако для GGUF-рантаймов рекомендуется ориентироваться на контекст до 32K токенов. Ключевая особенность — abliteration: из слоёв 9–35 удалено направление, связанное с отказами, без дообучения и изменения датасета. Это расширяет диапазон запросов, на которые модель отвечает, но одновременно уменьшает защитные ограничения и требует ответственного применения. Модель доступна в вариантах квантования от Q2_K до Q8_0, а также в BF16; размер файлов составляет примерно от 41 до 222 ГБ, поэтому требуются значительные ресурсы GPU или оперативной памяти. Совместима с llama.cpp, LM Studio, Jan, koboldcpp, Ollama и другими GGUF-совместимыми средами. Распространяется по лицензии Apache-2.0.

Occiglot-7B-EU5-Instruct — инструктивная языковая модель, разработанная Occiglot Research Collective. Это плотный авторегрессионный трансформер с архитектурой Mistral и 7,1 млрд параметров, дообученный на 400 млн токенов многоязычных и программных инструкций. Модель принимает текстовые запросы в формате ChatML и генерирует текст; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы, выполнения инструкций и задач с кодом на английском, испанском, французском, немецком и итальянском языках. Карточка приводит предварительные результаты тестирования и отмечает, что часть неанглоязычных оценок основана на машинном переводе, поэтому их следует интерпретировать осторожно. Модель не проходила выравнивание по безопасности и может создавать проблемный контент. Распространяется по лицензии Apache 2.0.

Olmo 3 7B Instruct — авторегрессионная Transformer-модель Allen Institute for AI (Ai2) для диалогов и выполнения инструкций. Модель содержит 6,9 млрд параметров, рассчитана на английский язык и принимает текст, выдавая текст. Контекстное окно — до 65 536 токенов; модель работает через Transformers и распространяется в формате safetensors. Модель создана на основе allenai/Olmo-3-7B-Instruct-DPO и дополнительно обучена на наборе Dolci-Instruct-RL-7B. Она подходит для ответов на вопросы, общего диалога, задач по математике и программированию. Лицензия Apache 2.0; Ai2 указывает исследовательское и образовательное применение согласно своим рекомендациям ответственного использования. Ответы могут содержать фактические ошибки и предвзятость; без дополнительной фильтрации модель может генерировать вредоносный или чувствительный контент. Результаты следует проверять, а при внедрении учитывать необходимость мер безопасности.

Olmo-3-7B-Instruct-SFT — англоязычная авторегрессионная Transformer-модель для диалогов и выполнения инструкций, разработанная Allen Institute for AI (Ai2). Это плотная языковая модель семейства OLMo 3 с 6,9 млрд параметров, дообученная методом SFT на наборах Dolci, включающих диалоги, общие знания, математику и программирование. Модель принимает текст и генерирует текст; контекстное окно составляет 65 536 токенов. Модель подходит для диалоговых помощников, ответов на вопросы, задач по математике и программированию, а также следования инструкциям. В карточке приведены результаты тестов, включая MATH и AIME, но качество ответов может варьироваться. Лицензия Apache 2.0; разработчик рекомендует учитывать свои правила ответственного использования. Модель может выдавать неточные сведения и небезопасный или предвзятый контент, поэтому ответы следует проверять.

Ornith-1.5-35B-A3B-NInfer — квантованный артефакт модели Ornith-1.5-35B-A3B, разработанной shisa-ai на базе архитектуры Ornith и с компонентами, связанными с Qwen3.6-35B-A3B. Модель упакована в единый файл формата NInfer и предназначена для локального сервинга через NInfer, включая совместимый с OpenAI API интерфейс. Она ориентирована на текстовые и визуально-текстовые сценарии, а также на ускоренную генерацию с использованием speculative decoding. Модель построена по архитектуре Mixture-of-Experts размером 35B параметров: используется 256 экспертов, из которых 8 активируются для каждого токена. Архитектура включает 40 гибридных слоёв с линейным и полным вниманием, vision tower, однос слой MTP и контекст длиной до 262144 токенов. В артефакт встроены квантованные groupwise-int веса, MTP-голова, DFlash draft-модель, vision tower, токенизатор и официальный frontend Qwen. Размер файла составляет около 21,22 GiB; заявлена работа на одной видеокарте RTX 5090 с 32 ГБ памяти, при этом NInfer ориентирован на sm_120a. Сильными сторонами являются большое контекстное окно, поддержка изображений, единый переносимый артефакт и ускорение генерации за счёт MTP и DFlash. В README указано ожидаемое принятие спекулятивных токенов около 80% и примерно 3,4 токена за раунд для окна из 3 токенов, однако на дообученных сценариях скорость может снижаться, поэтому производительность следует измерять на собственных данных. Артефакт распространяется по лицензии Apache-2.0; он не является официальным релизом Qwen, shisa-ai, ornith-ai или NInfer.

Qwen2.5-1.5B-Instruct-GPTQ-Int4 — это компактная инструкционно дообученная причинная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для чат-ботов, генерации и продолжения текста, следования инструкциям, работы со структурированными данными и формирования структурированных ответов, включая JSON, а также для задач программирования и математики. Она поддерживает более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, японский и корейский. Модель содержит 1,54 млрд параметров, 28 слоёв и использует архитектуру Transformers с RoPE, SwiGLU, RMSNorm, смещениями QKV в механизме внимания и связанными эмбеддингами слов. Применяется GQA с 12 головами для Q и 2 для KV. Контекст составляет до 32 768 токенов, максимальная длина генерации — 8192 токена. GPTQ-квантизация до 4 бит уменьшает требования к памяти по сравнению с полноразмерной версией, но квантизация может влиять на качество и производительность. Модель ориентирована на локальное и ресурсо-ограниченное развертывание через библиотеку Transformers; для работы рекомендуется использовать актуальную версию библиотеки. README не содержит конкретных результатов тестов, требований к видеопамяти или показателей скорости, поэтому практические характеристики зависят от оборудования и конфигурации. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-32B-Instruct-MLX-8bit — квантованная 8-битная версия инструкционной языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантование в формате MLX выполнено bartowski на основе инструментов mlx-examples. Модель предназначена для генерации текста и диалоговых сценариев, включая понимание и создание структурированных данных, работу с широким спектром знаний и использование в совместимых приложениях на Mac с Apple Silicon. Модель содержит 32 миллиарда параметров, поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Заявлена поддержка более 29 языков, среди которых английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Квантование снижает требования к ресурсам по сравнению с полной версией, однако README не приводит точных показателей производительности или требований к памяти. Как и другие генеративные модели, она может создавать неточный, вредный или неподходящий контент. Модель распространяется по лицензии Apache-2.0.

ClaudioItaly/Qwen2.5-Boster — это объединённая с помощью mergekit методом TIES языковая модель на архитектуре Qwen2 с 7,1 млрд параметров. В качестве основы использована Qwen/Qwen2.5-7B-Instruct, в слияние также включена Qwen/Qwen2.5-Coder-7B-Instruct. Модель предназначена для диалогов и генерации текста, включая задачи с кодом и структурированными ответами. Она принимает текст и выдаёт текст; контекст составляет 32 768 токенов. Модель опубликована в формате safetensors и доступна через библиотеку Transformers. Метаданные указывают интерфейс для вызова инструментов, но карточка не описывает его поведение и качество. Лицензия в предоставленных данных не указана. Результаты могут зависеть от формулировки запроса; README не приводит оценок качества или подробных ограничений модели.

Qwen3-30B-A3B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen и квантизированной компанией Second State Inc. Модель предназначена для генерации текста в формате text-generation и диалогового использования через шаблон chatml, включая работу как сервиса LlamaEdge. В README также указан prompt template для взаимодействия с системными и пользовательскими сообщениями. Модель имеет архитектуру Mixture-of-Experts, о чём свидетельствует обозначение 30B-A3B, однако подробные характеристики архитектуры и языков в README не приведены. Поддерживается контекст размером до 256 000 токенов. Доступны варианты GGUF с разной точностью квантизации от 2 до 8 бит, а также f16; размеры файлов составляют примерно от 3,28 до 16,4 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые, поскольку обеспечивают баланс между размером и потерей качества. Сильной стороной модели являются большой контекст и широкий выбор вариантов квантизации, позволяющий адаптировать требования к памяти и качеству. Ограничения связаны с потенциальной потерей качества при низкой точности квантизации; кроме того, версия LlamaEdge в README указана как находящаяся в разработке. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-2B-GGUF — GGUF-версия модели Qwen3.5-2B, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для мультимодального понимания текста и изображений, рассуждений, программирования, агентских сценариев, прототипирования, исследовательских задач и дообучения под конкретные задачи. Модель совместима с экосистемой Hugging Face Transformers, vLLM, SGLang и KTransformers; для локального запуска и дообучения Unsloth предоставляет отдельные руководства. Модель содержит около 2 млрд параметров, 24 слоя и скрытую размерность 2048. В архитектуре сочетаются Gated Delta Networks и Gated Attention; заявлена гибридная структура с эффективной обработкой последовательностей. Нативная длина контекста составляет 262 144 токена. Модель поддерживает мультимодальные входы и заявленную языковую и диалектную представленность для 201 языкового варианта. GGUF-квантизация ориентирована на эффективный локальный запуск при ограниченных вычислительных ресурсах, однако конкретные характеристики скорости, памяти и точности зависят от варианта квантизации и используемого рантайма. К сильным сторонам относятся сочетание языкового и визуального понимания, длинный контекст, компактный размер и возможность локального применения. Ограничением является меньшая параметрическая ёмкость по сравнению с крупными моделями, поэтому модель может уступать им в сложных задачах и не предназначена как универсальная замена наиболее мощным системам. README также указывает, что модель ориентирована прежде всего на прототипирование, специализированное дообучение, исследования и разработку. Лицензия — Apache 2.0.