I.14Автоматизация процессов и AI-агенты

Qwen2-57B-A14B-Instruct — инструктивная чат-модель семейства Qwen2, разработанная командой Qwen. Это языковая модель с архитектурой Transformer и смесью экспертов (MoE): всего около 57 млрд параметров, из которых при генерации активируется примерно 14 млрд. В метаданных репозитория указано 7,1 млрд параметров; модель распространяется в формате Safetensors и использует лицензию Apache 2.0. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, понимание и создание текстов, рассуждения, математику и программирование. Карточка заявляет контекст до 65 536 токенов с применением YARN для обработки длинных запросов; метаданные каталога указывают нативный контекст 32 768 токенов. Многоязычный токенизатор рассчитан на естественные языки и код, однако метаданные карточки подтверждают только английский язык. Среди сильных сторон — большая длина контекста и широкая направленность на языковые задачи; в README также приведены сравнительные оценки на бенчмарках. Для длинного контекста с YARN описана настройка развёртывания через vLLM, причём фиксированный коэффициент масштабирования может снижать качество на коротких текстах. Для работы с архитектурой Qwen2MoE рекомендуется Transformers версии 4.40.0 или новее.

lmstudio-community/Qwen3-32B-GGUF — квантизированная версия языковой модели Qwen3-32B, разработанной командой Qwen. Формат GGUF подготовлен bartowski на основе llama.cpp, релиз b5200. LM Studio распространяет эту модель в рамках общественной программы, но не является её разработчиком. Модель предназначена для генерации текста, следования инструкциям, многоходовых диалогов, творческого письма, ролевых сценариев, программирования, математических задач и рассуждений общего назначения. Поддерживаются режимы с рассуждением и без него; режим /no_think позволяет отключить рассуждения добавлением соответствующего параметра в конец запроса. Заявлена поддержка более 100 языков и диалектов, а также агентских сценариев. Модель имеет 32 млрд параметров и поддерживает контекст до 131 072 токенов с использованием YaRN; значение по умолчанию составляет 32 000 токенов. К ключевым преимуществам относятся расширенные возможности рассуждения, программирования, математики, диалогового взаимодействия и следования инструкциям. Ограничения включают возможные неточные, вредные или неподходящие ответы, а также отсутствие в README сведений о точном уровне квантизации, требованиях к оборудованию и характеристиках производительности. Модель распространяется по лицензии Apache 2.0.

Yi-1.5-9B-Chat-16K — диалоговая языковая модель семейства Yi, разработанная 01.AI. Это плотная авторегрессионная модель на архитектуре Llama с 8,6 млрд параметров и контекстом до 16 384 токенов. Она создана на базе Yi: семейство Yi-1.5 прошло дополнительное предобучение на корпусе объёмом 500 млрд токенов и тонкую настройку на 3 млн разнообразных примеров. Модель предназначена для диалогов и выполнения инструкций, а также для задач программирования, математики, рассуждений, понимания языка и чтения. В README отмечены улучшения по сравнению с Yi в этих задачах и сильные результаты среди открытых моделей сопоставимого размера. Репозиторий содержит веса в формате safetensors; лицензия — Apache 2.0. В предоставленных материалах не приведены отдельные результаты именно варианта 16K и перечень поддерживаемых языков.

Hy4 preview — крупная языковая модель нового поколения, разработанная командой Tencent Hy. Это текстовая генеративная модель с архитектурой Mixture-of-Experts (MoE), предназначенная для решения сложных задач программной инженерии, анализа документов и данных, подготовки документов, таблиц и презентаций, разработки игр, научных исследований и многошаговых рабочих процессов. Модель содержит 770 млрд параметров, из которых 49 млрд активируются для каждого токена. Архитектура включает 78 слоёв, 256 маршрутизируемых экспертов и одного общего эксперта; для каждого токена выбираются 8 маршрутизируемых экспертов. Используются Gated DeepSeek Sparse Attention, механизм повторного использования разреженных индексов IndexCache и четыре residual-потока iHC. Контекстное окно составляет 1 млн токенов, размер словаря — 120 832 токена. В модель также встроен слой MTP для speculative decoding. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильные стороны Hy4 preview — высокая вычислительная ёмкость, большой контекст и специализация на длительных задачах, включая разработку ПО, анализ разрозненной информации, создание игровых прототипов и научное рассуждение. Ограничения связаны со статусом ранней preview-версии: авторы отмечают наличие нерешённых проблем, включая склонность тратить больше времени, чем необходимо, на сложные задачи и чрезмерно перепроверять результаты. Модель распространяется по лицензии Apache 2.0.

QuantFactory/Meta-Llama-3-8B-Instruct-GGUF-v2 — это GGUF-квантизированная версия Meta-Llama-3-8B-Instruct, созданная с помощью llama.cpp на основе выпуска от 5 мая 2024 года. Исходную модель разработала Meta; она относится к семейству Llama 3 и содержит около 8 млрд параметров. Модель предназначена для генерации текста и кода, прежде всего для диалоговых сценариев и приложений, которым требуется выполнение инструкций. Она принимает только текстовые входные данные и генерирует текст или код. Архитектура представляет собой авторегрессионный оптимизированный Transformer с Grouped-Query Attention (GQA), контекстное окно составляет 8 тысяч токенов, заявленный язык — английский. Инструкционная версия обучалась с применением supervised fine-tuning (SFT) и reinforcement learning from human feedback (RLHF) для повышения полезности и безопасности. К преимуществам относятся оптимизация под диалоговое использование, поддержка генерации кода и потенциально более эффективный инференс благодаря GGUF-квантизации и GQA. Ограничения включают текстовую модальность, контекст длиной 8 тысяч токенов, статичность модели и ограниченность знаний датой отсечения — мартом 2023 года. Модель распространяется по специальной лицензии Llama 3 с коммерческими условиями Meta; точные положения необходимо проверять в тексте лицензии.

PINQWEN-3.5-9B-1M-GGUF — компактная reasoning-модель, разработанная Blackfrost AI на базе архитектуры Qwen 3.5 9B. Модель предназначена для генерации текста, задач программирования, рассуждений и работы с большими объёмами контекста. Она распространяется в формате GGUF для локального запуска через llama.cpp и поддерживает режим пошагового рассуждения с блоками <think> и последующим ответом. Заявленное контекстное окно составляет до 1 000 000 токенов благодаря расширению YaRN, что подходит для анализа целых кодовых баз, книг и других объёмных документов. Доступны варианты квантования от 2 до 8 бит, а также f16; рекомендованным балансом размера и качества назван Q4_K_M. В комплект входят MTP-голова для speculative decoding и отдельный vision projector для обработки изображений в совместимых средах, однако конкретные поддерживаемые языки в README не указаны. К сильным сторонам относятся очень длинный контекст, локальное развертывание, открытое рассуждение, широкий выбор квантований и возможность мультимодального ввода при использовании совместимого runtime. Ограничения включают компромисс между размером, скоростью и качеством при квантовании, зависимость мультимодальных и MTP-возможностей от поддержки со стороны runtime, а также заявленную модель поведения без встроенных отказов, что требует ответственного применения. Лицензия — Apache-2.0; базовая архитектура указана как Qwen 3.5 9B.

Qwen2-7B-Instruct — инструктивно дообученная языковая модель серии Qwen2, разработанная командой Qwen. Это плотная decoder-only модель на архитектуре Transformer с 7,1 млрд параметров, предназначенная для диалогов и генерации текста. Она подходит для ответов на вопросы, суммаризации, написания текстов, программирования, математики и рассуждений. Модель принимает текст и выдаёт текст. Карточка описывает поддержку нескольких естественных языков и кода; в метаданных указан английский язык. Заявленная длина контекста в метаданных — 32 768 токенов; README описывает расширение до 131 072 токенов с помощью YARN. Для запуска рекомендована версия Transformers 4.37.0 или новее, а README также приводит вариант развёртывания через vLLM. Модель демонстрирует сильные результаты в приведённых бенчмарках по пониманию и генерации языка, мультиязычным задачам, программированию, математике и рассуждениям. Расширенный контекст через YARN требует настройки и может снижать качество на коротких текстах при статическом масштабировании. Лицензия — Apache-2.0.

DeepSeek-V2.5-GGUF — квантованная в формате GGUF версия модели DeepSeek-V2.5, разработанной командой DeepSeek-AI. Квантование подготовлено bartowski на основе llama.cpp b3658 и предназначено для локального запуска, в том числе через LM Studio. Модель объединяет возможности инструкционной и кодовой версий DeepSeek и ориентирована на диалоговые сценарии, генерацию текста, программирование и широкий круг универсальных задач. Заявлена поддержка контекстного окна до 163 840 токенов. Используется архитектура MoE: по описанию, модель сочетает вычислительные возможности уровня 200B параметров со скоростью модели уровня 21B, однако точные размеры и характеристики квантования в README не указаны. К сильным сторонам относятся большой контекст, развитые чатовые и кодовые возможности, а также удобство локального использования в формате GGUF. Ограничения включают возможные неточности, вредный или неподходящий контент, а также зависимость качества и производительности от конкретной квантовки и оборудования. Языки и поддержка мультимодальных входов не указаны. Модель распространяется по лицензии DeepSeek; подробные условия приведены по ссылке, указанной в README.

Deepthink-Llama-3-8B-Preview — диалоговая языковая модель PrithivMLmods, дообученная на базе meta-llama/Llama-3.1-8B-Instruct с использованием Rethinking R1 Dataset Logits. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 7,5 млрд параметров; поддерживает контекст до 131 072 токенов и работает с текстом. В карточке заявлены обучение с учителем и обучение с подкреплением на основе отзывов людей. Модель предназначена для диалогов и генерации текста с рассуждениями, пошаговыми объяснениями и структурированными ответами. Её можно применять для помощи в программировании, обучения, исследований, творческого письма, генерации JSON и таблиц, а также для чат-ботов и ассистентов. В README заявлена поддержка более 29 языков; метаданные карточки подтверждают английский и китайский. Лицензия — Llama 3. Ограничения включают возможные ошибки в вычислениях и логике, предвзятость, устаревшие сведения, ухудшение связности на длинном контексте и трудности с неоднозначными запросами; критичные результаты требуют проверки человеком.

Dolphin 2.7 Mixtral 8X7B AWQ — квантизированная 4-битная версия языковой модели Dolphin 2.7 Mixtral 8X7B, разработанной Cognitive Computations и подготовленной TheBloke. Модель основана на архитектуре Mixtral и предназначена для генерации текста, выполнения инструкций, диалоговых сценариев и задач программирования. При обучении использовались наборы данных Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder, Capybara и другие. Основной язык модели — английский. Модель использует квантизацию AWQ с параметрами 4 бит, group size 128 и форматом GEMM. Максимальная заявленная длина последовательности составляет 8192 токена, размер файлов модели — около 24,65 ГБ. Предусмотрен шаблон запросов ChatML с отдельными ролями system, user и assistant. Квантизация уменьшает требования к памяти и ускоряет инференс при сохранении качества, однако может незначительно влиять на точность по сравнению с исходной версией в формате FP16. Для запуска поддерживаются AutoAWQ, vLLM, Transformers и text-generation-webui; для Mixtral AWQ подтверждена работа vLLM версии 0.2.6. AWQ-версии рассчитаны преимущественно на Linux и Windows с GPU NVIDIA, поэтому на macOS рекомендуется использовать формат GGUF. В README указано, что модель распространяется по лицензии Apache-2.0.

QuantFactory/INTELLECT-1-Instruct-GGUF — квантизированная версия инструкционной языковой модели PrimeIntellect/INTELLECT-1-Instruct, созданная QuantFactory с использованием llama.cpp. Модель предназначена для генерации текста, выполнения инструкций, работы с кодом, математическими задачами и общими текстовыми запросами. Основной заявленный язык — английский; модель относится к модальности text-to-text и поддерживает только текстовые данные. Модель содержит около 10 млрд параметров, 42 слоя, 32 attention heads, hidden size 4096, словарь размером 128256 токенов и контекст длиной до 8192 токенов. Базовая INTELLECT-1 обучалась с нуля на 1 трлн токенов английского текста и кода, а затем прошла post-training и instruction tuning на наборах данных для общего следования инструкциям, программирования, математики, агентных сценариев и многоязычных данных. Предобучение выполнялось распределённо сообществом Prime Intellect и партнёров на базе framework prime и алгоритма DiLoCo. Ключевое преимущество этой версии — формат GGUF и квантизация, позволяющие запускать модель через совместимые инструменты llama.cpp с меньшими требованиями к памяти по сравнению с полной версией. Однако конкретный уровень качества, скорость и потребление памяти зависят от выбранного варианта квантизации. Контекст ограничен 8192 токенами, а качество для языков, отличных от английского, в README подробно не охарактеризовано. Для исходной модели требуется добавлять BOS-токен в начало каждого примера, иначе производительность может снизиться; применимость этого требования при использовании GGUF зависит от используемого рантайма и шаблона. Лицензия — Apache 2.0.

InternLM2-7B — плотная авторегрессионная языковая модель второго поколения InternLM, разработанная командой InternLM. Это базовая модель для продолжения текста и адаптации под прикладные задачи; README отдельно рекомендует версию internlm2 для большинства применений, а чат-версии описывает как отдельные варианты. Модель содержит 7,4 млрд параметров и поддерживает контекст до 32 768 токенов согласно метаданным. Разработчик заявляет о сильных результатах на задачах длинного контекста, рассуждений, математики и программирования, включая поиск сведений в длинных текстах. Модель принимает текст и генерирует текст; сведения о конкретных поддерживаемых естественных языках в источниках отсутствуют. Как и другие вероятностные языковые модели, InternLM2-7B может выдавать фактические ошибки, предвзятые или вредоносные ответы. Код распространяется по Apache-2.0; для весов README указывает академический доступ и возможность запросить бесплатное коммерческое разрешение, поэтому условия использования весов следует сверять с лицензией и соответствующим разрешением.

RedHatAI/Llama-3.3-70B-Instruct-FP8-dynamic — инструкционная текстовая модель семейства Llama 3.3 с 70 млрд параметров, разработанная Red Hat совместно с Neural Magic на базе Meta Llama-3.3-70B-Instruct. Модель принимает текст и генерирует текст, ориентирована на коммерческое и исследовательское использование, включая диалоговые ассистенты, генерацию естественного языка, создание синтетических данных и дистилляцию моделей. Ключевая особенность модели — динамическая FP8-квантизация весов и активаций линейных операторов в трансформерных блоках. Веса квантизуются статически по каналам, а активации — динамически по токенам. Это примерно вдвое снижает требования к памяти GPU и размер модели на диске, а также может примерно вдвое увеличить пропускную способность матричных вычислений. Для эффективного развертывания рекомендуется использовать vLLM; модель валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. Модель поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Ограничения связаны с применением FP8-квантизации, возможными изменениями качества по сравнению с исходной моделью и запретом использования за пределами перечисленных языков, а также в нарушение законодательства, Acceptable Use Policy и условий лицензии. Расширенный контекст в README не указан; в примере развертывания задан максимальный размер последовательности 32768 токенов. Распространяется по лицензии Llama 3.3 Community License.

Ophiuchi-Qwen3-14B-Instruct — дообученная PrithivMLmods языковая модель на архитектуре Qwen3-14B с плотной архитектурой Qwen3ForCausalLM и 14 млрд параметров. Она предназначена для диалогов и выполнения инструкций, математических и логических рассуждений, генерации и объяснения кода, ответов на фактические вопросы и создания структурированных текстов. Метаданные указывают контекст до 40 960 токенов; README заявляет поддержку до 128 тысяч токенов, поэтому фактический предел в источниках расходится. Карточка описывает многоязычную работу, включая английский, китайский и русский; метаданные карточки подтверждают английский и китайский. Модель может помогать с задачами STEM, техническим письмом, обучением и переводом. Она распространяется под лицензией Apache-2.0. Для работы требуются значительные вычислительные ресурсы; модель может ошибаться в фактах, особенно при неоднозначных или сложных запросах, а ошибки могут накапливаться в длинных ответах.

unsloth/Phi-4-mini-instruct-bnb-4bit — это 4-битно квантованная версия Phi-4-mini-instruct, разработанная Unsloth на базе модели Microsoft Phi-4-mini-instruct. Модель предназначена для генерации текста, диалогов и выполнения инструкций, включая задачи программирования, математики, рассуждений и NLP. Она поддерживает мультиязычное применение и относится к семейству Phi-4. Модель имеет контекст длиной до 128K токенов и оптимизирована для запуска при сниженных требованиях к памяти благодаря формату 4-bit. В версии Unsloth исправлены проблемы с padding и EOS-токенами, шаблоном чата и unk-токеном; также заявлено использование Dynamic Quants, которые должны обеспечивать более высокую точность по сравнению со стандартным 4-битным квантованием. Базовая модель обучалась на синтетических данных и отфильтрованных общедоступных веб-источниках, а затем проходила supervised fine-tuning и direct preference optimization. Сильные стороны модели — компактность, большой контекст, поддержка инструкций, диалогов, кода и математических задач, а также исправления, повышающие корректность инференса. Ограничения включают снижение точности по сравнению с полноразмерной или менее квантованной версией и отсутствие в предоставленных данных подробностей об архитектуре, точном числе параметров и перечне языков. Модель распространяется по лицензии MIT.

RedHatAI/Qwen3-30B-A3B-FP8-block — это текстовая causal language model, разработанная Red Hat на основе Qwen/Qwen3-30B-A3B. Модель принимает текст и генерирует текст, поэтому предназначена для диалоговых систем, ответов на вопросы, следования инструкциям, общего анализа текста и программирования. В README также приведены оценки на OpenLLM leaderboard и coding-бенчмарках HumanEval и MBPP. Архитектура модели обозначена как Qwen3MoeForCausalLM. Это версия с FP8-квантизацией весов и активаций линейных операторов внутри transformer-блоков; используется пок блочная квантизация весов и динамическая токенная квантизация активаций. Снижение разрядности с 16 до 8 бит уменьшает размер на диске и требования к GPU-памяти примерно на 50%. Число параметров указано в идентификаторе и базовой модели как 30B-A3B, однако размер контекста и поддерживаемые языки в README не указаны. К сильным сторонам относятся существенно сниженные требования к хранению и памяти при сохранении качества, близкого к исходной модели: средний результат в OpenLLM V1 составил 73,74 против 73,65 у базовой версии. Модель ориентирована на развёртывание с vLLM и форматом compressed-tensors. Ограничения включают возможные потери качества из-за квантизации, а также отсутствие в предоставленных данных подробностей о языковом покрытии и контекстном окне. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Cerebellum-GGUF — это квантизированная GGUF-версия модели Qwen/Qwen3.6-35B-A3B, разработанной Qwen. Квантизацию выполнил deucebucket с использованием Cerebellum — метода чувствительной к качеству смешанной точности, который назначает разным группам весов разную разрядность. Модель построена по архитектуре MoE с 35 млрд параметров и примерно 3 млрд активных параметров; предназначена для генерации текста, диалогов, программирования и задач рассуждения. Основной рекомендованный вариант занимает 14 ГБ, использует 3,34 бита на вес и рассчитан на эффективную работу с длинным контекстом свыше 160 тысяч токенов. Также доступен вариант v3 размером 11 ГБ с 2,76 битами на вес, ориентированный на минимальное потребление видеопамяти; для него заявлена поддержка обработки изображений через отдельный vision projector mmproj-F16.gguf. Модель запускается в стандартном llama.cpp без специальной модификации. По приведённым локальным измерениям, рекомендованный вариант показывает 90,2% на HumanEval+, 93,3% на HumanEval, 95,8% нормированной точности на ARC-Challenge, 92,3% на HellaSwag и 75% на MMLU-Redux. К сильным сторонам относятся высокая эффективность смешанной квантизации, хорошие результаты в кодировании, длинный контекст и возможность запуска на видеокарте с 24 ГБ памяти. Ограничения связаны с потерями качества, неизбежными при экстремальной квантизации, различиями возможностей вариантов и тем, что заявленные результаты получены в локальном запуске на RTX 3090 и не являются независимой валидацией. Модель распространяется по лицензии Apache-2.0. Для запуска требуются совместимые сборки llama.cpp и, при использовании визуального варианта, отдельный файл vision projector.

Arcee-Nova — языковая модель от Arcee AI для диалогов и широкого круга задач генерации текста. Она объединяет Qwen2-72B-Instruct с пользовательской моделью, дообученной на смеси данных общего назначения. В метаданных указаны плотная архитектура Qwen2, 71,5 млрд параметров и контекст до 32 768 токенов. Модель предназначена для рассуждений, творческого письма, программирования и понимания естественного языка. Её можно применять для чат-ботов поддержки, подготовки материалов и документации, помощи в разработке ПО, анализа данных, исследовательской работы и разбора юридических или учебных материалов. README сообщает о высокой производительности на наборе оценивания OpenLLM Leaderboard 2.0, но не приводит подробностей протокола оценки. Модель принимает и генерирует текст. Репозиторий содержит веса Safetensors; README также ссылается на доступные сборки GGUF. Лицензия обозначена как other, поэтому конкретные условия использования следует проверять в материалах репозитория. В README не описаны конкретные языки и ограничения качества.

A.X K1 — большая языковая модель SKT, обученная с нуля без инициализации от существующей предварительно обученной модели. Это декодерный Transformer с разреженной архитектурой Mixture-of-Experts: в README указано 519 млрд параметров всего, из которых активны 33 млрд на токен; метаданные Hugging Face сообщают 37,9 млрд параметров. Архитектура включает 192 эксперта и один общий эксперт, механизм Multi-Latent Attention и контекст длиной 131 072 токена. Модель предназначена для диалоговой генерации текста, следования инструкциям и рассуждений. Режим Think позволяет получать развёрнутые ответы с промежуточными шагами, а Non-Think — более краткие ответы с меньшей задержкой. Токенизатор оптимизирован для английского, корейского, китайского, японского и испанского языков, а также исходного кода и структурированного текста. Метаданные карточки подтверждают английский и корейский; модель опубликована в формате safetensors и поддерживает чат. Модель подходит для задач, требующих высокой ёмкости и работы с длинным контекстом; разреженная архитектура рассчитана на более эффективное использование вычислений, чем плотная модель сопоставимой общей ёмкости. README предупреждает, что ответы могут быть неверными или вводящими в заблуждение, объяснения в режиме Think не следует считать достоверным отражением внутренних процессов модели, а качество может различаться по предметным областям и языкам. Лицензия — Apache-2.0.

Baichuan2-13B-Chat — 百川智能推出的对话式大语言模型，属于 Baichuan 家族的稠密 причинно-языковой архитектуры BaichuanForCausalLM; содержит 13,3 млрд параметров. По карточке, версия v2 улучшает математические и логические рассуждения, а также следование сложным инструкциям. Модель предназначена для диалогов, генерации текста и решения задач на китайском и английском языках; её оценивали на общих, юридических, медицинских, математических, программных и переводческих наборах данных. Для запуска используется формат PyTorch, а README указывает требование PyTorch 2.0 из-за применения scaled_dot_product_attention. Модель обучена на корпусе из 2,6 трлн токенов. Лицензия в метаданных обозначена как other; README описывает Apache 2.0 вместе с отдельным соглашением сообщества. Для коммерческого использования требуется получить официальное разрешение Baichuan и соблюдать условия соглашения, включая ограничения по DAU и типу организации.

mlx-community/gemma-4-31B-it-qat-OptiQ-4bit — квантизированная модель семейства Gemma-4, разработанная сообществом mlx-community с использованием инструментария mlx-optiq и построенная на базе Google Gemma-4 31B IT QAT. Это плотная модель примерно на 31 млрд параметров для генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и задач с длинным контекстом. Поддерживает сценарии image-text-to-text: зрительный модуль поставляется отдельно в формате bf16. Языки и максимальный размер контекста в README не указаны. Модель использует смешанную квантизацию: преимущественно 4-битную, с 186 чувствительными компонентами в 8-битном формате и 224 компонентами в 4-битном; достигнутая точность составляет 5,20 бит на вес, размер группы — 64. По заявленным тестам она особенно выигрывает у равномерной 4-битной квантизации в извлечении информации из длинного контекста, а также показывает высокие результаты в MMLU, GSM8K, IFEval, BFCL и HumanEval. Ограничения включают больший размер по сравнению с обычной 4-битной версией — около 20,8 ГБ на диске — и необходимость использования Apple Silicon, актуальной версии mlx-lm из репозитория и mlx-optiq; стандартного выпуска mlx-lm 0.31.3 недостаточно. Доступна по лицензии Apache 2.0.

Hy4 preview — крупная языковая модель нового поколения, разработанная командой Tencent Hy. Это Mixture-of-Experts (MoE) модель для генерации текста и решения сложных задач, включая программную инженерию, анализ документов и данных, подготовку документов, таблиц и презентаций, финансовое моделирование, разработку игр и научные исследования. Модель содержит 770 млрд параметров, из которых 49 млрд активируются для каждого токена. Архитектура включает 78 слоёв, 256 маршрутизируемых и одного общего эксперта в MoE-слоях, при этом на токен выбираются 8 маршрутизируемых экспертов и общий эксперт. Используются Gated DeepSeek Sparse Attention, IndexCache для повторного использования разреженных индексов между слоями и iHC для расширения межслойного информационного обмена. Контекстное окно составляет 1 млн токенов. В модель также встроен слой MTP для speculative decoding. README не указывает поддерживаемые языки и мультимодальные возможности. Сильные стороны Hy4 preview — большой контекст, высокая вычислительная ёмкость, специализация на длительных задачах разработки, анализе неструктурированных материалов, математике и научном рассуждении. Модель позиционируется как открытая флагманская система и показывает конкурентные результаты во внутренних оценках Tencent. При этом это ранняя preview-версия: разработчики отмечают необходимость дальнейшего улучшения и склонность тратить больше времени, чем требуется, на рассуждение по сложным задачам. Распространение осуществляется по лицензии Apache 2.0.

unsloth/Llama-3.3-70B-Instruct-GGUF — GGUF-версия мультиязычной большой языковой модели Llama 3.3, разработанной Meta и подготовленной для распространения Unsloth. Это авторегрессионная instruction-tuned модель для генерации текста, диалогов, ответов на вопросы и работы с кодом в текстовых сценариях. Модель содержит 70 млрд параметров и использует оптимизированную архитектуру Transformer с Grouped-Query Attention (GQA). Она принимает и генерирует мультиязычный текст, поддерживает контекст до 128 тыс. токенов и обучалась на более чем 15 трлн токенов публично доступных онлайн-данных; срез знаний — декабрь 2023 года. Указанные языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Для выравнивания поведения применялись supervised fine-tuning (SFT) и reinforcement learning with human feedback (RLHF). К сильным сторонам относятся большой контекст, диалоговая оптимизация, поддержка нескольких языков и генерация кода. Модель является статичной и обучена на офлайн-данных, поэтому не обладает актуальными знаниями без внешних источников; README также не содержит результатов конкретных бенчмарков или требований к оборудованию для запуска GGUF-версии. Использование регулируется кастомной коммерческой лицензией Llama 3.3 Community License Agreement.

Llama-Krikri-8B-Instruct-GGUF — инструкционная большая языковая модель, разработанная ILSP на основе Llama 3.1 8B. Модель ориентирована прежде всего на греческий язык, сохраняя двуязычные возможности для греческого и английского. Она создана с помощью дополнительного предварительного обучения на корпусе объёмом 91 млрд токенов с последующим увеличением эффективного объёма до 110 млрд токенов, а также многоэтапного дообучения на инструкциях и предпочтениях пользователей. Модель предназначена для диалогов, следования инструкциям, генерации, понимания, редактирования и суммаризации текста, анализа тональности и сущностей, перевода между греческим и английским, французским, немецким, итальянским, португальским и испанским языками. Также заявлены применение в юридических, финансовых, медицинских и научных сценариях, Retrieval-Augmented Generation по нескольким документам, структурированное преобразование данных в XML или JSON, программирование, использование инструментов и агентские задачи. Модель имеет архитектурную основу Llama 3.1 8B, расширенный токенизатор с греческими токенами и контекстное окно 128 тысяч токенов, что соответствует примерно 80 тысячам греческих слов. В обучающих данных представлены греческие, английские, параллельные, математические и программные тексты; постобучение проводилось на греческих и английских инструкциях, многошаговых диалогах и preference triplets с применением Length Normalized DPO. К сильным сторонам относятся специализация на греческом языке, поддержка английского, длинный контекст и широкий набор текстовых и структурированных задач. Ограничения, точные показатели качества и требования к аппаратному обеспечению в README не указаны. Лицензия обозначена как llama3.1.

qwp4w3hyb/Phi-3-mini-128k-instruct-iMat-GGUF — это GGUF-квантизированная версия Phi-3-Mini-128K-Instruct, разработанной Microsoft. Модель содержит 3,8 млрд параметров и предназначена для генерации текста, диалоговых приложений и использования в условиях ограниченных ресурсов, где важны низкая задержка, компактность и способность решать задачи рассуждения, программирования, математики и логики. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-данных, а после предварительного обучения прошла supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и соблюдения требований безопасности. Модель поддерживает контекст до 128 тысяч токенов, словарь размером до 32 064 токенов и ориентирована прежде всего на английский язык, хотя в карточке также указана многоязычность. Это текстовая авторегрессионная модель; сведения о конкретной архитектуре и полном наборе поддерживаемых языков не приведены. Данная сборка включает варианты квантизации от Q8_0 до IQ1_S, выполненные с использованием importance matrix в llama.cpp для снижения потерь точности. Для работы требуется актуальная версия llama.cpp master и совместимый GGUF-инференс. Сильные стороны модели — сочетание небольшого размера с заявленной высокой эффективностью среди моделей менее 13 млрд параметров, длинный контекст и хорошие возможности в коде, математике, логике и общем понимании языка. Ограничения включают возможные ошибки и необходимость отдельно проверять точность, безопасность и справедливость результатов, особенно в сценариях с высокими рисками. Модель выпущена под лицензией MIT; конкретный выбранный уровень квантизации может влиять на качество и требования к ресурсам.

Qemma-GEI — англоязычная чат-модель для следования инструкциям, пошаговых рассуждений, помощи с кодом и анализа, разработанная Convergent Intelligence LLC: Research Division. Это дообученная версия Qemma-redux, которая, согласно карточке модели, объединяет веса Gemma 3 и Qwen 3 и использует масштабирование RoPE на основе YaRN. Архитектура — плотная Gemma3ForCausalLM примерно с 1 млрд параметров: основа Gemma 3 с вниманием в стиле Qwen, скрытым размером 1152 и 26 слоями. Модель принимает текст, использует токенизатор и шаблон чата Gemma 3; заявленная длина контекста — 131 072 токена. Модель предназначена для диалога, анализа и дальнейшего дообучения. Карточка указывает на возможные галлюцинации и не рекомендует полагаться на ответы в критически важных, медицинских, юридических или финансовых решениях. Лицензия — OSL-3.0; при использовании следует учитывать лицензии датасетов и базовых моделей.

Qwen2.5-14B-Instruct-GGUF — это квантизированная в формате GGUF версия инструкционной языковой модели Qwen2.5-14B-Instruct, разработанной командой Qwen. Квантизация выполнена bartowski на основе llama.cpp, релиз b3772. Модель предназначена для диалоговых приложений, генерации текста и выполнения инструкций, включая работу со структурированными данными. Модель поддерживает контекст до 128 тысяч токенов с настройками YaRN RoPE и генерацию до 8 тысяч токенов. Для обучения использован набор данных объёмом 18 триллионов токенов. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся длинный контекст, многоязычность и улучшенное понимание и формирование структурированных данных; конкретные ограничения производительности и требования к ресурсам в README не указаны. Модель распространяется по лицензии Apache 2.0. Использование Community Model предоставляется сторонним сообществом; LM Studio не является разработчиком и не гарантирует точность, безопасность или пригодность результатов. Как и другие генеративные модели, она может создавать неточный, вредный или неподходящий контент.

Qwen2.5-32B-Instruct-GGUF — квантованная в формате GGUF версия инструкционной языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантование подготовлено bartowski на основе llama.cpp, а распространение модели осуществляется в рамках Community Model Program LM Studio. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы, работу со структурированными данными и создание структурированного контента. Она поддерживает более 29 языков, среди которых английский, китайский, французский, испанский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Заявлена поддержка контекста до 128 000 токенов с использованием настроек YaRN RoPE и генерацией до 8 000 токенов. Ключевые характеристики включают размер 32B параметров, текстовую модальность и обучение на наборе данных объёмом 18 триллионов токенов. Формат GGUF и совместимость с llama.cpp делают модель подходящей для локального запуска в поддерживаемых приложениях, однако требования к вычислительным ресурсам зависят от конкретного уровня квантования. Модель может генерировать неточные, вредные или непреднамеренные ответы. Лицензия — Apache 2.0.

CalamitousFelicitousness/Qwen2.5-3B-Instruct-fp8-dynamic — инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это каузальная Transformer-модель для генерации текста и диалоговых сценариев, включая следование инструкциям, ответы на вопросы, работу со структурированными данными и создание структурированных ответов, в том числе JSON. Указанная версия основана на Qwen/Qwen2.5-3B и использует динамическое 8-битное представление FP8, однако подробности реализации квантования в README не приведены. Модель содержит 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам, и имеет 36 слоёв. Архитектура включает RoPE, SwiGLU, RMSNorm, смещения в QKV внимания, связанные эмбеддинги слов и GQA с 16 головами для Q и 2 для KV. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Сильными сторонами являются улучшенные возможности в программировании и математике, следование инструкциям, генерация длинных текстов, обработка структурированных данных и устойчивость к разнообразным системным промптам. Ограничения включают меньший размер по сравнению с крупными моделями семейства и отсутствие в README подробных результатов оценки, требований к аппаратным ресурсам, характеристик производительности и описания модальностей, отличных от текста. Лицензия указана как qwen-research; применимые условия следует уточнять в тексте лицензии Qwen/Qwen2.5-3B.

Qwen2.5-3B-Instruct-GPTQ-Int8 — квантованная 8-битная версия инструкционно дообученной языковой модели Qwen2.5, разработанной командой Qwen. Это авторегрессионная causal language model для генерации текста и диалоговых сценариев, включая ответы на инструкции, чат-ботов, работу со структурированными данными, а также задачи программирования и математики. Модель содержит около 3,09 млрд параметров, 36 слоёв и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV-внимании и связанными эмбеддингами слов. Применяется Grouped Query Attention с 16 головами для Q и 2 для KV. Поддерживается контекст до 32 768 токенов и генерация до 8192 токенов. Модель работает с текстом и заявляет поддержку более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенное следование инструкциям, генерация длинных текстов, обработка таблиц и других структурированных данных, формирование JSON, а также возможности в программировании и математике. 8-битная GPTQ-квантизация может снизить требования к памяти по сравнению с полноразмерной версией, однако README не приводит конкретных результатов оценки качества и производительности. Для использования рекомендуется актуальная версия библиотеки Transformers; модель распространяется по лицензии qwen-research, обозначенной как other.