I.14Автоматизация процессов и AI-агенты

Карточка модели lucyknada/microsoft_WizardLM-2-7B на Hugging Face совпадает с карточкой dreamgen/WizardLM-2-7B, поэтому описание составлено по ней. WizardLM-2 7B — плотная авторегрессионная языковая модель семейства Mistral, разработанная командой WizardLM в Microsoft AI и дообученная на базе mistralai/Mistral-7B-v0.1 с использованием синтетической обучающей системы. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; нативная длина контекста — 32 768 токенов. Модель предназначена для диалогов и выполнения сложных инструкций, включая рассуждения, написание текстов, программирование, математические задачи и многоязычные запросы. Авторы позиционируют версию 7B как быструю модель, показывающую сильные результаты для своего размера; заявленные оценки основаны на MT-Bench и сравнении предпочтений людей. Модель распространяется под лицензией Apache 2.0. Карточка не приводит конкретный перечень поддерживаемых языков и не описывает отдельные механизмы вызова инструментов; качество ответов и результаты бенчмарков следует оценивать для целевых задач самостоятельно.

next-8b-i1-GGUF — квантизированная GGUF-версия языковой модели next-8b, разработанной thelamapi и подготовленной квантизатором mradermacher. В README также указана поддержка со стороны nethype GmbH. Модель предназначена для генерации текста, диалоговых сценариев, аналитических и рассуждающих задач, а также многоязычного применения. Это текстовая Transformer-модель примерно на 8 млрд параметров, обученная и дообученная с использованием наборов данных для instruction tuning, reasoning, диалогов, программирования, медицинских и других специализированных текстовых сценариев. Заявлены языки: турецкий, английский, немецкий, испанский, французский, русский, китайский, японский и корейский. Мультимодальность и размер контекстного окна в README не указаны. Модель доступна в большом наборе GGUF-квантизаций размером примерно от 2,2 до 6,8 ГБ. Варианты различаются балансом между скоростью, требованиями к памяти и качеством; для общего использования рекомендован i1-Q4_K_M как быстрый вариант, а i1-Q4_K_S описан как оптимальный по соотношению размера, скорости и качества. Более агрессивные квантизации имеют заметные ограничения качества, поэтому конкретный вариант следует выбирать с учётом доступной памяти и требований к результату. Лицензия — MIT.

Trillion-7B-preview — предварительная версия языковой модели, представленная командой TrillionLabs. Это плотная авторегрессионная модель семейства Llama с архитектурой Transformer Decoder, RoPE, SwiGLU и RMSNorm; в README указано 7,76 млрд параметров, 32 слоя и контекст 4096 токенов. Модель прошла предварительное обучение и последующее обучение для диалогов и выполнения инструкций. Модель предназначена для генерации текста, общения, ответов на вопросы, рассуждений и помощи с кодом. Разработчики заявляют поддержку английского, корейского, японского и китайского языков и отмечают особенно сильные результаты на корейских тестах. В опубликованных оценках модель показывает конкурентные результаты, однако качество зависит от задачи и языка. Это предварительный выпуск без комплексных механизмов безопасности; сведения модели ограничены данными до августа 2023 года, а для языков помимо английского, корейского, японского и китайского возможно снижение качества. Лицензия репозитория — Apache-2.0.

WizardLM-2 7B — плотная авторегрессионная языковая модель семейства Mistral, разработанная командой WizardLM в Microsoft AI и дообученная на базе mistralai/Mistral-7B-v0.1 с использованием синтетической обучающей системы. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; нативная длина контекста — 32 768 токенов. Модель предназначена для диалогов и выполнения сложных инструкций, включая рассуждения, написание текстов, программирование, математические задачи и многоязычные запросы. Авторы позиционируют версию 7B как быструю модель, показывающую сильные результаты для своего размера; заявленные оценки основаны на MT-Bench и сравнении предпочтений людей. Модель распространяется под лицензией Apache 2.0. Карточка не приводит конкретный перечень поддерживаемых языков и не описывает отдельные механизмы вызова инструментов; качество ответов и результаты бенчмарков следует оценивать для целевых задач самостоятельно.

aquif-3.5-Max-1205-GGUF — это квантизированная GGUF-версия языковой модели aquif-3.5-Max-1205, разработанной aquif-ai. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, рассуждений, математических задач и программирования; запуск возможен через llama.cpp, LM Studio и другие совместимые проекты. В карточке указано, что модель относится к архитектуре MoE, однако точное число параметров, размер активной части, максимальная длина контекста и другие архитектурные характеристики не приведены. Поддерживаются текстовые запросы; заявлены английский, немецкий, итальянский, португальский, французский, хинди, испанский, тайский, китайский и японский языки. Доступны варианты от BF16 до низкобитных Q3-, Q4-, Q5-, Q6- и Q8-квантизаций размером примерно от 19,48 до 84,78 ГБ. Сильной стороной являются разнообразие вариантов квантизации и возможность локального запуска, при этом варианты Q5 и Q6 позиционируются как обеспечивающие высокое качество, а Q4 — как компромисс между качеством и требованиями к памяти. Более агрессивная квантизация уменьшает размер, но может снижать качество ответов. В README не приведены результаты бенчмарков, сведения о мультимодальности или ограничения по применению. Указана лицензия Apache-2.0.

BlueLM-7B-Chat — диалоговая языковая модель vivo AI Lab, подразделения исследований искусственного интеллекта компании vivo. Это плотная авторегрессионная модель семейства BlueLM с 6,9 млрд параметров, предназначенная для генерации ответов в чате и других текстовых задач. Для этой версии заявлен контекст 2 048 токенов; отдельно в семействе выпущены варианты с контекстом 32K. Модель обучалась на корпусе объёмом 2,6 трлн токенов, преимущественно на китайском и английском текстах, с небольшим количеством японских и корейских данных. Разработчик сообщает о конкурентных результатах на C-Eval и CMMLU, а также об оценке общих, математических и программных способностей на наборах бенчмарков. Весами разрешено пользоваться для академических исследований и коммерческих приложений; в метаданных лицензия обозначена как other, поэтому перед использованием следует свериться с условиями LICENSE разработчика.

Falcon-H1-1.5B-Instruct-GGUF — инструкционная языковая модель, разработанная Technology Innovation Institute (TII). Это каузальная decoder-only модель с гибридной архитектурой Transformers и Mamba, предназначенная для генерации текста и выполнения инструкций, включая задачи рассуждения, математики, работы с научными вопросами, программирования и следования сложным указаниям. Модель доступна в формате GGUF и рассчитана на использование с llama.cpp; также поддерживается запуск через Transformers и vLLM. Модель относится к семейству Falcon-H1 и имеет размер 1,5 млрд параметров. Она поддерживает английский и многоязычные сценарии, включая арабский, китайский, чешский, немецкий, испанский, французский, хинди, итальянский, японский, корейский, нидерландский, польский, португальский, румынский, русский, шведский и урду. В опубликованных оценках Falcon-H1-1.5B показывает сильные результаты среди сопоставимых компактных моделей в общих задачах, математике, научных вопросах, программировании и следовании инструкциям, однако уступает некоторым моделям на отдельных тестах. Длина контекста и точные требования к ресурсам в README не указаны. Использование регулируется лицензией Falcon-LLM License; приведена ссылка на её условия. Модель подходит для локального запуска и приложений, где важны компактность, многоязычность и эффективность, но результаты следует дополнительно проверять для критически важных задач.

FuseChat-7B-Slerp — диалоговая языковая модель FuseAI, разработанная на основе исследовательской работы команды Sun Yat-sen University по объединению знаний чат-моделей. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров и контекстом до 8192 токенов. Вариант SLERP объединяет модели в пространстве параметров; в README FuseChat описана стратегия «сначала слияние знаний, затем объединение», предназначенная для интеграции сильных сторон нескольких моделей в одну. Модель рассчитана на диалог, ответы на вопросы и выполнение текстовых инструкций на английском языке, включая задачи письма, ролевого общения, рассуждений, математики, программирования, естественных наук и гуманитарных дисциплин. README сообщает среднюю оценку 8,19 на MT-Bench для FuseChat-7B-SLERP. Модель принимает текст и генерирует текст; изображения, аудио и другие модальности не заявлены. В метаданных базовой моделью указана openchat/openchat_3.5, а README описывает семейство FuseChat как результат слияния нескольких чат-моделей. Репозиторий распространяет веса в формате safetensors по лицензии Apache-2.0. Результаты бенчмарков не гарантируют качество на конкретных пользовательских задачах; модель может ошибаться, а заявленная поддержка языков ограничена английским.

unsloth/gemma-3-4b-it-GGUF — GGUF-версия инструкционно дообученной модели Gemma 3 4B IT, разработанной Google DeepMind и опубликованной Unsloth. Модель предназначена для диалогов, генерации и понимания текста, ответов на вопросы, суммаризации, рассуждений и анализа изображений. Она подходит для локального запуска на ноутбуках, настольных компьютерах и в собственной облачной инфраструктуре, включая сценарии с ограниченными ресурсами. Модель мультимодальная: принимает текст и изображения, а генерирует текст. Для изображений используется нормализация до 896×896 пикселей и кодирование каждого изображения в 256 токенов. Для варианта 4B заявлено контекстное окно до 128 000 токенов и максимальный объём генерируемого ответа до 8192 токенов. Поддерживается более 140 языков, хотя в метаданных карточки явно указан английский. Относительно небольшой размер облегчает развёртывание, а формат GGUF ориентирован на эффективный локальный запуск. Ограничения включают зависимость качества от языка, задачи и доступных вычислительных ресурсов, а также возможные ошибки в ответах и интерпретации изображений. В README не приведены точные требования к оборудованию и параметры квантования конкретного файла. Модель распространяется по лицензии Gemma; условия использования представлены в отдельных Terms of Use Google.

onnx-community/granite-4.0-350m-ONNX-web — веб-ориентированная ONNX-версия Granite-4.0-350M, разработанная командой Granite компании IBM. Это компактная instruct-модель, дообученная на открытых наборах инструкций с разрешительными лицензиями и внутренних синтетических данных с использованием supervised fine-tuning, reinforcement learning и model merging. Модель предназначена для запуска через Transformers.js, включая браузерные и on-device сценарии, а также для исследовательского применения и дообучения под специализированные области без значительных вычислительных ресурсов. Модель поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation, задачи, связанные с кодом, function calling, многоязычный диалог и Fill-In-the-Middle-дополнение кода. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; дополнительные языки могут быть добавлены посредством дообучения. Указанный размер — 350 млн параметров; модель является текстовой, а размер контекста в README не указан. К сильным сторонам относятся малый размер, пригодность для локального и веб-запуска, следование инструкциям, многоязычность и широкий набор прикладных сценариев. Ограничениями являются меньшая емкость по сравнению с более крупными моделями и отсутствие в предоставленных данных подробностей о контекстном окне, точности на конкретных задачах и безопасности применения. Модель распространяется по лицензии Apache 2.0.

Yi-1.5-9B-Chat-GGUF — это квантизированная в формате GGUF языковая модель для генерации текста и диалогового взаимодействия. Исходную модель Yi-1.5-9B-Chat разработала компания 01-ai, а квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для локального использования, в том числе через LM Studio, и распространяется под лицензией Apache 2.0. Модель содержит около 9 миллиардов параметров и относится к семейству Yi, построенному на архитектуре, совместимой с Llama. Она была дополнительно обучена на корпусе объёмом 500 млрд токенов и дообучена на 3 млн разнообразных примеров. Заявленные сценарии включают программирование, математику, рассуждения, выполнение инструкций, понимание языка, здравый смысл и чтение с пониманием. Для общения рекомендуется использовать шаблон ChatML. Сведения о поддерживаемых языках, размере контекста, точной архитектуре и других технических характеристиках в README не приведены. К сильным сторонам относятся универсальность, возможности диалогового режима и пригодность для запуска на локальном оборудовании благодаря квантизации. Ограничения включают отсутствие опубликованных подробных технических характеристик, а также типичные для языковых моделей риски неточных, вредных или неподходящих ответов; результат зависит от выбранного варианта квантизации и настроек запуска.

Gemma 3 4B IT GGUF — квантизированное или иным образом подготовленное для формата GGUF представление instruction-tuned модели Google Gemma 3 4B IT. Разработчик — Google DeepMind. Модель относится к семейству лёгких открытых моделей, созданных на основе исследований и технологий Gemini, и предназначена для генерации текста и анализа изображений. Модель поддерживает текстовые и графические входные данные и генерирует текст. Она подходит для ответов на вопросы, суммаризации документов, рассуждений, анализа содержимого изображений и извлечения визуальной информации. Для версии 4B заявлено контекстное окно до 128K токенов, максимальный объём генерируемого результата — до 8192 токенов; изображения нормализуются до 896×896 и кодируются в 256 токенов каждое. Указана поддержка более 140 языков, а обучающие данные также включали код и математические материалы. Ключевое преимущество — сочетание мультимодальности, большого контекста и относительно небольшого размера, что упрощает развёртывание на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. README не содержит точных сведений об архитектуре, параметрах квантования GGUF, фактической производительности или ограничениях качества. Использование регулируется лицензией Gemma и условиями Google; конкретные условия необходимо проверять в Terms of Use.

Gemma-3-4b-it-GGUF — квантизированная GGUF-версия модели Gemma 3 4B Instruct, разработанной Google и подготовленной компанией Second State Inc. Модель предназначена для диалогового взаимодействия и задач обработки текста, а также поддерживает работу с изображениями через мультимодальный компонент. Модель имеет размер 4 млрд параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также версии f16; наиболее сбалансированными README называет варианты Q4_K_M, Q5_K_M и Q5_K_S. Для обработки изображений требуется отдельный компонент mmproj, изображения должны быть нормализованы до разрешения 896 × 896 и представлены как 256 токенов каждое. Ключевые преимущества модели — компактный размер, возможность локального запуска и широкий выбор вариантов квантизации с разным соотношением качества, скорости и требований к памяти. Ограничением является потеря качества при агрессивной квантизации, особенно в вариантах Q2 и Q3. Для запуска через LlamaEdge требуется версия 0.18.5 или новее. Лицензия — Gemma.

bartowski/granite-3.0-3b-a800m-instruct-GGUF — набор квантизированных версий инструкционной языковой модели granite-3.0-3b-a800m-instruct, разработанной IBM Granite и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и выполнения инструкций, включая ответы на вопросы, рассуждения, решение математических задач, работу с кодом и мультиязычные сценарии. Доступны веса в форматах от F16 до Q4, включая варианты Q8_0, Q6_K, Q5_K и Q4_K; размер файлов составляет примерно от 1,93 до 6,75 ГБ. Для запуска рекомендуется использовать llama.cpp или LM Studio. В README приведены результаты на IFEval, AGI-Eval, OBQA, BoolQ, ARC-C, HumanEvalSynthesis, GSM8K и PAWS-X, однако подробные характеристики архитектуры, максимального контекста, поддерживаемых языков и модальностей не указаны. К сильным сторонам относятся выбор степеней квантизации, возможность локального запуска и сохранение высокого качества в вариантах Q5 и Q6. Более компактные варианты требуют меньше памяти, но могут сильнее терять качество. Модель предназначена для текстовых задач и не заявлена как мультимодальная. Лицензия — Apache-2.0.

Llama-2-7B-32K-Instruct — диалоговая языковая модель Together Computer, дообученная на основе Llama-2-7B-32K на наборах инструкций и диалогов. Она предназначена для генерации ответов в чате, следования инструкциям, суммаризации длинных текстов и ответов на вопросы по нескольким документам. Модель имеет плотную архитектуру LlamaForCausalLM и 6,6 млрд параметров. Она принимает текст и поддерживает контекст до 32 768 токенов; в карточке указан английский язык. Для дообучения использовались 19 тысяч диалогов, BookSum и данные для вопросов по нескольким документам. Модель распространяется в формате PyTorch по лицензии Llama 2. В опубликованной оценке модель показала результаты на Alpaca Eval, суммаризации BookSum и многодокументном QA. Как и другие языковые модели, она может давать неточные или предвзятые ответы; опубликованные результаты оценки не гарантируют качество для конкретного применения.

mlx-community/Llama-3.3-70B-Instruct-8bit — 8-битная версия инструкционно настроенной большой языковой модели Llama 3.3 70B, разработанной Meta и адаптированной сообществом mlx-community для экосистемы MLX. Модель предназначена для генерации и понимания текста, диалоговых сценариев, ответов на вопросы, суммаризации, обработки инструкций и других задач, выполняемых языковыми моделями. По названию модели можно заключить, что она использует 8-битное представление весов, однако точные сведения о формате квантования и требованиях к оборудованию в README не указаны. В заявленных языках присутствуют английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий. Модель является текстовой; сведения о поддержке изображений или других модальностей отсутствуют. Размер базовой модели составляет 70 миллиардов параметров, но длина контекста и другие архитектурные характеристики в предоставленных данных не указаны. Большой размер и инструкционная настройка предполагают высокое качество в сложных языковых и диалоговых задачах, тогда как 8-битное представление может снизить требования к памяти по сравнению с полноразмерными весами. Ограничения включают возможные ошибки и непредсказуемость генерируемых ответов, а также отсутствие подтверждённых в README характеристик производительности. Модель распространяется по Llama 3.3 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama» и сохранение установленного уведомления об авторских правах. Также требуется соблюдать применимое законодательство и Acceptable Use Policy; для продуктов и сервисов с более чем 700 миллионами ежемесячных активных пользователей предусмотрено получение отдельной лицензии от Meta.

OpenZephyrChat-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на базе Mistral-7B-Instruct-v0.2, созданная объединением весов Mistral-7B-Instruct-v0.2 и OpenZephyrChat методом SLERP с помощью MergeKit. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на сообщения и инструкции в формате чата. Модель использует плотную архитектуру MistralForCausalLM, принимает текст и выдаёт текст. Длина контекста — до 32 768 токенов. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. Карточка не описывает отдельные языковые или предметные специализации, поэтому её можно рассматривать как модель общего назначения.

Qwen3.5-9B-Theseus-i1-GGUF — квантизированная версия модели Qwen3.5-9B-Theseus, подготовленная mradermacher на основе модели nightmedia. Распространяется в формате GGUF и предназначена для локального запуска и инференса в совместимых инструментах. В репозитории представлены imatrix-квантизации различных типов и размеров, включая варианты от i1-Q2_K до i1-Q6_K, что позволяет выбирать баланс между требованиями к памяти, скоростью и качеством. Модель ориентирована на генерацию текста, диалоги, программирование, математические и STEM-задачи, рассуждения, творческое письмо, создание историй и ролевые сценарии. Заявлена поддержка английского, китайского, японского и испанского языков. README указывает на мультимодальность и наличие vision-возможностей, однако конкретные характеристики обработки изображений не раскрыты. Также упоминается контекст до 256k или 1M токенов, но точное поддерживаемое значение для этой сборки не указано. К сильным сторонам относятся широкий выбор квантизаций, включая варианты с imatrix, возможность подбора компактной конфигурации и заявленная универсальность задач. Ограничения включают экспериментальный характер исходной модели, возможное снижение качества на низких уровнях квантизации и отсутствие подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Brainwaves-WFH-GGUF — это GGUF-квантизированная версия модели Qwen3.8-27B-Brainwaves-WFH, подготовленная mradermacher на основе модели nightmedia. Модель предназначена для локального запуска и генерации текста в широком спектре сценариев, включая диалог, следование инструкциям, программирование, математические и STEM-задачи, исследования, рассуждения, творческое и художественное письмо, сторителлинг и ролевые взаимодействия. Указана поддержка английского, китайского, японского и испанского языков. Модель относится к семейству Qwen и доступна в формате GGUF с вариантами квантования от Q2_K до Q8_0, а также в форматах IQ4_XS и F16. Размер файлов варьируется примерно от 11 до 29,1 ГБ; для мультимодального использования предусмотрены дополнительные файлы mmproj-Q8_0 и mmproj-f16, однако конкретные поддерживаемые визуальные модальности в README не описаны. В метаданных заявлены контексты 256K и 1M токенов, но их практическая доступность для данной сборки не подтверждена. Сильной стороной модели является выбор вариантов квантования, позволяющий выбирать между размером, скоростью и качеством: Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант очень хорошего качества, а Q8_0 — как вариант наилучшего качества среди указанных. Ограничения включают значительные требования к дисковому пространству и памяти, а также отсутствие подробных данных о производительности, оценках качества, точной архитектуре и рекомендуемых параметрах запуска. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-Uncensored-oQ5e-mtp — это MLX-квантизация модели Qwen3.8-Flash-Next-Uncensored, разработанная timteh673 на основе модели OrcaRouter, которая, в свою очередь, создана на базе Qwen/Qwen3.8-Flash-Next. Модель предназначена для исследовательских задач, red teaming, интерпретируемости, генерации текста, рассуждений, вызова инструментов, а также обработки изображений и видео. В исходной модели удалена защитная настройка, поэтому она может выполнять запросы, от которых отказывается оригинальная Qwen3.8-Flash-Next; при практическом развёртывании требуется собственная модерация. Это мультимодальная sparse MoE-модель с поддержкой режима рассуждений и MTP-головой. Она содержит около 180 млрд параметров, из которых примерно 6 млрд активируются на токен, 48 слоёв, 512 маршрутизируемых экспертов с выбором 10 экспертов и одного общего эксперта, гибридную attention-архитектуру с Gated-DeltaNet и полноформатным attention, а также vision- и video-модули. Нативный контекст составляет 262 144 токена; заявлены английский и китайский языки, при этом модель может обладать более широкими мультиязычными возможностями. Использована чувствительная к данным смешанная 5-битная квантизация oQe с importance matrix: эффективная точность составляет 5,72 бита на вес, размер — около 128,54 ГБ в 25 safetensors-фрагментах. Формат совместим со стандартным MLX и не требует пользовательских ядер или загрузчика; сборка ориентирована на Apple Silicon и позволяет запускать полный контекст на Mac с 128 ГБ памяти. Ограничения включают очень большой объём модели, зависимость от MLX и Apple Silicon, а также отсутствие встроенных гарантий безопасности из-за abliteration. Лицензия — Qwen Community License 1.0, унаследованная от upstream-модели.

LongAlign-6B-64k — чат-модель на архитектуре ChatGLM, разработанная авторами проекта LongAlign. Она дообучена на LongAlign-6B-64k-base, созданной на основе ChatGLM3-6B с расширенным контекстом, для следования инструкциям в длинных диалогах и работы с запросами, содержащими большие объёмы текста. В README описан набор LongAlign-10k из 10 000 инструкций длиной 8–64 тыс. токенов и подходы к обучению, включая упаковку примеров с взвешиванием потерь и пакетирование по длине. Для модели указано окно контекста до 65 536 токенов; заявленные сценарии оценки включают запросы длиной 10–100 тыс. токенов. Модель принимает и генерирует текст; в метаданных указаны английский и китайский языки, 7,8 млрд параметров и библиотека Transformers. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Длинный контекст ориентирован на работу с большими документами и многошаговыми инструкциями, однако README не приводит количественных результатов оценки именно этой модели; эффективная длина и качество могут зависеть от задачи и аппаратных ресурсов.

bartowski/Phi-3-mini-4k-instruct-GGUF — набор GGUF-квантизированных версий Phi-3-mini-4k-instruct, исходно разработанной Microsoft. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи обработки естественного языка и программирования. В README указана поддержка английского языка и контекстное окно на 4K токенов; модальность — текстовая. Ключевая особенность репозитория — квантизация с использованием llama.cpp и метода imatrix. Доступны варианты от Q8_0 до очень компактных IQ1_S, что позволяет выбирать между качеством и требованиями к памяти. Наиболее высокое качество дают Q8_0 и Q6_K, а Q4- и Q3-варианты ориентированы на более экономичное локальное использование; варианты с низкой разрядностью заметно уступают по качеству, хотя некоторые из них остаются пригодными для практических задач. Модель удобна для локального запуска через совместимую инфраструктуру llama.cpp, однако конкретные требования к памяти и производительность зависят от выбранного варианта квантизации. README не содержит подробностей об архитектуре и точном числе параметров исходной модели. Распространение указано по лицензии MIT.

Qwen2.5-7B-Instruct-MLX-4bit — это 4-битная квантованная версия инструкционной языковой модели Qwen2.5-7B-Instruct, подготовленная сообществом для запуска на Apple Silicon Mac. Исходную модель разработала команда Qwen, а MLX-квантизацию предоставил bartowski на основе mlx-examples. Модель предназначена для диалогового взаимодействия, генерации текста и выполнения инструкций; её можно использовать в локальных сценариях через совместимое программное обеспечение, включая LM Studio. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Она ориентирована на работу с текстом и заявлена как поддерживающая более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Среди отмеченных особенностей — работа со структурированными данными и их генерация, а также широкий охват знаний, полученных из крупного обучающего набора. Ключевыми ограничениями являются зависимость от аппаратной платформы Apple Silicon и возможные ошибки, неточности, вредоносные или неподходящие ответы, характерные для генеративных моделей. README не содержит результатов бенчмарков или подробностей об архитектуре и точном объёме исходных параметров, кроме обозначения класса 7B. Модель распространяется по лицензии Apache-2.0.

Flan-UL2 — текстовая encoder-decoder модель Google на архитектуре T5 с 7,6 млрд параметров. Она основана на контрольной точке UL2 и дообучена на коллекции Flan с формулировками задач в виде инструкций. Репозиторий содержит веса PyTorch, лицензия — Apache 2.0. Модель предназначена для выполнения разнообразных текстовых задач по инструкциям, включая генерацию и продолжение текста, ответы на вопросы, суммаризацию, рассуждения и классификацию. Она поддерживает обучение на нескольких примерах в контексте и не требует специальных mode tokens UL2. README приводит контекстное поле 2048 токенов; метаданные указывают native context в 512 токенов. Flan-UL2 сочетает предварительное обучение UL2 с инструкционной настройкой Flan и рассчитана на широкий круг задач обработки естественного языка. Для запуска на GPU авторы рекомендуют загрузку в 8-битном режиме для снижения потребления памяти. Это крупная модель, поэтому для инференса нужны значительные вычислительные ресурсы; опубликованные оценки не гарантируют качество на каждом отдельном сценарии.

unsloth/gemma-3-1b-it-unsloth-bnb-4bit — инструкцияно дообученная и 4-битно квантованная версия Gemma 3 1B от Google DeepMind, подготовленная Unsloth. Модель имеет открытые веса и предназначена для генерации текста по инструкциям, включая ответы на вопросы, суммаризацию, рассуждения и анализ изображений. В метаданных указано, что основной язык — английский, при этом семейство Gemma 3 поддерживает более 140 языков. Модель принимает текст и изображения, а на выходе генерирует текст. Для версии 1B заявлено контекстное окно до 32 000 токенов и максимальный объём генерируемого вывода до 8192 токенов; изображения нормализуются до 896×896 пикселей и представляются как 256 токенов каждое. Ключевая особенность данного варианта — 4-битная квантование в формате BNB, уменьшающая требования к памяти и упрощающая локальное развёртывание, однако по сравнению с полноразмерными версиями это может ограничивать точность. Модель подходит для запуска на устройствах и инфраструктуре с ограниченными ресурсами, а также для дальнейшей тонкой настройки средствами Transformers и Unsloth. Использование регулируется лицензией Gemma и соответствующими условиями Google; перед применением необходимо ознакомиться с Terms of Use.

llm-jp-4.1-32b-a3b-thinking — языковая модель семейства LLM-jp-4.1, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это трансформерная MoE-модель для генерации текста и диалогов; в ней 32 млрд общих параметров, из которых активируются около 3,8 млрд. Контекст составляет 65 536 токенов. Модель обучалась на 11,7 трлн токенов, а версия thinking прошла дообучение с контролируемой настройкой и выравниванием предпочтений DPO. Модель предназначена для диалоговых ассистентов и задач общего назначения: ответов на вопросы, рассуждений, математики, научных вопросов, программирования и перевода между японским и английским языками. Карточка указывает поддержку английского и японского; модель принимает текст и генерирует текст. Чат-шаблон совместим с форматом OpenAI Harmony, но для токенизации следует использовать комплектный токенизатор: токенизатор отличается от ожидаемого библиотекой openai-harmony. Разработчик характеризует релиз как модель для исследований и разработок и не рекомендует напрямую использовать её в производственных сервисах. Ответы могут быть неточными, неподходящими или нежелательными, поэтому модель следует оценивать для конкретного применения. Лицензия — Apache-2.0.

Phi-4-mini-instruct-4bit — это 4-битная версия модели Phi-4-mini-instruct, разработанной Microsoft и преобразованная в формат MLX с использованием mlx-lm 0.21.5. Модель предназначена для генерации текста в диалоговом формате, решения задач обработки естественного языка и работы с кодом. Модель относится к семейству text-generation, поддерживает мультиязычные сценарии согласно карточке и использует базовую модель microsoft/Phi-4-mini-instruct. Ключевая особенность этой версии — 4-битное представление в формате MLX, что ориентировано на запуск через библиотеку mlx-lm. Архитектура, количество параметров, максимальная длина контекста и точный перечень языков в README не указаны. Сильными сторонами являются инструктивная настройка, поддержка диалогового шаблона и компактное 4-битное представление. Ограничения связаны с отсутствием в карточке подробных характеристик качества, производительности, размера модели и контекста; поэтому область применимости и результаты на конкретных задачах следует оценивать отдельно. Модель распространяется по лицензии MIT.

Whittle-Qwen-3.8-35B-A3B-i1-GGUF — это квантизированная GGUF-версия модели Whittle-Qwen-3.8-35B-A3B, разработанной logic65 и опубликованной в формате квантизаций пользователем mradermacher. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений, программирования и математических задач, а также для локального запуска через llama.cpp и совместимые инструменты. Модель использует архитектуру mixture-of-experts (MoE) и заявленные механизмы n-gram memory, conditional memory, hyper-connections и knowledge distillation. В обозначении указано 35B параметров, однако README не уточняет число активных параметров при инференсе. Поддерживаются английский, китайский и другие языки; модель работает с текстом и не предназначена для мультимодальных входов. Размер контекста и другие параметры архитектуры не указаны. Доступно множество вариантов квантизации i1-GGUF объёмом примерно от 13,1 до 29,4 ГБ. Они предлагают разные компромиссы между размером, скоростью и качеством; README отмечает i1-Q4_K_M как быстрый рекомендуемый вариант, а i1-Q4_K_S — как удачный баланс размера, скорости и качества. Ограничения включают возможную потерю качества при низкой разрядности и отсутствие подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

Alfred-40B-1023 — языковая модель LightOn, дообученная на базе Falcon-40B. Это причинная авторегрессионная модель с архитектурой Falcon/RefinedWeb и примерно 65 млрд параметров; она предназначена для диалогов и выполнения инструкций. Модель доступна под лицензией Apache 2.0. Модель обучена на англоязычных, немецких, испанских и французских данных, а также имеет ограниченные возможности для итальянского, португальского, польского, нидерландского, румынского, чешского и шведского языков. Контекст расширен до 8192 токенов методом NTK-YaRN. Обучение использовало короткие и длинные задачи, включая диалоговые данные и наборы для работы с длинным контекстом. Модель подходит для создания чат-ассистентов, ответов на запросы и обработки длинных текстовых входов. Ограничения включают слабую переносимость на языки, не представленные в обучении, и возможное воспроизведение стереотипов и смещений из веб-данных. Для практического применения карточка рекомендует оценивать риски и применять защитные меры.

nsd12/deepseek-v4-gguf — это квантованная версия языковой модели DeepSeek-V4-Flash в формате GGUF, подготовленная antirez на базе модели DeepSeek. Модель предназначена для генерации текста и запуска локального вывода через inference engine ds4, с оптимизацией для систем Apple Silicon и Metal. В метаданных указан английский язык. Модель использует архитектуру Mixture of Experts (MoE). Доступны варианты с квантованием экспертных блоков до 2-битного уровня (IQ2_XXS и Q2_K) размером около 80,8 GiB и до 4-битного уровня Q4_K размером около 153,3 GiB. Остальные компоненты, включая внимание, общих экспертов и выходной слой, в основном сохраняются в Q8_0, F16 или F32 для снижения потерь качества. Отдельный файл MTP размером 3,6 GiB предназначен для опционального speculative decoding и не является самостоятельной моделью. Вариант q2 рассчитан на компьютеры с 128 ГБ оперативной памяти, а q4 — на системы с не менее чем 256 ГБ RAM. Ключевое ограничение — квантизации специфичны для inference engine ds4 и могут быть несовместимы с другими загрузчиками; MTP требует специальной поддержки. В примере запуска ds4 используется контекст до 100000 токенов, однако собственный максимальный контекст модели в README не указан. GGUF-файлы распространяются по лицензии MIT, при этом базовая модель принадлежит DeepSeek и распространяется с условиями её релиза.