II.7DevOps, облако и эксплуатация IT-систем

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная модель, созданная HauhauCS на основе Qwen/Qwen3.6-35B-A3B. Это вариант с усиленным снятием ограничений на отказы: по заявлению автора, модель отвечает на запросы без отказов, сохраняя исходные наборы данных и возможности базовой модели. Она предназначена для диалогов, генерации и анализа текста, программирования, рассуждений, а также обработки изображений и видео. Модель использует гибридную архитектуру с линейным и полноразмерным softmax-вниманием в соотношении 3:1 и содержит 40 слоёв. Это MoE-модель с 35 млрд общих параметров и примерно 3 млрд активных параметров на проход; используются 256 экспертов, из которых для каждого токена выбираются 8. Заявлен нативный контекст до 262 тысяч токенов. Поддерживаются текст, изображения и видео, а среди языков указаны английский, китайский и многоязычная обработка. Доступны GGUF-квантизации, включая специализированные варианты K_P, оптимизированные для сохранения качества. К сильным сторонам относятся мультимодальность, большой контекст, относительно небольшое число активных параметров для MoE-архитектуры и широкий выбор квантизаций для локального запуска через llama.cpp, LM Studio и другие совместимые среды. Ограничение модели — агрессивное отключение защитных отказов: она может генерировать небезопасный или нежелательный контент и не предоставляет встроенных гарантий безопасного использования. Для поддержки зрения требуется отдельный файл mmproj; для сохранения возможностей режима рассуждений рекомендуется контекст не менее 128 тысяч токенов. Модель распространяется по лицензии Apache-2.0.

PocketAiHub/Qwen3.8-27B-Abliterated-MTPLX-Optimized-Speed — производный вариант модели Qwen3.8-27B, созданной командой Qwen. PocketAiHub выполнила проекцию, подавляющую выученное поведение отказа, а также конвертацию, оптимизацию и проверку модели. Для ускорения используется MTPLX 2.7.1 и нативный механизм multi-token prediction с глубиной 3. Модель предназначена для генерации текста, рассуждений, структурированного выбора инструментов и работы с изображениями через OpenAI-совместимый API. Поддерживаются входные изображения в форматах PNG, JPEG и WebP; работоспособность видео в серверном режиме не подтверждена. Конфигурационное контекстное окно составляет 262 144 токена, однако для ускоренного MTPLX-режима рекомендуется использовать не более 32 000 токенов. Квантование смешанное: основная часть весов имеет 4-битную точность, отдельные чувствительные компоненты — 8-битную или BF16. Размер загрузки — около 21,31 ГБ. Главное преимущество — высокая скорость декодирования на Apple Silicon: на Apple M5 Max измерено до 58,05 токена в секунду, что соответствует ускорению до 2,35 раза относительно авторегрессионного режима. Ограничения включают зависимость производительности от оборудования, возможный дрейф поведения из-за квантования и аблитерации, а также подавление отказов, которое может приводить к ошибочным, вредным или непредсказуемым ответам. Модель не является более безопасной и требует собственных защитных механизмов. Распространяется по лицензии Apache-2.0.

mradermacher/Qwen3.8-27B-Brainwaves-WFH-i1-GGUF — квантованная версия модели Qwen3.8-27B-Brainwaves-WFH, разработанной nightmedia и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для локального запуска в задачах генерации текста, диалогов, программирования, математики, научно-технических запросов, рассуждений, творческого и художественного письма, а также ролевых сценариев. В README также указана поддержка изображений через дополнительные mmproj-файлы, доступные в статическом репозитории. Модель относится к семейству Qwen и имеет заявленный размер 27B параметров. Доступны варианты квантования i1 с использованием imatrix, включая Q2_K, Q3_K, IQ3, IQ4, Q4, Q5 и Q6; размер файлов составляет примерно от 11 до 22,5 ГБ. Для некоторых вариантов указаны компромиссы между скоростью, размером и качеством: i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Заявлены языки English, Chinese, Japanese и Spanish. В тегах упоминается контекст до 1M токенов, однако README не подтверждает фактические ограничения именно этой сборки. Сильной стороной модели является широкий набор предполагаемых сценариев применения и наличие нескольких уровней квантования для выбора под доступные ресурсы. Ограничения связаны с потерями качества, зависящими от типа квантования, отсутствием подробных результатов оценки и неполным описанием архитектуры, точной мультимодальной конфигурации и практического размера контекста. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-квантизованная версия плотной языковой модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие отказного поведения; при этом README предупреждает, что для критически важных длинноконтекстных агентских задач более безопасным выбором может быть Balanced-вариант, если он доступен. Архитектура включает 64 слоя, скрытый размер 5120, размер FFN 17 408, словарь из 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Модель сохраняет встроенный MTP/NextN и поддерживает ускорение HauhauCS FastMTP через отдельный sidecar-файл. Заявлены нативный контекст 262 144 токена и расширение до 1 000 000 токенов. Для мультимодального ввода используется отдельный vision projector в формате BF16; текстовые кванты доступны в вариантах от Q2 до Q8, включая пользовательские K_P-квантизации. Сильные стороны модели — сочетание большого контекстного окна, текстовых, reasoning-, агентских и мультимодальных возможностей, а также варианты квантизации для запуска в средах, совместимых с GGUF, включая llama.cpp и LM Studio. Ограничения связаны с тем, что Aggressive-профиль намеренно снижает склонность к отказам, что может быть нежелательно для задач с повышенными требованиями к безопасности и надёжности. Модель распространяется по лицензии Apache-2.0.

Это сборка Qwen3-8B для запуска на Rockchip RK1828 через LlamaPi. Исходную модель разработала команда Qwen; в репозитории указаны формат GGUF и готовность к запуску на RK1828. Модель относится к плотной архитектуре Qwen3ForCausalLM, содержит 7,6 млрд параметров и поддерживает контекст до 40 960 токенов. Модель предназначена для генерации текста, диалога, следования инструкциям, программирования, рассуждений и агентных задач; поддерживает режимы с рассуждением и без него, а также интерфейс вызова инструментов. Исходная модель поддерживает более 100 языков и диалектов. Для запуска в README предлагается LlamaPi. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-Uncensored-MLX-Serve-4bit — 4-битная версия модели Qwen3.8-Flash-Next, преобразованная в формат MLX-Serve для локального запуска на компьютерах Apple Silicon. Базовая модель разработана командой Qwen, а вариант без ограничений получен orcarouter с помощью abliteration — удаления направлений весов, связанных с отказами; в этой сборке дополнительных изменений модели не заявлено. Модель предназначена для диалогов, генерации текста и кода, агентских сценариев и мультимодальных задач с изображениями и видео. Она поддерживает контекст до 262 144 токенов, vision tower, спекулятивную декодирующую голову MTP и работу через совместимые с OpenAI, Anthropic и Ollama API. Архитектура qwen4_exp включает 48 слоёв, гибридное внимание с 36 слоями Gated-DeltaNet и 12 слоями полного внимания, MoE с 512 экспертами и выбором 10 экспертов на токен, а также общим экспертом. Объём модели составляет 125 млрд параметров, из которых активно около 6 млрд на токен; заявленная поддержка языков в README не указана. Ключевые преимущества — большой контекст, поддержка текста, изображений и видео, высокая скорость на Apple Silicon, а также сниженная склонность к отказам. Пакет требует Apple Silicon с не менее чем 96 ГБ unified memory, рекомендуется 128 ГБ, и около 107 ГБ места на внутреннем SSD. Скорость и объём памяти зависят от оборудования; приведённые значения измерены на M5 Max с 128 ГБ. Для запуска требуется mlx-serve версии 26.8.11-pre-release.1 или новее. Ограничения включают высокие аппаратные требования, необходимость использования специализированного движка и потенциальные риски, связанные с отсутствием встроенных отказов. Лицензия — Apache 2.0.

Qwopus-GLM-18B-Merged-GGUF — экспериментальная текстовая модель семейства Qwen3.5, созданная на основе двух дообученных моделей Jackrong: Qwopus3.5-9B-v3.5 и Qwen3.5-9B-GLM5.1-Distill-v1. Модель собрана методом frankenmerge: объединены по 32 слоя каждой исходной модели, всего 64 слоя и около 18 млрд параметров. После объединения выполнено 1000 шагов QLoRA-дообучения для устранения проблем на границе слоёв. В репозитории представлена версия в формате GGUF с квантизацией Q4_K_M размером около 9,2 ГБ. Модель предназначена для генерации текста, рассуждений, диалогов, программирования, структурированного вывода, tool calling и агентских сценариев. Заявлена поддержка английского, китайского, корейского, японского, французского, немецкого и испанского языков. По данным авторского набора из 44 тестов, модель получила 40 успешных результатов, включая максимальные показатели в категориях базовой генерации, рассуждений, вызова инструментов и агентских рабочих процессов. Она ориентирована на локальный запуск и, согласно README, помещается в 12 ГБ видеопамяти; заявленная производительность составляет около 66 токенов в секунду. Сильными сторонами являются tool calling, агентское рассуждение, многоязычная генерация и улучшенная после «лечения» корректность HTML, CSS и JavaScript. Ограничения включают экспериментальный статус, отсутствие полной независимой оценки и остаточные проблемы в программировании: три теста из пятнадцати не пройдены из-за ошибок именования функций, скобок JavaScript и формата блока кода. Размер контекста в README не указан. Модель распространяется по лицензии Apache-2.0.

StepFun разработала Step 3.7 Flash — мультимодальную модель со смесью экспертов (MoE), предназначенную для высоконагруженных рабочих процессов. Она содержит 198 млрд параметров, из которых около 11 млрд активируются на каждом токене; включает языковую часть на 196 млрд параметров и визуальный энкодер на 1,8 млрд. Модель принимает изображения и текст, поддерживает контекст до 256 тыс. токенов и три уровня рассуждений: низкий, средний и высокий. Модель предназначена для понимания изображений, анализа больших документов, многошагового поиска и проверки фактов, оркестрации инструментов и API, а также для задач разработки ПО — например, поиска ошибок в репозиториях и подготовки исправлений. Заявленная скорость генерации достигает 400 токенов в секунду. Карточка описывает её как модель для производственных нагрузок; доступны варианты развёртывания через облачные платформы и локальные средства инференса. Репозиторий использует библиотеку Transformers и формат Safetensors. Лицензия — Apache-2.0. В метаданных указан английский язык; README не подтверждает поддержку других естественных языков.

WizardLM-2 7B — плотная авторегрессионная языковая модель семейства Mistral, разработанная командой WizardLM в Microsoft AI и дообученная на базе mistralai/Mistral-7B-v0.1 с использованием синтетической обучающей системы. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; нативная длина контекста — 32 768 токенов. Модель предназначена для диалогов и выполнения сложных инструкций, включая рассуждения, написание текстов, программирование, математические задачи и многоязычные запросы. Авторы позиционируют версию 7B как быструю модель, показывающую сильные результаты для своего размера; заявленные оценки основаны на MT-Bench и сравнении предпочтений людей. Модель распространяется под лицензией Apache 2.0. Карточка не приводит конкретный перечень поддерживаемых языков и не описывает отдельные механизмы вызова инструментов; качество ответов и результаты бенчмарков следует оценивать для целевых задач самостоятельно.

QuantFactory/WizardLM-2-7B-abliterated-GGUF — это квантизированная версия WizardLM-2 7B, разработанная QuantFactory с использованием llama.cpp на основе fearlessdots/WizardLM-2-7B-abliterated. Базовая модель WizardLM-2 создана командой WizardLM при Microsoft AI и основана на Mistral-7B-v0.1. Модель предназначена для генерации текста, диалогов и выполнения сложных инструкций, включая задачи письма, программирования, математики, рассуждений, агентских сценариев и многоязычного общения. Поддерживаются многоходовые диалоги с шаблоном запросов Vicuna. Модель содержит около 7 миллиардов параметров и работает только с текстом. Вариант abliterated использует ортогонализованные веса bfloat16, а текущая версия распространяется в квантизированном формате GGUF, что ориентировано на более эффективный запуск и снижение требований к памяти по сравнению с полноразмерными весами. В README не указаны точное окно контекста, поддерживаемые языки и конкретные параметры квантизации. Заявлены высокая скорость для своего класса и конкурентные результаты среди открытых моделей сопоставимого размера, однако приведённые оценки относятся к WizardLM-2 7B и не обязательно полностью характеризуют данный GGUF-вариант. Лицензия модели указана как Apache 2.0. Специфические ограничения, связанные с abliterated-модификацией, в README не описаны; поэтому качество, безопасность и соответствие ответов требованиям конкретного применения следует проверять отдельно.

XVERSE-13B-Chat — диалоговая версия языковой модели XVERSE-13B, разработанной компанией Shenzhen Yuanxiang Technology. Это плотная авторегрессионная модель с архитектурой Decoder-only Transformer и 13,2 млрд параметров, предназначенная для генерации ответов и ведения многоходовых бесед. Она поддерживает контекст до 8192 токенов. Модель подходит для вопросов и ответов, суммаризации, рассуждений и помощи с программированием. В README заявлена поддержка более 40 языков, включая китайский, английский, русский и испанский; особенно сильные результаты разработчик отмечает для китайского и английского. Модель использует токенизатор BPE с размером словаря 100 534 токена. Модель может выдавать неточные, предвзятые или оскорбительные ответы, поэтому результаты следует проверять, а перед внедрением проводить тестирование безопасности для конкретного сценария. Лицензия Apache-2.0.

Карточка модели hdcase/AliceAI-Foundation-80B-A3B-Base на Hugging Face совпадает с карточкой yandex/AliceAI-Foundation-80B-A3B-Base, поэтому описание составлено по ней. AliceAI-Foundation-80B-A3B-Base — базовая авторегрессионная языковая модель, разработанная Yandex и обученная с нуля. Это предобученная модель с гибридной архитектурой и смесью экспертов: всего 80 млрд параметров, из которых на каждом токене активируются около 3 млрд. Архитектура включает 48 слоёв, 512 экспертов и механизмы KDA и Gated Attention; контекст — до 262 144 токенов. Модель предназначена для генерации текста и дальнейшей адаптации под задачи рассуждений, математики, программирования, работы с фактами и взаимодействия с инструментами. По данным карточки, особенно сильна в фактологических задачах на русском языке; доступны русскоязычные бенчмарки WikiWebFacts и HardMultiQA. Это базовая модель, поэтому для диалогового применения и следования инструкциям может потребоваться дообучение и подходящий шаблон сообщений. Веса опубликованы в формате Safetensors и доступны по лицензии Apache 2.0. В README описан запуск через Transformers и vLLM; для выполнения KDA-слоёв на GPU требуется совместимая версия flash-linear-attention. Заявленные в README 80 млрд общих параметров расходятся с метаданными Hugging Face, где указано 3,1 млрд параметров.

Это GGUF-квантизированная версия языковой модели Mistral-Small-24b-Sertraline-0304, разработанной allura-org и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций, включая общие, научные, медицинские, программные и другие текстовые задачи. В README указано, что она основана на наборах данных для instruction following, включая Tulu 3, s1K, медицинские данные, данные по программированию и научным вопросам. Модель имеет размер 24B параметров, относится к текстовым autoregressive language models и поддерживает английский и китайский языки. Доступны варианты квантизации GGUF с форматами от Q3 до Q8 и размерами примерно от 12,4 до 25,05 ГБ. Квантизации выполнены с использованием imatrix и llama.cpp, поэтому модель подходит для локального запуска через llama.cpp, LM Studio и совместимые проекты. Контекстный размер, точная архитектура базовой модели, результаты оценивания и требования к оперативной памяти в README не указаны. Сильными сторонами являются широкий набор обучающих данных, ориентация на следование инструкциям и наличие вариантов с разным балансом качества и потребления памяти. Ограничения связаны с отсутствием подробных независимых бенчмарков, сведений о мультимодальности и гарантированной точности ответов; модель следует использовать с проверкой результатов, особенно в медицинских и научных сценариях. Лицензия — Apache-2.0.

Arcee-Nova — языковая модель от Arcee AI для диалогов и широкого круга задач генерации текста. Она объединяет Qwen2-72B-Instruct с пользовательской моделью, дообученной на смеси данных общего назначения. В метаданных указаны плотная архитектура Qwen2, 71,5 млрд параметров и контекст до 32 768 токенов. Модель предназначена для рассуждений, творческого письма, программирования и понимания естественного языка. Её можно применять для чат-ботов поддержки, подготовки материалов и документации, помощи в разработке ПО, анализа данных, исследовательской работы и разбора юридических или учебных материалов. README сообщает о высокой производительности на наборе оценивания OpenLLM Leaderboard 2.0, но не приводит подробностей протокола оценки. Модель принимает и генерирует текст. Репозиторий содержит веса Safetensors; README также ссылается на доступные сборки GGUF. Лицензия обозначена как other, поэтому конкретные условия использования следует проверять в материалах репозитория. В README не описаны конкретные языки и ограничения качества.

DeepSeek-V3.1-Terminus-W4AFP8 — смешанно-точная квантованная версия DeepSeek-V3.1-Terminus. Репозиторий модели связан с deepseek-ai/DeepSeek-V3.1-Terminus; по метаданным это производная модели с архитектурой DeepSeek V3 и классом DeepseekV3ForCausalLM. Модель содержит 37,6 млрд параметров и рассчитана на генерацию текста, включая диалог и вызов инструментов через соответствующий интерфейс. Контекст составляет до 163 840 токенов. Веса плотных слоёв сохраняют формат FP8 исходной модели, а веса MoE-слоёв представлены в INT4 с активациями FP8 (W4AFP8). В README приведены результаты тестирования в режиме без рассуждений; для инференса описан запуск через SGLang версии 0.5.2 или новее с tensor parallel. Модель распространяется по лицензии MIT. Карточка не уточняет языки и специфические ограничения качества.

QuantTrio/GLM-5.2-Int4-Int8Mix — квантизированная версия языковой модели GLM-5.2, разработанной командой zai-org. Репозиторий содержит data-free квантизацию без использования калибровочного набора данных и подготовлен прежде всего для инференса через vLLM с форматом compressed-tensors. Модель предназначена для генерации текста, диалоговых приложений, программирования и выполнения сложных долгосрочных задач. Базовая GLM-5.2 поддерживает контекст до 1 млн токенов и использует архитектурные улучшения IndexShare, разреженное внимание и MTP для спекулятивного декодирования. В данной версии применено смешанное weight-only-квантизирование: обычные линейные веса преимущественно W8A16, веса MoE-экспертов W4A16, с group size 128; отдельные компоненты сохранены в BF16, FP32 или квантизированы поканально. Размер файлов модели составляет около 378 GiB. Основное преимущество версии — снижение требований к памяти по сравнению с полноразмерными весами при сохранении высокой производительности. В приведённом ориентировочном тесте AIME25 результат составил 92,92% при reasoning_effort=max и 86,46% при medium-high, однако это не является полноценным формальным бенчмарком. Ограничение — заявлена совместимость прежде всего с vLLM и compressed-tensors; совместимость с SGLang и другими runtime не гарантируется. Проверка проводилась на конфигурации из 8 GPU H200 с vLLM 0.23.0 и Transformers 5.12.1. Модель распространяется по лицензии MIT.

GLM-5.3-Flash-NVFP4 — квантованная версия мультимодальной модели GLM-5.3-Flash, разработанной Z.ai. Данный вариант подготовлен сообществом пользователем vcruz305 на основе zai-org/GLM-5.3-Flash-BF16 с использованием NVIDIA ModelOpt NVFP4. Модель предназначена для генерации текста, работы с мультимодальными данными, программирования и агентских сценариев. Заявлены поддерживаемые языки английский и китайский. Модель имеет архитектуру Mixture-of-Experts с 320 млрд общих и 18 млрд активных параметров, сочетает разреженное и линейное внимание и использует Manifold-Constrained Hyper-Connections. Эксперты слоёв 3–44 представлены в формате NVFP4, а слой MTP/NextN сохраняет точность BF16. Это снижает требования к памяти и стоимость инференса, сохраняя возможности исходной модели, однако качество и производительность именно этой квантованной сборки отдельно не подтверждены: приведённые в README результаты относятся к официальной версии Z.ai. Для локального развёртывания указана совместимость с SGLang, vLLM, TokenSpeed и KTransformers. Лицензия — MIT.

Mungert/granite-3.0-8b-instruct-GGUF — квантованная GGUF-версия инструкционной языковой модели Granite 3.0 с 8 млрд параметров. Базовая модель — ibm-granite/granite-3.0-8b-base; модель предназначена для генерации текста и выполнения инструкций, включая рассуждения, ответы на вопросы, работу с кодом, математические задачи и задачи на понимание прочитанного. Разработчик GGUF-сборки — Mungert; исходное семейство моделей разработано IBM Granite. Модель создана с использованием llama.cpp. В README не указаны архитектурные детали, максимальная длина контекста, точный набор языков и конкретные варианты квантования. Упоминается экспериментальный подход к квантованию с повышением точности отдельных важных слоёв с помощью параметра --tensor-type; автор сообщает об улучшении точности на заданном уровне квантования ценой увеличения размера файла. Приведены результаты на англоязычных и многоязычных тестах, включая IFEval, MT-Bench, MMLU, HumanEval, GSM8K, PAWS-X и MGSM, однако их достоверность в метаданных не подтверждена. Модель подходит для локального запуска в совместимых инструментах экосистемы llama.cpp и сценариев, где важны снижение требований к памяти и возможность самостоятельного развертывания. Ограничения связаны с потерями качества, характерными для квантованных моделей, отсутствием подробных сведений о конфигурации и тем, что README не содержит инструкций по выбору конкретного файла квантования. Лицензия указана как Apache 2.0.

granite-4.2-30b-MLX-4bit — 4-битная квантованная версия языковой модели granite-4.2-30b, разработанной командой IBM Granite (ibm-granite). Квантование выполнено командой LM Studio с использованием MLX и оптимизировано для запуска на устройствах с Apple Silicon. Модель предназначена для генерации текста, рассуждений, работы с инструментами и сценариев tool-calling. Модель поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. В README не указаны точная архитектура, размер контекстного окна, доступные модальности и дополнительные показатели качества. Квантование в 4 бита снижает требования к памяти и делает модель более подходящей для локального запуска на Apple Silicon, однако может сопровождаться потерей качества по сравнению с исходной версией. Условия использования определяются лицензией Apache 2.0.

Huozi 3.0 — большая языковая модель, разработанная Центром социального вычисления и информационного поиска Харбинского технологического института (HIT-SCIR). Это дообученная для следования инструкциям версия Chinese-Mixtral-8x7B с архитектурой разреженной смеси экспертов Mixtral (MoE): в README указано 46,7 млрд параметров, из которых при генерации активируются около 13 млрд. Модель поддерживает контекст до 32 768 токенов и принимает текст, выдавая текст. Модель предназначена для диалогов и выполнения инструкций на китайском и английском языках. В карточке заявлены возможности рассуждать над математическими задачами, генерировать код, работать с длинными текстами и давать более безопасные ответы; поддерживаются сценарии развёртывания через Transformers, vLLM и OpenAI-совместимый API. В метаданных репозитория указано 7,2 млрд параметров, что расходится с описанием полного MoE-чекпойнта в README. Репозиторий содержит веса в формате safetensors. В README для исходного кода указана лицензия Apache 2.0; коммерческое использование модели требует регистрации и письменного разрешения правообладателя. Модель может выдавать фактически ошибочные, предвзятые или вредоносные ответы, поэтому результаты следует проверять.

Locutusque/Hyperion-2.0-Mistral-7B — языковая модель Locutusque, дообученная на 750 тысячах примеров набора Hyperion-v2.0 на базе mistralai/Mistral-7B-v0.1. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и ответов на сложные вопросы, ведения диалога, генерации кода и рассуждений в научных областях. В карточке описаны сценарии обучения и помощи специалистам в медицине, математике, программировании и других технических дисциплинах. Основной язык — английский. Модель доступна в формате safetensors и распространяется по лицензии Apache-2.0. В README отмечены возможные несогласованности ответов из-за разнообразия форматов данных и качества аннотаций; также модель охотно отвечает на любые запросы, поэтому для корпоративного применения автор рекомендует дополнительную настройку с помощью DPO.

Infinity-Instruct-3M-0625-Llama3-8B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), созданная дообучением Llama 3 методом supervised instruction tuning на наборах Infinity-Instruct-3M и Infinity-Instruct-0625. Это плотная авторегрессионная модель семейства Llama примерно с 7,5 млрд параметров, предназначенная для диалогов и следования инструкциям. Она принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. Модель не обучалась с использованием обучения с подкреплением по обратной связи от людей (RLHF), а разработчики сообщают о хороших результатах на AlpacaEval 2.0 и MT-Bench. Модель подходит для многошаговых диалогов, ответов на вопросы, повседневных текстовых задач, а также задач по коду и математике. Карточка указывает англоязычный контекст, поэтому основной подтверждённый язык — английский. Репозиторий распространяется в формате safetensors. В README указана лицензия Apache-2.0 в метаданных, однако там же ресурсы проекта, включая веса, ограничены академическими исследованиями и запрещены для коммерческого использования; это расхождение следует учитывать при применении. Разработчики также предупреждают, что точность ответов не гарантируется.

JiRack DeltaNet 27B — причинная языковая модель от CMSManhattan для генерации текста и диалогов. По карточке, модель основана на архитектуре в стиле Qwen3.8 DeltaNet с гибридным сочетанием внимания и SSM и ориентирована на эффективный запуск на CPU. Размер модели в метаданных составляет 22,3 млрд параметров, родной контекст — 262 144 токена. Доступны веса safetensors и варианты GGUF с разной степенью квантования. Модель предназначена для диалоговых сценариев, программирования, работы с инструментами и использования в RAG-системах. В README также заявлена поддержка сценариев с маршрутизацией, мультимедиа, изображениями, видео и робототехникой через специальные токены, однако метаданные подтверждают только задачу генерации текста и возможность чата. Указана поддержка английского, китайского, японского, корейского, французского, испанского, португальского, немецкого, итальянского, русского, арабского, вьетнамского и тайского языков. Веса выпущены по лицензии MIT, которая допускает коммерческое использование и изменение. README отдельно указывает, что Docker-образы, готовые сборки Ollama и интерфейс JiRack могут распространяться на коммерческих условиях. Для запуска на CPU заявлены варианты GGUF; требования к памяти зависят от квантования и могут быть значительными.

brittlewis12/Llama-3.1-Tulu-3.1-8B-GGUF — это квантизированная версия языковой модели Tülu 3.1 8B, разработанной Allen Institute for AI (AI2) на базе Llama 3.1. Модель предназначена для генерации текста и следования инструкциям в диалоговых и прикладных сценариях, включая общение, решение математических задач, ответы на вопросы, выполнение заданий с ограничениями и генерацию кода. Указан английский язык. Модель использует архитектуру Llama и содержит около 8 миллиардов параметров. Она распространяется в формате GGUF для запуска с совместимыми инструментами, включая llama.cpp, в том числе локально на устройствах. В версии Tülu 3.1 был улучшен финальный этап обучения с переходом от PPO к GRPO без reward model и дополнительной настройкой гиперпараметров. В README не указан размер контекстного окна и не описаны конкретные схемы квантизации представленных файлов. Сильными сторонами модели являются следование инструкциям, математические рассуждения, выполнение заданий с формальными ограничениями и ответы на вопросы; согласно приведённым оценкам, особенно высокие результаты показаны в GSM8K, IFEval, DROP и BigBenchHard. Ограничениями являются ориентация преимущественно на английский язык, меньший размер по сравнению с крупными моделями и возможные потери качества, связанные с квантизацией. Модель распространяется по лицензии llama3.1.

Карточка модели lucyknada/microsoft_WizardLM-2-7B на Hugging Face совпадает с карточкой dreamgen/WizardLM-2-7B, поэтому описание составлено по ней. WizardLM-2 7B — плотная авторегрессионная языковая модель семейства Mistral, разработанная командой WizardLM в Microsoft AI и дообученная на базе mistralai/Mistral-7B-v0.1 с использованием синтетической обучающей системы. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; нативная длина контекста — 32 768 токенов. Модель предназначена для диалогов и выполнения сложных инструкций, включая рассуждения, написание текстов, программирование, математические задачи и многоязычные запросы. Авторы позиционируют версию 7B как быструю модель, показывающую сильные результаты для своего размера; заявленные оценки основаны на MT-Bench и сравнении предпочтений людей. Модель распространяется под лицензией Apache 2.0. Карточка не приводит конкретный перечень поддерживаемых языков и не описывает отдельные механизмы вызова инструментов; качество ответов и результаты бенчмарков следует оценивать для целевых задач самостоятельно.

Это 4-битная версия NVIDIA-Nemotron-3-Nano-30B-A3B-BF16, подготовленная командой LM Studio Community с помощью mlx_lm для запуска на компьютерах Apple с Apple Silicon. Базовая модель разработана NVIDIA; это гибридная языковая модель с архитектурой Mixture-of-Experts, общим размером 30 млрд параметров и примерно 3 млрд активных параметров на токен. Модель предназначена для диалогов, рассуждений, программирования и агентных сценариев с вызовом инструментов. Её можно использовать для генерации ответов, помощи при написании кода и создания приложений на базе языковой модели. Карточка базовой модели указывает поддержку английского, испанского, французского, немецкого, японского и итальянского языков, а также длинного контекста; точная длина контекста для этой версии не приведена. Квантизация снижает требования к памяти, но может повлиять на точность по сравнению с исходной версией BF16. Модель может выдавать неточные или неподходящие ответы. В карточке этой версии указана лицензия other; условия исходной модели следует учитывать отдельно перед использованием.

Карточка модели mayflowergmbh/occiglot-7b-eu5-instruct-hf на Hugging Face совпадает с карточкой occiglot/occiglot-7b-eu5-instruct, поэтому описание составлено по ней. Occiglot-7B-EU5-Instruct — инструктивная языковая модель, разработанная Occiglot Research Collective. Это плотный авторегрессионный трансформер с архитектурой Mistral и 7,1 млрд параметров, дообученный на 400 млн токенов многоязычных и программных инструкций. Модель принимает текстовые запросы в формате ChatML и генерирует текст; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы, выполнения инструкций и задач с кодом на английском, испанском, французском, немецком и итальянском языках. Карточка приводит предварительные результаты тестирования и отмечает, что часть неанглоязычных оценок основана на машинном переводе, поэтому их следует интерпретировать осторожно. Модель не проходила выравнивание по безопасности и может создавать проблемный контент. Распространяется по лицензии Apache 2.0.

OpenZephyrChat-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на базе Mistral-7B-Instruct-v0.2, созданная объединением весов Mistral-7B-Instruct-v0.2 и OpenZephyrChat методом SLERP с помощью MergeKit. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на сообщения и инструкции в формате чата. Модель использует плотную архитектуру MistralForCausalLM, принимает текст и выдаёт текст. Длина контекста — до 32 768 токенов. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. Карточка не описывает отдельные языковые или предметные специализации, поэтому её можно рассматривать как модель общего назначения.

Phi-3.5-mini-instruct-4bit — инструкционная языковая модель для генерации текста, созданная Microsoft и преобразованная сообществом mlx-community в формат MLX. Модель предназначена для диалоговых сценариев, ответов на вопросы и решения задач обработки естественного языка; в метаданных также указана релевантность для работы с кодом. Поддерживается библиотекой mlx-lm и рассчитана на запуск в экосистеме MLX. Модель представлена в 4-битном варианте, что обычно позволяет снизить требования к памяти по сравнению с полноразмерным представлением, однако точный размер, архитектура, длина контекста и перечень поддерживаемых языков в README не указаны. В метаданных заявлена многоязычность. Сильными сторонами являются инструкционный формат, возможность генерации текста и адаптация к MLX; ограничения и результаты тестирования не приведены. Конвертация выполнена из microsoft/Phi-3.5-mini-instruct с использованием mlx-lm версии 0.17.0. Модель распространяется по лицензии MIT.

Phi-3.5-mini-instruct-GGUF — это GGUF-квантизированная версия языковой модели Phi-3.5-mini-instruct, разработанной Microsoft и преобразованной компанией Second State Inc. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи обработки естественного языка и работы с кодом. Она запускается с использованием совместимого ПО, в частности LlamaEdge версии 0.14.0 и выше, с шаблоном запросов phi-3-chat. В README указана поддержка multilingual-сценариев и контекстное окно до 128 000 токенов. Доступны варианты квантования от Q2_K до Q8_0, а также f16, размером примерно от 1,42 до 7,64 ГБ. Более компактные варианты требуют меньше памяти, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые варианты с хорошим балансом размера и качества, при этом f16 обеспечивает отсутствие дополнительного квантования. Модель удобна для локального запуска и развёртывания в средах с ограниченными ресурсами, однако качество и требования к памяти зависят от выбранного варианта квантования. README не содержит подробностей об архитектуре, точном числе параметров, поддерживаемых языках и отдельных результатах оценки. Распространение осуществляется по лицензии MIT, унаследованной от исходной модели Microsoft.