II.8Инженерия данных и аналитика

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель на базе Qwen3.6-27B. Её разработал DavidAU при участии Nightmedia, TeichAI, armand0e и trohrbaugh; обучение и подготовка выполнялись с использованием Unsloth. Модель распространяется в формате GGUF, включая обычные и MTP-варианты, а также различные уровни квантования. Модель предназначена для широкого круга задач: следования инструкциям, решения задач, рассуждений, программирования, диалогов, творческого письма, ролевых сценариев и работы с изображениями. Заявлены улучшенные instruction following, общая способность к решению задач и reasoning. Поддерживаются английский и китайский языки; README также заявляет мультимодальность с поддержкой vision. Размер контекста и точные технические параметры архитектуры не указаны. К сильным сторонам относятся доступность квантованных вариантов для потребительского оборудования, улучшения относительно базовой модели по заявленным бенчмаркам и сохранение широкого набора исходных возможностей Qwen. При этом утверждения о превосходстве основаны на данных автора и сторонних проверках, поэтому их следует интерпретировать с осторожностью. Модель помечена как uncensored/heretic, что может означать ослабленные ограничения безопасности и делает необходимой дополнительную проверку результатов при практическом использовании. Лицензия — Apache-2.0.

Qwen3.6-34B-80L-Fable-5-Heretic — мультимодальная модель семейства Qwen от hiebo, дообученная на основе Qwen/Qwen3.6-27B. По карточке, модель расширена с 64 до 80 слоёв и примерно 34 млрд параметров, обучена методом дистилляции на 4 665 агентных трассах Fable-5 с применением QLoRA, а затем объединена с головами MTP для спекулятивного декодирования. Архитектура — Qwen3_5ForConditionalGeneration; заявлены чередование линейного и полного внимания, чат и работа с изображениями. Модель предназначена для диалоговых сценариев с рассуждениями и использованием инструментов, а также для задач, где нужно совместно обрабатывать текст и изображения. В README указаны запуск через Transformers и vLLM и максимальная длина контекста 256K; конфигурация запуска по умолчанию задаёт 4096 токенов. Карточка заявляет ускорение генерации с MTP, но приводит показатель принятия токенов и ускорение только для vLLM. Модель опубликована в формате safetensors; README описывает BF16-веса. Лицензия в предоставленных данных не указана.

Qwen3.6-40B-Grand-Intelligence-Fable-Fusion-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — это 40-миллиардная модель на базе Qwen3.6, разработанная DavidAU при участии Nightmedia, TeichAI, armand0e, trohrbaugh и nbeerbower. Модель создана как результат многоэтапного fine-tuning, объединения нескольких версий Qwen3.6-27B Fable Fusion и последующей настройки с использованием Unsloth. Доступны обычные GGUF-квантизации и варианты с поддержкой MTP, включая 4-битные и 8-битные версии; заявлена совместимость с потребительским оборудованием. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, анализа, программирования, творческого письма, ролевых сценариев и работы с текстом. В README также заявлена поддержка vision, однако конкретные форматы входных данных и ограничения мультимодальности не описаны. Указаны английский и китайский языки. Модель ориентирована на более глубокие рассуждения, подробные ответы, улучшенное следование инструкциям и общую интеллектуальную производительность; заявлено сокращение числа токенов в thinking-блоке по сравнению с обычными Qwen. К сильным сторонам относятся крупный размер, многоэтапная настройка, наличие разных GGUF-квантизаций и акцент на reasoning, instruction following и универсальность. Модель обозначена как uncensored и heretic, поэтому уровень защитных ограничений может отличаться от оригинальных моделей Qwen. README не содержит точного размера контекста, полной спецификации архитектуры, детальных результатов независимых тестов и описания требований к ресурсам, поэтому производительность и пригодность для конкретных сценариев следует проверять самостоятельно. Лицензия — Apache-2.0.

Qwen3.8-27B-AEON-Ultimate-Uncensored-UD-GGUF — набор GGUF-квантизованных версий модели Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 от AEON-7. Модель предназначена для генерации текста, включая диалоги, работу с кодом, рассуждениями и агентскими сценариями с function calling. Указана поддержка английского и китайского языков, а также vision через компонент mmproj. Это гибридная архитектура GatedDeltaNet и attention: 48 из 64 слоёв используют рекуррентный SSM-механизм. В поставку входят варианты AWQ-UD и Baseline UD с квантизацией Q8_0, Q6_K, Q5_K_M и IQ4_XS; размеры файлов составляют примерно 25,9–34,7 ГБ. При квантизации рекуррентные тензоры SSM сохраняются в исходной точности, применяются матрица важности и чувствительные к тензорам настройки точности. Поддержаны MTP для speculative decoding и контекст калибровки до 32 768 токенов, однако максимальный контекст модели в README не указан. AWQ-UD рекомендуется как вариант с более низкой perplexity, тогда как Baseline UD ближе к распределению выходов F16 по KL-divergence. Модель рассчитана на запуск через llama.cpp; для максимальной производительности README также указывает SGLang с DFlash2. Ограничения включают зависимость качества и скорости от выбранного кванта и аппаратного обеспечения, а также отсутствие подробных данных о возможностях vision и точных требованиях к памяти. Лицензия — Apache-2.0.

Avesed/Qwen3.8-27B-INT4-W4A16 — это квантизированная версия Qwen/Qwen3.8-27B, разработанная сообществом Avesed. Модель относится к гибридным плотным vision-language моделям: сочетает линейное внимание GatedDeltaNet с периодическим полным вниманием, имеет встроенную vision tower и MTP head для спекулятивного декодирования. Она поддерживает английский и китайский языки, а также обработку изображений и текста. Модель предназначена для генерации и перевода текста, рассуждений, математических задач и мультимодальных сценариев с изображениями. Используется INT4 weight-only квантизация W4A16 с AWQ, symmetric INT4 weights и group size 32. Размер чекпойнта составляет около 20 ГБ, поэтому веса помещаются на одной GPU с 24 ГБ памяти; для обслуживания через vLLM в README указана конфигурация tensor parallel на двух RTX 3090. В чувствительных к качеству компонентах, включая embeddings, lm_head, vision tower и MTP head, сохранён формат bfloat16. На GSM8K модель показала результат 96,4% при описанном в README протоколе оценки; заявлена работоспособность китайской и английской генерации, перевода, vision path и режимов reasoning. MTP-спекулятивное декодирование обеспечивает среднюю длину принятой последовательности около 2,4 токена из 3 при K=2. Ограничения включают зависимость результатов от протокола оценки и параметров сэмплирования, отсутствие результатов MMLU-Pro, а также заметную зависимость производительности от аппаратной конфигурации. Для запуска рекомендуется vLLM; лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — квантизированная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, работы с изображениями и видео. Она ориентирована на прямые ответы с минимальным вступлением и профилем без отказов, поэтому подходит для задач, где требуется снизить склонность модели к отказу от ответа. Заявлены поддержка английского, китайского и других языков, а также мультимодальный режим с отдельным vision-проектором BF16 для обработки изображений и видео. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, размером скрытого представления 5120, размером FFN 17408 и словарём на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Встроенный MTP/NextN сохранён, а дополнительный профиль HauhauCS FastMTP 32K предназначен для ускорения спекулятивного декодирования; заявлено ускорение до 3,02 раза для документов и до 1,93 раза для рассуждений по сравнению с режимом без MTP. Доступны варианты квантизации от Q8_K_P до IQ2_M, что позволяет выбирать баланс между качеством, размером и требованиями к памяти; размер текстовых файлов составляет примерно от 10,32 до 31,46 ГБ. К сильным сторонам относятся большой контекст, мультимодальность, поддержка длинных документов и ускорение генерации. Ограничение Aggressive-профиля — намеренное отсутствие отказного поведения, из-за чего он может быть менее подходящим для надёжно контролируемых и критически важных агентских сценариев; для них автор рекомендует Balanced-вариант, если он доступен. Модель распространяется по лицензии Apache-2.0.

RockTalk/Qwen3.8-Flash-Next-MLX-4bit — это 4-битная MLX-квантизованная версия экспериментальной модели Qwen3.8-Flash-Next, разработанной командой Qwen. Порт создан Rocktalk-Holdings для запуска на Apple Silicon; модель использует архитектуру qwen4_exp и предназначена для генерации текста, программного кода, структурированных ответов и агентских сценариев. Вариант с соответствующим мультимодальным окружением также поддерживает обработку изображений и видео, а сама модель — вызовы инструментов. Заявленный размер составляет около 180 млрд параметров: 125 млрд параметров MoE-трансформера, из которых активно около 6 млрд, 51,2 млрд параметров n-граммной embedding-таблицы и 4 млрд параметров MTP-головы для спекулятивного декодирования. Архитектура включает 512 экспертов, разреженное внимание QSA на 12 из 48 слоёв, Gated DeltaNet на 36 слоях и Hyper-connections. Основной заявленный язык — английский. Контекст модели в README не указан. Для MLX-версии применяется преимущественно 4-битная аффинная квантизация с размером группы 64, а отдельные компоненты используют 8-битное представление. Сильной стороной модели является эффективный запуск на компьютерах Apple Silicon: на M3 Ultra заявлена скорость около 26–35 токенов в секунду, а при использовании внешнего MTP-драфтера и gmlx — до 55–86 токенов в секунду в зависимости от типа содержимого. Спекулятивное декодирование сохраняет идентичность последовательностей с обычным жадным режимом в заявленных проверках. Ограничения включают очень высокие требования к памяти, зависимость от специализированного MLX/gmlx-стека и экспериментальный статус архитектуры; заявленная поддержка изображений, видео и инструментов относится к дополнительной конфигурации с отдельным vision projector и совместимым сервером. Лицензия указана как other, без дополнительных условий в README.

Inferact/Qwen3.8-Flash-Next-NVFP4 — экспериментальная открытая модель семейства Qwen, разработанная командой Qwen. Это причинная языковая модель с энкодером зрения, предназначенная для текстовых и мультимодальных задач, включая обработку изображений, работу с длинным контекстом и агентские сценарии. Артефакты представлены в формате Hugging Face Transformers и совместимы с Transformers, vLLM, SGLang и другими средами инференса. Модель содержит 125 млрд параметров, из которых около 6 млрд активируются при обработке, а также 51 млрд параметров n-граммных эмбеддингов и 4 млрд параметров MTP. Архитектура включает 48 слоёв, комбинацию Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts с 512 экспертами и механизм Gated Residual. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 млн токенов. В README языки обучения или поддержки не указаны. К сильным сторонам относятся эффективная обработка длинного контекста, разреженное внимание на уровне блоков, экономичное масштабирование параметров за счёт n-граммных эмбеддингов и потенциальная пригодность для инференса на ресурсно-ограниченных ускорителях. Модель обозначена как экспериментальный preview, поэтому её стабильность, качество в отдельных задачах и эксплуатационные характеристики следует оценивать самостоятельно; подробные результаты бенчмарков в предоставленных данных отсутствуют. Лицензия указана как qwen-community-1.0.

cyankiwi/Qwen3-VL-8B-Instruct-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3-VL-8B-Instruct, разработанной командой Qwen. Модель предназначена для обработки изображений, видео и текста: она поддерживает визуальные вопросы и ответы, описание и анализ изображений, OCR, понимание документов и видео, пространственное рассуждение, STEM- и математические задачи, а также взаимодействие с графическими интерфейсами и инструментами. В README также заявлена генерация Draw.io, HTML, CSS и JavaScript по изображениям и видео. Модель имеет плотную архитектуру с 8 млрд параметров, поддерживает текстово-визуальное понимание и контекст до 256K токенов с возможностью расширения до 1M. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных зависимостей, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа видео. OCR заявлен для 32 языков, однако полный перечень языков в README не приведён. К преимуществам относятся улучшенное распознавание объектов, документов и пространственных отношений, длительный контекст и понимание видео; ограничения конкретной AWQ-квантизации, точные требования к оборудованию и результаты тестов для данного репозитория не указаны. Распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3-VL-8B-Thinking-AWQ-4bit — это 4-битно-квантизированная версия vision-language модели Qwen3-VL-8B-Thinking, разработанной командой Qwen. Модель предназначена для совместной работы с текстом и изображениями, а также для понимания видео, визуального рассуждения и генерации ответов на естественном языке. Она подходит для анализа изображений и документов, OCR, STEM- и математического рассуждения, визуального программирования, пространственного анализа и сценариев визуального агента, включая взаимодействие с графическими интерфейсами и инструментами. Модель использует плотную архитектуру размером 8B параметров и поддерживает мультимодальный ввод. Заявлен контекст до 256K токенов с возможностью расширения до 1M, а видео может анализироваться с учетом временной структуры и привязки событий к временным меткам. Среди архитектурных особенностей указаны Interleaved-MRoPE для позиционного кодирования во времени, ширине и высоте, DeepStack для объединения многоуровневых визуальных признаков и улучшенное выравнивание текста с временными метками. OCR заявлен для 32 языков, однако полный перечень языков в README не приведен. Сильными сторонами являются визуальное и пространственное восприятие, понимание длинного контекста и видео, мультимодальное рассуждение, распознавание объектов и документов, а также поддержка агентских и визуально-кодировочных задач. Ограничения, включая возможные ошибки распознавания, рассуждения и требования к вычислительным ресурсам, в README не описаны; 4-битная AWQ-квантизация призвана снизить требования к памяти по сравнению с полноразмерной версией. Модель распространяется по лицензии Apache-2.0.

Fulcrum-AI представляет Ryze-Mistral-Nemo-Instruct-2407-8 — текстовую генеративную модель на архитектуре MistralForCausalLM, полученную слиянием весов через passthrough mergekit на основе mistralai/Mistral-Nemo-Instruct-2407. В репозитории указаны 20,1 млрд параметров, формат safetensors и контекст до 1 024 000 токенов. Модель предназначена для диалога, генерации текста, выполнения инструкций и сценариев с интерфейсом вызова инструментов. Базовая Mistral Nemo — многоязычная инструктивная модель Mistral AI и NVIDIA; модель можно применять для общения и генерации текста на поддерживаемых ею языках. README не описывает отдельную специализацию или результаты оценки именно этого слияния. Лицензия в предоставленных данных не указана.

Tencent разработала Hunyuan-Large — текстовую языковую модель на архитектуре Transformer с разреженной структурой Mixture of Experts. Она содержит 389 млрд параметров, из которых при обработке активны 52 млрд. Предварительно обученная версия поддерживает контекст до 256 тысяч токенов, а версия Instruct — до 128 тысяч токенов. Модель предназначена для генерации текста, ответов на вопросы, чтения и понимания длинных документов, рассуждений и решения математических задач. В карточке описаны оценки на англоязычных и китайских тестах, включая MMLU, CMMLU и C-Eval; метаданные также отмечают английский язык. Для развёртывания README указывает vLLM и TRT-LLM. Репозиторий распространяется по лицензии с обозначением other, поэтому конкретные условия следует уточнять в лицензии проекта.

35b-beta-long-GGUF — набор GGUF-квантизаций модели 35b-beta-long, опубликованный и квантованный bartowski на основе оригинальной модели CausalLM/35b-beta-long с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста в локальных средах, включая диалоговые сценарии, следование инструкциям, математические задачи, программирование и работу с текстами на основе обучающих наборов Guanaco, MetaMathQA, WizardLM, ShareGPT, Wikipedia и других. Модель поддерживает текстовую модальность и заявленные языки английский, китайский, японский и немецкий. Размер исходной модели обозначен как 35B, однако размер контекста и точные архитектурные характеристики в README не указаны. Доступны варианты квантизации от IQ1 до Q8_0 с размером файлов примерно от 8,52 до 37,17 ГБ: более качественные варианты требуют больше памяти, а низкобитные экономят ресурсы за счёт снижения качества. Для Q6_K, Q5_K_M, Q5_K_S и ряда Q4-вариантов указано близкое к исходному качество или хороший компромисс между качеством и размером. Для работы требуется совместимое ПО, например llama.cpp, и достаточно оперативной или видеопамяти в зависимости от выбранной квантизации. Модель использует специальный chat prompt format с ролями system, user и assistant. Лицензия указана как GPL-3.0.

BAAI_AREX-Turbo-GGUF — это квантизированная версия модели AREX-Turbo, разработанной BAAI и опубликованной в формате GGUF пользователем bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты от BF16 и Q8_0 до более компактных Q2/Q3/IQ-квантизаций. Размер файлов составляет примерно от 2,2 до 8,4 ГБ в зависимости от варианта. Модель предназначена для сценариев агентного использования, глубокого исследования, рассуждений и работы с инструментами. В карточке она также отмечена как long-context и dense; pipeline обозначен как image-text-to-text, однако подробные сведения о поддерживаемых визуальных входах, архитектуре, числе параметров и максимальной длине контекста не приведены. Указан английский язык. Для работы предлагается шаблон промпта в стиле Qwen с отдельным блоком рассуждений. Сильной стороной модели является широкий выбор квантизаций: варианты Q6_K и Q6_K_L позиционируются как близкие к исходному качеству, Q4_K_M — как сбалансированный вариант для большинства сценариев, а компактные версии подходят для систем с ограниченной оперативной памятью. При этом снижение разрядности может ухудшать качество ответов, особенно у низкобитных вариантов. Модель распространяется по лицензии Apache-2.0 и может запускаться через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты.

puwaer/DeepSeek-V4-Flash-0731-reap-200b-gguf — это GGUF-сборка модели puwaer DeepSeek-V4-Flash-0731-reap-200b, подготовленная для запуска через llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и задач с вызовом инструментов; встроенный шаблон чата поддерживает режим рассуждений и tool calling в OpenAI-совместимом формате. Это разреженная Mixture-of-Experts-модель с 178 маршрутизируемыми экспертами на слой вместо 256 у базовой версии. Сборка доступна в вариантах MXFP4_MOE, Q3_K_M, IQ3_XXS, Q2_K и IQ1_M размером примерно от 56,36 до 103,85 GiB. Вариант MXFP4_MOE численно идентичен исходному safetensors-чекпойнту, а остальные варианты являются повторной квантизацией уже 4-битных данных и могут заметнее снижать качество. В README подтверждён контекст 4096 токенов для примера запуска; поддерживаемые языки и точный максимальный контекст не указаны. Сильные стороны модели — существенно меньший размер по сравнению с базовой версией на 284B параметров, сохранение высокой точности на ряде тестов и поддержка рассуждений и инструментов. Бенчмарки квантованных вариантов отдельно не проводились, поэтому их качество не измерено. Для запуска рекомендуется полный GPU-offload; самая крупная сборка занимает 103,85 GiB и не помещается на одной видеокарте с 96 GiB памяти. Частичный offload и распределённый запуск не были проверены. Модель распространяется по лицензии MIT.

DictaLM 3.0 24B Thinking — разговорная reasoning-модель семейства Mistral, разработанная Dicta. Она предназначена для диалога и генерации ответов с предварительным рассуждением в отдельном блоке; также поддерживает вызов внешних инструментов и API. Модель содержит 23,4 млрд параметров, использует плотную архитектуру Mistral и принимает текстовые запросы, выдавая текстовые ответы. Она обучена на обширных корпусах на иврите и английском; длина контекста составляет 65 280 токенов. Для работы с инструкциями следует использовать шаблон чата модели. В карточке указаны веса safetensors и лицензия Apache-2.0.

furiosa-ai публикует предварительно скомпилированную сборку Meta Llama 3.1 8B Instruct для запуска на ускорителе FuriosaAI RNGD с помощью Furiosa-LLM. Это плотный авторегрессионный трансформер с 7,5 млрд параметров, дообученный следовать инструкциям и поддерживать диалоги и вызов инструментов. Модель принимает и генерирует текст; заявленная длина контекста — 131 072 токена. Сборка использует исходную точность 16 бит без квантизации. Вызов функций поддерживается через парсер llama3_json, а модель доступна через OpenAI-совместимый сервер Furiosa-LLM. Карточка указывает совместимость с RNGD; запуск требует соответствующего оборудования и среды Furiosa-LLM. Модель распространяется по лицензии Llama 3.1 Community License. Метаданные карточки перечисляют английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки; перечень может не исчерпывать языковые возможности базовой модели.

Карточка модели Openintelligent123/Llama-3.2-1B на Hugging Face совпадает с карточкой unsloth/Llama-3.2-1B, поэтому описание составлено по ней. unsloth/Llama-3.2-1B — текстовая модель генерации на базе Meta Llama 3.2, представленная Unsloth. Это плотная авторегрессионная трансформерная архитектура Llama с 1,2 млрд параметров; репозиторий содержит веса в формате safetensors и предназначен для использования через Transformers. В README Unsloth также предлагает ноутбуки для дообучения модели и экспорта полученных моделей. Модель принимает текст и генерирует текст. Семейство Llama 3.2 предназначено для генерации и диалога; в карточке указаны сценарии суммаризации и агентного поиска, а также поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Контекстное окно составляет 131072 токена. Модель опубликована 25 сентября 2024 года и распространяется по лицензии Llama 3.2 Community License, условия которой следует соблюдать при использовании и распространении.

Llama-3-Swallow-70B-Instruct-v0.1 — диалоговая языковая модель команды Swallow-LLM из Токийского технологического института и AIST, основанная на Meta Llama 3. Модель прошла дополнительное предобучение с упором на японские данные, а версия Instruct — дообучение с учителем и настройку Chat Vector. Это плотная модель семейства Llama с 69,5 млрд параметров, принимающая и генерирующая текст; окно контекста составляет 8192 токена. Модель предназначена для диалога и выполнения инструкций на японском и английском языках. Среди проверявшихся задач — ответы на вопросы, чтение и понимание текста, суммаризация, перевод между японским и английским, математические рассуждения и генерация кода. В README приведены результаты на японских и английских бенчмарках, включая MT-Bench JA. Разработчики предупреждают, что модель находится на ранней стадии исследований и разработки и не настроена для надёжного следования человеческим намерениям и требованиям безопасности. Метаданные указывают лицензию Llama 3 (llama3); перед использованием следует учитывать её условия.

Карточка модели vy22215/Meta-Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

Карточка модели bofenghuang/Meta-Llama-3-8B на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B, поэтому описание составлено по ней. Meta Llama 3 8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Эта версия принимает текст и генерирует текст, в том числе код; карточка репозитория описывает предварительно обученные и настроенные варианты семейства, но не уточняет, какой именно вариант представлен в этом репозитории. Модель предназначена для генерации текста на английском языке. Предварительно обученную версию можно адаптировать для разных задач генерации естественного языка, а настроенные варианты предназначены для диалоговых сценариев. Архитектура основана на оптимизированном Transformer и использует Grouped-Query Attention; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель подходит для создания разговорных помощников, генерации и продолжения текста и кода. Результаты требуют проверки, а для приложения следует настроить дополнительные меры безопасности под конкретную аудиторию и сценарий. Лицензия — специальная коммерческая лицензия Meta Llama 3 с условиями использования и ограничениями; перед внедрением необходимо ознакомиться с её текстом и Acceptable Use Policy.

mlx-community/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-OptiQ-4bit — это MLX-квантизированная версия модели GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking, которая представляет собой reasoning fine-tune архитектуры MiniCPM5-1B примерно на 1 млрд параметров. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения задач с рассуждениями, программирования, tool calling и function calling. Заявлена поддержка английского и китайского языков, а формат работы ориентирован на Apple Silicon через MLX. Основная точность квантования — 4-bit, при этом чувствительные слои хранятся в 8-bit. Всего квантизировано 169 слоёв: 67 в 8-bit и 102 в 4-bit; эффективная разрядность составляет 5,805 бит на вес. Размер весов уменьшен с 2,0 ГБ в bf16 до 874 МБ, что делает модель удобной для локального запуска на компьютерах Apple Silicon. При генерации модель формирует рассуждения внутри тегов <think>...</think>, поэтому ей требуется достаточно большой лимит max_tokens. К сильным сторонам относятся малый размер, локальная работа без облачных сервисов и PyTorch, поддержка MLX-native serving, смешанной точности KV-cache и LoRA fine-tuning через mlx-optiq. При этом для данной квантованной версии не проводились task-бенчмарки, а распределение разрядности перенесено с базовой модели MiniCPM5-1B и может несколько отличаться по оптимальности для этого fine-tune. В карточке указана лицензия Apache-2.0; также рекомендуется учитывать условия лицензии исходной модели.

Это диалоговая языковая модель Mistral-7B-model_45k6e2e4-Mistral-7B-Instruct-v0.2-slerp, созданная объединением моделей mistralai/Mistral-7B-Instruct-v0.2 и pankajmathur/Mistral-7B-model_45k6e2e4 методом SLERP с помощью mergekit. В основе — плотная архитектура MistralForCausalLM с 7,1 млрд параметров; веса опубликованы в формате safetensors и BF16. Модель предназначена для диалоговой генерации текста и выполнения инструкций. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Лицензия — Apache-2.0. Карточка не описывает отдельные оценки качества или специализированные области применения. Практическая эффективность зависит от задачи и способа использования; отдельные языковые приоритеты не заявлены.

Mistral Small 3.2 24B Instruct 2506 GGUF — мультимодальная инструкционная модель, разработанная Mistral AI и распространяемая в формате GGUF сообществом LM Studio. Квантизация выполнена lmmy на основе llama.cpp. Модель принимает текстовые и графические данные и генерирует текст, поэтому предназначена для диалоговых систем, обработки инструкций, анализа изображений с текстовым ответом и других локальных сценариев работы с мультимодальными запросами. Модель поддерживает контекст длиной до 128 000 токенов и десятки языков, включая английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский, индонезийский, малайский, непальский, польский, румынский, сербский, шведский, турецкий, украинский, вьетнамский, хинди и бенгальский. Точный вариант архитектуры и параметры квантизации в README не указаны; из названия следует размер базовой модели 24B. Производительность вызова инструментов может быть снижена. Модель распространяется по лицензии Apache-2.0. Следует учитывать, что это community-сборка, а не оригинальная публикация разработчика: LM Studio не гарантирует её точность, безопасность, доступность или пригодность для конкретных задач, а сгенерированные ответы могут быть ошибочными или неприемлемыми.

Phi-4-mini-instruct-4bit — это 4-битная версия модели Phi-4-mini-instruct, разработанной Microsoft и преобразованная в формат MLX с использованием mlx-lm 0.21.5. Модель предназначена для генерации текста в диалоговом формате, решения задач обработки естественного языка и работы с кодом. Модель относится к семейству text-generation, поддерживает мультиязычные сценарии согласно карточке и использует базовую модель microsoft/Phi-4-mini-instruct. Ключевая особенность этой версии — 4-битное представление в формате MLX, что ориентировано на запуск через библиотеку mlx-lm. Архитектура, количество параметров, максимальная длина контекста и точный перечень языков в README не указаны. Сильными сторонами являются инструктивная настройка, поддержка диалогового шаблона и компактное 4-битное представление. Ограничения связаны с отсутствием в карточке подробных характеристик качества, производительности, размера модели и контекста; поэтому область применимости и результаты на конкретных задачах следует оценивать отдельно. Модель распространяется по лицензии MIT.

QRWKV-72B — крупная разговорная языковая модель от Featherless AI, представленная в работе RADLADS о дистилляции быстрого внимания для декодеров с линейным вниманием. Это плотная архитектура RWKV6Qwen2 с 71,5 млрд параметров, полученная преобразованием Qwen 2.5 72B в вариант RWKV без предварительного обучения базовой модели заново. Модель генерирует текст, поддерживает чат и интерфейс вызова инструментов; заявленная длина контекста — 131 072 токена. Модель предназначена для диалогов, генерации ответов и задач рассуждения с длинным контекстом. В README приведены результаты бенчмарков ARC и HellaSwag, где QRWKV-72B в некоторых сравнениях превосходит Qwen2.5-72B-Instruct, но это не гарантирует такого же качества в других задачах. Модель унаследовала знания и обучение языкам от Qwen и рассчитана примерно на 30 языков. Файлы опубликованы в формате safetensors; для Transformers требуется включить удалённый код. Лицензия указана как other, конкретные условия в доступных сведениях не раскрыты.

Qwen3.5-397B-A17B-VQ-2.4bpw — векторно-квантизированная версия модели Qwen3.5-397B-A17B, опубликованная TheDrainFlorist на базе исходной модели Qwen/Qwen3.5-397B-A17B. Модель предназначена для генерации текста, рассуждений, работы с кодом и, при использовании совместимого mlx-vlm, обработки изображений. Она ориентирована прежде всего на запуск на компьютерах Apple Silicon с unified memory, включая одну систему с 128 ГБ памяти. Модель использует формат MLX и квантизацию с эффективностью 2,4 бита на параметр; размер артефакта составляет около 110,8 GiB. По заявлению автора, она проверена с контекстом до 30 031 токена, потребляет около 110,8 GiB резидентной памяти и достигает примерно 19–22 токенов в секунду при декодировании на M4 Max. Для текстового режима требуется mlx-lm с поддержкой model_file, а для изображений — mlx-vlm версии 0.6.16 или новее. В метаданных указан английский язык. Сильные стороны модели — возможность локального запуска очень крупной Qwen-модели на одной 128-ГБ машине, отсутствие необходимости в патчах и сравнительно низкий размер благодаря векторной квантизации. В README приведены измеренные значения perplexity: 2,7655 на указанном корпусе Wikitext и 2,6383 на смешанном корпусе кода. Ограничения включают высокие требования к памяти, зависимость от совместимых версий MLX-инструментов и необходимость выделить почти весь доступный объём памяти; приведённые метрики нельзя напрямую переносить на другие корпуса и сценарии. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored-i1-GGUF — это квантизированная GGUF-версия модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored, подготовленная mradermacher. Модель предназначена для генерации текста, диалогов, рассуждений, решения математических и STEM-задач, программирования и многоязычного использования. В README указана поддержка английского, китайского, японского и испанского языков. Модель описана как vision model, поэтому для работы с изображениями могут потребоваться дополнительные файлы mmproj из статического репозитория. Вариант доступен в нескольких форматах квантизации i1, включая Q2_K, Q3, IQ3, IQ4, Q4, Q5 и Q6; размеры файлов составляют примерно от 13,3 до 29,3 ГБ. Квантизация позволяет запускать модель с меньшими требованиями к памяти, однако качество и скорость зависят от выбранного варианта: Q4_K_M отмечен как рекомендуемый, а Q4_0 — как быстрый, но менее качественный. К сильным сторонам относятся широкий набор заявленных сценариев, мультиязычность, поддержка изображений и наличие вариантов с разным компромиссом между размером, качеством и скоростью. Ограничения включают отсутствие в README сведений о размере контекста, точной архитектуре, числе активных параметров, результатах тестирования и фактическом качестве мультимодальной обработки. Модель распространяется под лицензией Apache-2.0.

bartowski/Qwen3.8-27B-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, разработанной Qwen и сконвертированной bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для локального запуска через совместимые инструменты, включая llama.cpp. Модель поддерживает текстовый и, при наличии отдельного файла mmproj, графический ввод, поэтому может использоваться для текстовых и мультимодальных сценариев. Также заявлена поддержка speculative decoding через MTP. В репозитории представлены варианты квантизации от Q2 до Q8 с размерами файлов примерно от 10 до 29 ГБ; рекомендуемым универсальным вариантом назван Q4_K_M размером 17,44 ГБ, а варианты Q6_K_L, Q6_K и Q6_K_S обеспечивают более высокое качество при большем потреблении памяти. Сильная сторона набора — широкий выбор компромиссов между размером, скоростью и сохранением качества; для вариантов приведены показатели perplexity, Mean KLD и совпадения распределения top-p. Более сильная квантизация требует больше оперативной или видеопамяти, а компактные варианты могут заметнее терять качество. Языки, размер контекстного окна, точные возможности мультимодального ввода и лицензия в представленном README не указаны.

Qwen3.8-27B-Ridge-GGUF — квантизированная GGUF-версия официальной модели Qwen3.8-27B, разработанная Empero. Модель предназначена для локального запуска в llama.cpp, Ollama, LM Studio, jan, KoboldCpp и других совместимых средах, включая задачи генерации текста, рассуждений и работы с изображениями. Модель использует гибридную архитектуру из 64 слоёв: на каждые три слоя Gated-DeltaNet приходится один слой полноценного внимания, а также сохраняет встроенную MTP-голову для ускорения генерации. Основной файл имеет квантизацию Ridge с эффективностью 3,69 бит на параметр и размером 11,73 GiB. Поддерживаются английский и китайский языки. Для обработки изображений требуется отдельный BF16-файл mmproj размером около 0,87 GiB. Заявлены нативное контекстное окно 262 тысячи токенов и расширение YaRN до 1 миллиона токенов, однако такие режимы существенно увеличивают требования к памяти. Сильная сторона сборки — специальное распределение точности, учитывающее чувствительность состояния Gated-DeltaNet: соответствующий путь хранится в Q8_0, а микшеры — в Q4_K. По измерениям из карточки, perplexity на Wiki-подобном наборе составляет 7,82 против 7,15 у BF16-версии. Ограничения связаны с потерями качества квантизации, большими затратами памяти при длинном контексте и необходимостью отдельного vision-проектора для изображений. Лицензия — Apache-2.0.