I.14Автоматизация процессов и AI-агенты

MeliodasPercival_01_YamNeuralsirkrishna — объединённая модель Mistral с 7,1 млрд параметров, созданная на основе automerger/MeliodasPercival_01-7B и automerger/YamNeuralsirkrishna-7B. Она предназначена для генерации текста и диалогов на основе текстовых запросов; максимальная длина контекста составляет 32 768 токенов. Модель опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. Карточка не описывает специальные области применения или отдельные языковые возможности, поэтому её можно рассматривать как модель общего назначения. Характеристики и ограничения исходных моделей в карточке не раскрыты.

Meta-Llama-3-8B-Instruct-GGUF — языковая модель для генерации текста, созданная Meta и представленная сообществом lmstudio-community в формате GGUF. Она основана на Meta-Llama-3-8B-Instruct и предназначена для диалоговых приложений, ответов на вопросы, следования инструкциям и других задач текстовой генерации. Указан английский язык и тип применения text-generation. Модель имеет 8 миллиардов параметров и относится к семейству Llama 3. В предоставленных данных не указаны точная архитектура, размер контекстного окна, доступные варианты квантования и дополнительные модальности, поэтому эти характеристики нельзя определить надёжно. Формат GGUF ориентирован на локальный запуск совместимыми средствами, включая приложения класса LM Studio. Модель может быть полезна для локальных текстовых помощников и других сценариев, где требуется выполнение инструкций на английском языке. Ограничения включают неизвестные параметры производительности, отсутствие подтверждённых мультиязычных возможностей и потенциальные ошибки или нежелательные ответы, характерные для генеративных языковых моделей. Использование регулируется Meta Llama 3 Community License: при распространении материалов или продуктов необходимо соблюдать условия лицензии, требования к атрибуции, Acceptable Use Policy и прочие ограничения Meta.

cloudyu/mistral_28B_instruct_v0.2 — плотная языковая модель на архитектуре Mistral с 28 млрд параметров и контекстом до 32 768 токенов. В README указано, что модель имеет 128 слоёв и была обучена методом DPO на наборе Intel/orca_dpo_pairs; заявленный шаблон использует инструкцию, входные данные и ответ. Модель предназначена для диалоговой генерации текста и выполнения инструкций в текстовом формате. Её можно применять для ответов на вопросы, составления текстов и интерактивных чат-сценариев. Карточка не указывает поддерживаемые естественные языки и конкретные предметные области. Репозиторий содержит веса в формате safetensors. Лицензия — CC BY 4.0. README не приводит оценок качества или подробных сведений о рекомендуемых аппаратных требованиях; указанное число слоёв не подтверждено метаданными.

Это GGUF-квантизированная версия Devstral-2-123B-Instruct-2512 — инструкционной модели, разработанной Mistral AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель указана как mistralai/Devstral-2-123B-Instruct-2512. Распространяется в форматах GGUF для запуска через llama.cpp, LM Studio и совместимые проекты. Модель предназначена для генерации текста и обработки инструкций. В README отдельно упоминается интеграция с mistral-vibe и поддержка tool calling: одиночные вызовы инструментов работают в тестах, однако цепочки вызовов могут работать некорректно. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством ответа, размером файла и требованиями к оперативной памяти; наиболее качественными и рекомендуемыми названы Q6_K, Q5 и некоторые варианты Q4. Размер исходной модели — 123 млрд параметров, а размер файлов зависит от выбранной квантизации и составляет примерно от 56,79 до 132,85 ГБ для указанных вариантов. Сильной стороной являются различные уровни квантизации и совместимость с локальными инструментами на базе llama.cpp. Ограничения включают высокие аппаратные требования, возможное снижение качества на низких уровнях квантизации и неполную надёжность цепочных вызовов инструментов. В метаданных указана лицензия other; конкретные условия лицензирования в README не приведены.

Это BF16-версия Mistral Small 3.2 24B Instruct в формате GGUF, подготовленная сообществом mlx-community и опубликованная TensorBlock. Репозиторий содержит файлы, совместимые с llama.cpp; модель предназначена для диалоговой генерации текста и работы с инструкциями. В README приведён шаблон промпта и варианты квантованных файлов, причём для некоторых малых квантовок отмечена существенная потеря качества. Модель содержит 24 млрд параметров и поддерживает многоязычный диалог, в том числе на русском, английском, французском, немецком, испанском, китайском и других языках из карточки. Лицензия — Apache-2.0. Указанная сборка — BF16 в GGUF; доступность файлов разных квантовок позволяет выбирать компромисс между размером и качеством. Для работы с GGUF требуется совместимый рантайм; README подтверждает совместимость с llama.cpp начиная с указанного коммита.

Это GGUF-квантизированная версия языковой модели Hermes-4-405B, разработанной NousResearch и подготовленной пользователем bartowski. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты на его основе. В основе лежит модель размером 405 млрд параметров; README не содержит подробностей об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна. Доступны варианты квантизации от Q8_0 до Q2_K и IQ2/IQ3/IQ4, рассчитанные на компромисс между качеством, требованиями к памяти и скоростью инференса. Для квантизации использовался llama.cpp с imatrix и калибровочными наборами данных. Наиболее качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, однако даже компактные варианты требуют значительного объёма памяти. Сильной стороной являются высокое качество старших вариантов квантизации и возможность локального запуска в экосистеме llama.cpp. Ограничения — очень крупный размер файлов, снижение качества у низкобитных вариантов и отсутствие указанного формата промпта: README рекомендует уточнять его на странице исходной модели. Лицензия в предоставленных данных не указана.

Это GGUF-квантизированная версия языковой модели Qwen3-Nemotron-32B-RLBFF, разработанной NVIDIA. Квантизацию выполнил пользователь bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. Доступны варианты от BF16 и Q8_0 до низкобитных форматов Q6_K, Q5_K_M, Q4_K_M, Q3_K и IQ-семейства. Размер файлов варьируется примерно от 14,93 до 65,53 ГБ; Q4_K_M указан как вариант по умолчанию для большинства сценариев, а Q5 и Q6 — как варианты с более высоким качеством. Некоторые версии используют Q8_0 для embedding- и output-весов, а отдельные форматы ориентированы на ARM, AVX или Apple Silicon. Модель подходит для локальной текстовой генерации при наличии значительного объёма оперативной или видеопамяти. Чем агрессивнее квантизация, тем меньше требования к памяти, но тем ниже потенциальное качество. В README не указаны архитектурные детали, поддерживаемые языки, размер контекста, мультимодальные возможности и лицензия, поэтому эти характеристики нельзя достоверно определить по представленным данным.

Это GGUF-квантизация языковой модели gpt-oss-20b, разработанной OpenAI и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. В репозитории представлены варианты квантизации MXFP4, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ, размером примерно от 11,56 до 12,1 ГБ. Во всех вариантах feed-forward сети сохранены в формате MXFP4, поскольку, согласно описанию, они плохо работают при использовании других форматов. Рекомендуется файл gpt-oss-20b-MXFP4.gguf размером 12,1 ГБ; квантизация выполнена с использованием imatrix и набора данных combined_all_medium. README не содержит сведений о числе параметров архитектуры, поддерживаемых языках, модальностях и размере контекста. Также не указана лицензия этой квантизированной версии; условия использования следует уточнять по карточке исходной модели OpenAI. Шаблон чата в README не задан и может требовать проверки по оригинальной карточке модели.

Карточка модели OpenBuddy/openbuddy-mixtral-8x7b-v16.2-32k на Hugging Face совпадает с карточкой OpenBuddy/openbuddy-mixtral-7bx8-v16.3-32k, поэтому описание составлено по ней. OpenBuddy-mixtral-7bx8-v16.3-32k — многоязычная чат-модель семейства Mixtral, опубликованная командой OpenBuddy. Она предназначена для диалогов и генерации текста; архитектура — Mixtral MoE, класс MixtralForCausalLM. В репозитории указаны 7,1 млрд параметров и контекст до 32 768 токенов; модель распространяется в формате safetensors и использует библиотеку Transformers. Модель поддерживает китайский, английский, французский, немецкий, японский, корейский, итальянский и русский языки. Лицензия — Apache 2.0. Ответы могут быть ошибочными, вредными или оскорбительными; модель не следует использовать для решений в медицине, финансах, праве и других критически важных сценариях.

duyntnet/OpenHermes-2.5-Mistral-7B-imatrix-GGUF — набор квантованных версий модели OpenHermes-2.5-Mistral-7B, разработанной Teknium. Модель предназначена для генерации текста и диалогового взаимодействия, включая программирование, создание рецептов, обсуждение абстрактных тем и ролевые сценарии. Идентификатор также указывает на формат GGUF и использование imatrix-квантизации. В основе лежит OpenHermes-2.5-Mistral-7B; размер базовой модели — 7 миллиардов параметров. Модель относится к текстовым, поддерживает английский язык и предназначена для text generation. README не содержит сведений о точной архитектуре, доступных вариантах квантования, размере контекста, системных требованиях или поддерживаемых модальностях помимо текста. Сильные стороны модели — универсальность в диалоговых и генеративных сценариях, а также наличие квантованных вариантов, потенциально удобных для локального запуска. Ограничения включают отсутствие подтверждённых данных о качестве, бенчмарках, многоязычности и фактических требованиях к ресурсам. Лицензия указана как other, без дополнительных условий использования в README.

Open-Instruct Stanford Alpaca 7B — языковая модель семейства LLaMA, разработанная Allen Institute for AI и дообученная на наборе инструкций Stanford Alpaca. Это 6,6-миллиардная плотная авторегрессионная модель для генерации текста по инструкциям и ответов на запросы; максимальный контекст составляет 2048 токенов. Для работы нужны исходные веса LLaMA в формате Hugging Face: опубликованный репозиторий содержит diff весов, а не самостоятельную полную модель. Модель предназначена для диалоговых и текстовых задач общего назначения, включая ответы на вопросы, простые рассуждения и генерацию кода. В карточке приведены результаты по MMLU, GSM, BBH, TydiQA и Codex-Eval; они показывают возможности модели, но сами по себе не гарантируют качество в конкретном применении. В метаданных указан английский язык. Использование регулируется лицензией AI model license вместе с исходной лицензией LLaMA.

orca_mini_v8_1_70b-GGUF — это квантизированная версия языковой модели orca_mini_v8_1_70b, разработанной pankajmathur и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и может запускаться локально, в частности через LM Studio и другие совместимые инструменты llama.cpp. Модель содержит 70 миллиардов параметров и работает с текстом на английском языке. Доступны варианты квантизации от Q8_0 до IQ1_M, различающиеся размером файлов, требованиями к памяти и качеством вывода; наиболее качественными считаются Q8_0, Q6_K и Q5, а варианты Q3 и Q2 ориентированы на устройства с ограниченными ресурсами, но снижают качество. Для работы рекомендуется использовать указанный в README шаблон промпта с системными, пользовательскими и ассистентскими сообщениями. Сильной стороной модели является возможность локального запуска крупной 70B-модели с выбором подходящего компромисса между качеством и потреблением памяти. Ограничения включают значительные требования к оперативной или видеопамяти даже для сжатых вариантов, а также снижение качества у агрессивных квантизаций. Архитектура, размер контекстного окна и мультимодальные возможности в README не указаны. Указанная лицензия — llama3.3.

Ovis1.6-Gemma2-27B — мультимодальная языковая модель семейства Ovis, разработанная командой Ovis. Она сочетает визуальный энкодер SigLIP-400M с Gemma2-27B-It и структурно согласует визуальные и текстовые представления. Модель содержит 29 млрд параметров и предназначена для диалоговой работы с изображениями и текстовыми инструкциями. Модель подходит для анализа сложных изображений, ответов на вопросы по документам, графикам и таблицам, распознавания китайского и английского текста на изображениях, а также мультимодальных рассуждений. В README приведены результаты на ChartQA, InfoVQA и DocVQA. Репозиторий содержит веса в формате safetensors; для запуска указана библиотека Transformers. Лицензия — Apache-2.0. Разработчики рекомендуют использовать более новую версию Ovis2. Модель может ошибаться в визуальном анализе и рассуждениях; авторы также не гарантируют полного отсутствия проблем с авторскими правами или некорректного контента.

Phi-3-mini-4k-instruct-GGUF — это GGUF-квантизированная версия языковой модели Phi-3-mini-4k-instruct, разработанной Microsoft и квантизированной Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи обработки естественного языка и программирования. В README указана поддержка английского языка и текстовая модальность. Модель имеет контекст до 4000 токенов и использует шаблон диалога phi-3-chat. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, размером примерно от 1,42 до 7,64 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с низкой потерей качества. Более компактные варианты требуют меньше памяти, но могут заметно терять в качестве; README также отмечает, что Q4_0 и Q5_0 являются устаревшими вариантами. Модель поддерживает запуск через LlamaEdge версии 0.12.2 и выше, включая работу в виде сервиса или командного приложения. Ограничения включают сравнительно небольшой контекст, поддержку только текста и заявленного английского языка, а также возможное снижение качества при низкой разрядности квантизации. Лицензия — MIT.

Qwen2.5-14B_Uncensored_Instruct-GGUF — это набор квантизированных GGUF-версий инструкционной текстовой модели Qwen2.5-14B_Uncensored_Instruct, разработанной SicariusSicariiStuff и преобразованной в квантизации пользователем bartowski с помощью llama.cpp и imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, а также для локального запуска через совместимые инструменты, включая LM Studio. В README указан английский язык модели и формат чата с ролями system, user и assistant. Модель имеет 14 миллиардов параметров. Доступны версии от F16 до Q3 и IQ3 с разными компромиссами между качеством, размером файлов и требованиями к оперативной памяти; размеры указанных вариантов составляют примерно от 6,92 до 29,55 ГБ. Некоторые версии оптимизированы для ARM-инференса и требуют поддержки sve или i8mm. Более высокие разрядности обычно обеспечивают лучшее сохранение качества, тогда как варианты с меньшим размером подходят для систем с ограниченной памятью. Это текстовая модель без заявленной поддержки изображений или других модальностей. Контекстное окно, точная архитектура, производительность и дополнительные языки в README не указаны, поэтому их нельзя достоверно оценить. Условия использования указаны как лицензия Apache-2.0.

Qwen3-4B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях. Квантование выполнено с использованием MLX командой LM Studio на базе инструментов mlx_lm. Модель оптимизирована для работы на устройствах Apple Silicon, что делает её подходящей для локального запуска при ограниченных ресурсах. Известно, что она содержит около 4 миллиардов параметров и использует 4-битное представление, однако сведения о поддерживаемых языках, длине контекста и точной архитектуре в README не указаны. К сильным сторонам относятся компактный размер, сниженные требования к памяти и оптимизация под Apple Silicon. К ограничениям относятся возможное снижение качества по сравнению с полноразмерной или менее агрессивно квантованной версией, а также отсутствие в предоставленных данных подробных характеристик производительности и языкового покрытия. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen3-4B-Instruct-2507-MLX-5bit — это 5-битно квантованная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью Qwen3-4B-Instruct-2507. Ключевые характеристики: архитектура и возможности базовой модели Qwen3-4B-Instruct-2507, около 4 миллиардов параметров, текстовая модальность и 5-битное представление MLX. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Основные преимущества модели — уменьшенный объём памяти и оптимизация для локального запуска на Apple Silicon при сохранении совместимости с экосистемой MLX. Ограничения связаны с квантованием и характеристиками базовой 4B-модели; точное влияние на качество, производительность и перечень поддерживаемых сценариев в README не описано. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-MLX-8bit — 8-битная квантованная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX — фреймворка Apple Machine Learning Research, ориентированного на эффективное выполнение моделей на устройствах Apple Silicon. Модель предназначена для генерации текста в инструкционном формате и локального использования на совместимых компьютерах Apple Silicon. Она подходит для диалоговых приложений, обработки инструкций и других задач текстовой генерации. Модель имеет размер 4B параметров, относится к текстовым моделям и доступна в 8-битном формате MLX. Другие характеристики, включая поддерживаемые языки, длину контекста и точные параметры архитектуры, в README не указаны. Ключевое преимущество модели — сочетание компактного размера, 8-битной квантования и оптимизации под Apple Silicon, что делает её более подходящей для локального запуска с ограниченными ресурсами. Ограничения включают возможное снижение точности по сравнению с исходной моделью и типичные для языковых моделей риски генерации неточной, вредной или неподходящей информации. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Abliterix-EGA-abliterated-i1-GGUF — набор квантованных GGUF-файлов модели, созданный mradermacher на основе jenerallee78/Qwen3.6-35B-A3B-Abliterix-EGA-abliterated. Модель относится к семейству Qwen и использует MoE-архитектуру с заявленным размером 35B параметров и 3B активных параметров; в описании также указаны Expert-Granular Abliteration и мультимодальная поддержка. Модель предназначена для диалоговых сценариев, генерации и обработки текста, а также задач image-text-to-text с анализом изображений. Заявлены английский и китайский языки. Распространяется в формате GGUF с множеством вариантов квантования от очень компактных IQ1 до более качественных Q6_K; доступны imatrix-кванты, а для баланса размера, скорости и качества автор рекомендует i1-Q4_K_M, тогда как i1-Q4_K_S обозначен как оптимальный по соотношению характеристик. К сильным сторонам относятся локальный запуск через совместимые с GGUF инструменты, широкий выбор вариантов квантования и мультимодальные возможности исходной модели. Ограничения включают возможное снижение качества на низких уровнях квантования, отсутствие в предоставленных данных сведений о размере контекста, производительности и результатах бенчмарков, а также особенности abliterated-версии, которые могут влиять на поведение модели и безопасность ответов. Лицензия — AGPL-3.0.

Qwen3.8-27B-PrismaScout-AQUA-Vision-20GB — мультимодальная квантованная модель на базе Qwen/Qwen3.8-27B, опубликованная rdtand с использованием методики PrismaQuant. Она предназначена для обработки текста, изображений и видео, включая сценарии визуального анализа и генерации ответов по мультимодальным входным данным. Модель совместима с vanilla vLLM и не требует форка vLLM, специального загрузчика или плагинов. Модель сохраняет визуальный входной тракт Qwen3.8, языковую голову и MTP-голову. В языковой части 64 слоя и 496 Linear-компонентов распределены между NVFP4, FP8 E4M3 и BF16; визуальная башня и merger используют NVFP4 W4A4. Всего в checkpoint содержится 615 Linear-компонентов, а итоговый размер артефакта составляет около 19,98 млрд байт, то есть укладывается в ограничение 20 GB. NVFP4 использует 4-битные веса и активации с размером группы 16, FP8 — 8-битные веса и активации. Точные поддерживаемые языки и размер контекстного окна в README не указаны. Сильная сторона модели — сочетание мультимодальности и существенного снижения размера при сохранении близкого к BF16 поведения: на указанном тесте прирост perplexity составил 3,0119%, а средняя KL-дивергенция относительно BF16-версии — 0,0439. Ограничения связаны с потерями квантования, возможными ошибками на нетипичных данных и отсутствием подробных сведений о качестве на широком наборе прикладных бенчмарков. Модель распространяется по лицензии Apache-2.0.

Qwopus3.8 27B Flash MXFP4 Vision MTPLX — это релиз для Apple Silicon на базе модели Jackrong/Qwopus3.8-27B-Flash, подготовленный Shiftedx с использованием MLX и MTPLX. Модель предназначена для генерации текста и обработки изображений с текстовыми инструкциями, включая мультимодальные сценарии и локальное развертывание через OpenAI-совместимый endpoint. Текстовая часть представлена в формате MXFP4, а vision tower и native MTP sidecar сохранены в формате BF16. Sidecar имеет глубину 3 и предназначен для speculative decoding, ускоряющего генерацию. В README заявлена поддержка английского, китайского, испанского, русского и японского языков. Точный размер контекста и подробная архитектура не указаны. В комплект входят tokenizer, processor, vision-веса, chat template и runtime-контракт MTP. Сильными сторонами являются сочетание мультимодальности, MXFP4-квантизации для текстовой части и ускоренной генерации на совместимом оборудовании. В локальной квалификации на M4 Max 64 GB заявлены скорости 26,43 токена в секунду для обычной авторегрессивной генерации и 56,74 токена в секунду с MTP глубины 3, однако это результаты одного узкого теста и не универсальный бенчмарк. Квантизация может повлиять на качество, а производительность зависит от оборудования и runtime. Модель распространяется по лицензии Apache-2.0; при использовании производного варианта необходимо также учитывать лицензию и ограничения исходной модели.

SmolLM3-3B-MOPD-Top64-DR-NoThinking-500 — это исследовательский чекпойнт языковой модели SmolLM3, подготовленный Huangsssz на основе BytedTsinghua-SIA/Open-MOPD-SmolLM3-3B-MixSFT. Модель содержит 3,1 млрд параметров, использует плотную архитектуру SmolLM3ForCausalLM и принимает текстовые запросы для генерации текста; заявленная длина контекста — 65 536 токенов. Чекпойнт получен после 500 шагов дообучения методом дистилляции с пересечением наборов наиболее вероятных 64 токенов студента и учителей. Учителя специализировались на математике, коде и следовании инструкциям; генерация и оценивание выполнялись с отключённым режимом рассуждений. Для запуска автор рекомендует явно передавать enable_thinking=False. В README приведены результаты отдельных фиксированных оцениваний по математике, программированию и следованию инструкциям; они не доказывают устойчивого улучшения. Модель ориентирована на исследовательские эксперименты и генерацию ответов общего назначения, особенно в математике, программировании и выполнении инструкций. Это полный экспорт весов BF16 для Hugging Face Transformers с токенизатором и исходным шаблоном чата. Репозиторий указывает лицензию Apache-2.0. Чекпойнт является ранней исследовательской версией после ограниченного числа шагов; опубликованные оценки имеют фиксированный протокол и ограниченную статистическую надёжность.

Starling-LM-11B-alpha-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и Delcos/Starling-LM-11B-alpha методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Модель принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. В метаданных указан английский язык. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Apertus-70B-Instruct-2509-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Apertus-70B-Instruct-2509, разработанной swiss-ai. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локальных inference-сценариев на базе llama.cpp, включая работу через LM Studio и совместимые проекты. В репозитории представлены варианты квантизации Q2_K_L, Q3, Q4, Q5, Q6_K и Q8_0 с размером файлов примерно от 28,32 до 75,02 ГБ. Более крупные варианты обеспечивают более высокое качество, а компактные требуют меньше оперативной памяти, но могут сильнее терять в качестве. Рекомендуемыми в README названы, в частности, Q4_K_M, Q4_K_S, Q4_K_L, Q5_K_S, Q5_K_M и Q6_K. Точная архитектура, число параметров исходной модели, поддерживаемые языки, размер контекста и мультимодальные возможности в предоставленных данных не указаны. Преимущество модели — возможность локального запуска в распространённом формате GGUF с выбором компромисса между качеством и требованиями к памяти. Ограничения связаны с большими ресурсными требованиями 70B-модели, потерями качества при низких уровнях квантизации и отсутствием указанного в README формата промптов. Лицензия в предоставленных данных не указана.

Tess-72B-v1.5b — универсальная большая языковая модель из серии Tess, разработанная migtissera и обученная на базе Qwen-72B. Это плотная авторегрессионная модель семейства Llama с 71 млрд параметров, предназначенная для генерации текста и диалогов в формате SYSTEM/USER/ASSISTANT. Контекст модели составляет 32 768 токенов; веса доступны в формате safetensors. Модель подходит для ответов на вопросы, помощи с текстовыми задачами и рассуждений общего назначения. В карточке приведены результаты Open LLM Leaderboard, включая среднюю оценку 77,30 и результаты ARC и HellaSwag. Поддерживаемые языки и прикладные специализации отдельно не заявлены. Лицензия указана как other, поэтому условия использования следует проверять в репозитории модели.

IsValorum/Thomson-1.0-Small-APEX-I-MiniPlus-V2-GGUF — это квантованная версия модели Thomson-1.0-Small, разработанной Thomson Reuters и преобразованной в формат GGUF пользователем IsValorum. Модель предназначена для запуска через совместимые инструменты, включая llama.cpp, и ориентирована на юридические, аудиторские и финансовые сценарии, а также на обработку документов, изображений, таблиц и OCR. Модель использует архитектуру mixture-of-experts (MoE) и поддерживает мультимодальный режим image-text-to-text с обработкой текста и изображений. В README указана поддержка английского, китайского, испанского, французского, немецкого, португальского, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Квантование APEX-I-MiniPlus выполнено с учётом чувствительности отдельных тензоров: маршрутизаторы сохранены в F32, выходная голова — в Q6_K, attention gates — в Q8_0, а основные эксперты — не ниже калиброванного уровня 3 бит. Это должно обеспечивать более высокую точность по сравнению с плоскими 3-битными квантованиями, однако конкретные характеристики размера, объёма контекста и производительности именно этой версии в представленном фрагменте README не указаны. Сильными сторонами являются сочетание компактного квантованного формата, мультимодальности, многоязычности и оптимизации для задач, требующих анализа юридических и финансовых материалов. Ограничения связаны с потерями точности, неизбежными для квантованной версии, зависимостью скорости от оборудования и отсутствием в доступных данных полного набора характеристик и результатов тестирования именно этой модели. Лицензия — Apache-2.0.

TriomphantV2-ECE-78B-SLERP-V1 — разговорная языковая модель, созданная студентами инженерной школы ECE под руководством преподавателя ECE и технического директора TW3 Partners. Это слияние методом SLERP двух моделей: MaziyarPanahi/calme-3.2-instruct-78b и dfurman/CalmeRys-78B-Orpo-v0.1; в конфигурации указана базовая модель MaziyarPanahi/calme-3.2-instruct-78b. Модель основана на плотной архитектуре Qwen2ForCausalLM и содержит 71,5 млрд параметров. Модель предназначена для диалогов и генерации текста. Она опубликована в формате safetensors с лицензией Apache-2.0; максимальная длина контекста — 32 768 токенов. В карточке не описаны специализированные предметные области или поддерживаемые языки, поэтому область применения следует считать общей.

YamshadowInex12_OgnoExperiment27 — слитая языковая модель на базе двух моделей: automerger/YamshadowInex12-7B и automerger/OgnoExperiment27-7B. Она построена на архитектуре Mistral и содержит 7,1 млрд параметров; веса опубликованы в формате Safetensors. Модель предназначена для генерации текста и диалогов по текстовым запросам. Контекст составляет до 32 768 токенов, что позволяет работать с длинными запросами и документами. Модель размещена под лицензией Apache-2.0.

Yi-1.5-6B-Chat-GGUF — это квантизированная версия диалоговой языковой модели Yi-1.5-6B-Chat, разработанной 01.AI. Репозиторий подготовлен bartowski с использованием llama.cpp и метода imatrix; модель предназначена для генерации текста и общения в формате system/user/assistant, а также для локального запуска через совместимые инструменты llama.cpp. Модель содержит около 6 миллиардов параметров и поставляется в формате GGUF с вариантами квантизации от Q8_0 до IQ1_S. Размер файлов составляет примерно от 1,43 до 6,44 ГБ. Более высокие варианты квантизации обеспечивают лучшее качество, но требуют больше памяти; Q6_K, Q5_K_M, Q5_K_S и Q4_K_M отмечены как рекомендуемые, тогда как варианты с очень низкой точностью могут заметно уступать по качеству. README не содержит сведений об архитектуре, размере контекста, поддерживаемых языках и мультимодальности, поэтому эти характеристики нельзя достоверно указать. Основные преимущества — широкий выбор уровней квантизации, возможность подобрать баланс между качеством и требованиями к памяти, а также пригодность для локального использования. Ограничения связаны с потерями качества при низкой точности квантизации и зависимостью от корректного prompt format. Распространение указано по лицензии Apache-2.0.

YOYO-AI_Qwen3-30B-A3B-Mixture-2507-GGUF — это GGUF-квантизированная версия текстовой генеративной модели Qwen3-30B-A3B-Mixture-2507, разработанной YOYO-AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска задач генерации текста через llama.cpp, LM Studio и другие совместимые проекты. В названии указано 30B параметров и обозначение A3B Mixture, однако подробности архитектуры, число активных параметров, поддерживаемые языки, длина контекста и доступные модальности в представленном README не описаны. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций. Варианты Q6 и Q5 позиционируются как обеспечивающие очень высокое или высокое качество, Q4 — как оптимальные по соотношению качества и размера, а Q3 — как подходящие для систем с ограниченным объёмом оперативной памяти. Сильная сторона этой версии — широкий выбор размеров файлов и возможность локального запуска на совместимом оборудовании; рекомендованным вариантом по умолчанию указан Q4_K_M. Более агрессивная квантизация уменьшает требования к памяти, но снижает качество генерации. Формат prompt не указан, поэтому его следует уточнять на странице исходной модели. Лицензия в README не приведена.