I.14Автоматизация процессов и AI-агенты

Mistral-11B-OmniMix9-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 и Mistral-11B-OmniMix9 методом SLERP. Модель имеет плотную архитектуру MistralForCausalLM и около 7,1 млрд параметров; она предназначена для генерации текста и ответов на инструкции в формате чата. Модель принимает текст и генерирует текст. Контекст составляет до 32 768 токенов. Карточка не сообщает о специализации по конкретным предметным областям или языкам. Репозиторий распространяет веса в формате safetensors; лицензия — Apache-2.0.

QuantFactory/Mistral-7B-Instruct-v0.1-GGUF — квантизированная версия модели Mistral-7B-Instruct-v0.1, разработанной Mistral AI. Модель предназначена для генерации текста и ведения диалогов, включая сценарии, где требуется выполнение инструкций на естественном языке. Она распространяется в формате GGUF и создана с использованием llama.cpp. Модель основана на архитектуре Mistral с 7 миллиардами параметров и поддерживает несколько уровней квантизации: Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_K_M, Q4_K_S, Q5_0, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Разные варианты позволяют выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. README не содержит сведений о поддерживаемых языках, размере контекста, модальностях и конкретных ограничениях качества. Модель подходит для локального запуска и интеграции с инструментами на базе llama.cpp, однако конкретные требования к оборудованию зависят от выбранного уровня квантизации. Лицензия — Apache 2.0.

mistral-7b-openhermes-sft — дообученная методом supervised fine-tuning модель семейства Mistral, разработанная CorticalStack на базе unsloth/mistral-7b-bnb-4bit с использованием набора данных teknium/openhermes. Это плотная авторегрессионная языковая модель с 7,1 млрд параметров и контекстом до 32 768 токенов, предназначенная для генерации текста.

Nemotron-H-4B-Base-8K — базовая языковая модель NVIDIA для продолжения текста. Она использует гибридную архитектуру Nemotron-Hybrid на основе Mamba-2 и слоёв MLP с четырьмя слоями Attention; размер модели — 4 млрд параметров, длина контекста — до 8 тысяч токенов. Модель создана с применением прореживания и дистилляции Nemotron-H-8B-Base-8K на 380 млрд токенов. Модель принимает и генерирует текст. Она поддерживает английский, немецкий, испанский, французский, итальянский, корейский, португальский, русский, японский и китайский языки; в обучающих данных также был код. Модель подходит для дополнения текста, генерации кода, математических задач и рассуждений. Это базовая модель без обязательного формата промпта; для специализированных сценариев NVIDIA рекомендует адаптацию с помощью инструментов NeMo. Модель предназначена для исследований и разработок и оптимизирована для систем с GPU NVIDIA; в карточке указана лицензия other, конкретные условия которой следует сверить с лицензией репозитория. Возможны неточные, неполные или избыточные ответы, токсичные высказывания и усиление предвзятости из обучающих данных; модель уязвима к атакам, нарушающим выравнивание.

NousResearch Nous-Hermes-2-Mistral-7B-DPO — диалоговая языковая модель на базе Mistral-7B-v0.1, дообученная методом DPO. Предварительный чекпойнт OpenHermes-2.5-Mistral-7B обучался на миллионе инструкций и диалогов, преимущественно на синтетических данных высокого качества; разработчик сообщает об улучшении результатов на нескольких бенчмарках после DPO. Модель предназначена для генерации ответов на инструкции и многошагового общения. Она использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Для диалога применяется формат ChatML, включая системные сообщения и несколько ходов беседы. В карточке указан английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0. Качество ответов зависит от формулировки запроса; результаты на приведённых бенчмарках не гарантируют точность фактических утверждений или пригодность для конкретного сценария.

duyntnet/Phi-3-medium-128k-instruct-imatrix-GGUF — набор GGUF-квантизаций модели Phi-3-Medium-128k-Instruct, разработанной Microsoft и опубликованной пользователем duyntnet. Репозиторий предназначен для локального запуска модели через совместимые инструменты, включая llama.cpp; указано, что квантизации созданы с использованием актуальной версии llama.cpp. Модель относится к классу text-generation и работает с текстом. Исходная Phi-3-Medium-128k-Instruct — инструкционная языковая модель для диалогов, ответов на вопросы, генерации текста и решения задач по пользовательским запросам. Она рассчитана на использование в chat-формате и поддерживает контекст до 128 000 токенов; размер словаря токенизатора — до 32 064 токенов. В README указан английский язык. Архитектура и точное число параметров в представленных данных не раскрыты. Сильной стороной модели является большой контекст и наличие готовых GGUF-квантизаций для более эффективного локального инференса. Ограничения включают зависимость от совместимого рантайма и конкретного варианта квантизации, а также отсутствие в README подробных характеристик качества, требований к ресурсам и данных о поддерживаемых модальностях помимо текста. Лицензия указана как other; её точные условия требуют отдельной проверки в исходном репозитории Microsoft.

lmstudio-community/Phi-4-reasoning-plus-MLX-4bit — это версия модели Microsoft Phi-4-reasoning-plus, преобразованная сообществом lmstudio-community в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и диалогового взаимодействия на английском языке, включая задачи рассуждения, математики, программирования и обработки естественного языка. Модель поддерживает использование через библиотеку mlx-lm и совместима с чатовым шаблоном токенизатора. В названии указано 4-битное представление, однако архитектура, количество параметров, размер контекста и точные характеристики модальностей в README не приведены; по указанным данным модель является текстовой и не предназначена для обработки изображений или других мультимедийных данных. Лицензия — MIT. README не содержит результатов тестирования, поэтому количественно оценить сильные стороны и ограничения модели невозможно; к ограничениям относятся неизвестные параметры производительности и качества, а также заявленная языковая поддержка только английского языка.

MaziyarPanahi/Qwen2.5-32B-Instruct-GGUF — это набор файлов модели в формате GGUF для Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантованную версию подготовил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживающих исходную instruct-модель. Модель имеет размер 32B параметров и относится к текстовым моделям. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между качеством, потреблением памяти и скоростью работы. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими совместимыми инструментами, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Сильными сторонами являются широкий выбор уровней квантования и совместимость с популярной экосистемой локального инференса. README не содержит сведений о поддерживаемых языках, размере контекста, точной архитектуре, результатах оценки или ограничениях исходной модели. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять в документации Qwen2.5-32B-Instruct и данного репозитория.

DhruvalLabs/Qwen2.5-7B-Instruct-GGUF — набор квантизированных версий текстовой генеративной модели Qwen2.5-7B-Instruct. Исходную модель разработала команда Qwen, а представленные GGUF-квантизации подготовлены Dhptl с использованием quant-kit. Модель предназначена для диалогов, генерации текста и работы в качестве локального ассистента; поддерживается запуск через llama.cpp, Ollama, LM Studio, Open WebUI и Jan. В карточке явно указан английский язык. Это семимиллиардная instruction-tuned языковая модель в формате GGUF с вариантами квантизации от Q2_K до Q8_0. Размер файлов составляет примерно от 2,81 до 5,31 ГБ, а рекомендуемым вариантом назван Q4_K_M как компромисс между качеством и требованиями к памяти; для него требуется около 5,9 ГБ RAM. Более сильное сжатие уменьшает потребление памяти, но заметнее снижает качество, тогда как Q6_K и Q8_0 ближе к исходному качеству и требуют больше ресурсов. В README не указаны размер контекста и мультимодальные возможности; приведён пример использования с контекстом 4096 токенов. Лицензия — Apache-2.0. Заявленные оценки сохранения 97–99% качества не подтверждены фактическими результатами в карточке, поскольку бенчмарки предлагается запускать самостоятельно.

Qwen3-30B-A3B-Instruct-2507-MLX-6bit — это 6-битная квантованная версия инструкционной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях использования, включая работу через совместимые инструменты на устройствах Apple Silicon. Она относится к семейству text-generation и использует архитектуру и характеристики исходной модели Qwen3-30B-A3B-Instruct-2507, однако README не содержит сведений о языках, длине контекста, поддерживаемых модальностях и других архитектурных деталях. Ключевое преимущество версии — снижение требований к памяти по сравнению с полноразмерными весами благодаря 6-битному квантованию и оптимизации под MLX. Ограничения включают возможную потерю точности из-за квантования, зависимость от платформы Apple Silicon и отсутствие в README подробных данных о качестве, производительности и бенчмарках. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-0.8B-text-only — текстовая версия модели семейства Qwen3.5, опубликованная Principled Intelligence. Из контрольной точки удалены веса визуального энкодера; плотная авторегрессионная языковая модель содержит около 581 млн параметров и рассчитана на генерацию текста и диалоговое взаимодействие. Контекстное окно составляет 262 144 токена. Модель подходит для диалоговых приложений и генерации текста, когда обработка изображений не нужна. По данным карточки, она сохраняет токенизатор, шаблон чата и поведение генерации исходной Qwen3.5, а контрольная точка занимает меньше места и требует меньше видеопамяти. Проверена работа с Transformers версии 5.2.0 и выше; другие движки инференса в карточке не заявлены как поддерживаемые. Лицензия — Apache-2.0.

Qwen3.5-397B-A17B-VQ-2.4bpw — векторно-квантизированная версия модели Qwen3.5-397B-A17B, опубликованная TheDrainFlorist на базе исходной модели Qwen/Qwen3.5-397B-A17B. Модель предназначена для генерации текста, рассуждений, работы с кодом и, при использовании совместимого mlx-vlm, обработки изображений. Она ориентирована прежде всего на запуск на компьютерах Apple Silicon с unified memory, включая одну систему с 128 ГБ памяти. Модель использует формат MLX и квантизацию с эффективностью 2,4 бита на параметр; размер артефакта составляет около 110,8 GiB. По заявлению автора, она проверена с контекстом до 30 031 токена, потребляет около 110,8 GiB резидентной памяти и достигает примерно 19–22 токенов в секунду при декодировании на M4 Max. Для текстового режима требуется mlx-lm с поддержкой model_file, а для изображений — mlx-vlm версии 0.6.16 или новее. В метаданных указан английский язык. Сильные стороны модели — возможность локального запуска очень крупной Qwen-модели на одной 128-ГБ машине, отсутствие необходимости в патчах и сравнительно низкий размер благодаря векторной квантизации. В README приведены измеренные значения perplexity: 2,7655 на указанном корпусе Wikitext и 2,6383 на смешанном корпусе кода. Ограничения включают высокие требования к памяти, зависимость от совместимых версий MLX-инструментов и необходимость выделить почти весь доступный объём памяти; приведённые метрики нельзя напрямую переносить на другие корпуса и сценарии. Модель распространяется по лицензии Apache-2.0.

Это квантованная в NVFP4 версия Qwen3.5-9B-Instruct от команды Qwen компании Alibaba, опубликованная FreedomAISVR в формате GGUF. Модель предназначена для генерации текста по инструкциям; вместе с файлом мультимодального проектора поддерживает обработку изображений и видео. В основе — гибридная архитектура Mamba2 и Attention, 9 млрд параметров и контекст до 262 тыс. токенов; предусмотрена поддержка Multi-Token Prediction и управления режимом рассуждений. Для запуска README приводит примеры с llama.cpp и llama-cpp-python. Квантование NVFP4 рассчитано на ускорение на GPU NVIDIA Blackwell и занимает меньше места, чем исходные веса; карточка указывает 4,73 бита на вес. Для обработки изображений и видео требуется отдельный проектор F16. Языки карточки — английский и китайский. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-uncensored-abliterated-i1-IQ4_XS-GGUF-Smaller — квантованная GGUF-версия модели Qwen3.6-27B, опубликованная lemonyins. В основе используется abliterated-версия Huihui-Qwen3.6-27B от mradermacher, ориентированная на локальный инференс и исследовательское использование. Модель поддерживает обработку текста и, опционально, изображений при подключении vision-модуля mmproj-BF16.gguf. В модели применена гибридная квантование: ключевые attention-слои используют IQ4_XS, а FFN-слои — более компактный IQ3_S. Это уменьшает размер весов и позволяет эффективнее использовать память под KV-кэш; при поддержке TurboQuant заявлен контекст до 160–200 тысяч токенов при потреблении около 15,3–15,4 ГБ VRAM. На NVIDIA RTX 4060 Ti 16GB скорость текстового инференса составляет примерно 18–20 токенов в секунду. Основные преимущества — существенно больший доступный контекст и сохранение внимания к качественно важным attention-слоям, однако снижение точности FFN-квантования может ухудшать результаты отдельных задач, включая некоторые сценарии фактического запоминания. Приведённые показатели памяти требуют сборки llama.cpp с поддержкой TurboQuant; без неё расход VRAM будет выше. Лицензия — Apache-2.0.

Qwen3.6-35B-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.6-35B-A3B, подготовленная разработчиком 0xSero. Модель предназначена для генерации текста и запуска через llama.cpp, включая сценарии локального инференса на совместимом оборудовании. Доступны варианты с разными уровнями квантизации, включая динамическую смешанную квантизацию DYNAMIC.gguf. Модель имеет 35 млрд общих параметров, при этом на один токен активируется около 3 млрд параметров. В её основе используется гибридная архитектура Gated DeltaNet и Gated Attention с маршрутизацией через 256 экспертов; для DYNAMIC.gguf критичные компоненты внимания и маршрутизатор сохраняются в более высокой точности, а экспертные слои квантуются сильнее. Указан формат GGUF, однако размер контекста, число слоёв, скрытый размер, поддерживаемые языки и модальности в README не приведены. Сильной стороной являются варианты, ориентированные на баланс качества, размера и скорости, а также результаты тестирования на AMD Ryzen AI MAX+ 395 с Radeon 8060S, Vulkan и llama.cpp. Ограничение — заявленные показатели производительности относятся к конкретной конфигурации и могут отличаться на другом оборудовании; квантизация также может влиять на качество. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwen3.8-27B-Quark-AWQ-INT4-W4A16 — квантизированная версия модели Qwen/Qwen3.8-27B, разработанная с использованием AMD Quark компанией Advanced Micro Devices, Inc. Модель предназначена для задач генерации текста и, согласно метаданным карточки, относится к классу image-text-to-text. Подробные сведения о поддерживаемых языках и полном наборе модальностей не указаны. Используется 4-битное квантизирование весов по алгоритму AWQ с группой размера 128 (W4A16): веса представлены в INT4, активации сохраняются в BF16. Калибровка выполнена на 128 образцах с длиной последовательности 512 токенов. Размер базовой модели — 27B параметров. В тестах модель сохранила близкую к исходной BF16-версии производительность на GSM8K, Wikitext и однопоточных сценариях BFCL; однако результаты зависят от режима генерации и настроек оценки. Основное преимущество — снижение требований к памяти за счёт квантизации при сохранении большей части качества базовой модели. Ограничения включают возможные потери точности по сравнению с BF16-версией и необходимость совместимого inference runtime с поддержкой схемы W4A16Int4, например соответствующей конфигурации vLLM и AMD Quark. Базовая модель распространяется по лицензии Apache 2.0; для модификаций указаны авторские права Advanced Micro Devices, Inc. за 2026 год.

Sohailhosseini/Qwen3.8-9B-Distill-AWQ-W4A16 — квантизированная версия модели empero-ai/Qwen3.8-9B-Distill, подготовленная пользователем Sohailhosseini. Модель предназначена для генерации текста и диалогового взаимодействия, а заявленный pipeline_tag указывает на поддержку сценариев image-text-to-text. В README также отмечена пригодность для instruction-тuned и многоязычных моделей, однако конкретный набор поддерживаемых языков не указан. Модель содержит 9,7 млрд параметров и использует схему AWQ-W4A16 с 4-битными весами в формате compressed-tensors. Размер на диске составляет около 8,6 ГБ — примерно в 2,24 раза меньше исходных 19,3 ГБ. Квантизация выполнена на GPU A40 с использованием 256 образцов из набора HuggingFaceH4/ultrachat_200k. Слои lm_head и компоненты, связанные с visual, vision_tower, vision_model, multi_modal_projector и merger, оставлены без квантизации, что соответствует мультимодальной конфигурации. Основные преимущества — сниженные требования к хранению и потенциально более эффективный запуск при сохранении качества исходной модели; README отдельно отмечает быструю калибровку и обычно более высокую устойчивость на instruction-тuned и многоязычных моделях. Для запуска рекомендуется vLLM с максимальной длиной контекста 32768 токенов. Ограничение схемы заключается в её асимметричности: некоторые старые ядра vLLM могут лучше работать с симметричным W4A16. Лицензия — Apache-2.0, унаследованная от исходной модели.

RemySkye/Qwen3.8-Flash-Next-REAM-60Pct-GGUF — пользовательская высококачественная сборка модели Akicou/Qwen3.8-Flash-Next-REAM-60Pct в формате GGUF. Она предназначена для запуска и генерации текста через llama.cpp на системах примерно с 64 ГиБ оперативной памяти, включая локальные сценарии инференса. Лицензия в README не указана. Модель использует архитектуру qwen4exp и разреженную Mixture-of-Experts (MoE). В ней около 129 млрд сохранённых параметров до обрезки PLE, около 90 млрд физических параметров после неё, а на каждый токен активируется примерно 6 млрд параметров. Большая таблица PLE/n-gram была сокращена с 16 до 4 активных голов: сохранены 2 из 8 bigram- и 2 из 8 trigram-голов. Итоговый файл занимает около 56 ГБ, или 52 ГиБ. Применён смешанный профиль квантования BALANCED_MAX_PROTECTED: основные компоненты используют форматы от Q4_K до Q8_0, а критичные малые тензоры сохраняются в BF16/F32. Ключевое преимущество сборки — сохранение более высокой точности основных весов за счёт уменьшения крупной таблицы n-грамм вместо агрессивного квантования всей модели до Q2/Q3. Это делает модель практичнее на машине с 64 ГиБ RAM, оставляя место для контекста, KV-кэша, рабочих буферов и операционной системы. Ограничениями являются большой объём файла, зависимость от актуальной версии llama.cpp с поддержкой Qwen3.8/qwen4exp и возможная потеря части информации PLE из-за удаления 12 из 16 голов. Фактическое потребление памяти зависит от размера контекста, настроек llama.cpp, GPU-offload и используемого backend.

Qwen3-Next-80B-A3B-Instruct-MLX-6bit — это 6-битная версия инструкционной языковой модели Qwen3-Next-80B-A3B-Instruct, разработанной командой Qwen. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и других текстовых сценариях. Данная версия преобразована и квантизирована в формате MLX командой LM Studio с использованием mlx_lm и оптимизирована для работы на устройствах с Apple Silicon. В названии указаны размер исходной модели 80B и конфигурация A3B, однако в README не приведены дополнительные сведения об архитектуре, поддерживаемых языках, размере контекста, модальностях или результатах тестирования. Квантизация до 6 бит может снизить требования к памяти и сделать модель практичнее для локального запуска на совместимых устройствах, но потенциально влияет на точность по сравнению с полной версией. Модель распространяется по лицензии Apache 2.0.

OpenYourMind/Qwopus3.5-122B-A10B-Kimi-K2.6-destill-healed-abliterated-MTPLX-4bit — это 4-битная сборка модели OpenYourMind Qwopus3.5 на базе архитектуры Qwen3.5 MoE с компонентами Qwen3-VL. Модель разработана OpenYourMind и предназначена для запуска на Apple Silicon через MLX и MTPLX. Она поддерживает обработку текста и содержит vision tower для работы с изображениями, однако данная сборка ориентирована на текстовый путь; для мультимодального ввода рекомендуется использовать связанную сборку MLX-4bit с mlx-vlm. Модель имеет около 122 млрд параметров в общей сложности, из которых примерно 10 млрд активируются при обработке токена. Языковые веса квантизованы в 4 бита с размером группы 64, а маршрутизирующие компоненты сохранены в более высокой точности. В комплект включена BF16 MTP-голова на базе MoE с 256 экспертами, из которых активны 8, и общим экспертом. Она предназначена для ускоренного speculative decoding: на M5 Max зафиксировано около 52 токенов в секунду и примерно 70% принятия черновых токенов в указанном тесте. К сильным сторонам относятся существенно уменьшенный объём по сравнению с полной моделью, поддержка мультимодальной архитектуры базовой модели и ускорение генерации при использовании совместимой версии MTPLX. Для запуска требуется около 80 ГБ объединённой памяти, а комфортная работа заявлена на компьютерах Mac с 96 ГБ и более. MTPLX должен поддерживать MoE MTP-голову; старые версии могут быть несовместимы. Из-за особенностей маршрутизации MoE при температуре 0 возможны редкие отличия отдельных токенов по сравнению с обычной авторегрессионной генерацией, поэтому строгая побитовая идентичность не гарантируется. Лицензия указана как Other; README сообщает, что применяются условия лицензии базовой модели Qwen3.5.

QWQ-EVA-Preview-SLERP-32b — языковая модель на 32 млрд параметров, созданная слиянием ParasiticRogue/EVA-Instruct-32B-v2 и Qwen/QwQ-32B-Preview методом SLERP с помощью mergekit. Она предназначена для диалоговой генерации текста; базовые модели также ориентированы на математические рассуждения и программирование, поэтому модель может быть полезна в таких сценариях, однако README не приводит отдельных оценок её возможностей. Модель построена на архитектуре Qwen2ForCausalLM, принимает текст и выдаёт текст, поддерживает контекст до 131072 токенов и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0.

Rhea-72b-v0.5 — языковая модель, разработанная David Kim в рамках проекта Rhea. Это дообученная версия abacusai/Smaug-72B-v0.1: автор использовал SFT на открытых наборах данных и DPO с данными предпочтений, частично созданными методом SGD. Модель занимает 71 млрд параметров, построена на плотной архитектуре Llama и предназначена для генерации текста. Она принимает контекст до 32 768 токенов и работает с текстом на английском языке. Модель подходит для диалоговых ответов, рассуждений, вопросов и ответов, а также текстовых задач, представленных в обучающих наборах, включая математику, код и отдельные медицинские и финансовые примеры. В README приведены результаты Open LLM Leaderboard, включая среднее значение 81,22, но эти показатели относятся к указанной автором оценке и не гарантируют качество в конкретном применении. Часть обучающих данных закрыта или недоступна; независимые ограничения качества в карточке не описаны. Лицензия — Apache-2.0.

Ring-mini-sparse-2.0-exp — экспериментальная языковая модель компании InclusionAI для генерации текста и диалогов. Она основана на Ling-mini-base-2.0 и продолжила обучение на дополнительных 100 млрд токенов. В модели сочетаются архитектура Mixture of Block Attention (MoBA) и разреженная Mixture-of-Experts (MoE); для инференса предусмотрена библиотека Transformers, а также поддержка SGLang. Модель рассчитана на рассуждения и работу с длинными входами и ответами: README сообщает о контексте до 128 тыс. токенов благодаря расширению окна YaRN в 4 раза. При декодировании с контекстом 64 тыс. токенов активируются 8 192 KV-токена на запрос; авторы заявляют о снижении нагрузки на чтение KV-кэша и ускорении генерации в сравнении с Ring-mini-2.0. Модель оценивалась на задачах математики, программирования и естественных наук, но опубликованный фрагмент карточки не содержит численных результатов. Размер модели по метаданным — 1,2 млрд параметров, родительская архитектура — Bailing MoE. Модель предназначена для текста и заявлена с поддержкой английского языка. Лицензия — MIT. Суффикс exp и исследовательские оценки указывают на экспериментальный характер; результаты и скорость могут зависеть от оборудования и используемой реализации.

35b-beta-long-GGUF — набор GGUF-квантизаций модели 35b-beta-long, опубликованный и квантованный bartowski на основе оригинальной модели CausalLM/35b-beta-long с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста в локальных средах, включая диалоговые сценарии, следование инструкциям, математические задачи, программирование и работу с текстами на основе обучающих наборов Guanaco, MetaMathQA, WizardLM, ShareGPT, Wikipedia и других. Модель поддерживает текстовую модальность и заявленные языки английский, китайский, японский и немецкий. Размер исходной модели обозначен как 35B, однако размер контекста и точные архитектурные характеристики в README не указаны. Доступны варианты квантизации от IQ1 до Q8_0 с размером файлов примерно от 8,52 до 37,17 ГБ: более качественные варианты требуют больше памяти, а низкобитные экономят ресурсы за счёт снижения качества. Для Q6_K, Q5_K_M, Q5_K_S и ряда Q4-вариантов указано близкое к исходному качество или хороший компромисс между качеством и размером. Для работы требуется совместимое ПО, например llama.cpp, и достаточно оперативной или видеопамяти в зависимости от выбранной квантизации. Модель использует специальный chat prompt format с ролями system, user и assistant. Лицензия указана как GPL-3.0.

airoboros-13b-gpt4-1.3 — диалоговая модель jondurbin, дообученная методом QLoRA на базе LLaMA с использованием синтетических инструкций, созданных GPT-4. Это версия с 12,9 млрд параметров для генерации текста и ответов на запросы в формате чата; в обучающие данные добавлены задания на рассуждение в стиле Orca, инструкции по программированию и примеры многостороннего диалога. Модель рассчитана на текстовый ввод и выдачу текста. Для работы используется шаблон диалога на основе Vicuna; нативный контекст составляет 2048 токенов. Репозиторий содержит веса PyTorch. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Автор предупреждает, что в этой версии есть проблемы и рекомендует дождаться версии 1.4. Ответы могут быть неточными; модель не следует считать надёжным источником без проверки.

Aya-23-35B — мультиязычная большая языковая модель с открытыми весами, разработанная Cohere Labs и Cohere. Это авторегрессионная модель на основе оптимизированной архитектуры Transformer с 35 млрд параметров, дообученная следовать инструкциям. Она предназначена для диалога и генерации ответов на текстовые запросы на 23 языках, включая русский, английский, китайский, арабский, хинди и японский. Модель принимает и выдаёт только текст, поддерживает контекст длиной до 8192 токенов и доступна в формате safetensors для Transformers. Модель подходит для многоязычных чат-ботов, ответов на вопросы, создания и редактирования текстов, а также перевода и суммаризации. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование; также требуется соблюдать политику допустимого использования Cohere Labs. В карточке указано, что Aya 23 — более ранняя версия по сравнению с Aya Expanse.

Aya Expanse — открытая исследовательская мультиязычная языковая модель, разработанная Cohere For AI на основе предварительно обученных моделей семейства Command. В README указаны варианты с 8 и 32 млрд параметров. Модель предназначена для генерации текста и работы с широким кругом языковых задач в многоязычных сценариях. Модель поддерживает 23 языка и создавалась с использованием исследований в области data arbitrage, мультиязычного обучения на предпочтениях, настройки безопасности и объединения моделей. Она может применяться в локальных приложениях и инструментах, поддерживающих Cortex или Jan. Модальность — текстовая; сведения о точной архитектуре, максимальной длине контекста и перечне поддерживаемых языков в README не приведены. К сильным сторонам относятся широкий мультиязычный охват, наличие двух вариантов размера и открытые веса, что делает модель пригодной для исследовательского и локального использования. Ограничения включают отсутствие в предоставленных данных подробных характеристик качества, архитектуры, контекстного окна и требований к ресурсам. В метаданных указана лицензия CC BY-SA 4.0, а для оригинальной модели в разделе Credits приведена ссылка на C4AI CC-BY-NC License; условия следует уточнить для конкретного варианта и сценария использования.

BigQwen2.5-125B-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели BigQwen2.5-125B-Instruct, разработанной mlabonne. Квантизацию выполнил bartowski с использованием llama.cpp и imatrix; модель предназначена для генерации текста и диалогового взаимодействия, включая локальный запуск через llama.cpp и LM Studio. В README указан английский язык. Модель имеет заявленный размер 125 миллиардов параметров и доступна в нескольких вариантах квантизации от Q8_0 до IQ1_M. Более качественные варианты Q6_K, Q5_K_M и Q4_K_M рекомендованы автором, тогда как низкобитные варианты требуют меньше памяти, но заметно уступают по качеству. Размер файлов составляет примерно от 40,59 до 133,22 ГБ, поэтому для запуска необходима система с большим объёмом оперативной или видеопамяти. Модель поддерживает специальный формат промптов Qwen с ролями system, user и assistant. Архитектура, размер контекста и мультимодальные возможности в README не указаны; по представленным данным это текстовая модель без подтверждённой поддержки изображений или других модальностей. Лицензия обозначена как other с названием tongyi-qianwen и ссылкой на лицензию Qwen2-72B-Instruct.

DoubleBagel-57B-v1.0 — объединённая языковая модель семейства Llama, созданная с помощью mergekit из предварительно обученной модели jondurbin_bagel-34b-v0.2. Модель содержит 56,2 млрд параметров, использует архитектуру LlamaForCausalLM и рассчитана на генерацию текста и диалоговое взаимодействие с контекстом до 200 000 токенов. Модель можно применять для диалогов и генерации текста с длинным контекстом. Веса опубликованы в формате safetensors, библиотека для работы — Transformers. Лицензия — Apache-2.0.

ERNIE-4.5-21B-A3B-Paddle — текстовая модель семейства ERNIE 4.5, разработанная Baidu и опубликованная в формате весов PaddlePaddle. Это постобученная разреженная MoE-модель: в README указано 21 млрд параметров всего и около 3 млрд активируемых параметров на токен; метаданные каталога указывают 3,3 млрд параметров. Модель предназначена для диалогов, понимания текста и генерации ответов. Контекст составляет до 131 072 токенов. Модель обучалась в рамках мультимодального семейства ERNIE 4.5, однако эта версия обозначена в README как текстовая и принимает текст. Для дообучения доступны сценарии SFT и DPO через ERNIEKit на PaddlePaddle; для развёртывания README указывает FastDeploy. Метаданные отмечают поддержку английского и китайского языков. Сильные стороны — разреженная MoE-архитектура и длинный контекст; качество на конкретных задачах и аппаратные требования в предоставленных материалах не описаны. Лицензия — Apache-2.0.