I.14Автоматизация процессов и AI-агенты

Карточка модели Yukang/Llama-2-13b-longlora-32k-ft на Hugging Face совпадает с карточкой Yukang/Llama-2-7b-longlora-32k-ft, поэтому описание составлено по ней. Yukang/Llama-2-7b-longlora-32k-ft — дообученная полная версия LLaMA 2 на 7 млрд параметров, созданная авторами проекта LongLoRA для работы с длинным контекстом. Модель предназначена для генерации текста и обработки запросов, в которых важно учитывать большой объём предшествующего текста, например длинные документы. Контекст этой версии расширен до 32 768 токенов. В README описан подход LongLoRA: для эффективного расширения контекста при дообучении используется разреженное локальное внимание, при этом во время инференса сохраняется плотное глобальное внимание. Метаданные указывают нативную длину контекста 4 096 токенов, поэтому заявленное в README расширение до 32 768 токенов следует отличать от этого значения. Модель использует архитектуру LlamaForCausalLM и распространяется в формате PyTorch. Модель подходит для суммаризации и вопросов по длинным текстам, но README не приводит отдельные оценки качества именно этого чекпойнта. Условия лицензии в предоставленных данных не указаны.

RedHatAI/Llama-2-7b-dolphin-open_platypus — плотная языковая модель на архитектуре Llama 2 с 6,6 млрд параметров, дообученная Neural Magic и Cerebras для следования инструкциям. Обучение использовало сочетание наборов данных Platypus, Open Orca и Dolphin. Модель предназначена для генерации текста и выполнения инструкций в сценариях вопросно-ответного взаимодействия и других задачах общего назначения. Она принимает текст и генерирует текст, имеет контекст длиной 4096 токенов и доступна в формате safetensors для запуска через Transformers; для ускоренного инференса с разреженностью README предлагает nm-vllm или deepsparse. В README приведены незаполненные значения результатов бенчмарков, поэтому количественная оценка качества по этой карточке невозможна. Лицензия в предоставленных сведениях не указана.

Llama-3.2-3B-Instruct-GGUF — это набор квантизированных файлов модели в формате GGUF для meta-llama/Llama-3.2-3B-Instruct. Исходную модель разработала meta-llama, а квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и прикладных сценариях через совместимые локальные инструменты. Модель имеет около 3 миллиардов параметров и доступна в вариантах с квантизацией от 2 до 8 бит. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими библиотеками и приложениями, включая варианты с GPU-ускорением. README не содержит сведений о языках, размере контекста, поддерживаемых модальностях и конкретных показателях качества. Ключевые преимущества — уменьшенный размер файлов и возможность локального запуска на широком спектре устройств с использованием CPU или GPU. Ограничения связаны с потерями качества, возможными при низкобитной квантизации, а также с зависимостью от совместимого программного обеспечения. Лицензия в README не указана; условия использования исходной модели следует проверять отдельно в карточке meta-llama/Llama-3.2-3B-Instruct.

Llama-3.3-70B-Instruct-ablated-GGUF — квантизированная GGUF-версия инструкционной языковой модели Llama-3.3-70B-Instruct-ablated от NaniDAO. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и LM Studio. Модель относится к семейству Llama и содержит 70 миллиардов параметров. В README указана поддержка английского, французского, итальянского, португальского, хинди, испанского, тайского и немецкого языков. Доступны варианты квантизации от Q8_0 до Q2_K, что позволяет выбирать между качеством генерации и требованиями к памяти; наиболее качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S и ряд вариантов Q4. Все версии поставляются в формате GGUF, некоторые крупные варианты разделены на несколько файлов. Сильными сторонами являются большой размер модели, инструкционная настройка, широкий выбор уровней квантизации и пригодность для локального использования. Ограничения включают высокие требования к оперативной памяти, особенно для вариантов высокого качества, а также возможное снижение качества при использовании низкобитных квантизаций. Пометка ablated указывает на изменённую версию базовой модели, а заявленная характеристика uncensored может означать менее строгие ограничения на содержание, однако подробности изменений в README не описаны. Лицензия указана как llama3.

Llama-NextGen-9b — объединённая языковая модель на архитектуре Llama, созданная с помощью LazyMergekit из gradientai/Llama-3-8B-Instruct-Gradient-1048k и failspy/Llama-3-8B-Instruct-MopeyMule. Это плотная авторегрессионная модель объёмом 9,2 млрд параметров, предназначенная для генерации текста и диалогов. Репозиторий содержит веса в формате safetensors; конфигурация слияния использует метод passthrough и объединённый токенизатор. Модель подходит для чат-ответов и генерации текста. В каталожных метаданных указано контекстное окно 8192 токена, хотя одна из исходных моделей описана как имеющая контекст до 1 048 576 токенов; это значение базовой модели не следует считать контекстом данного слияния. Языки и специализированные области применения в карточке не определены. Условия лицензии в предоставленных данных не указаны.

LLaMAntino-3-ANITA-8B-Inst-DPO-ITA — диалоговая модель семейства LLaMAntino, разработанная Марко Полиньяно и исследовательской группой SWAP Университета Бари Альдо Моро. Это дообученная по инструкциям версия Meta-Llama-3-8B-Instruct: модель прошла supervised fine-tuning с QLoRA и выравнивание предпочтений методом DPO. Модель предназначена для ответов на запросы и генерации текста, в том числе кода, с акцентом на итальянский язык; также поддерживает английский. Её можно применять как италоязычного ассистента и как основу для дальнейшей настройки под специализированные задачи на итальянском. Архитектура — плотная Llama 3 с 7,5 млрд параметров, контекст — 8192 токена; для работы предусмотрена библиотека Transformers. Модель принимает текст и генерирует текст. Карточка указывает лицензию llama3; применение должно соответствовать её условиям и ограничениям лицензии Meta Llama 3. Качество ответов может зависеть от языка и конкретной задачи; специализированные сценарии могут потребовать дополнительной настройки.

Llama-Sahabat-AI-v2-70B-IT — инструктивная языковая модель семейства Llama, разработанная PT GoTo Gojek Tokopedia Tbk и AI Singapore при участии Indosat Ooredoo Hutchison. Это плотная авторегрессионная модель-декодер с 69,5 млрд параметров, дообученная для следования инструкциям и диалогов на английском, индонезийском и региональных языках Индонезии. Заявленная длина контекста — 128 тыс. токенов в README и 131 072 токена в метаданных. Модель предназначена для генерации ответов в чате, вопросов и ответов, суммаризации, перевода, анализа тональности, распознавания токсичности, рассуждений и задач на знание местного контекста. В README перечислены индонезийский, яванский, сунданский, батак-тоба и балийский языки; метаданные также отмечают английский, индонезийский, яванский и сунданский. Модель распространяется в формате Safetensors по лицензии Llama 3.1 Community License. Модель может галлюцинировать, выдавать нерелевантные ответы и непоследовательно рассуждать, поэтому её ответы следует проверять. Для развёртывания в прикладных системах разработчикам рекомендуется самостоятельно настроить дополнительную безопасность.

MiniCPM5-2B-8bit — языковая модель для генерации текста, разработанная openbmb и преобразованная сообществом mlx-community в формат MLX. Исходная модель — openbmb/MiniCPM5-2B; конвертация выполнена с помощью mlx-lm версии 0.31.3 с 8-битным квантованием и размером группы 64. Модель предназначена для текстовой генерации на устройствах и периферийных системах, включая локальные сценарии и edge AI. Заявлены поддержка английского и китайского языков, работы с длинным контекстом и вызова инструментов. Она может использоваться через библиотеку mlx-lm для загрузки модели, применения chat-шаблона и генерации ответов. Точные сведения об архитектуре, размере контекста и дополнительных возможностях в README не указаны. К сильным сторонам относятся компактный размер исходной модели 2B, 8-битное представление для более эффективного локального запуска и интеграция с MLX. Ограничения включают отсутствие заявленной мультимодальности и неполные сведения о производительности, точной длине контекста и качестве на отдельных задачах. Модель распространяется по лицензии Apache-2.0.

mistral-7b-slimorcaboros-Mistral-7B-Instruct-v0.1 — чат-модель, созданная MaziyarPanahi слиянием Mistral-7B-Instruct-v0.1 и mistral-7b-slimorcaboros методом SLERP. Это плотная авторегрессионная модель Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в диалоговом формате. Модель поддерживает контекст длиной до 32 768 токенов и рассчитана на англоязычные запросы. Её можно использовать для диалогов, ответов на вопросы и выполнения текстовых инструкций. Весовые файлы опубликованы в формате Safetensors. Модель распространяется по лицензии Apache-2.0. Качество и поведение унаследованы от объединённых моделей; карточка не приводит результатов оценки этой конкретной версии.

Mistral-Nemo-Instruct-2407-quantized.w4a16 — текстовая instruction-tuned модель семейства Mistral-Nemo, разработанная Neural Magic на основе Mistral-Nemo-Instruct-2407. Она предназначена для коммерческого и исследовательского использования в англоязычных assistant-like чат-сценариях и задачах генерации текста. Модель работает только с текстом на входе и выходе и использует INT4-квантизацию весов линейных слоёв трансформера по схеме W4A16 с алгоритмом GPTQ, групповой симметричной квантизацией и размером группы 128. Снижение разрядности с 16 до 4 бит уменьшает размер модели на диске и требования к памяти GPU примерно на 75%, что облегчает развёртывание через vLLM или Transformers. Заявленный результат на OpenLLM Leaderboard v1 составляет 70,13 против 71,61 у неквантизированной версии. К сильным сторонам относятся существенно сниженные требования к памяти и удобство эффективного инференса. Ограничения включают поддержку и заявленное назначение только для английского языка, а также небольшое снижение benchmark-показателей относительно исходной модели; размер модели и максимальная длина контекста в README не указаны. В описании указана лицензия Apache-2.0, хотя в метаданных README также присутствует значение llama2; это расхождение следует уточнить перед использованием.

Mistralpaca-7B — языковая модель на 7,1 млрд параметров, созданная Mistral AI и дообученная mlabonne методом supervised fine-tuning для следования инструкциям. Она основана на Mistral-7B-v0.1 и обучена на наборе vicgalle/alpaca-gpt4; метаданные также связывают её с yahma/alpaca-cleaned. Модель предназначена для генерации текста и ответов на пользовательские инструкции в диалоговых и прикладных сценариях. Модель использует плотную архитектуру Mistral для причинной генерации текста; заявленная длина контекста — 32 768 токенов. Доступны веса в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Карточка не сообщает о специализации на конкретных областях или языках, поэтому языковые возможности и качество ответов на отдельных языках не следует считать подтверждёнными.

MixtureofMerges-MoE-2x7b-SLERPv0.9b — объединённая модель для генерации текста, созданная автором jsfs11 методом SLERP с помощью LazyMergekit. В объединение вошли zhengr/MixTAO-7Bx2-MoE-v8.1 и jsfs11/MixtureofMerges-MoE-2x7b-v6; базовой моделью в конфигурации указана zhengr/MixTAO-7Bx2-MoE-v8.1. Модель построена на архитектуре Mixtral с разреженной экспертной архитектурой MoE и классом MixtralForCausalLM. Размер — 7,1 млрд параметров, формат весов — safetensors, контекст — до 32 768 токенов. Предназначена для генерации текста, диалогов и ответов на запросы. Карточка не сообщает поддерживаемые языки и лицензию.

Это набор файлов модели Qwen3-8B-bf16 в формате GGUF, подготовленный сообществом mlx-community при поддержке TensorBlock. Репозиторий содержит варианты с разными уровнями квантования и совместим с llama.cpp начиная с коммита b5753; метаданные также указывают библиотеку MLX. Для диалога используется шаблон с сообщениями system, user и assistant. Модель предназначена для генерации текста и диалогов. Её можно применять для ответов на вопросы, написания черновиков и помощи с кодом. Варианты квантования отличаются размером и качеством: README предупреждает о значительной потере качества у самых компактных вариантов Q2_K и Q3_K. Указана лицензия Apache-2.0.

zelk12/MT1-Gen4-BB-gemma-2-MTg2MTMM2MU-9B — объединённая языковая модель на базе Gemma 2, опубликованная zelk12. Веса двух предварительно обученных моделей объединены методом SLERP с помощью mergekit; размер модели составляет 9 млрд параметров, архитектура — плотная Gemma 2 для причинной генерации текста. Модель предназначена для генерации текста и диалогового общения, принимает текст и выдаёт текст. Контекстное окно — 8192 токена. Модель доступна в формате safetensors; README также описывает статические квантизованные сборки GGUF от @mradermacher. Метаданные указывают библиотеку Transformers. В карточке не приведены специальные доменные назначения или ограничения на использование. Лицензия в предоставленных данных не указана.

NB-Whisper Medium — модель распознавания речи, разработанная NB AI-Lab Национальной библиотекой Норвегии на основе OpenAI Whisper Medium. Это плотная encoder-decoder модель семейства Whisper с 455,8 млн параметров, предназначенная для преобразования речи в текст и перевода речи. Она обучалась на корпусах норвежской речи; карточка также указывает поддержку норвежского букмола, норвежского нюношка и английского языка. Модель подходит для расшифровки аудиозаписей, включая длинные файлы, и может формировать временные метки для предложений и слов. Для более длинных записей README рекомендует обработку фрагментами около 28 секунд; увеличение beam size может повысить точность ценой скорости и памяти. Для эффективной локальной работы с версией Medium рекомендуется GPU. Лицензия — Apache 2.0.

Kukedlc/neuronal-7b-Mlab — текстовая генеративная модель, созданная слиянием mlabonne/NeuralDaredevil-7B и mlabonne/NeuralHermes-2.5-Mistral-7B с помощью LazyMergekit и метода slerp. В метаданных указаны архитектура MistralForCausalLM, 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых ответов по инструкциям. Она принимает текст и выдаёт текст; в карточке модели не заявлена специализация на конкретном языке или предметной области. Репозиторий содержит веса Safetensors, лицензия — Apache 2.0.

QuantFactory/Nous-Hermes-2-Mistral-7B-DPO-GGUF — квантизированная версия модели Nous-Hermes-2-Mistral-7B-DPO, разработанной NousResearch. Модель предназначена для генерации текста и выполнения инструкций на английском языке, включая сценарии локального запуска и диалогового применения. Она создана с использованием llama.cpp и распространяется в формате GGUF. В основе лежит Mistral с 7 миллиардами параметров, дообученная с применением DPO; в описании также упоминаются RLHF и синтетические данные. Доступны варианты квантизации IQ3_S, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_K_M, Q4_K_S, Q5_0, Q5_K_M, Q5_K_S, Q6_K и Q8_0, что позволяет выбирать баланс между размером файла, требованиями к памяти и качеством генерации. Сильной стороной модели является возможность запуска через llama.cpp с выбором подходящего уровня квантизации. README не содержит результатов тестирования, сведений о контекстном окне, поддерживаемых модальностях кроме текста, а также подробного описания ограничений качества, поэтому производительность в конкретных задачах требует самостоятельной проверки. Лицензия — Apache 2.0.

OpenBeagle-11B — разговорная языковая модель семейства Mistral, опубликованная vicgalle. Это плотная авторегрессионная модель на 10,6 млрд параметров для генерации текста и диалога; она использует библиотеку Transformers и веса в формате safetensors. Нативная длина контекста — 32 768 токенов. Модель подходит для ведения диалога и генерации ответов на запросы. В README приведены результаты оценки на Open LLM Leaderboard, включая показатели на задачах AI2 Reasoning Challenge и HellaSwag. Модель выпущена под лицензией Apache-2.0. В метаданных указан датасет OpenHermesPreferences-1k.

OpenPipe-7B-slerp — текстовая генеративная модель на архитектуре Mistral, созданная слиянием OpenPipe/mistral-ft-optimized-1218 и mlabonne/NeuralHermes-2.5-Mistral-7B методом SLERP с помощью mergekit. Модель содержит 7,1 млрд параметров, распространяется в формате safetensors и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста и диалоговых сценариев с использованием возможностей объединённых исходных моделей. Модель принимает текст и выдаёт текст. Лицензия — Apache-2.0. В карточке не приводятся сравнительные оценки качества или подробности обучения после слияния.

bartowski/open-thoughts_OpenThinker2-32B-GGUF — это набор квантованных GGUF-версий модели OpenThinker2-32B, разработанной open-thoughts. Квантование выполнено bartowski с использованием llama.cpp release b5035 и метода imatrix на основе датасета OpenThoughts2-1M. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio, а также для непосредственного использования через llama.cpp и производные проекты. Модель содержит 32 миллиарда параметров и распространяется в вариантах от BF16 до различных уровней квантования Q8, Q6, Q5, Q4 и Q3, включая форматы IQ. Размер файлов составляет примерно от 14,39 до 65,54 ГБ. Более высокие уровни квантования обеспечивают качество, близкое к исходной модели, но требуют больше памяти; варианты Q4_K_M и IQ4_XS предлагают компромисс между качеством и требованиями к ресурсам. Поддерживаемые модальности, языки и размер контекста в README не указаны. Для работы рекомендуется использовать формат prompt с ролями system, user и assistant через специальные токены ChatML. Сильными сторонами являются локальный запуск, широкий выбор квантований и совместимость с экосистемой llama.cpp. Ограничения включают необходимость значительных объёмов оперативной или видеопамяти для крупных вариантов, возможное снижение качества у низкобитных квантований и отсутствие в предоставленных данных результатов оценки. Модель и квантованные файлы распространяются по лицензии Apache-2.0.

bunsenfeng/parti_5_full — текстовая генеративная модель на архитектуре Qwen2, опубликованная bunsenfeng. Метаданные Hugging Face указывают около 7,1 млрд параметров, контекст до 32 768 токенов и поддержку диалогового режима; модель принимает текст и генерирует текст. Поиск также обнаружил карточку Featherless, описывающую модель как 7,6-миллиардную и заявляющую контекст 131 072 токена, однако это расходится с метаданными Hugging Face, поэтому в характеристиках использованы значения метаданных. Модель подходит для диалогов, генерации текста и работы с длинными текстовыми запросами в пределах указанного контекста. Карточка Featherless относит её к дообученным моделям, но надёжно установить базовую модель и конкретные специализации по доступным сведениям нельзя. Репозиторий содержит веса safetensors; сведения о лицензии, языковом охвате и оценках качества не подтверждены использованными источниками.

Phi-4-mini-instruct-INT8-INT4 — квантизированная версия модели Microsoft Phi-4-mini-instruct, подготовленная командой PyTorch с использованием torchao. Это авторегрессионная текстовая модель для генерации текста, диалогов, а также задач, связанных с программированием и математикой. В карточке указана поддержка multilingual-сценариев, однако конкретный перечень языков не приведён. Модель использует 8-битные эмбеддинги и динамические 8-битные активации вместе с 4-битными весами линейных слоёв (INT8-INT4). Такой вариант ориентирован на запуск на мобильных устройствах через ExecuTorch. Для iPhone 15 Pro заявлена скорость около 17,3 токена в секунду и потребление примерно 3206 МБ памяти. Предоставленный файл model.pte экспортирован с максимальной длиной последовательности и контекста 1024 токена; изменить это значение можно повторным экспортом. Сильной стороной модели является снижение требований к памяти и возможность локального мобильного развертывания при сохранении назначения исходной instruct-модели. Ограничение текущей поставки — регрессия поддержки токенизатора Phi-4 в официальных демонстрационных мобильных приложениях ExecuTorch, поэтому в них модель пока не запускается; при использовании собственного приложения и runner загрузка файла .pte возможна. Модель распространяется по лицензии MIT.

PLaMo-13B-Instruct — языковая модель с инструкционной настройкой, разработанная Preferred Networks, Inc. на основе PLaMo-13B с контекстом 8192 токена. Это плотная авторегрессионная модель с архитектурой decoder-only и 14,7 млрд параметров; для работы с весами в формате safetensors используется библиотека Transformers. Модель предназначена для диалогов и выполнения инструкций на японском и английском языках. Она обучена на 1,5 трлн токенов, включая 1,32 трлн английских и 0,18 трлн японских токенов; при инструкционной настройке использовались публичные датасеты, в том числе японские переводы и подмножества Dolly, Anthropic HH-RLHF, OpenAssistant и Izumi-lab. Модель может выдавать неточные, предвзятые или нежелательные ответы. Проверки проводились на английском и японском языках и не охватывают все сценарии, поэтому перед внедрением рекомендуется тестирование и настройка безопасности под конкретное приложение. Лицензия — Apache License 2.0.

PLLuM-4B-instruct-2512 — инструктивная языковая модель семейства PLLuM, разработанная альянсом HIVE AI на основе Gemma 3 4B. Модель продолжительно обучали на польских и английских текстах, затем дообучали на инструкциях и настраивали с помощью предпочтений людей. Это плотная модель с архитектурой Gemma3ForConditionalGeneration и 4 млрд параметров; она распространяется в формате safetensors по лицензии Apache-2.0. Модель предназначена для диалога и генерации текста, включая ответы на вопросы, суммаризацию и извлечение сведений. Она особенно ориентирована на польский язык и может применяться для создания помощников, в том числе для польской публичной администрации и юридических или бюрократических тем с использованием поиска по документам. README также указывает на английские данные для более широкой обобщающей способности. Ограничение контекстом и доступностью языков зависит от конкретной конфигурации; подтверждены польский и английский. Для актуальных ответов по нормативным и другим документам модель следует сочетать с поиском по источникам, поскольку сама генерация не гарантирует фактическую точность.

Q3.6-27B-DS-v4-Flash-DA-GGUF — экспериментальная GGUF-версия модели, разработанная prithivMLmods. В её основе — Qwen/Qwen3.6-27B и производная prithivMLmods/Qwen3.6-27B-abliterated-rMAX; модель дополнительно обучалась на дистиллированных рассуждениях DeepSeek V4 Flash с применением анализа и абляции направлений отказа. Заявленная цель — улучшить подробное контекстное рассуждение и следование инструкциям при снижении внутренних механизмов отказа. Модель предназначена для генерации текста, исследовательских и учебных экспериментов, а также сценариев, где важны рассуждение и развёрнутые ответы. В репозитории представлены варианты в форматах BF16, F16 и различных степенях квантования Q2_K–Q8_0; размеры файлов составляют примерно от 10,7 до 53,8 ГБ. В метаданных указан английский язык. Также доступны файлы mmproj, что указывает на заявленную поддержку мультимодального режима, однако подробности о поддерживаемых модальностях, размере контекста и фактических возможностях обработки изображений не приведены. К сильным сторонам относятся фокус на reasoning, контекстно-зависимые ответы и instruction following. Ограничения включают экспериментальный статус, возможное появление артефактов и сниженные механизмы отказа, из-за чего модель может генерировать чувствительный или неограниченный контент. Использование заявлено для исследований и обучения; модель распространяется по лицензии Apache-2.0.

Q3.6-35B-A3B-abliterated-0520-MAX-GGUF — модель от prithivMLmods, основанная на Qwen/Qwen3.6-35B-A3B и распространяемая в формате GGUF. Это модифицированная версия с применением анализа направлений отказа и обучения методом абляции, направленная на снижение внутренних отказов при сохранении способностей к рассуждению и следованию инструкциям. В README также указана производная модель prithivMLmods/Q3.6-35B-A3B-abliterated-0520-MAX-STOR-check. Модель предназначена для генерации текста, подробных ответов, рассуждений и выполнения инструкций, включая сценарии локального запуска через llama.cpp или совместимые средства инференса. Указан английский язык. Архитектура описана как Mixture-of-Experts с 35 млрд параметров; максимальная длина контекста в README не указана. Наличие файлов mmproj и тега image-text-to-text указывает на заявленную поддержку мультимодального сценария, однако конкретные возможности работы с изображениями не описаны. Доступны варианты квантования от Q2_K до Q8_0, а также BF16 и F16; размеры файлов составляют примерно от 12,9 до 69,4 ГБ, что позволяет выбирать компромисс между требованиями к памяти и качеством. Сильной стороной заявляется улучшенное следование инструкциям и сниженное количество отказов, но это одновременно является ограничением для безопасного применения: поведение модели может быть менее ограничивающим, а качество и безопасность ответов требуют самостоятельной проверки. Модель предназначена авторами для исследований и обучения, а использование осуществляется на риск пользователя. Лицензия — Apache-2.0.

quantum-v0.01-Mistral-7B-Instruct-v0.1 — чат-модель для генерации текста, созданная слиянием Mistral-7B-Instruct-v0.1 от Mistral AI и quantumaikr/quantum-v0.01. Для объединения применён метод SLERP; веса представлены в формате safetensors. Модель предназначена для ответов на инструкции и диалоговые запросы. Она построена на плотной архитектуре Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В карточке указан английский язык, лицензия — Apache-2.0. Карточка не приводит отдельных результатов оценки качества или более подробных ограничений; возможности модели могут зависеть от запроса и используемого программного окружения.

Qwen2.5-32B-ArliAI-RPMax-v1.3-GGUF — это GGUF-квантизации текстовой генеративной модели Qwen2.5-32B-ArliAI-RPMax-v1.3, разработанной ArliAI. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix; модель предназначена для локального запуска и генерации текста, в том числе через LM Studio. Для работы используется формат диалогового промпта с ролями system, user и assistant. Модель имеет размер 32B параметров и доступна в вариантах от исходных весов F16 размером около 65,54 ГБ до квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ. В README указаны размеры файлов, приблизительные характеристики качества и варианты, оптимизированные для ARM-процессоров. Наиболее качественными названы F16, Q8_0 и Q6_K_L/Q6_K; Q4_K_M обозначен как вариант типового размера для большинства сценариев, а низкоразрядные варианты подходят системам с ограниченным объёмом оперативной памяти. Сильная сторона набора — широкий выбор компромиссов между качеством, размером и требованиями к оборудованию, а применение imatrix должно помогать сохранять качество при квантизации. Ограничения включают значительные требования к памяти даже для компактных вариантов; некоторые ARM-оптимизированные файлы требуют поддержки sve или i8mm и не предназначены для Mac или Windows. Сведения о языках, длине контекста, точной архитектуре, мультимодальности и специализированных возможностях в README не указаны. Лицензия — Apache-2.0.

Qwen2.5-7B-Ins-v3-GGUF — это квантизированная версия текстовой генеративной модели happzy2633/qwen2.5-7b-ins-v3, подготовленная пользователем bartowski в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев; в README также указан запуск через LM Studio. Рекомендуемый формат промпта использует специальные маркеры ролей system, user и assistant. Доступны варианты от исходных весов F16 размером 15,24 ГБ до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и Q2, включая форматы IQ. Более высокие уровни обычно сохраняют лучшее качество, а компактные варианты подходят для систем с ограниченным объёмом оперативной памяти. Для ARM-процессоров предлагаются специальные варианты Q4_0, требующие поддержки sve или i8mm; некоторые из них не рекомендуются для Mac и Windows. Модель относится к классу 7B, однако точные сведения об архитектуре, поддерживаемых языках, максимальном контексте, мультимодальности, результатах тестирования и ограничениях исходной модели в предоставленном README отсутствуют. Лицензия также не указана, поэтому условия коммерческого и иного использования необходимо уточнять на странице исходной модели.

unsloth/Qwen2-VL-2B-Instruct-unsloth-bnb-4bit — мультимодальная instruction-tuned модель, основанная на Qwen/Qwen2-VL-2B-Instruct и подготовленная Unsloth. Она предназначена для обработки изображений, видео и текстовых инструкций: визуального вопросно-ответного взаимодействия, анализа документов и сцен, распознавания текста на изображениях, а также мультимодальных диалогов и сценариев, где требуется интерпретация визуальной среды. Модель совместима с библиотекой Transformers и имеет тип pipeline image-text-to-text. Ключевая особенность версии — динамическое 4-битное квантование Unsloth BnB: отдельные параметры не квантуются, чтобы сохранить качество при сопоставимом снижении потребления VRAM. Архитектура Qwen2-VL поддерживает изображения произвольного разрешения благодаря динамическому числу визуальных токенов, использует мультимодальные позиционные embeddings M-ROPE для текстовых, двумерных визуальных и трёхмерных видеоданных и рассчитана на понимание видео длительностью более 20 минут. Заявлена многоязычная работа с текстом внутри изображений, включая английский, китайский, европейские языки, японский, корейский, арабский и вьетнамский. Сильные стороны модели — компактный размер 2B, сниженные требования к видеопамяти, поддержка нескольких модальностей, динамическая обработка изображений и широкий спектр визуальных задач. Ограничения, включая точные значения контекстного окна, производительность и качество для отдельных языков и сценариев, в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.