I.14Автоматизация процессов и AI-агенты

Aya-23-8B — мультиязычная авторегрессионная языковая модель на архитектуре Transformer, разработанная Cohere Labs и Cohere. Это версия с 8 млрд параметров из семейства Aya 23, созданная на основе предварительно обученной модели семейства Command и дообученная следовать инструкциям. Модель принимает текст и генерирует текст. Она предназначена для диалогов и выполнения текстовых инструкций на 23 языках, включая русский, английский, арабский, китайский, японский, хинди и другие. Контекстное окно — 8192 токена. Модель доступна через Transformers и распространяется по лицензии CC-BY-NC-4.0 с дополнительными условиями допустимого использования Cohere Labs. Aya-23-8B подходит для многоязычных помощников, ответов на вопросы и генерации текста. Это более ранняя версия Aya; разработчики указывают на Aya Expanse 8B как на более новую модель. Некоммерческая лицензия ограничивает использование.

BigQwen2.5-Echo-47B-Instruct-GGUF — набор GGUF-квантизаций модели BigQwen2.5-Echo-47B-Instruct, опубликованный пользователем bartowski и основанный на модели mlabonne. Квантизации подготовлены с помощью llama.cpp и imatrix; модель предназначена для генерации текста и работы в локальных средах инференса, включая LM Studio. Указанный язык — английский, формат взаимодействия использует шаблон Qwen с ролями system, user и assistant. Модель имеет размер 47B параметров, однако сведения о точной архитектуре, длине контекста и мультимодальных возможностях в README не указаны. Доступны варианты от F16 размером около 94,79 ГБ до низкобитных Q3 и Q4, а также Q5, Q6 и Q8; наиболее качественными и рекомендуемыми названы некоторые варианты Q6_K, Q5 и Q4. Квантизации позволяют выбирать баланс между качеством, размером файла и требованиями к памяти; отдельные варианты оптимизированы для ARM-процессоров. Ограничениями являются значительные требования к памяти для старших вариантов и возможное снижение качества у низкобитных квантизаций. Для запуска требуется совместимое программное обеспечение, например llama.cpp или LM Studio. Лицензия указана как other с названием tongyi-qianwen; в качестве текста лицензии приведена ссылка на лицензию Qwen2-72B-Instruct.

Breeze-7B-Instruct-v0_1 — диалоговая языковая модель MediaTek Research, построенная на архитектуре Mistral и дообученная на базе MediaTek-Research/Breeze-7B-Base-v0_1. Модель содержит 7,2 млрд параметров и предназначена прежде всего для традиционного китайского языка, также поддерживает английский. В версии v0.1 словарь расширен до 62 тысяч токенов для лучшей работы с традиционным китайским; метаданные указывают контекст до 32 768 токенов. Модель рассчитана на использование без дополнительной настройки в типовых сценариях: ответы на вопросы, многошаговый диалог, суммаризация и генерация текста. Её можно применять для ответов по документам в системах RAG. Разработчики сообщают о хороших результатах в бенчмарках на традиционном китайском и английском по сравнению с моделями похожего размера. README отмечает, что для диалога нет специальной обработки вредоносных запросов, поэтому модель может отвечать на них без защитных механизмов. Лицензия — Apache-2.0. Описанная в карточке версия v0.1 не является текущим выпуском Breeze-7B: README указывает на v1.0 как более позднюю версию.

Brocae-Area-7B-slerp — языковая модель на архитектуре Mistral, созданная Kukedlc объединением моделей Fasciculus-Arcuatus-7B-slerp и NeuralKrishna-7B-V2-DPO методом slerp с помощью LazyMergekit. Она предназначена для генерации текста по запросам и может применяться для диалогов, ответов на вопросы и задач рассуждения. Модель содержит 7,1 млрд параметров, использует формат safetensors и поддерживает контекст до 32 768 токенов. В README приведены результаты оценивания на бенчмарках Open LLM Leaderboard, включая AI2 Reasoning Challenge и HellaSwag. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия языковой модели cogito-v2-preview-llama-70B, разработанной deepcogito и подготовленной пользователем bartowski. Модель предназначена для генерации текста и может использоваться в локальных приложениях на базе llama.cpp, включая LM Studio и другие совместимые проекты. В основе лежит модель класса Llama с заявленным размером 70B параметров. Доступны варианты квантования от Q8_0 до Q2_K_L и IQ3/IQ4, различающиеся размером файла, требованиями к памяти и качеством вывода. Более качественными и рекомендуемыми в README названы варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; модели с более низкой разрядностью экономят память, но могут заметно уступать в качестве. Формат GGUF и imatrix-квантование облегчают локальный запуск, однако даже компактные варианты требуют значительных ресурсов. В README не указаны поддерживаемые языки, размер контекстного окна, точная архитектура исходной модели, мультимодальные возможности и лицензия. Шаблон чата также не задан и может требовать проверки по карточке исходной модели; приведённый формат основан на служебных токенах Llama. Условия использования в представленном README не указаны.

Это GGUF-квантизированная версия языковой модели DeepSeek-V3.1, разработанной deepseek-ai и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и совместимые проекты на его основе. В репозитории представлены варианты квантования Q8_0, Q6_K, Q5_K_M, Q4 и Q3/Q2, включая форматы IQ. Размер файлов составляет примерно от 188 до 713 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, но требуют значительно больше оперативной памяти и ресурсов; варианты Q4 и Q5 позиционируются как сбалансированные, а Q2 и Q3 — как более экономичные, но с заметным снижением качества. Квантизация выполнена с использованием imatrix и llama.cpp release b6214. Сильной стороной модели является возможность локального запуска в различных форматах GGUF и выбор между качеством и требованиями к памяти. Ограничения включают исключительно большие размеры файлов, высокие аппаратные требования и отсутствие в README сведений о поддерживаемых языках, длине контекста, точной архитектуре, рекомендованном шаблоне запросов и лицензии. Формат промпта также не указан; рекомендуется обратиться к странице исходной модели deepseek-ai/DeepSeek-V3.1.

EVA-Qwen2.5-72B-v0.2-GGUF — это GGUF-квантизированная версия текстовой генеративной модели EVA-Qwen2.5-72B-v0.2, подготовленная пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Базовая модель указана как EVA-UNIT-01/EVA-Qwen2.5-72B-v0.2; её основой является Qwen2.5-72B. Модель ориентирована на генерацию текста, следование инструкциям, написание различных материалов и ролевые сценарии. В обучающих данных использовались наборы для instruction-following, письма, roleplay и синтетической генерации, включая материалы на базе Opus, Sonnet 3.5, ChatGPT-4o и Dolphin. Модель доступна в нескольких вариантах квантования от Q8_0 до Q2_K и IQ-квантов, с размером файлов примерно от 27 до 77 ГБ. Более высокие варианты сохраняют лучшее качество, а низкобитные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для запуска рекомендуется использовать LM Studio или совместимый с GGUF движок на базе llama.cpp. В README не указаны точная архитектура, размер контекста, поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Лицензия обозначена как Qwen; в качестве официального документа приведена лицензия Qwen2.5-72B-Instruct. Условия конкретного использования необходимо проверять по указанному лицензионному тексту. Основные ограничения связаны с большими требованиями к памяти и снижением качества при использовании низких уровней квантования; вариант Q4_K_M описан как оптимальный по размеру для большинства сценариев, а Q6_K и Q5 считаются высококачественными рекомендуемыми вариантами.

MaziyarPanahi/Falkor-7b-Mistral-7B-Instruct-v0.2-slerp-GGUF — это квантованная версия языковой модели Falkor-7b-Mistral-7B-Instruct-v0.2-slerp, разработанная и подготовленная MaziyarPanahi. Модель основана на Mistral-7B-Instruct-v0.2 и предназначена для генерации текста и выполнения инструкций в локальных и серверных сценариях. Модель поставляется в формате GGUF, совместимом с llama.cpp и рядом приложений и библиотек для локального запуска, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другие. Доступны варианты квантования с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K. Это позволяет выбирать компромисс между размером файла, требованиями к ресурсам и качеством генерации. Точное число параметров указано как 7B; поддерживаются текстовые задачи, однако сведения о языках и размере контекстного окна в README отсутствуют. Сильными сторонами являются уменьшенный размер квантованных файлов и возможность запуска на широком спектре локальных конфигураций с поддержкой CPU и GPU через совместимые инструменты. Ограничения включают потенциальное снижение качества при использовании более агрессивного квантования, а также отсутствие в README подробных результатов оценки, описания архитектуры с дополнительными деталями и характеристик мультимодальности. Модель распространяется по лицензии Apache-2.0.

cortexso/gemma2 — это семейство текстовых генеративных моделей Gemma, разработанное Google и подготовленное для использования в экосистемах Cortex и Jan. Модели обучались на сочетании синтетических данных и отфильтрованных общедоступных веб-данных с акцентом на качество и задачи, требующие рассуждений. Семейство предназначено для генерации и обработки текста в локальных приложениях и через интерфейсы Cortex CLI или Jan. В README указаны варианты Gemma2-2b, Gemma2-9b и Gemma2-27b; конкретные архитектурные параметры, поддерживаемые языки и модальности не описаны. Также приведена информация о вариантах контекстной длины 8K и 128K, но соответствие этих значений отдельным версиям не уточнено. Сильными сторонами заявлены качество данных обучения и ориентация на рассуждения, однако сведения о результатах тестирования, ограничениях и рекомендуемых сценариях отсутствуют. Лицензия указана как Gemma; оригинальная лицензия доступна в условиях Google Gemma.

GPT-5.4 — фронтирная модель OpenAI, объединяющая линейки Codex и GPT. По карточке, она поддерживает контекст более чем в 1 млн токенов: до 922 тыс. входных и 128 тыс. выходных токенов. В доступных данных также указана задача image-text-to-text. Модель предназначена для работы с текстом и изображениями и выдачи текстовых ответов. Сведений о конкретных сценариях, языках, архитектуре, размере и лицензии в предоставленных данных нет, поэтому их нельзя уточнить.

GPT-OSS-Nano — компактная языковая модель с архитектурой Mixture of Experts, опубликованная пользователем squ11z1 и дообученная на базе openai/gpt-oss-20b. Модель ориентирована на пошаговое рассуждение и решение задач, включая математические вопросы, объяснение концепций и общий текстовый диалог. Для обучения использовались QLoRA, Unsloth и TRL на наборе Superior-Reasoning с примерами цепочек рассуждений. Модель содержит около 9 млрд параметров, из которых примерно 3 млрд активируются на каждом проходе. Архитектура включает 12 экспертов, 4 активных эксперта на токен, 24 слоя, скрытое измерение 2880, 64 attention heads с 8 KV-головами и GQA. Заявлена поддержка контекста до 131 072 токенов и точности BFloat16. Основной язык — английский; качество на других языках может варьироваться. Доступны форматы GGUF для локального запуска через llama.cpp и Ollama, а также интеграция с Transformers и 4-битной загрузкой через Unsloth. Сильными сторонами модели являются относительно экономичное разреженное вычисление, большой контекст и специализация на пошаговом reasoning. Ограничения включают преимущественно англоязычную оптимизацию, риск правдоподобных ошибок и непригодность для критически важных сценариев без дополнительной проверки. Модель распространяется по лицензии Apache-2.0.

ibm-granite/granite-3.3-8b-instruct-FP8 — это версия модели Granite-3.3-8b-Instruct в формате FP8, разработанная IBM. Модель предназначена для генерации текста и использования в сценариях, требующих следования инструкциям; карточка указывает pipeline text-generation и совместимость с библиотекой Transformers. Модель основана на ibm-granite/granite-3.3-8b-instruct и содержит 8 миллиардов параметров, однако в представленном README не приведены сведения об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна. Формат FP8 может быть полезен для более эффективного хранения и инференса, но конкретные требования к оборудованию и показатели качества не указаны. Модель распространяется по лицензии Apache-2.0. Для полного описания возможностей и ограничений рекомендуется обратиться к карточке базовой модели, поскольку текущий README содержит только краткую информацию о FP8-версии.

Granite 4.2 8B GGUF — это квантизированная версия текстовой генеративной модели ibm-granite/granite-4.2-8b, разработанной IBM. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых сценариев, задач рассуждения и, согласно указанным тегам, tool calling. Поддерживается только текстовый ввод; мультимодальные возможности не заявлены. Модель содержит около 9 млрд параметров и доступна в форматах GGUF с разными уровнями квантизации — от BF16 до Q2 и IQ-вариантов. README не указывает архитектуру и размер контекстного окна. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Для запуска используется специальный шаблон prompt с секцией рассуждений <think>. Сильная сторона этой версии — широкий выбор квантизаций, позволяющий подобрать баланс между качеством, скоростью и требованиями к памяти: например, Q4_K_M размером 5,54 ГБ рекомендуется как универсальный вариант, а более высокие уровни сохраняют качество ближе к исходной модели. Ограничения зависят от выбранной квантизации: компактные варианты обеспечивают более низкое качество. Спекулятивное декодирование не поддерживается. Модель распространяется по лицензии Apache 2.0.

Карточка модели alpindale/Llama-3.2-11B-Vision на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-11B-Vision, поэтому описание составлено по ней. Llama 3.2-11B-Vision — мультимодальная модель Meta для анализа изображений и генерации текстовых ответов. Она построена на авторегрессионной архитектуре Transformer семейства Llama 3.1 и использует отдельно обученный визуальный адаптер с cross-attention, который передаёт представления изображений в языковую модель. Размер модели — 11 млрд параметров; она принимает изображения и текст, выдаёт текст и поддерживает контекст до 128 тыс. токенов. Модель предназначена для распознавания изображений, визуальных рассуждений, создания подписей и диалога по изображениям. Она подходит для визуальных вопросов и ответов, извлечения сведений из изображений документов, поиска соответствий между изображениями и текстом, а также привязки текстовых описаний к областям изображения. Для задач с изображениями официально поддерживается английский язык; в текстовых задачах также поддерживаются немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель основана на Llama 3.1 и включает визуальный адаптер; для настроенных версий семейства применяются supervised fine-tuning и обучение с обратной связью от людей. Это статический чекпойнт, обученный на офлайн-данных с отсечкой знаний в декабре 2023 года. Использование регулируется Llama 3.2 Community License — специальной лицензией с коммерческими условиями и Acceptable Use Policy.

Llama3-ChatQA-1.5-8B — разговорная языковая модель NVIDIA для ответов на вопросы в диалоге и генерации с дополнением извлечёнными сведениями (RAG). Она дообучена на базе Llama 3 и содержит дополнительные данные для улучшения ответов по документам, работы с таблицами и арифметических вычислений. В репозитории указаны 7,5 млрд параметров, архитектура Llama с плотной причинной языковой моделью, формат safetensors и контекст до 8192 токенов. Модель предназначена для сценариев, где вопрос сопровождается контекстом: документ можно передать целиком, если он помещается в контекст, либо предварительно извлечь релевантные фрагменты для длинных документов. Модель принимает текст и генерирует текст; карточка указывает английский язык. В README приведены результаты оценки на наборах для conversational RAG, включая Doc2Dial, QuAC и QReCC. Модель является дообучением NVIDIA Llama3-ChatQA-1.5-8B. Чекпойнты были первоначально обучены с Megatron-LM и конвертированы в формат Hugging Face. Лицензия — Llama 3 Community License. Результаты зависят от качества переданного контекста или поиска; заявленные улучшения арифметики и таблиц не гарантируют точность в каждом запросе.

Llama-SEA-LION-v3-70B — многоязычная текстовая модель AI Singapore, разработанная командой Products Pillar при финансировании NRF Сингапура. Это декодер на архитектуре Llama 3.1 с 69,5 млрд параметров, созданный продолжением предобучения meta-llama/Llama-3.1-70B-Instruct на примерно 200 млрд токенов на 11 языках Юго-Восточной Азии и английском; модель использует токенизатор Llama 3.1 и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, анализа тональности и токсичности, перевода между английским и языками региона, причинных рассуждений и следования инструкциям. Карточка сообщает оценки по SEA-HELM и SEA-IFEval, включая проверку ответа на нужном языке. Модель рассчитана на бирманский, китайский, английский, филиппинский, индонезийский, кхмерский, лаосский, малайский, тамильский, тайский и вьетнамский языки. Для использования необходима инфраструктура, способная обслуживать модель на 70B параметров. Доступна в формате safetensors; лицензия — Llama 3.1 Community License.

ceia-aisdk/llm-large-v1 — распространяемый в формате GGUF артефакт для псевдонима llm/large@1 в CEIA AI SDK. Это квантованная версия инструкционной языковой модели Qwen2.5-14B-Instruct с 14,7 млрд параметров; веса не обучались CEIA. Модель предназначена для диалогов и генерации текста по инструкциям. Репозиторий содержит файл model.gguf в квантизации Q4_K_M от bartowski. Модель принимает текст и выдаёт текст; метаданные отмечают поддержку чата. Лицензия — Apache-2.0, такая же, как у базовой модели.

MANGO1.5-Qwen3.5-9B — двуязычная текстовая модель CMKL University, дообученная на базе Qwen/Qwen3.5-9B. Это плотная модель семейства Qwen3.5 с 9 млрд параметров; опубликованный чекпойнт содержит LoRA-адаптер, объединённый с базовыми весами, и распространяется в формате Safetensors. Модель обучена методом supervised fine-tuning на корпусе из 5 млн англо- и тайскоязычных инструкций; это первый этап постобучения. Модель предназначена для диалога и выполнения инструкций на тайском и английском языках, включая ответы на вопросы, рассуждения, краткое изложение, перевод, математику, программирование и творческие задачи. Она принимает и генерирует текст. Хотя базовая архитектура поддерживает мультимодальный ввод, эта версия обучалась только на текстовых данных, поэтому улучшенную работу с изображениями предполагать не следует. Авторы отмечают, что модель не прошла отдельный этап DPO или RLHF и не сертифицирована для безопасного применения в производстве. Оценка охватывает ограниченное число моделей; возможны галлюцинации и чувствительность к формулировкам запросов, а качество по отдельным предметным областям и перенос между языками проверены неравномерно. Лицензия — Apache 2.0, унаследованная от базовой модели.

SanctumAI/Meta-Llama-3.1-8B-Instruct-GGUF — это квантизированная версия текстовой instruction-tuned модели Meta-Llama-3.1-8B-Instruct, разработанной Meta и опубликованной командой meta-llama. Квантизацию в формате GGUF выполнила SanctumAI. Модель предназначена для генерации текста и многоязычных диалоговых сценариев, включая использование в локальных приложениях и системах, совместимых с GGUF. Модель содержит 8 млрд параметров, работает по схеме «текст на входе — текст на выходе» и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Доступны варианты квантизации от Q2_K до Q8_0, а также версия f16; размер файлов составляет примерно от 3,18 до 16,07 ГБ, а оценочная потребность в RAM или VRAM — от 7,20 до 19,21 ГБ. Квантизация позволяет выбирать компромисс между требованиями к памяти и качеством работы, но более низкая точность может снижать качество по сравнению с исходной моделью. Контекст модели в README не указан. Модель распространяется по лицензии Llama 3.1; дополнительные условия следует уточнять в прилагаемом файле LICENSE. Она подходит для чат-ботов, локальных ассистентов и других задач генерации текста, однако README не содержит подробностей о результатах на конкретных бенчмарках, ограничениях безопасности или гарантиях точности.

Meta-Llama-3-8B-Instruct-old-GGUF — это GGUF-версия инструкционно дообученной большой языковой модели Meta Llama 3 с 8 млрд параметров, подготовленная для распространения пользователем bartowski. Исходную модель разработала Meta. Она предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, подготовку текста и другие задачи обработки естественного языка. В README указаны английский язык и текстовая модальность; модель относится к семейству Llama 3 и использует архитектуру decoder-only Transformer, однако подробности о контекстном окне, вариантах квантизации и характеристиках конкретной GGUF-сборки не приведены. Сильными сторонами являются относительно компактный размер для локального запуска и ориентация на следование инструкциям. Ограничения, связанные с качеством, безопасностью и применимостью результатов, в README отдельно не описаны. Модель распространяется по лицензии Meta Llama 3 Community License. При распространении материалов или продуктов на их основе требуется соблюдать условия лицензии, включая указание «Built with Meta Llama 3», сохранение уведомления об авторстве и соблюдение Acceptable Use Policy. Для организаций с более чем 700 млн ежемесячных активных пользователей предусмотрено получение отдельной лицензии Meta.

Mistral-11B-OmniMix-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная MaziyarPanahi слиянием mistralai/Mistral-7B-Instruct-v0.2 и Undi95/Mistral-11B-OmniMix методом SLERP через MergeKit. Модель использует архитектуру MistralForCausalLM с плотной трансформерной сетью, содержит 7,1 млрд параметров и принимает текст для генерации ответов и диалогов. Контекст — до 32 768 токенов. Модель подходит для чат-общения, выполнения инструкций и генерации текста. В репозитории веса представлены в формате safetensors; лицензия — Apache-2.0. README не приводит отдельной оценки качества или подробностей о языковом покрытии и ограничениях, поэтому специфические преимущества и недостатки слияния не описаны.

Citaman/Mistral_31_layer — диалоговая языковая модель на архитектуре Mistral, созданная с помощью mergekit методом SLERP на основе Mistral-7B-Instruct-v0.2. В конфигурации объединены срезы слоёв исходной модели со смещением на один слой; модель содержит 6,9 млрд параметров и использует формат safetensors. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Она принимает текст и формирует текстовые ответы, поддерживает контекст до 32 768 токенов и работает через библиотеку Transformers. Карточка не приводит оценок качества или результатов сравнительных тестов. Указана базовая модель Mistral-7B-Instruct-v0.2. Лицензия в предоставленных данных не указана.

Это сегментированная по файлам копия Mistral-7B-Instruct-v0.1 от filipealmeida, предназначенная для запуска при ограниченной памяти CPU. В основе лежит плотная трансформерная модель Mistral с 7,1 млрд параметров, дообученная следовать инструкциям на открытых диалоговых наборах данных. Архитектура использует Grouped-Query Attention и Sliding-Window Attention; карточка указывает контекст до 32 768 токенов. Модель принимает текстовые инструкции в формате с маркерами [INST] и [/INST] и генерирует текстовые ответы в диалоговых сценариях. Её можно применять для вопросов и ответов, ведения диалога, составления черновиков и выполнения текстовых инструкций. Разбиение весов на шарды снижает требования к памяти CPU при загрузке, но не является квантизацией и само по себе не меняет вычислительные требования модели во время генерации. Лицензия — Apache-2.0.

Mistral-Large-Instruct-2407-IMat-GGUF — это набор квантованных версий Mistral-Large-Instruct-2407, разработанной Mistral AI. Квантование выполнил legraphista с использованием llama.cpp версии b3452 и метода IMatrix. Модель предназначена для генерации текста и запуска в совместимой инфраструктуре llama.cpp и других инструментах, поддерживающих формат GGUF. Модель рассчитана на работу с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; размеры файлов составляют примерно от 45,20 до 245,23 ГБ. Версии Q4_K и более компактные используют IMatrix, что предназначено для сохранения качества при квантовании. Все варианты представлены в виде разделённых файлов. Сильная сторона набора — широкий выбор точностей и размеров, позволяющий подобрать компромисс между качеством, требованиями к памяти и производительностью. Ограничения — значительный объём файлов, необходимость специального программного обеспечения для запуска и отсутствие в README сведений о размере контекста, числе параметров, конкретных результатах тестирования и поддержке мультимодальных входов. Модель распространяется по лицензии Mistral Research License 0.1 (MRL-0.1).

MaziyarPanahi/neural-chat-7b-v3-Mistral-7B-Instruct-v0.2-slerp — диалоговая модель для генерации текста и ответов на инструкции, созданная MaziyarPanahi слиянием методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.2 и Intel/neural-chat-7b-v3. Она основана на архитектуре Mistral с плотной сетью и содержит 7,1 млрд параметров; поддерживает контекст до 32 768 токенов. Модель рассчитана на текстовый диалог и использует формат safetensors. Её можно применять для интерактивных диалогов, ответов на вопросы и выполнения текстовых инструкций. Веса распространяются по лицензии Apache-2.0. Сведения о поддерживаемых естественных языках в предоставленной карточке отсутствуют.

OLMo-2-1124-7B-Instruct-GGUF — это GGUF-квантизованная версия инструкционной языковой модели OLMo-2-1124-7B-Instruct, разработанной Allen Institute и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалогового взаимодействия, включая выполнение инструкций, ответы на вопросы и решение задач в локальных приложениях на базе llama.cpp. Модель содержит около 7 миллиардов параметров, работает в текстовой модальности и ориентирована на английский язык. В репозитории доступны варианты от F16 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3 и Q2, поэтому можно выбирать между качеством, скоростью и требованиями к памяти. Для квантования использовалась imatrix-методика, а также исправленный tokenizer.json базовой модели. Точный размер контекстного окна в README не указан. Сильная сторона сборки — возможность запуска модели локально с различным объёмом памяти и совместимость с llama.cpp; варианты Q6 и Q5 заявлены как высококачественные, а Q4_K_M — как подходящий вариант по умолчанию для большинства сценариев. Более сильное квантование уменьшает требования к ресурсам, но может снижать качество ответов; низкобитные варианты имеют заметные ограничения. Отдельные сборки оптимизированы для ARM и требуют соответствующих аппаратных возможностей. Модель распространяется по лицензии Apache-2.0.

Olmo-3-1025-7B — базовая авторегрессионная языковая модель семейства OLMo 3, разработанная Allen Institute for AI (Ai2). Она предназначена для генерации текста и служит основой для дальнейшей настройки под диалоговые и специализированные задачи. Модель имеет плотную Transformer-архитектуру для причинного языкового моделирования, около 6,9 млрд параметров и контекстное окно 65 536 токенов. Она обучена преимущественно на английском языке на данных Dolma 3; обучение включало текст, код, математику, вопросы и ответы, инструкции и PDF-документы. Репозиторий содержит веса в формате safetensors и поддерживается библиотекой Transformers версии 4.57.0 и выше. Длинный контекст и широкая обучающая выборка подходят для генерации продолжений, черновиков и кода, а также для адаптации модели к прикладным сценариям. Это базовая модель, поэтому её ответы не обязательно следуют инструкциям как у чат-модели; возможны фактические ошибки, предвзятые или вредоносные ответы без дополнительной настройки и фильтрации. Лицензия модели и кода — Apache 2.0.

Llama2 13B Orca 8K 3319 — языковая модель для генерации текста и диалогового взаимодействия, разработанная OpenAssistant и представленная в GGUF-формате TheBloke. Модель основана на Llama 2 с архитектурой Llama и содержит около 13 миллиардов параметров. В карточке указана поддержка английского языка и контекст длиной до 8K токенов. Модель предназначена для выполнения инструкций, ответов на вопросы, информационного поиска в формате диалога, написания текстов и историй, а также общих задач генерации текста. Она использует шаблон запросов OpenAssistant-System с отдельными ролями system, prompter и assistant. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие решения; возможны CPU- и GPU-сценарии, а доступные варианты квантования позволяют выбирать компромисс между качеством, скоростью и потреблением памяти. В README не приведены подробные результаты бенчмарков или явные ограничения качества, поэтому сильные стороны модели можно оценивать только по заявленным возможностям и расширенному контексту. Указанная лицензия источников обозначена как other; кроме того, поскольку модель основана на Llama 2, на неё распространяются условия лицензии Meta Llama 2. README указывает на возможное двойное лицензирование и рекомендует учитывать обе группы условий.

Это GGUF-квантизированная версия OpenCoder-8B-Instruct, разработанного infly. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в формате инструкций, включая сценарии локального запуска через llama.cpp и LM Studio. Модель содержит 8 миллиардов параметров и доступна в вариантах от F16 до различных Q2–Q8-квантизаций, что позволяет выбирать баланс между качеством, скоростью и потреблением памяти. В README указана поддержка английского и китайского языков. Формат взаимодействия использует специальные токены system, user и assistant. Данные о точной архитектуре, размере контекстного окна и поддерживаемых модальностях отсутствуют; по назначению это текстовая, а не мультимодальная модель. Сильной стороной являются многочисленные варианты квантизации, включая рекомендуемые Q4 и Q5, а также более качественные Q6 и Q8, благодаря чему модель можно адаптировать под разные аппаратные ограничения. Более компактные варианты снижают требования к памяти, но могут заметно уступать по качеству; ARM-оптимизированные варианты требуют соответствующих аппаратных инструкций и не рекомендуются для Mac или Windows. Модель основана на OpenCoder-8B-Instruct и распространяется с лицензией inf, подробные условия которой приведены в отдельном LICENSE-файле.

Ovis2-16B — мультимодальная языковая модель семейства Ovis, разработанная командой AIDC-AI. Она объединяет визуальный энкодер и языковую модель для диалога по изображениям и видео. Архитектура плотная, класс Ovis; репозиторий содержит веса Safetensors. Вариант 16B показан в тестах изображений и видео, а README рекомендует более новую версию Ovis2.5. Модель предназначена для ответов на вопросы по визуальным материалам, рассуждений по нескольким изображениям и кадрам, многоязычного OCR, а также извлечения структурированных данных из таблиц и диаграмм. В обучении использовались instruction tuning и preference learning для усиления рассуждений; заявлена поддержка английского и китайского, а OCR улучшен для языков помимо них. Для запуска README приводит зависимости PyTorch, Transformers и Flash Attention. Модель распространяется по лицензии Apache-2.0. В README отмечены ограничения: разработчики не гарантируют полного отсутствия проблем с авторскими правами или некорректного содержимого; для новых возможностей рекомендуется Ovis2.5.