I.14Автоматизация процессов и AI-агенты

mlx-community/Llama-3.3-70B-Instruct-4bit — 4-битная версия инструкционной модели Llama 3.3 70B, разработанной Meta и адаптированной сообществом mlx-community для экосистемы MLX. Модель предназначена для генерации и понимания текста, диалоговых систем, следования инструкциям, ответов на вопросы, суммирования и других задач обработки естественного языка. Модель имеет около 70 миллиардов параметров и работает в 4-битном квантованном формате, что снижает требования к памяти по сравнению с полной версией, но может влиять на точность и качество ответов. Поддерживаются английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий языки. Модальность — текстовая; сведения о размере контекстного окна и точной архитектуре в README не указаны. Сильной стороной модели является сочетание большого размера, инструкционного обучения, многоязычности и более эффективного размещения благодаря 4-битному представлению. Ограничения включают возможные потери качества из-за квантования, высокие требования к ресурсам по сравнению с небольшими моделями и отсутствие заявленной поддержки других модальностей. Модель распространяется по Llama 3.3 Community License от Meta. При распространении материалов или производных продуктов требуется включать текст лицензии, указывать «Built with Llama» и соблюдать Acceptable Use Policy; для продуктов с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

Llama-3-8B-ProLong-512k-Instruct — длинноконтекстная чат-модель Princeton NLP, созданная продолженным обучением и дообучением с учителем на основе Meta-Llama-3-8B-Instruct. Она рассчитана на генерацию ответов и работу с инструкциями при анализе больших объёмов текста. Модель имеет плотную архитектуру LlamaForCausalLM и 7,5 млрд параметров, принимает контекст длиной до 524 288 токенов. Для адаптации к длинным текстам модель обучали на данных ProLong с контекстами до 64K и 512K токенов; инструкционное дообучение проводилось на UltraChat. Авторы сообщают о сильных результатах в оценке длинноконтекстных моделей HELMET. Модель поддерживает диалоговый сценарий, но README не перечисляет конкретные языки и не приводит подробностей о качестве на отдельных задачах. Лицензия — Llama 3 (llama3).

marin-8b-instruct-i1-GGUF — это GGUF-квантизированная версия языковой модели marin-8b-instruct, разработанной сообществом marin-community и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста и выполнения инструкций на английском языке. В основе лежит модель размером 8 миллиардов параметров; точные сведения об архитектуре и размере контекстного окна в README не указаны. Обучение или дообучение проводилось с использованием наборов данных для программирования, рассуждений, математики, естественных рассуждений и диалоговых взаимодействий, включая AceCode-87K, Bespoke-Stratos-17k, dolphin-r1, Natural Reasoning, OpenThoughts-114k-math и smoltalk. Основное преимущество — доступность множества вариантов GGUF-квантизации с разным соотношением размера, скорости и качества, что позволяет запускать модель на устройствах с ограниченными ресурсами. При этом низкобитные варианты могут заметно терять в качестве; в README отдельно отмечены ограничения некоторых конфигураций, а рекомендуемым назван вариант i1-Q4_K_M. Модель распространяется по лицензии Apache-2.0.

AceInstruct-7B-GGUF — это квантизированная версия инструкционной языковой модели AceInstruct-7B, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF и предназначена для запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель относится к задачам генерации текста и ориентирована на выполнение инструкций, программирование, математику и задачи общего назначения. В README указана поддержка английского языка. Доступны варианты от F32 и F16 до Q2_K_L, включая различные форматы Q4, Q5, Q6, Q8 и IQ; размер файлов варьируется примерно от 3,35 до 30,47 ГБ. Это позволяет выбирать баланс между качеством, требованиями к памяти и скоростью локального вывода. Ключевые архитектурные характеристики исходной модели, включая точный тип архитектуры и размер контекста, в README не указаны. К преимуществам относятся широкий выбор уровней квантизации и возможность локального запуска, а ограничениями — потенциальное снижение качества у наиболее компактных вариантов, англоязычная специализация и отсутствие сведений о мультимодальности. Модель распространяется по лицензии CC BY-NC-4.0, допускающей использование с ограничениями для некоммерческих целей.

OpenThaiGPT 1.6 72B — плотная языковая модель команды OpenThaiGPT для диалогов и общих задач на тайском и английском языках. Она основана на архитектуре Qwen2, содержит 71,5 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для ответов на вопросы, рассуждений, решения математических задач и помощи с кодом. Команда отмечает улучшения в рассуждениях о коде на тайском и английском языках, а также понимании тайского языка и культурного контекста. Модель можно запускать локально; для облегчённых вариантов доступны отдельные GGUF-квантизации. Это объединённая модель, собранная из OpenThaiGPT 1.5 72B Instruct и вариантов OpenThaiGPT 1.6 для экзаменационных задач, общих инструкций и Lexitron. Репозиторий содержит веса Safetensors. Указана лицензия other, без конкретизации её условий в предоставленных данных. Ответы модели не гарантированы; полная точность и применимость к конкретным задачам не установлены.

Melvin56/Phi-4-mini-instruct-abliterated-GGUF — это GGUF-квантизированная версия модели Phi-4-mini-instruct-abliterated, разработанная на основе модели huihui-ai/Phi-4-mini-instruct-abliterated. Модель предназначена для генерации текста, включая задачи обработки естественного языка и работы с кодом, и может использоваться в локальных приложениях через совместимые средства инференса GGUF. Модель поддерживает мультиязычную генерацию, включая арабский, китайский, чешский, датский, нидерландский, английский, финский, французский, немецкий, иврит, венгерский, итальянский, японский, корейский, норвежский, польский, португальский, русский, испанский, шведский, тайский, турецкий и украинский языки. Доступны варианты квантования Q2_K_S, Q2_K, Q3_K_M, Q3_K_L, Q4_K_M, Q5_K_M, Q6_K, Q8_0 и F16 размером примерно от 1,59 до 7,68 ГБ. Кванты подготовлены с использованием imatrix dataset и поддерживают различные режимы вычислений на CPU и GPU, включая AVX2, ARM NEON, Metal, cuBLAS, rocBLAS и SYCL; отдельные конфигурации могут работать медленнее или иметь ограничения совместимости. Сильными сторонами модели являются широкий выбор размеров квантования, мультиязычность и возможность локального запуска на разнообразном оборудовании. Ограничения включают отсутствие сведений о точном размере архитектуры, длине контекста и результатах тестирования, а также возможное снижение качества и скорости при использовании компактных квантов. Модель распространяется по лицензии MIT.

unsloth/Qwen2.5-1.5B-Instruct-unsloth-bnb-4bit — инструкция-ориентированная языковая модель семейства Qwen2.5, разработанная Qwen и опубликованная в формате Unsloth. Это квантованная 4-битная версия модели Qwen/Qwen2.5-1.5B-Instruct, предназначенная для диалогов, следования инструкциям, генерации и обработки текста, а также для задач программирования, математики и формирования структурированных ответов, включая JSON. Модель является каузальной языковой моделью с примерно 1,5 млрд параметров и работает через библиотеку Transformers. Формат Unsloth использует динамическое 4-битное квантование: разные части модели квантуются выборочно для снижения потребления памяти с целью лучшего сохранения точности по сравнению со стандартным 4-битным квантованием. В материалах семейства Qwen2.5 заявлена поддержка более 29 языков, включая русский, английский, китайский, французский, немецкий, испанский, японский и другие; точные параметры контекстного окна для данной версии в README не указаны. Сильными сторонами модели являются компактный размер, сниженные требования к памяти и улучшенные возможности следования инструкциям, работы с кодом, математикой и структурированными данными. Ограничения связаны с существенно меньшей ёмкостью по сравнению с крупными моделями, возможной потерей точности из-за квантования и тем, что README не содержит подробных результатов тестирования именно этой версии. Модель распространяется по лицензии Apache-2.0.

mradermacher/Qwen3.5-9B-Brainwaves-i1-GGUF — набор квантованных моделей в формате GGUF, созданный mradermacher на основе nightmedia/Qwen3.5-9B-Brainwaves. Это модель примерно на 9 млрд параметров; в README она также обозначена как vision model, однако подробности о визуальной архитектуре и поддерживаемых типах входных данных не приведены. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, математических и STEM-задач, исследовательских сценариев, а также творческого письма и ролевого взаимодействия. Заявлена поддержка английского, китайского, японского и испанского языков. Репозиторий содержит варианты квантования i1 от Q2_K до Q6_K и IQ-квантов, что позволяет выбирать между размером файлов, скоростью и качеством; рекомендуемым вариантом назван i1-Q4_K_M. К сильным сторонам относятся разнообразие доступных квантов и возможность запуска через совместимое с GGUF программное обеспечение. Ограничения — отсутствие в README подробных сведений об архитектуре, точном размере контекста, результатах тестирования и фактических возможностях vision-компонента; квантование может снижать качество по сравнению с исходной моделью. Указанная лицензия — Apache-2.0.

majentik/Qwen3.6-35B-A3B-RotorQuant-MLX-2bit — это 2-битная квантизированная версия Qwen/Qwen3.6-35B-A3B, подготовленная для запуска на Apple Silicon с использованием фреймворка MLX. Базовую модель разработала команда Qwen, а данный вариант опубликован пользователем или организацией majentik. Модель предназначена для генерации и обработки текста, включая диалоговые сценарии, написание текстов, ответы на вопросы и программный код. Модель использует архитектуру Mixture-of-Experts: всего 35 млрд параметров, из которых около 3 млрд активируются для каждого токена. Это позволяет снизить вычислительную нагрузку по сравнению с плотной моделью сопоставимого общего размера. Вариант содержит только языковую часть модели и не поддерживает изображения или видео; зрительный модуль и MTP-голова исключены. Приблизительный размер весов — 9 ГБ, рекомендуемый объём объединённой памяти — от 16 ГБ. Для работы используется MLX и загрузка через mlx_lm на компьютерах с Apple Silicon. Главное преимущество модели — компактность и относительно низкие требования к памяти при сохранении архитектуры с большим общим числом параметров. Ограничениями являются потери качества, характерные для агрессивной 2-битной квантизации, отсутствие мультимодального ввода и зависимость от совместимого оборудования и программного окружения. Обозначение RotorQuant относится к варианту выпуска; связанный с ним экспериментальный форк для квантизации KV-кэша считается устаревшим и не требуется для использования модели. Модель распространяется по лицензии Apache 2.0.

MuXodious/gemma-4-26B-A4B-it-ARA-heresy — дообученная версия мультимодальной Gemma 4 26B A4B IT от Google DeepMind. Автор применил к базовой модели движок Heretic с Arbitrary-Rank Ablation, чтобы сократить число отказов; в карточке указаны 3 отказа из 104 проверок против 103 из 104 у исходной модели. Это диалоговая модель с архитектурой Gemma4, которая принимает текст и изображения и генерирует текст. Её можно использовать для визуальных вопросов и ответов, разбора документов и изображений, диалогов, программирования и рассуждений. README описывает возможности семейства Gemma 4, включая длинный контекст до 256 тысяч токенов и поддержку многих языков, однако не подтверждает отдельными данными, что все эти характеристики проверены именно для этой производной версии. Модель распространяется в формате Safetensors по лицензии Apache 2.0. Уменьшение отказов не гарантирует корректность ответов или пригодность для всех сценариев; результаты ограничены приведённой проверкой.

Granite-3.3-8B-Base — базовая языковая модель IBM Granite Team для генерации и преобразования текста. Это плотный decoder-only трансформер на 8,2 млрд параметров с контекстом до 131 072 токенов. Архитектура использует GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги; модель распространяется в формате safetensors и по лицензии Apache 2.0. Модель предназначена для продолжения текста и задач с длинным контекстом: суммаризации, классификации, извлечения информации и ответов на вопросы. Поддержка Fill-in-the-Middle позволяет генерировать код или текст с учётом заданного префикса и суффикса. README указывает поддержку английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Модель не проходила safety alignment, поэтому может выдавать проблемный контент; возможны предвзятость, дезинформация и дословное воспроизведение фрагментов обучающих данных. Для практических задач, требующих специализированного поведения, IBM рекомендует использовать базовую модель как основу для дообучения.

Карточка модели yuwy-thu/llama31 на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-bnb-4bit — это 4-битно-квантизированная версия инструкционной модели Llama 4 Scout 17B-16E-Instruct, разработанной Meta. Модель предназначена для выполнения текстовых инструкций и решения широкого круга задач генерации и обработки текста, включая диалоговые сценарии, ответы на вопросы, суммирование и подготовку контента. В карточке указана поддержка арабского, немецкого, английского, испанского, французского, хинди, индонезийского, итальянского, португальского, тайского, тагальского и вьетнамского языков. Суффикс bnb-4bit указывает на 4-битное представление весов, которое обычно снижает требования к памяти и может упростить локальный запуск по сравнению с полноразмерной версией, однако точные требования к оборудованию, контекстное окно, сведения о мультимодальности и результаты тестирования в README не приведены. Модель удобна для инференса в условиях ограниченных вычислительных ресурсов, но квантизация может повлиять на точность и качество ответов относительно исходной версии. Модель распространяется по Llama 4 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama» и другие требования Meta; для организаций с более чем 700 миллионами ежемесячно активных пользователей предусмотрено получение отдельной лицензии.

TheBloke/Mistral-7B-Instruct-v0.2-GGUF — это набор квантизированных файлов в формате GGUF для языковой модели Mistral 7B Instruct v0.2, разработанной Mistral AI и квантизированной TheBloke. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая локальный запуск через llama.cpp и совместимые интерфейсы и библиотеки. Для форматирования запросов используется шаблон Mistral: <s>[INST] {prompt} [/INST]. Модель содержит 7 миллиардов параметров; поддерживаются варианты квантования с разной разрядностью, включая 2-, 3-, 4-, 5-, 6- и 8-битные версии. Формат GGUF ориентирован на эффективный запуск с использованием CPU и GPU и совместим с llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими перечисленными средствами. README не указывает языки, размер контекста или мультимодальные возможности, поэтому модель следует рассматривать как текстовую. К преимуществам относятся возможность локального запуска, широкий выбор уровней квантования и поддержка различных программных инструментов. Более сильное квантование уменьшает требования к памяти, но может снижать точность по сравнению с исходной моделью; конкретные компромиссы зависят от выбранного файла. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-4B-Base-unsloth-bnb-4bit — 4-битная версия базовой языковой модели Qwen3-4B-Base, подготовленная Unsloth и основанная на модели Qwen от команды Qwen. Это каузальная языковая модель на стадии предобучения, предназначенная для генерации и продолжения текста, обработки естественного языка, программирования, STEM-задач, логического рассуждения и работы с многоязычными данными. Поскольку модель является базовой, она не заявлена как специально обученная для диалогов или следования инструкциям. Модель содержит около 4,0 млрд параметров, из них 3,6 млрд без учёта embedding-слоёв, имеет 36 слоёв и использует Grouped-Query Attention с 32 головами для Q и 8 для KV. Максимальная длина контекста составляет 32 768 токенов. Семейство Qwen3 предварительно обучалось на 36 трлн токенов на 119 языках с использованием данных для кодирования, STEM, рассуждений, книг, многоязычных и синтетических источников. Ключевое преимущество варианта — 4-битное представление, снижающее требования к памяти; при этом квантование может ограничивать точность по сравнению с полной или менее агрессивно квантованной версией. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется актуальная версия библиотеки Transformers; версии ниже 4.51.0 не поддерживают архитектуру Qwen3.

Aya Expanse 32B — открытая по весам мультиязычная языковая модель, разработанная Cohere Labs. Она основана на предварительно обученной модели семейства Command и дополнительно обучена с учителем, с использованием предпочтений и объединения моделей. Модель предназначена для диалогов и генерации текста на 23 языках, включая русский, английский, арабский, китайский, хинди, японский и другие. Это авторегрессионная модель на архитектуре Transformer с 32 млрд параметров и контекстом до 128K токенов; она принимает текст и генерирует текст. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование; также необходимо соблюдать Политику допустимого использования Cohere Labs. Модель выпущена как исследовательская, но подходит для практических мультиязычных задач; её ответы могут быть ошибочными, а качество — различаться между языками и задачами.

ChatGLM2-6B — разработанная командой THUDM двуязычная диалоговая модель второго поколения семейства ChatGLM. Это плотная модель на 7,5 млрд параметров с архитектурой ChatGLM, обученная на 1,4 трлн китайских и английских токенов и дополнительно выровненная с предпочтениями людей. Она предназначена для диалога и генерации текста, включая ответы на вопросы, многоходовое общение и задачи на рассуждение. Модель поддерживает китайский и английский языки и контекст до 32 768 токенов; при обучении диалогов использовалась длина контекста 8K. Для ускорения инференса применяется Multi-Query Attention, а реализация использует FlashAttention. В README отмечено, что модель ограниченно понимает сверхдлинные документы в рамках одного запроса. Репозиторий содержит веса PyTorch. Код распространяется по Apache-2.0, а для весов действует отдельная лицензия модели: бесплатное коммерческое использование разрешено после заполнения анкеты.

darkps_ice-AI-GGUF — это квантованные версии языковой модели ice-AI, разработанной DarkPs и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста, диалогового взаимодействия и задач программирования; заявлена поддержка нескольких языков. Входной модальностью является текст, спекулятивное декодирование не поддерживается. Модель содержит около 8 млрд параметров. Набор включает варианты от BF16 до низкоразрядных квантовок Q2 и IQ, размер файлов составляет примерно от 3,4 до 16,4 ГБ. Квантования с imatrix рассчитаны на работу через совместимые инструменты llama.cpp; разработчик рекомендует Q4_K_M как сбалансированный вариант по качеству, размеру и производительности, а Q6_K и Q6_K_L — для более высокого качества. Длина контекста в README не указана. Сильными сторонами являются широкий выбор квантований, возможность подобрать модель под доступный объём памяти и совместимость с экосистемой llama.cpp. Более компактные варианты экономят память, но могут заметно уступать старшим квантованиям по качеству. Лицензия — Apache-2.0; исходной моделью указана darkps/ice-AI.

gaunernst/gemma-3-27b-it-int4-awq — конвертированная в формат Hugging Face и AWQ модель Gemma 3 27B Instruction-tuned, разработанная Google DeepMind. Это QAT INT4-чекпойнт из Flax, первоначально полученный из Kaggle; в репозитории указано, что AWQ не применялся для самой квантизации. Модель предназначена для генерации текста и понимания изображений по текстовым и визуальным запросам, включая ответы на вопросы, суммаризацию, рассуждения и описание содержимого изображений. Модель имеет 27 млрд параметров, поддерживает текстовый и графический ввод и генерирует текст. Для изображений используется нормализация до 896×896 пикселей с кодированием в 256 токенов на изображение. Контекстное окно составляет 128 000 токенов, максимальный заявленный объём вывода — 8192 токена. Gemma 3 поддерживает более 140 языков и рассчитана на развёртывание на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре, хотя 27B-модель и мультимодальный режим требуют значительных вычислительных ресурсов. К сильным сторонам относятся мультимодальность, большое контекстное окно, многоязычность и снижение требований к памяти благодаря INT4-квантизации. Ограничения включают возможные потери качества по сравнению с полноразмерной моделью из-за квантизации, а также необходимость совместимого программного окружения и достаточных аппаратных ресурсов. Для использования требуется принять условия лицензии Google Gemma на Hugging Face; в карточке указана лицензия gemma.

Это GGUF-квантизации модели gemma-3-27b-it-ultra-uncensored-heretic, созданной независимым разработчиком LLMfan46 на основе Google Gemma 3 27B Instruct от Google DeepMind. Модель модифицирована с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA), чтобы уменьшить склонность исходной модели к отказам и ограничениям при сохранении её исходных возможностей. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и анализа изображений. Это мультимодальная модель с текстовым и графическим вводом и текстовым выводом; заявлена поддержка более 140 языков. Контекстное окно составляет 128K токенов, максимальный объём вывода — 8192 токена. Для работы с изображениями требуется отдельный vision projector, совместимый с выбранной квантизацией. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S, что позволяет выбирать между качеством, размером и требованиями к памяти. По данным README, модифицированная версия показала 5 отказов из 100 против 98 из 100 у исходной модели, а KL divergence составила 0,0616; это указывает на значительно меньшее число отказов при относительно близком поведении к оригиналу. Модель совместима с llama.cpp, LM Studio, Ollama и другими инструментами, поддерживающими GGUF. Используется лицензия Gemma; применяются условия использования Google.

OnlyTextLLMs выпустила текстовую версию Gemma 4 26B A4B IT: из исходной модели Google удалены компоненты обработки изображений и аудио, а текстовая часть весов и языковая головка сохранены. Это причинная языковая модель Gemma4ForCausalLM с 25,23 млрд параметров по README; метаданные каталога указывают 2 млрд параметров, поэтому размер модели в источниках расходится. Модель предназначена для диалогов и генерации текста. Она принимает текст и выдаёт текст; её контекст составляет 262 144 токена. Модель распространяется по лицензии Apache 2.0.

Locutusque разработала Llama-3-NeuralHercules-5.0-8B — дообученную модель семейства Llama 3 для диалогов и решения сложных задач. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и рассчитана на контекст до 8192 токенов. Она принимает текст и генерирует текстовые ответы; в карточке заявлена поддержка английского и многоязычное применение. Модель дообучена на Hercules v5.0 в течение двух эпох, а затем на mlabonne/orpo-dpo-mix-40k методом DPO. Её предполагаемые сценарии — ответы на вопросы, научное и математическое рассуждение, помощь с программированием и разбор медицинских текстов. Указана лицензия Llama 3 в метаданных, тогда как README заявляет Apache-2.0; условия лицензирования следует сверить с актуальными файлами репозитория перед использованием.

QuantFactory/Llama-3-Open-Ko-8B-GGUF — квантованная версия модели Llama-3-Open-Ko-8B, созданная с использованием llama.cpp. Базовую модель разработал Junbum Lee (Beomi) на основе Meta Llama 3; она представляет собой продолжительно предобученную авторегрессионную языковую модель с оптимизированной архитектурой Transformer. Модель предназначена для генерации текста и кода, а также для адаптации под различные задачи обработки естественного языка, включая дообучение специализированных и диалоговых моделей. Она принимает только текст и генерирует текст или код. Модель ориентирована прежде всего на английский и корейский языки; для обучения использовались более 17,7 млрд токенов и свыше 60 ГБ дедуплицированных общедоступных текстов. Размер модели — 8B параметров, контекст — до 8 тысяч токенов, поддерживается Grouped-Query Attention (GQA), дата отсечения знаний — июнь 2023 года. К сильным сторонам относятся адаптация Llama 3 к корейскому языку, открытые данные обучения и доступность в квантованном формате, потенциально снижающем требования к ресурсам при локальном запуске. Ограничения заключаются в том, что это статическая офлайн-модель без встроенного обновления знаний и базовая предобученная версия, а не готовая instruction-tuned модель; для диалоговых сценариев и соблюдения требований безопасности может потребоваться дополнительное дообучение и внешние защитные механизмы. Использование регулируется лицензией Llama 3 и соответствующей Acceptable Use Policy; необходимо соблюдать их ограничения и применимое законодательство.

saishf/Long-SOVL-Experiment-8B-L3-262K — объединённая разговорная языковая модель, созданная с помощью mergekit методом Model Stock на базе gradientai/Llama-3-8B-Instruct-262k. В объединение вошли модели Aura, BlueMoon, Luna, RP_Format_QuoteAsterisk и Smarts от ResplendentAI. Модель построена на архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и принимает текст для генерации текста; поддерживает контекст до 262 144 токенов. Модель предназначена для диалогов и генерации ответов, включая работу с длинными текстами в пределах контекстного окна. Репозиторий содержит веса в формате safetensors. Сведения о лицензии и конкретных ограничениях качества в предоставленных данных отсутствуют.

LwQ-Reasoner-10B — дообученная модель prithivMLmods для генерации текста и диалогов. Она основана на плотной авторегрессионной архитектуре Llama и обучена на синтетических наборах данных для рассуждений. Размер модели — 9,9 млрд параметров, контекстное окно — 32 768 токенов; веса доступны в формате safetensors, запуск предполагает библиотеку Transformers. Модель предназначена для многоязычных диалогов, следования инструкциям и решения задач, требующих математических рассуждений или использования заданного контекста. Её можно применять в чат-ботах, обучающих помощниках, для ответов на вопросы, составления сводок и генерации текстов. Карточка указывает лицензию Llama 3.1. Качество может различаться между языками; модель может ошибаться в узкоспециализированных темах и сложных многошаговых рассуждениях, а неоднозначные инструкции способны ухудшить результат. При работе с длинными материалами нужно учитывать ограничение контекста, а для запуска модели такого размера требуются значительные вычислительные ресурсы.

Magnum-Picaro-0.7-V3-12b — объединённая чат-модель на 12,1 млрд параметров, созданная Trappu с помощью LazyMergekit из Trappu/Nemo-Picaro-V2-12B и anthracite-org/magnum-v2-12b. В основе лежит плотная архитектура Mistral с моделью MistralForCausalLM; слияние выполнено методом TIES, веса сохранены в формате safetensors. Модель предназначена для диалогов и генерации текста по запросу. Каталог указывает контекст до 1 024 000 токенов. Метаданные описывают базовую модель как предназначенную для следования инструкциям и связной генерации на нескольких языках, но отдельные языки для этой версии не перечислены. Модель распространяется под лицензией, указанной в карточке Hugging Face; доступные сведения её не содержат.

Meta-Llama-3.1-405B-Instruct-AWQ-INT4 — это общественно подготовленная квантованная версия большой языковой модели Meta-Llama-3.1-405B-Instruct, разработанной Meta AI. Модель предназначена для генерации текста и ведения многоязычных диалогов, включая ассистентские сценарии, ответы на вопросы и другие задачи, поддерживаемые instruction-tuned моделями. Она работает в формате text in/text out и интегрируется с Transformers, AutoAWQ и Text Generation Inference. Модель содержит 405B параметров и использует архитектуру Llama 3.1. FP16-версия была преобразована в INT4 с помощью AutoAWQ: применяются GEMM-ядра, zero-point quantization и размер группы 128. В README заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Точный размер контекстного окна в представленных данных не указан. Ключевое преимущество — значительное снижение требований к памяти по сравнению с FP16 при сохранении возможностей 405B-модели и поддержке оптимизированного инференса. Ограничения связаны с экстремально большим размером: для загрузки чекпойнта требуется около 203 GiB VRAM без учета KV-кэша и CUDA graphs, поэтому для практического запуска нужна мног GPU-конфигурация или сопоставимая инфраструктура. Модель распространяется по лицензии llama3.1; это именно community-driven квантованная версия оригинальной модели Meta.

Карточка модели alexakkol/mistral-7B-instruct-v0.2 на Hugging Face совпадает с карточкой MaziyarPanahi/Mistral-7B-Instruct-v0.2, поэтому описание составлено по ней. MaziyarPanahi/Mistral-7B-Instruct-v0.2 — инструктивно дообученная версия языковой модели Mistral-7B-v0.2, опубликованная Maziyar Panahi на основе модели Mistral AI. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров, рассчитанная на диалог и выполнение инструкций. Она принимает текстовые запросы в формате Mistral Instruct и генерирует текстовые ответы; поддерживает контекст до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы, создания и редактирования текстов и других сценариев генерации текста. В README говорится, что версия Instruct служит демонстрацией возможностей дообучения базовой модели. Карточка предупреждает, что у модели нет встроенных механизмов модерации, поэтому сгенерированные ответы могут требовать дополнительной проверки. Модель распространяется под лицензией Apache-2.0.

Это GGUF-квантизированная версия инструкционной языковой модели Llama-3.1-8B-UltraLong-1M-Instruct, разработанной NVIDIA и подготовленной пользователем bartowski. Модель относится к семейству Llama 3.1, имеет около 8 млрд параметров и предназначена для генерации текста и диалогового взаимодействия. В названии указана поддержка сверхдлинного контекста до 1M токенов; в метаданных README заявлен английский язык. Модель подходит для локального запуска в сценариях вопросно-ответного взаимодействия, написания и преобразования текста, анализа длинных документов и других задач text-generation. Файлы представлены в формате GGUF с вариантами квантизации от bf16 до Q3 и IQ4; наиболее качественные варианты требуют больше памяти, а компактные версии позволяют запускать модель на системах с ограниченными ресурсами, но могут сильнее уступать исходным весам по качеству. Квантизация выполнена с использованием imatrix и llama.cpp release b5074. Запуск поддерживается через llama.cpp, LM Studio и другие проекты на базе llama.cpp. Лицензия модели — CC BY-NC 4.0, поэтому коммерческое использование ограничено условиями этой лицензии.

Mungert/Phi-4-mini-instruct-GGUF — набор GGUF-версий инструкционной языковой модели Phi-4-mini-instruct, разработанной Microsoft и опубликованный пользователем Mungert. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи обработки естественного языка и кода. Доступны варианты для запуска на GPU, CPU и устройствах с ограниченной памятью. Представлены файлы в форматах BF16 и F16, а также квантованные варианты Q8_0, Q6_K, Q4_K, Q4_0 и IQ3. Квантование уменьшает потребление памяти ценой возможного снижения точности. Заявлена поддержка multilingual-сценариев и языков, включая английский, русский, китайский, японский, корейский, арабский, французский, немецкий, испанский, португальский, украинский и другие. Точный размер модели, архитектура, максимальная длина контекста и мультимодальные возможности в README не указаны; по описанию это текстовая модель. Сильные стороны набора — широкий выбор точности и размера файлов, возможность локального запуска на CPU или GPU и адаптация под устройства с разными ограничениями памяти. Более низкобитные варианты экономичнее, но могут уступать полноформатным версиям по качеству. В README не приведены результаты тестов, точные требования к памяти и подробные ограничения поведения модели. Лицензия — MIT.