I.14Автоматизация процессов и AI-агенты
В разделе собраны самостоятельные задачи, где AI помогает выполнять многошаговые цифровые процессы и координировать действия между системами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 022 моделиgoogle/t5gemma-ml-ml-ul2-it — инструкция-дообученная текстовая модель семейства T5Gemma от Google, построенная как encoder-decoder с энкодером и декодером размера ML и адаптацией UL2. Семейство T5Gemma преобразует предварительно обученные decoder-only модели в encoder-decoder архитектуру; эта версия предназначена для диалоговой генерации текста по инструкциям. Модель работает с текстом на английском языке и использует библиотеку Transformers; репозиторий содержит веса в формате Safetensors. Модель подходит для ответов на вопросы, суммаризации, рассуждений и создания текстов, включая черновики писем, маркетинговые материалы и творческие форматы. Компактный размер семейства позволяет рассматривать запуск на локальных компьютерах или в облаке, хотя для этой конкретной версии в предоставленных данных нет точного числа параметров. Качество зависит от обучающих данных и формулировки запроса; модель может упускать языковые нюансы, ошибаться в фактах и воспроизводить смещения. Лицензия — Gemma; применяются ограничения политики допустимого использования Gemma.
Tuldur-8B — объединённая языковая модель, созданная jeiku с помощью mergekit и метода SLERP из allenai/Llama-3.1-Tulu-3-8B и Delta-Vector/Baldur-8B. Модель построена на архитектуре Llama с плотной причинной языковой моделью и содержит около 7,5 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно использовать для ответов на запросы, следования инструкциям и других текстовых задач, поддерживаемых объединёнными моделями. Заявленная длина контекста — 131 072 токена. Веса опубликованы в формате safetensors; для работы указана библиотека Transformers. Лицензия в предоставленных данных не указана.
Vikhrmodels/Vikhr-7B-instruct_0.2 — русско- и англоязычная инструкция-модель семейства Llama, опубликованная Vikhrmodels. Она предназначена для генерации текста и ответов на запросы в формате инструкций. Модель имеет плотную архитектуру LlamaForCausalLM, 6,7 млрд параметров и контекстное окно 2048 токенов. В метаданных указаны наборы данных Vikhr_instruct и darulm. Репозиторий содержит веса в формате safetensors. Карточка README сообщает о GGUF-версии, но не содержит подробностей о её характеристиках. Лицензия в предоставленных данных не указана.
XVERSE-MoE-A4.2B-Chat — разработанная Shenzhen Yuanxiang Technology чат-модель на архитектуре decoder-only Transformer с механизмом смеси экспертов (MoE), выровненная на основе XVERSE-MoE-A4.2B. В базовой модели 25,8 млрд параметров, из которых при вычислении активируются 4,2 млрд; в метаданных этого репозитория указано 1,4 млрд параметров. Модель поддерживает более 40 языков, включая китайский, английский, русский и испанский, и рассчитана на контекст до 8192 токенов. Модель предназначена для диалогов, ответов на вопросы и генерации текста на нескольких языках. В архитектуре используются общие и маршрутизируемые эксперты; по карточке, обучение проводилось на 2,7 трлн токенов с последовательностями длиной 8K. Репозиторий содержит веса PyTorch и поддерживает загрузку через Transformers. Модель может выдавать неточные, предвзятые или оскорбительные ответы, поэтому перед внедрением нужна проверка безопасности под конкретный сценарий. Метаданные указывают лицензию Apache-2.0; карточка отдельно отмечает открытость весов для академических исследований и возможность бесплатного коммерческого использования с оформлением коммерческой лицензии.
Это GGUF-квантизированная версия языковой модели aya-23-8B, разработанной CohereForAI и опубликованной в репозитории bartowski. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix; доступны варианты от IQ1 до Q8_0 с разным размером файла, качеством и требованиями к памяти. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через совместимые с llama.cpp локальные приложения. Модель содержит около 8 миллиардов параметров в исходной версии и ориентирована на многоязычное применение. В README заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского, арабского, греческого, персидского, польского, индонезийского, чешского, иврита, хинди, нидерландского, румынского, русского, турецкого, украинского и вьетнамского языков. Мультимодальность и размер контекста в предоставленных данных не указаны. Для диалогов требуется специальный шаблон prompt format с системными, пользовательскими и ответными токенами. Сильная сторона сборки — широкий выбор уровней квантизации: варианты Q6_K и Q5_K_M обозначены как обеспечивающие очень высокое или высокое качество, а Q4_K_M и Q4_K_S предлагают баланс качества и экономии памяти. Более компактные варианты позволяют работать при ограниченном объёме RAM, но снижают качество; IQ1 и некоторые низкоразрядные варианты не рекомендуются. Модель распространяется по лицензии CC BY-NC 4.0, допускающей некоммерческое использование с соблюдением условий лицензии.
Aya Expanse 8B — многоязычная языковая модель для генерации текста, разработанная CohereForAI. Данная версия распространяется в формате GGUF и представляет собой квантованную сборку исходной модели CohereForAI/aya-expanse-8b; квантование выполнено bartowski на основе llama.cpp. Модель предназначена для локального запуска и поддерживает контекст длиной до 8192 токенов. Модель ориентирована на работу с текстом на 23 языках, включая английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский, арабский, греческий, персидский, польский, индонезийский, чешский, иврит, хинди, нидерландский, румынский, русский, турецкий, украинский и вьетнамский. Ключевая сильная сторона — расширенные многоязычные возможности, что делает модель подходящей для генерации, преобразования и обработки текста в многоязычных сценариях. В README не приведены подробные сведения об архитектуре, конкретных результатах тестирования, требованиях к ресурсам или ограничениях качества, поэтому их оценку нельзя уточнить по имеющимся данным. Модель распространяется по лицензии CC-BY-NC-4.0 и предназначена только для некоммерческого использования. Также необходимо соблюдать C4AI Acceptable Use Policy и условия лицензионного соглашения Cohere; для доступа требуется принятие соответствующих условий и предоставление запрошенных данных.
Beaglake-7B — диалоговая модель генерации текста, созданная shadowml путём слияния shadowml/BeagleX-7B и macadeliccc/WestLake-7B-v2-laser-truthy-dpo с помощью LazyMergekit и метода SLERP. Это плотная причинно-языковая модель архитектуры Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; веса представлены в формате safetensors и сохранены в bfloat16. Модель предназначена для диалога и генерации ответов на текстовые запросы. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
mlx-community/DeepSeek-V3.1-4bit — это 4-битно квантованная версия языковой модели DeepSeek-V3.1, разработанная сообществом mlx-community на основе модели deepseek-ai и преобразованная в формат MLX с использованием mlx-lm 0.26.3. Модель предназначена для генерации текста и локального запуска в экосистеме MLX. Она поддерживает сценарии диалогового взаимодействия и текстовой генерации через библиотеку mlx-lm; README также указывает на наличие chat template, совместимого с сообщениями ролей user и assistant. Архитектура, количество параметров, поддерживаемые языки, размер контекста и дополнительные модальности в предоставленных данных не указаны, поэтому нельзя достоверно оценить эти характеристики. Ключевая особенность модели — 4-битное представление, потенциально снижающее требования к памяти по сравнению с полной точностью, а также адаптация к MLX. Ограничения и результаты бенчмарков в README не приведены. Модель распространяется по лицензии MIT.
Eagle2-1B — компактная мультимодальная модель Vision-Language от NVIDIA для сценариев, где важны быстрый вывод и умеренные вычислительные ресурсы. Она построена на архитектуре Eagle 2.5 VL и объединяет языковую основу Qwen2.5-0.5B-Instruct с компонентами PaliGemma и SigLIP; модель распространяется в формате safetensors и рассчитана на контекст до 16 тысяч токенов. Модель принимает текст, изображения и видео и формирует текстовые ответы. Она подходит для диалога по изображениям и видео, ответов на вопросы по документам, графикам и визуальным данным. В README приведены результаты на DocVQA, ChartQA и InfoVQA; они показывают применимость к анализу документов и диаграмм, но сами по себе не гарантируют качество в конкретном сценарии. Карточка указывает поддержку нескольких языков, не перечисляя их по отдельности. Модель доступна по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Как и другие VLM, она может ошибаться при распознавании визуальных деталей и интерпретации материалов; перед применением в значимых процессах ответы следует проверять.
Elysium-Omni-11b — объединённая диалоговая модель для генерации текста, созданная powermove72 с помощью LazyMergekit. Она объединяет Elysium-Omni-Itt-11b и SoMix2-xb линейным слиянием с весами 0,8 и 0,2 соответственно. Модель построена на плотной архитектуре Mistral с 11 млрд параметров и контекстом до 32 768 токенов. Она предназначена для диалогов и генерации ответов на текстовые запросы. В репозитории указаны веса Safetensors; конфигурация слияния использует float16. Лицензия в доступных данных не указана.
GLM-5.3-MLX-mixed-4_8bit — сборка модели GLM-5.3 от zai-org, адаптированная PipeNetwork для MLX и Apple Silicon. Это генеративная текстовая модель на архитектуре Mixture-of-Experts glm_moe_dsa с 744 млрд параметров, 256 экспертами и маршрутизацией top-8. В архитектуре используется MLA со sparse attention в стиле DeepSeek-V3.2. Модель предназначена для генерации текста и локального инференса на компьютерах Apple Silicon. Экспертные слои занимают около 724,8 млрд параметров и квантизованы в 4 бита, тогда как attention, общие эксперты, плотные слои, эмбеддинги и lm_head хранятся в 8 битах; маршрутизаторы, нормы и индексатор сохранены в исходной точности. Размер файлов составляет около 427,8 ГБ, для запуска рекомендуется Mac с 512 ГБ оперативной памяти. Сборка использует библиотеку MLX и требует специального runtime-файла glm_moe_dsa.py; указанный README рекомендует запуск через mlx-lm с включённым trust remote code. По измерениям на wikitext-2 модель имеет perplexity 2,7420, что лучше равномерной 4-битной версии, хотя смешанная квантизация требует примерно на 9 ГБ больше места. Основные ограничения — крайне высокие требования к памяти, отсутствие multi-token-prediction layer и возможное снижение качества на контекстах свыше 2048 токенов из-за особенностей sparse indexer; заявленная длина контекста в README не указана. Лицензия — GLM-5.3 license, унаследованная от исходной модели; точные условия приведены в файле LICENSE.
jordiclive/instruction-tuned-gpt-neox-20b — экспериментальная языковая модель на архитектуре GPT-NeoX, дообученная следовать инструкциям и генерировать текст. Модель содержит 26,9 млрд параметров, принимает текст и выдаёт текст; нативная длина контекста — 2048 токенов. Её можно применять для ответов на инструкции и запросы, генерации продолжений и других текстовых задач общего назначения. В карточке не приведены сведения о специальных предметных областях или поддерживаемых естественных языках. Модель экспериментальная; лицензия в предоставленных данных не указана.
Kosmos-EVAA-TSN-8B — объединённая модель семейства Llama, созданная jaspionjader с помощью mergekit методом SLERP из jaspionjader/Kosmos-EVAA-gamma-light-8B и bunnycore/Tulu-3.1-8B-SuperNova. Это плотная авторегрессионная языковая модель примерно на 7,5 млрд параметров с контекстом до 8192 токенов, предназначенная для генерации текста. Сценарии применения и свойства базовых моделей указывают на диалоги и следование инструкциям. Модель опубликована в формате safetensors и рассчитана на работу через Transformers. Сведения о лицензии и специальных ограничениях в предоставленных материалах отсутствуют; перед использованием следует проверить условия базовых моделей и самого репозитория.
Llama-3-8B-Synthia-v3.5 — языковая модель общего назначения на архитектуре Llama, дообученная на наборе Synthia-v3.5 и других общедоступных данных. Вычисления для обучения профинансировала KindoAI. Модель содержит около 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Модель дообучена для следования инструкциям и ведения длительных диалогов. Её можно использовать для ответов на вопросы, диалогового помощника, генерации и продолжения текста. Карточка описывает оценивание на наборах задач Language Model Evaluation Harness, но не приводит результаты метрик. Модель может выдавать неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или иной неподходящий контент. В README она обозначена как uncensored. Лицензия — Llama 3 Community License (llama3).
Lyraea-medium-llama-3.1 — разговорная языковая модель семейства Llama 3.1, опубликованная Edgerunners. Это средний вариант серии small, medium и large, созданной на основе llama-3.1-8b-128k uncensored. Модель предназначена для генерации текста в диалоговом формате; автор отмечает, что варианты серии имеют разные сценарии применения. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров. Она принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов. В репозитории представлены веса Safetensors. Языковые сведения в карточке не приводятся. Модель предоставляется «как есть» и «по мере доступности», без гарантий; провайдер снимает с себя ответственность за ущерб и не гарантирует соответствие конкретным требованиям или безошибочную работу. Сведения о лицензии в доступных данных отсутствуют.
miqu-1-120b — крупная текстовая языковая модель, созданная wolfram с помощью mergekit: слои модели miqu-1-70b-sf были объединены методом passthrough в конфигурацию из 140 слоёв. Модель содержит около 120,1 млрд параметров, использует архитектуру Llama и рассчитана на генерацию текста и диалоговое общение. Максимальный контекст — 32 764 токена; в README указан шаблон запросов Mistral `[INST] ... [/INST]`. Модель предназначена для диалогов, ответов на вопросы, написания и продолжения текста. В карточке перечислены английский, немецкий, французский, испанский и итальянский; отзывы пользователей отмечают связность диалога и удержание контекста, а также отдельные случаи слабого следования инструкциям. Доступны варианты квантования EXL2 и GGUF. Лицензия указана как `other`; README сообщает, что использованы утёкшие веса, поэтому правовой статус и условия использования требуют отдельной проверки.
FuseAI/OpenChat-3.5-7B-Solar — диалоговая языковая модель, выпущенная авторами FuseChat из Университета Сунь Ятсена. Это промежуточная модель для попарного объединения знаний OpenChat-3.5-7B с моделью Solar; проект FuseChat использует этапы лёгкого дообучения и слияния параметров, чтобы перенести способности разных чат-моделей в одну модель. Модель основана на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Она предназначена для генерации ответов в диалоге, следования текстовым инструкциям и выполнения общих языковых задач. В карточке указано контекстное окно 8192 токена; описан набор FuseChat-Mixture, охватывающий разные стили, следование инструкциям и отдельные навыки. README приводит результаты FuseChat на MT-Bench, но они относятся к итоговой FuseChat-7B-VaRM, а не обязательно к этой промежуточной модели. Модель принимает текст и генерирует текст. В метаданных указан английский язык. Распространяется по лицензии Apache-2.0. Она унаследует ограничения базовых моделей и может ошибаться или выдавать недостоверные ответы; отдельных оценок качества именно этой промежуточной модели в карточке не приведено.
PureLLama3-8B — диалоговая языковая модель семейства Llama, созданная bunnycore путём объединения нескольких моделей с помощью mergekit и метода model_stock. В состав слияния входят ajibawa-2023/Uncensored-Frank-Llama-3-8B, bunnycore/LLama3-8B-FunStock и bunnycore/FunLLama3-8B. Модель предназначена для генерации текста и ответов в диалоге. Она содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст, формируя текстовые ответы; заявленная длина контекста — 8192 токена. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0.
JANGQ-AI/Qwen3.5-397B-A17B-JANG_1L — версия Qwen3.5-397B-A17B, подготовленная Jinho Jang с применением адаптивной смешанной квантизации JANG для запуска через MLX на компьютерах Mac с Apple Silicon. Модель имеет архитектуру MoE с гибридом GatedDeltaNet и полнослойного внимания: из 397 млрд параметров активны около 17 млрд, используются 512 экспертов на слой и top-10 активных экспертов. Профиль JANG_1L хранит экспертные MLP в 2-битном формате, а внимание, маршрутизаторы и эмбеддинги — в 8-битном; размер файлов составляет около 112 ГБ. Модель предназначена для диалогов, генерации текста и пошаговых рассуждений, а также анализа изображений. В карточке заявлена поддержка VLM и режима reasoning; приведён результат 86,5% на тесте MMLU из 200 вопросов при включённом reasoning, а также скорости генерации и обработки изображений. Для запуска требуется Mac с Apple Silicon и не менее 128 ГБ объединённой памяти, а также MLX Studio или пакет jang[mlx] версии 2.1.5 и выше. Лицензия — Apache-2.0. Это сильно сжатая производная базовой модели, поэтому качество может отличаться от исходной модели и других профилей квантизации; опубликованный результат MMLU основан на ограниченном наборе вопросов. Указанная конфигурация ориентирована на MLX и Apple Silicon, а карточка сообщает о несовместимости формата JANG с LM Studio, Ollama и oMLX.
Qwen3.5-397B-A17B-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.5-397B-A17B, подготовленный bartowski с использованием llama.cpp и метода imatrix. Исходная модель разработана командой Qwen; конкретные сведения о внутренней архитектуре, языках и размере контекста в представленном README не указаны. Модель имеет заявленный pipeline image-text-to-text, поэтому предназначена для задач генерации текста с обработкой текстово-графических входов, однако подробности поддерживаемых модальностей не приведены. Доступны варианты квантования от Q8_0 до Q3 и IQ-серий, с размером файлов примерно от 188 до 429 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для запуска подходят llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Также заявлена поддержка MTP-слоёв в новых версиях llama.cpp с параметром draft-mtp. Большой размер модели предъявляет крайне высокие требования к памяти и вычислительным ресурсам. Распространяется по лицензии Apache-2.0. README не содержит результатов бенчмарков, точных характеристик архитектуры, языкового охвата, длины контекста или подробного описания ограничений исходной модели.
lmstudio-community/Seed-OSS-36B-Instruct-MLX-8bit — 8-битная квантованная версия языковой модели Seed-OSS-36B-Instruct, разработанной ByteDance-Seed. Квантование выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon через MLX. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие задачи, поддерживаемые исходной instruct-моделью. В README указаны архитектурная база Seed-OSS-36B-Instruct, размер 36B параметров, текстовая модальность и 8-битное квантование. Сведения о поддерживаемых языках и размере контекстного окна не приведены. Ключевые преимущества — снижение требований к памяти по сравнению с полноразмерной версией и оптимизация для экосистемы Apple Silicon. Ограничения связаны с зависимостью от совместимого оборудования и MLX, а также с общими рисками генеративных моделей: возможны неточные, вредные или неподходящие ответы. Модель распространяется по лицензии Apache-2.0.
T5Gemma-2B-2B-PrefixLM-IT — разработанная Google instruction-tuned модель семейства T5Gemma с энкодером и декодером по 2 млрд параметров. Она основана на предварительно обученной модели google/t5gemma-2b-2b-prefixlm и предназначена для генерации и преобразования текста по инструкциям. Архитектура encoder-decoder объединяет энкодер и декодер; веса доступны в формате safetensors и модель рассчитана на работу с английским текстом. Её можно применять для ответов на вопросы, суммаризации, рассуждений и создания текстов. Небольшой по меркам крупных языковых моделей размер позволяет запускать её на локальных компьютерах или в облачной инфраструктуре. Модель может ошибаться в фактах, хуже справляться со сложными или неоднозначными запросами и наследовать смещения обучающих данных. Лицензия — Gemma; перед использованием следует учитывать политику допустимого использования Gemma.
Карточка модели yulan-team/YuLan-Base-12b на Hugging Face совпадает с карточкой yulan-team/YuLan-Chat-3-12b, поэтому описание составлено по ней. YuLan-Chat-3-12B — диалоговая большая языковая модель, разработанная исследователями Высшей школы искусственного интеллекта имени Гаолин при Народном университете Китая. Модель построена на плотной архитектуре Llama с 11,7 млрд параметров и предназначена для генерации ответов в диалоге и выполнения текстовых инструкций. Она обучена с нуля на англоязычных, китайских и многоязычных данных, а затем дообучена на качественных англо-китайских инструкциях и данных о человеческих предпочтениях с помощью обучения по учебной программе. Модель поддерживает контекст до 4096 токенов и ориентирована прежде всего на английский и китайский языки. Её можно применять для диалоговых помощников, ответов на вопросы, генерации и преобразования текста. В карточке указана лицензия MIT. Модель может генерировать неожиданные ответы, включая предвзятое, дискриминационное или вредоносное содержание.
DeepSeek-V3 — крупная языковая модель с архитектурой Mixture-of-Experts, разработанная командой DeepSeek AI. Модель содержит 671 млрд параметров, из которых для каждого токена активируется около 37 млрд. Она предназначена для работы с естественным языком, генерации и анализа текста, программирования, решения сложных задач и сценариев, требующих развитого рассуждения. Модель доступна как открытая базовая модель, дополненная этапами supervised fine-tuning и reinforcement learning. Архитектура DeepSeek-V3 основана на Multi-head Latent Attention и DeepSeekMoE, унаследованных и развитых по сравнению с DeepSeek-V2. Среди ключевых нововведений — балансировка нагрузки без вспомогательной функции потерь и обучение с предсказанием нескольких токенов, которое также может применяться для ускорения speculative decoding. Модель предварительно обучена на 14,8 трлн разнообразных токенов; заявлена поддержка эффективного FP8-обучения. В README не указаны точная длина контекста, перечень языков и дополнительные модальности, поэтому модель следует рассматривать прежде всего как текстовую LLM. Сильными сторонами DeepSeek-V3 являются высокая заявленная производительность, эффективное использование параметров при инференсе, развитые возможности рассуждения и сравнительная экономичность обучения. Ограничения включают значительный общий размер модели и соответствующие требования к вычислительным ресурсам; конкретные характеристики инференса и результаты по отдельным задачам зависят от конфигурации и реализации. Код распространяется по лицензии MIT, а сама модель — по Model Agreement.
casperhansen/llama-3.3-70b-instruct-awq — это AWQ-квантизированная версия языковой модели Llama 3.3 70B Instruct, разработанной Meta и подготовленной в формате AWQ с использованием AutoAWQ. Модель предназначена для многоязычного диалога, генерации текста и кода, рассуждений, решения математических задач, программирования и сценариев с использованием инструментов. Она работает только с текстом на входе и выходе. Модель построена на авторегрессионной оптимизированной архитектуре Transformer, имеет 70 миллиардов параметров, поддерживает Grouped-Query Attention (GQA) и контекст длиной до 128 тысяч токенов. Она обучена на более чем 15 триллионах токенов из общедоступных онлайн-данных, а instruction-версия дополнительно использует supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; дата отсечения знаний — декабрь 2023 года. Сильными сторонами модели являются большой контекст, многоязычность и высокие заявленные результаты в задачах следования инструкциям, программирования, математики и понимания текста. К ограничениям относятся текстовая модальность, статичный характер модели и фиксированная дата отсечения знаний; качество и безопасность ответов могут зависеть от конкретного применения и квантизации AWQ. Использование регулируется пользовательской коммерческой лицензией Llama 3.3 Community License Agreement.
Это GGUF-квантизированная версия Meta-Llama-3.1-70B-Instruct, разработанная Meta и предназначенная для запуска с llama.cpp. Модель представляет собой авторегрессионную большую языковую модель на базе оптимизированной архитектуры Transformer. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности ответов. Модель работает только с текстом на входе и генерирует многоязычный текст и код. Она предназначена прежде всего для диалоговых ассистентов, генерации и обработки текста, программирования, синтетической генерации данных и дистилляции других моделей. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель содержит 70 млрд параметров, поддерживает Grouped-Query Attention и контекст длиной до 128 тысяч токенов. Данные обучения включают более 15 трлн токенов, срез знаний — декабрь 2023 года. Сильными сторонами являются большой контекст, многоязычный режим, поддержка кода и оптимизация для диалоговых сценариев. Это статическая модель, обученная на офлайн-данных, поэтому она не обладает актуальными знаниями после даты отсечения и может требовать проверки ответов. Репозиторий содержит квантизированный формат GGUF; для полной поддержки необходима llama.cpp версии 5e2727f или новее. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License и применимой Acceptable Use Policy.
coder3101/gemma-4-12B-it-qat-q4_0-unquantized-heretic — мультимодальная инструкционная модель на 12 млрд параметров, основанная на Gemma 4 от Google DeepMind и дообученная автором репозитория. Она предназначена для диалога, рассуждений, генерации и исправления кода, работы с инструментами, а также анализа изображений, видео и аудио. Архитектура Gemma 4 использует чередование локального скользящего и глобального внимания; для модели 12B заявлен контекст до 256 тысяч токенов. Модель принимает текст и мультимодальные данные и генерирует текст; аудиовозможности Gemma 4 12B включают распознавание речи и перевод речи в текст. Семейство поддерживает более 35 языков, хотя конкретный перечень для этого чекпойнта не приведён. Модификация помечена как uncensored/decensored/abliterated, поэтому предполагает ослабленные ограничения на ответы по сравнению с обычной инструкционной моделью. Возможности включают извлечение данных из документов, OCR, понимание экранов и диаграмм, суммаризацию и ответы на вопросы. Модель может ошибаться в фактах, терять нюансы языка и отражать смещения обучающих данных; сложные и открытые запросы требуют проверки. Лицензия — Apache-2.0.
Qwen3-30B-A3B-Instruct-2507-AWQ-4bit — 4-битная AWQ-квантизированная версия модели Qwen3-30B-A3B-Instruct-2507, опубликованная пользователем cyankiwi и основанная на модели Qwen/Qwen3. Исходная модель разработана командой Qwen. Это авторегрессионная языковая модель для генерации текста, диалогов и выполнения инструкций. Модель предназначена для следования инструкциям, логического рассуждения, понимания текста, математики, научных задач, программирования, использования инструментов и открытых текстовых запросов. Она поддерживает многоязычные сценарии и контекст длиной до 262 144 токенов. Архитектура — Mixture of Experts: 30,5 млрд параметров всего, из которых 3,3 млрд активируются на запрос; 48 слоёв, 128 экспертов, 8 активируемых экспертов, Grouped Query Attention с 32 головами Q и 4 головами KV. Модель работает только в режиме non-thinking и не формирует блоки <think></think>. Сильные стороны включают улучшенное следование инструкциям, качество рассуждений, программирование, творческое письмо, работу с длинным контекстом и многоязычными данными. Ограничения связаны с использованием только non-thinking режима, возможными ошибками генерации и потерей качества из-за 4-битной квантизации; конкретные требования к аппаратному обеспечению в предоставленных данных не указаны. Лицензия — Apache-2.0.
unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Meta Llama 3.1 8B, подготовленная с использованием Unsloth. Модель разработана Meta и предназначена для генерации текста и кода, диалоговых сценариев, ответов на инструкции и других задач обработки текста. Она работает только с текстовыми данными на входе и выдаёт текст или код. Модель построена на авторегрессионной оптимизированной архитектуре Transformer, использует Grouped-Query Attention (GQA) и содержит около 8 млрд параметров. Заявленная длина контекста составляет 128 тысяч токенов. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Instruction-тюнинг выполнен с применением supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности ответов. 4-битное представление снижает требования к памяти и может быть удобно для локального запуска и инференса на доступном оборудовании, однако потенциально ограничивает точность по сравнению с полноразмерными вариантами. Модель является статической и обучена на офлайн-данных; дата отсечения знаний — декабрь 2023 года. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License.
Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.