I.14Автоматизация процессов и AI-агенты

Tess-2.0-Mixtral — языковая модель общего назначения из серии Tess, разработанной migtissera. Она обучена на базе mistralai/Mixtral-8x7B-v0.1 и использует архитектуру MixtralForCausalLM с разреженной архитектурой MoE. Модель предназначена для генерации текста и диалогов; формат запросов включает роли SYSTEM, USER и ASSISTANT. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. В репозитории размещены веса в формате safetensors, лицензия — Apache-2.0. В карточке указано, что модель uncensored; она может выдавать неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или неподходящий контент, поэтому результаты следует проверять.

TriMistral-7B-TIES — объединённая модель для генерации текста и диалогов, созданная Muhammad2003 методом TIES с помощью LazyMergekit. В слиянии использованы NousResearch/Hermes-2-Pro-Mistral-7B и instructlab/merlinite-7b-lab; конфигурация также указывает HuggingFaceH4/zephyr-7b-beta как базовую модель. Модель построена на плотной архитектуре Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Карточка приводит результаты бенчмарков AI2 Reasoning Challenge и HellaSwag, но не описывает специализированные сценарии или гарантии качества. Репозиторий содержит веса в формате safetensors; лицензия — Apache 2.0.

MaziyarPanahi/una-cybertron-7b-v3-OMA-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и fblgit/una-cybertron-7b-v3-OMA методом slerp. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста в ответ на инструкции и диалоговые запросы; поддерживает контекст до 32 768 токенов. Модель подходит для диалоговых ассистентов и генерации ответов на текстовые запросы. В репозитории представлены веса Safetensors, а лицензия — Apache-2.0. В карточке нет сведений о специальных предметных областях или гарантированных показателях качества.

Zamba2-2.7B-Instruct — разговорная модель Zyphra для следования инструкциям и генерации текста. Она получена дообучением Zamba2-2.7B: сначала SFT на наборах UltraChat 200k и Infinity-Instruct, затем DPO на UltraFeedback Binarized, Orca DPO Pairs и OpenHermesPreferences. Модель использует гибридную архитектуру Mamba2 и Transformer: слои Mamba2 чередуются с общими слоями внимания; также применяются LoRA-проекции общего MLP. В репозитории указано 5,7 млрд параметров, контекст — до 4096 токенов. Модель предназначена для диалогов, выполнения инструкций, ответов на вопросы, рассуждений и других общих текстовых задач, включая локальное использование на устройствах. Разработчик заявляет о высокой скорости генерации и меньших требованиях к памяти по сравнению с сопоставимыми Transformer-моделями. Для оптимизированного запуска нужны совместимые версии Transformers, mamba-ssm и causal-conv1d; без оптимизированных ядер Mamba2 задержка и расход памяти заметно выше. В README также отмечена возможная неполная совместимость временной реализации с некоторыми фреймворками и инструментами. Лицензия — Apache-2.0.

AeolusBlend-7B-slerp — языковая чат-модель, созданная слиянием OpenPipe/mistral-ft-optimized-1218 и HuggingFaceH4/zephyr-7b-beta методом SLERP с помощью LazyMergekit. Она предназначена для генерации текста, ответов на вопросы и выполнения пользовательских инструкций в диалоге. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Поддерживает контекст длиной до 32 768 токенов; опубликованные веса представлены в формате safetensors. В карточке также приведён пример инференса с 4-битной квантизацией, но это не формат весов данного репозитория. Модель объединяет возможности двух исходных чекпойнтов, однако README не приводит сравнительных оценок качества или подробных результатов тестирования. Лицензия в предоставленных данных не указана.

ArliAI-Llama-3-8B-Dolfin-v1.0 — диалоговая языковая модель OwenArli на архитектуре Llama 3 с 7,5 млрд параметров и контекстом 8192 токена. Она дообучена методом SFT на базе Meta-Llama-3-8b-Instruct Abliterated v3 с использованием улучшенного набора данных Dolphin и WizardLM. Модель предназначена для генерации ответов в чате и выполнения инструкций; автор отмечает более точное следование запросам и меньше характерных для GPT формулировок. Модель принимает текст и выдаёт текст, используя формат диалоговых сообщений Llama 3 Instruct. Для лучших результатов автор рекомендует формулировать инструкции точно и задавать роль через системное сообщение. Обучение проводилось на последовательностях длиной до 8192 токенов с QLoRA, рангом 64 и alpha 64; в README также указано обучение с 4-битной загрузкой. Модель распространяется по лицензии Meta Llama 3 License. Это дообученный чекпойнт, и его ответы могут быть неточными или неуместными; описание автора указывает на сниженную склонность к отказам, поэтому следует проверять ответы и учитывать требования к безопасному применению.

Blur-7b-slerp-v1.43 — диалоговая языковая модель, созданная liminerity слиянием весов через mergekit. В основе архитектура Mistral с плотной causal language model на 7,1 млрд параметров; в конфигурации указаны метод слияния SLERP и точность float16. Модель предназначена для генерации текста в диалоговом формате и работы с инструкциями. Модель принимает текст и выдаёт текст. Её родительская модель заявлена как слияние трёх моделей Mistral для диалоговой генерации и следования инструкциям. Лицензия репозитория — Apache-2.0. В README не приведены конкретные языковые данные, поэтому языки использования не перечислены.

Это GGUF-квантизированная версия языковой модели olmo-marvin-full-merged, разработанной Burnt-Toast и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально с помощью llama.cpp и совместимых приложений, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. Доступны варианты от полноразмерных весов BF16 объёмом 64,47 ГБ до более компактных конфигураций с квантованием Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ. Квантование выполнено с использованием imatrix и llama.cpp версии b7721; некоторые варианты оптимизированы для снижения потребления памяти при сохранении качества, а наиболее качественными в README названы Q6_K_L, Q6_K и варианты Q5_K. Поддерживается шаблон диалога с ролями system, user и assistant. Архитектура, число параметров, контекстное окно, языки, мультимодальность и лицензия в предоставленных данных не указаны. Качество и требования к ресурсам зависят от выбранного варианта квантования: компактные версии экономичнее, но могут заметно уступать старшим по качеству.

c4ai-command-r7b-12-2024-abliterated-GGUF — GGUF-квантизированная версия текстовой генеративной модели c4ai-command-r7b-12-2024-abliterated. Модель подготовлена huihui-ai, а квантизации выполнены bartowski с использованием llama.cpp и метода imatrix. По идентификатору это модель класса 7B; точная архитектура и размер контекста в README не указаны. Модель предназначена для генерации и продолжения текста, диалоговых сценариев и локального запуска через llama.cpp или LM Studio. Указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского, арабского, греческого, персидского, польского, индонезийского, чешского, иврита, хинди, нидерландского, румынского, русского, турецкого, украинского и вьетнамского языков. Это текстовая модель без заявленной поддержки изображений, аудио или других модальностей. Доступны варианты от BF16 до различных уровней квантизации, примерно от 4,8 до 16,1 ГБ; версии Q5 и Q6 отмечены как высококачественные, а Q4_K_M рекомендована как стандартный вариант. Квантизация уменьшает требования к памяти и упрощает локальный запуск, но может снижать качество по сравнению с исходными весами. Модель помечена как abliterated и uncensored, поэтому её поведение, защитные ограничения и пригодность для чувствительных сценариев могут отличаться от исходной модели. Лицензия CC BY-NC 4.0 разрешает использование только на некоммерческих условиях; для загрузки требуется согласие с условиями лицензии.

ChimeraLlama-3-8B-v3 — объединённая языковая модель, созданная mlabonne с помощью LazyMergekit из семи моделей семейства Llama 3, включая инструктивные версии и варианты, дообученные с ORPO и DPO. Это плотная авторегрессионная модель на 7,5 млрд параметров для генерации текста и диалогового взаимодействия; заявленная длина контекста — 8192 токена. Модель принимает текст и выдаёт текст. Её можно использовать для ответов на вопросы, ведения диалога и генерации текста. В README приведены результаты оценок Open LLM Leaderboard, но они сами по себе не гарантируют качество на конкретных задачах. В метаданных указана лицензия «other»; условия использования следует сверить с карточкой модели и лицензиями объединённых базовых моделей.

Chinese-Alpaca-2-7B-16K — полноразмерная инструкционная чат-модель проекта Chinese LLaMA & Alpaca-2, основанная на Llama 2 и разработанная командой проекта. Модель расширяет китайский словарь исходной Llama 2 и дообучена на крупных массивах китайских данных; это плотная авторегрессионная модель семейства Llama с 6,7 млрд параметров, доступная в формате PyTorch. Модель предназначена для генерации текста и выполнения инструкций, в том числе для диалога и работы с длинными запросами. Заявленная длина контекста этой версии — 16 384 токена; README также указывает поддержку китайского и английского языков. Репозиторий допускает непосредственный запуск для инференса и полно-параметрического обучения и распространяется по лицензии Apache-2.0. Ключевые ограничения — меньшая ёмкость по сравнению с более крупными моделями и возможное снижение качества вне китайского и английского языков. Ответы могут содержать фактические ошибки, поэтому важные результаты следует проверять.

Edens-Gate/Control-8B-V1.1-abliteration — объединённая языковая модель, созданная с помощью mergekit методом task arithmetic на основе Delta-Vector/Control-8B-V1.1 и grimjim/Llama-3-Instruct-abliteration-LoRA-8B. Это плотная архитектура семейства Llama с примерно 7,5 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. Модель принимает текст и выдаёт текст; заявленная длина контекста — 131072 токена. Модель опубликована в формате safetensors и использует библиотеку Transformers. Метаданные не содержат сведений о лицензии, поэтому условия использования по имеющимся данным определить нельзя. Карточка описывает метод слияния, но не приводит оценок качества или подробных ограничений применения.

Darwin-180B-RSI — мультимодальная модель рассуждений семейства Darwin, разработанная VIDRAFT и оценённая FINAL-Bench. Она основана на Qwen3.8-Flash-Next с архитектурой Mixture-of-Experts и предназначена для диалогов, сложных задач по математике и естественным наукам, анализа изображений и разбора документов. Модель принимает текст и изображения и выдаёт текст; в карточке заявлены поддержка корейского и английского языков, а также контекст 262 тыс. токенов. Разработчик описывает подход Recursive Self-Improvement: модель дообучалась на собственных ответах, прошедших проверку по эталонным ответам или исполняемым проверкам. В README заявлены высокие результаты на бенчмарках рассуждений, мультимодального понимания и структурированного вывода; эти показатели приведены издателем и зависят от протокола оценки. Модель поддерживает интерфейс вызова инструментов и предназначена для запуска через Transformers или vLLM. README указывает на длительные цепочки рассуждений, которые могут обрезаться при малом лимите генерации, и предупреждает, что модель может уверенно ошибаться; для оценки уверенности предлагается ZTC. Лицензия обозначена как other; родительская модель указана под Qwen Community License 1.0, но условия лицензии самой Darwin-180B-RSI в доступных данных не раскрыты.

DeepSeek-V4.1-Flash-UNCENSORED-FP8 — модифицированная версия DeepSeek-V4.1-Flash от dealignai, созданная исследовательской командой dealignai. Это мультимодальная модель с поддержкой изображений, инструментов и рассуждений, предназначенная для диалоговых приложений, анализа текста и изображений, выполнения многошаговых задач и работы с длинным контекстом. Модель распространяется как стандартный checkpoint для Transformers и основана на deepseek-ai/DeepSeek-V4.1-Flash. Модель использует архитектуру Causal Encoder-Decoder с 20+20 слоями и MoE: 384 маршрутизируемых эксперта с выбором top-6 и один общий эксперт. Заявлены 552B параметров в backbone, из которых 8B/16B активны на токен. Также используются Hyper-Connections с четырьмя каналами остаточных связей, разреженное внимание CSA2, память Engram для n-грамм и черновая голова DSpark для speculative decoding. Весы представлены в нативном FP8 e4m3fn с блочным масштабированием E8M0, маршрутизируемые эксперты — в FP4. Контекстное окно составляет до 1 млн токенов, а визуальная часть основана на DeepSeek-ViT с 2D-RoPE и pixel unshuffle. Ключевая особенность — перманентная модификация весов, направленная на удаление встроенных механизмов отказа и ограничений безопасности; при этом заявлено сохранение основных возможностей, включая зрение, рассуждения, MTP и многоходовую связность. По приведённым тестам модель полностью выполняет запросы из HarmBench-320, однако её результат MMLU ниже базовой модели: 82,74% против 86,96%; без этических предметов снижение оценивается примерно в 1,1 процентного пункта. Поэтому модель может быть полезна для исследовательских и экспериментальных сценариев, требующих минимальных встроенных ограничений, но несёт повышенный риск генерации опасного или незаконного содержания и не подходит для неконтролируемых пользовательских продуктов. Лицензия — MIT.

DeepSeek-V4-Flash-0731-JANG-CRACK — дообученная и аблированная версия DeepSeek-V4-Flash-0731 от dealignai. Это языковая модель на архитектуре DeepSeek V4 с 10,7 млрд параметров и MoE-компонентами; опубликованный вариант использует смешанную квантизацию JANG affine и занимает около 95 ГБ. Модель рассчитана на генерацию текста, диалог, рассуждения и написание кода, а также на сценарии, где требуется отвечать без обычных отказов на опасные запросы. Модель поддерживает английский и китайский языки. В README заявлена длина контекста до 1 048 576 токенов с расширением yarn RoPE, однако такая длина не проверялась в тестах этой сборки: оценки проводились на коротких запросах. Для запуска автор рекомендует vMLX на Apple Silicon примерно с 128 ГБ объединённой памяти; также упомянуты vMLX и jang_tools как варианты запуска. В тестах README модель показала 71,84% на MMLU и 90% pass@2 на HumanEval, но результаты приведены разработчиком и не являются независимой оценкой. Ключевое свойство CRACK — снятие отказов на вредоносные запросы: README сообщает о выполнении всех 320 заданий HarmBench, включая запросы по киберпреступлениям и причинению вреда. Это делает модель пригодной для контролируемого исследования поведения моделей, но опасной для неограниченного использования. Известны редкие опечатки; генерация длинного контекста в этой сборке не стресс-тестировалась. Лицензия — MIT.

Это порт модели Escha Qwen3.8-27B, подготовленный degenmeowster для запуска через llama.cpp на AMD ROCm. В основе — дообученная EschaLabs/Qwen3.8-27B-Escha-W2; веса представлены в формате GGUF с 2-битной квантизацией Escha W2 и головой Q8_0. Модель использует плотную гибридную архитектуру Qwen35: 64 слоя, из которых 48 используют линейное внимание, а 16 — полное. В README заявлена поддержка контекста до 262144 токенов; порт проверен на AMD Radeon RX 7900 XTX с gfx1100. Модель предназначена для диалоговой генерации текста и задач рассуждения. README приводит измерения производительности и качества на указанной видеокарте, но они зависят от оборудования, настроек и протокола оценки. Сильные стороны — большой контекст и возможность полного размещения модели и KV-кэша на подходящей карте AMD; ограничение — сильная 2-битная квантизация может влиять на качество, а сведения о поддерживаемых естественных языках не приведены. Лицензия репозитория — Apache-2.0.

EXAONE 3.5 2.4B Instruct — двуязычная генеративная языковая модель, разработанная LG AI Research и настроенная для выполнения инструкций и диалогов на английском и корейском языках. Версия на 2,4 млрд параметров предназначена в том числе для развёртывания на устройствах с ограниченными ресурсами; модель поддерживает контекст до 32 768 токенов. Модель использует плотную архитектуру ExaoneForCausalLM: 30 слоёв и групповое запросное внимание с 32 Q-головами и 8 KV-головами. Её можно применять для диалоговых ответов, генерации текста и работы с длинным контекстом; также в метаданных указана поддержка классификации текста. Для запуска предусмотрены Transformers и среды TensorRT-LLM, vLLM, SGLang, llama.cpp и Ollama. Модель может выдавать фактически неверные, противоречивые, предвзятые или неподходящие ответы и не обладает актуальными знаниями о событиях после обучения. В карточке указана лицензия «other»; конкретные условия использования следует сверять с лицензией репозитория.

Darwin-36B-Opus-GGUF — квантизированная версия модели Darwin-36B-Opus от FINAL-Bench, подготовленная bartowski в формате GGUF с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста, сложных рассуждений, решения задач уровня выпускных и исследовательских экзаменов, а также многоязычных сценариев. Доступны варианты от IQ3 и Q3 до Q8 и исходного BF16; размер файлов составляет примерно от 17 до 69 ГБ. В README модель описывается как Mixture-of-Experts с акцентом на reasoning и поддержкой нескольких языков, включая английский, китайский, корейский, японский, немецкий, французский, испанский, русский и арабский. Указанный формат позволяет запускать её через llama.cpp, LM Studio, KoboldCpp, Jan AI и другие совместимые инструменты. Формат промпта использует специальные маркеры im_start и im_end, а ответ начинается с блока thinking. Сильными сторонами заявлены высокое качество рассуждений и многоязычная работа: в README приведены результаты 88,4% на GPQA Diamond и 85,0% на MMMLU, однако обе оценки помечены как непроверенные. Ограничения включают значительные требования к оперативной памяти и вычислительным ресурсам, зависящие от выбранного уровня квантизации; точный размер контекста и характеристики исходной архитектуры в README не указаны. Модель распространяется под лицензией Apache-2.0.

testmoto/gemma-2-llm2024-01 — объединённая текстовая модель от testmoto на базе Google Gemma 2 9B. Веса объединены методом DARE TIES с помощью mergekit из базовой Gemma 2 9B и трёх моделей: testmoto/gemma-2-9b-lora-0, testmoto/gemma-2-9b-platypus-02 и testmoto/gemma-2-9b-lora-aozora. Модель предназначена для генерации текста и может использоваться для диалогов, ответов на вопросы и суммаризации — типичных сценариев базовой модели Gemma 2. Она имеет плотную архитектуру Gemma2ForCausalLM, содержит 9 млрд параметров, принимает текст и генерирует текст, поддерживает контекст до 8192 токенов и доступна в формате safetensors для библиотеки Transformers. Языковая специализация объединённой модели в карточке не уточнена. Лицензия и конкретные ограничения применения в карточке не описаны; характеристики качества именно этого объединения также не приведены.

Gemma-3-1b-it-GGUF — квантизированная GGUF-версия модели gemma-3-1b-it, разработанной Google и подготовленной в квантизированном виде компанией Second State Inc. Это инструкционно настроенная модель генерации текста, предназначенная для диалогов, обработки пользовательских запросов и запуска локальных приложений и сервисов, включая LlamaEdge. Поддерживается контекст размером до 32 000 токенов. Сведения о языках, мультимодальности и точной архитектуре в README не указаны. Модель доступна в вариантах квантования от Q2_K до Q8_0, а также в формате f16, с размером файлов примерно от 689 МБ до 2,01 ГБ. Вариант Q4_K_M рекомендован как сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. Более низкие уровни квантования уменьшают требования к ресурсам, но могут существенно снижать качество; README отдельно указывает, что Q2_K и некоторые Q3- и Q4-варианты имеют значительные потери. Для использования заявлена лицензия Gemma.

Gemma 4 26B A4B it GGUF — это квантизированный набор файлов модели google/gemma-4-26B-A4B-it, подготовленный пользователем giladgd в формате GGUF для запуска через node-llama-cpp и llama.cpp. Модель относится к классу conversational и имеет тег image-text-to-text, что указывает на поддержку сценариев диалогового взаимодействия и обработки текста совместно с изображениями. Доступны варианты квантования Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_0, Q4_K_S, Q4_K_M, Q5_0, Q5_K_S, Q5_K_M, Q6_K, Q8_0 и BF16 размером от 10,6 до 50,5 ГБ. README не содержит сведений о точной архитектуре, максимальной длине контекста, поддерживаемых языках, результатах оценки или конкретных ограничениях качества. Квантование уменьшает требования к хранению и памяти по сравнению с полноформатной версией, однако более компактные варианты могут уступать ей по качеству. Модель предназначена для локального использования в приложениях и чат-сценариях через node-llama-cpp или llama.cpp; доступны CLI и программный интерфейс на TypeScript. Лицензия указана как Apache-2.0, при этом для Gemma приведена отдельная ссылка на условия лицензии Google.

GigaChat Audio MLX — независимый порт модели ai-sage/GigaChat3.1-Audio-10B-A1.8B в формате BF16 для запуска на компьютерах Apple Silicon с библиотекой MLX. Модель принимает аудио вместе с текстовой инструкцией и формирует текстовый ответ: расшифровку речи, перевод, ответы на вопросы об аудио, анализ эмоций, поиск событий с временными отметками и сводки с таймкодами. Архитектура основана на DeepSeek V3; в метаданных указано 1,5 млрд параметров и контекст длиной 262 144 токена. Модель поддерживает русский и английский языки. Репозиторий содержит веса safetensors в BF16; для работы требуется среда Apple Silicon. Разработчики порта сообщают о завершённой обработке тестового аудиофрагмента длительностью 5 минут 17 секунд за 10,41 секунды на Apple M4 Pro с 48 ГБ памяти, однако совместимость с другими конфигурациями не подтверждена. Порт создан независимо от авторов исходной модели. Лицензия модели — MIT. Модель не выполняет диаризацию, потоковое распознавание с микрофона или синтез речи; факты, метки эмоций, сводки и временные отметки могут быть ошибочными и требуют проверки по аудио.

bartowski/glm-4-9b-chat-GGUF — это набор квантованных версий диалоговой текстовой модели GLM-4-9B-chat, разработанной THUDM. Модель предназначена для генерации текста и ведения диалогов на китайском и английском языках, включая локальный запуск через llama.cpp и LM Studio. Модель имеет около 9 миллиардов параметров и распространяется в формате GGUF с вариантами квантования от Q8_0 до Q2_K и IQ2_M. Размер файлов составляет примерно от 3,93 до 9,99 ГБ. Для некоторых вариантов используются веса эмбеддингов и выходного слоя в формате Q8_0, что может улучшать качество, хотя эффект зависит от конфигурации. Длина контекста и другие архитектурные характеристики в README не указаны. Сильными сторонами являются возможность локального запуска, широкий выбор квантований под разные объёмы памяти и относительно высокое качество старших вариантов, особенно Q6_K_L, Q6_K, Q5_K и Q4_K. Более сильное сжатие уменьшает требования к памяти, но снижает качество и может ограничивать пригодность модели для сложных задач. Лицензия указана как GLM-4; подробные условия доступны по ссылке на лицензию исходной модели.

Intel/GLM-5.3-Flash-W4A16-AutoRound — это квантованная версия языковой модели GLM-5.3-Flash, разработанная Intel с использованием инструмента Intel Auto-Round в режиме Tuning. Базовая модель опубликована организацией zai-org. Модель предназначена для генерации текста и может применяться в задачах обработки естественного языка, включая работу с английским и китайским языками. В карточке указаны библиотека Transformers и тип задачи text-generation. Модель использует формат квантования INT4 по схеме W4A16, то есть веса представлены в 4-битном формате, а активации — в 16-битном. По приведённым тестам её средний результат составляет 0,8386 против 0,8399 у версии BF16, что соответствует 99,84% относительного качества; результаты также приведены для GSM8K, MMLU, PIQA и HellaSwag. Такое квантование потенциально снижает требования к памяти и облегчает развёртывание, однако README не содержит сведений о размере модели, архитектуре, длине контекста, поддерживаемых модальностях или системных требованиях. Модель может генерировать фактически неверные, предвзятые, оскорбительные или непристойные ответы, поэтому перед использованием необходимы тестирование безопасности и оценка пригодности для конкретного сценария. В карточке указана лицензия MIT, при этом рекомендуется соблюдать лицензию исходной модели; юридические условия коммерческого использования следует проверить отдельно.

Hermes-3-Llama-3.1-8B-lorablated-GGUF — это набор квантизированных GGUF-версий текстовой генеративной модели mlabonne/Hermes-3-Llama-3.1-8B-lorablated. Квантизацию выполнил bartowski с использованием llama.cpp и imatrix. Модель предназначена для локального запуска задач генерации текста, включая диалоговое взаимодействие и следование инструкциям, в совместимых средах, таких как llama.cpp и LM Studio. В основе лежит модель размера 8B, однако точные сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Доступны варианты от F32 до низкобитных квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ; более крупные варианты обычно сохраняют более высокое качество, а компактные требуют меньше оперативной памяти, но могут заметно уступать в качестве. Для работы следует использовать указанный формат prompt с системным сообщением, пользовательским запросом и ответом ассистента. Лицензия в README не указана.

Hermes-3-Llama-3.2-3B-GGUF — набор квантованных версий языковой модели Hermes-3-Llama-3.2-3B от NousResearch, подготовленный и опубликованный bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в формате ChatML, ролевое взаимодействие, ответы на инструкции, вызов функций и выдачу структурированных данных в JSON. В README указана поддержка английского языка. Модель содержит около 3 миллиардов параметров и распространяется в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты с точностью от F32 и F16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ. Более компактные варианты требуют меньше оперативной памяти, но могут уступать старшим по качеству; некоторые сборки оптимизированы для ARM или AVX и имеют аппаратные ограничения. Размер контекста в README не указан, как и сведения о мультимодальности, точной архитектуре и результатах оценки. Лицензия обозначена как llama3. Модель подходит для локального инференса на совместимом оборудовании, однако выбранный вариант квантования влияет на требования к памяти, скорость и качество генерации.

Это GGUF-квантизированная версия чат-модели InternLM2.5-20B-Chat, исходно разработанной командой internlm, а квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях, например LM Studio. Для корректного взаимодействия следует использовать указанный в карточке шаблон prompt format с ролями system, user и assistant. Модель основана на архитектуре InternLM2.5 и имеет 20 млрд параметров; доступна в форматах от F32 до различных вариантов квантизации Q8, Q6, Q5, Q4, Q3, Q2 и IQ. Размер файлов составляет примерно от 6,97 до 79,45 ГБ, поэтому требования к памяти зависят от выбранного варианта. Более высокие уровни квантизации обычно обеспечивают лучшее качество, а компактные варианты позволяют запускать модель на системах с меньшим объёмом RAM, но могут заметно снижать точность. Для некоторых вариантов embeddings и output weights сохранены в Q8_0, что потенциально повышает качество. В карточке не указаны поддерживаемые языки, размер контекста, точная архитектура, результаты оценивания и ограничения по безопасности. Лицензия обозначена как other, без дополнительных условий в README, поэтому перед использованием необходимо проверить лицензию исходной модели InternLM2.5-20B-Chat и условия распространения конкретных файлов.

K2-Horizon-0.9B-NVFP4-GGUF — квантизированная версия компактной плотной языковой модели семейства K2-Horizon; автор репозитория WhiskyAKM. Модель с архитектурой decoder-only и 0,9 млрд параметров предназначена для диалоговой генерации текста и рассуждений, включая задачи по математике, программированию, науке и STEM. В README указано окно контекста до 128K токенов (131 072) с масштабированием RoPE YaRN; модель оценивалась на бенчмарках математики, кода, науки и использования инструментов. Репозиторий содержит веса GGUF в формате NVFP4, рассчитанные на запуск в llama.cpp и совместимых движках; заявлена оптимизация для NVIDIA Blackwell. Базовая модель IFM/K2-Horizon-0.9B обучалась с дистилляцией знаний от нескольких специализированных моделей-преподавателей. Репозиторий распространяется по лицензии Apache-2.0. Квантизация до 4 бит может влиять на качество ответов; результаты бенчмарков относятся к исходному описанию семейства и сами по себе не гарантируют аналогичное качество этой сборки.

Ling-plus-base — базовая языковая модель с архитектурой Mixture of Experts (MoE), разработанная InclusionAI. Она предназначена для генерации текста и диалогового взаимодействия, а структура MoE позволяет масштабировать модель и адаптировать её к разным задачам, включая работу с естественным языком и решение сложных задач. По README, Ling-Plus содержит 290 млрд параметров, из которых при генерации активируются 28,8 млрд; в метаданных репозитория указано 23,9 млрд параметров. Карточка описывает контекст до 64 тыс. токенов, тогда как метаданные указывают нативный контекст в 16 384 токена. Модель работает с текстом и поддерживает чатовый сценарий; заявленные языки использования отдельно не перечислены. Модель распространяется под лицензией MIT. README сообщает о сравнительно высокой производительности, но конкретные результаты оценки находятся в техническом отчёте и в карточке не приведены, поэтому качество для конкретных задач следует проверять отдельно.

Модель Linkbricks Horizon AI Korean Avengers V1 27B разработана дата-сайентистом Чи Юнсоном (Saxo) из компании Linkbricks. Это дообученная версия Saxo/Linkbricks-Horizon-AI-Korean-Advanced-27B на базе Gemma 2: для обучения использовали корейский SFT и DPO, а также данные корейских новостей, перевода между корейским, китайским, английским и японским языками, математики и логических задач. Модель предназначена для диалогов, перевода, суммаризации и анализа текстов, включая отзывы и публикации в социальных сетях; карточка также заявляет улучшения в написании текстов, программировании, математике и рассуждениях. Модель имеет 27,6 млрд параметров, архитектуру Gemma2ForCausalLM и контекст до 8192 токенов. Токенизатор унаследован от базовой модели без расширения словаря. Опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. Карточка не приводит сравнительных оценок качества, поэтому заявленные улучшения не позволяют судить о точности на конкретных задачах.