I.14Автоматизация процессов и AI-агенты

HERETIC — модель на базе Mistral-Nemo 2407 с 12 млрд параметров, представленная в формате GGUF. Она разработана Andycurrent как reasoning-ориентированный вариант базовой архитектуры Mistral-Nemo и предназначена для локального запуска через llama.cpp и совместимые инструменты. Модель распространяется в виде квантованных сборок, оптимизированных для эффективного вывода на локальном оборудовании. Модель ориентирована на диалоговые сценарии, выполнение инструкций, пошаговое аналитическое рассуждение, подготовку развёрнутых объяснений, помощь в программировании и технических вопросах, мозговой штурм, творческое письмо, prompt engineering и эксперименты с LLM. Указан английский язык. Поддерживаются текстовые запросы и ответы; сведения о размере контекстного окна и точных параметрах квантования не приведены. Для получения лучших результатов рекомендуется использовать структурированные system/user/assistant-промпты. К сильным сторонам относятся локальная и потенциально приватная работа, гибкость применения, поддержка развёрнутых ответов и совместимость с экосистемой GGUF и llama.cpp. Ограничения включают возможные фактические ошибки, галлюцинации, предвзятость и зависимость качества от формулировки запроса; модель не предназначена для юридических или медицинских рекомендаций, критически важных решений и автоматической модерации без проверки человеком. Лицензия указана как other, при этом конкретные условия не раскрыты; пользователю необходимо учитывать лицензию базовой модели и применимое законодательство.

Natsumura Assistant 1.1 — универсальная чат-модель, разработанная Tohur и дообученная на основе meta-llama/Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная модель семейства Llama 3.1 с 7,5 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для диалогового помощника и генерации текста, включая ответы на вопросы, помощь с кодом и решение математических задач. При обучении использовались наборы данных для инструкционного диалога, программирования, математики и идентичности модели. В README автор характеризует модель как uncensored и отмечает её высокую склонность выполнять запросы, в том числе неэтичные. Модель распространяется в формате safetensors по лицензии Llama 3.1 Community License; для использования действуют её условия. Качество ответов и их безопасность зависят от запроса и сценария применения.

Open-Instruct ShareGPT 13B — языковая модель Allen Institute for AI, представляющая собой дообученную для следования инструкциям версию LLaMA примерно с 12,9 млрд параметров. Обучение проводилось на очищенном наборе диалогов ShareGPT, подготовленном аналогично данным Vicuna; модель относится к плотной архитектуре LLaMA для генерации текста и рассчитана на контекст до 2048 токенов. Модель подходит для ответов на запросы в формате инструкций и диалогов, а также для задач общего назначения: ответов на вопросы, рассуждений и генерации кода. В README приведены результаты оценки на MMLU, GSM, BBH, TyDiQA и Codex-Eval. Для качества генерации важно соблюдать указанный в карточке формат ввода и переводы строк. Репозиторий содержит diff весов, поэтому для использования требуется доступ к исходной модели LLaMA в формате Hugging Face. Условия использования определяются лицензией AI model license и исходной лицензией LLaMA.

Phi-3-mini-4k-instruct-llamafile — переносимая исполняемая упаковка модели Microsoft Phi-3-mini-4k-instruct, подготовленная в формате llamafile. Она предназначена для локальной генерации текста, диалоговых приложений, ответов на инструкции, суммаризации, задач на понимание языка, математику, программирование и логическое рассуждение. Модель ориентирована на коммерческое и исследовательское использование на английском языке. Модель содержит 3,8 млрд параметров и поддерживает контекст до 4 096 токенов. Это текстовая instruction-tuned модель, прошедшая supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и мер безопасности. В поставку входят исполняемые веса, запускаемые на Linux, macOS, Windows, FreeBSD, OpenBSD и NetBSD на платформах AMD64 и ARM64; предусмотрены CLI-интерфейс, веб-интерфейс и совместимый с OpenAI API режим. Для запуска рекомендуется не менее 32 ГБ оперативной памяти. К сильным сторонам относятся компактный размер, возможность локального автономного запуска и высокая производительность среди моделей с менее чем 13 млрд параметров по ряду задач, включая понимание языка, здравый смысл, математику, код и рассуждение. Ограничения — поддержка английского языка, контекст 4K и потребность в значительных вычислительных ресурсах; конкретные возможности зависят от выбранного формата весов и оборудования. Сам llamafile распространяется по лицензии Apache 2.0, а содержащиеся веса Phi-3 опубликованы Microsoft под лицензией MIT.

unsloth/phi-4-unsloth-bnb-4bit — 4-битная версия модели Phi-4, разработанной Microsoft Research и подготовленной Unsloth. Модель основана на dense decoder-only Transformer с 14 млрд параметров, преобразована в архитектуру, совместимую с Llama, и предназначена для более удобного использования и дообучения. Квантизация выполнена в формате Unsloth BNB 4-bit с динамическим выбором параметров, что призвано сохранить более высокую точность по сравнению со стандартной 4-битной квантизацией. Модель работает с текстом, лучше всего подходит для запросов в чат-формате и предназначена для генерации текста, диалоговых приложений, задач NLP, математики и программирования. Поддерживаемый язык — английский. Контекстное окно составляет 16K токенов. Базовая Phi-4 обучалась на сочетании синтетических данных, отфильтрированных общедоступных веб-источников, академических книг и наборов вопросов и ответов, а также проходила supervised fine-tuning и direct preference optimization для следования инструкциям и повышения безопасности. К сильным сторонам относятся компактность по сравнению с более крупными моделями, возможности рассуждения, а также сниженные требования к памяти благодаря 4-битному представлению; Unsloth заявляет о преимуществах для последующего fine-tuning. Ограничения включают текстовую модальность, ориентацию прежде всего на английский язык и возможные потери качества из-за квантизации, хотя динамический подход должен их уменьшать. Модель распространяется по лицензии MIT.

Qwen-14B — плотная авторегрессионная языковая модель семейства Qwen, разработанная Alibaba Cloud. Она построена на архитектуре Transformer и содержит 21,8 млрд параметров по метаданным; в карточке описаны RoPE, SwiGLU, RMSNorm и словарь более чем из 150 тысяч токенов. Модель обучена на более чем 3 трлн токенов из веб-текстов, книг, кода, математических и других материалов; заявленная длина контекста — 8192 токена. Модель предназначена для генерации текста и может служить основой для диалоговых систем, а также для задач на знания, рассуждения, перевод, математику и программирование. Наиболее подробно описана поддержка китайского и английского языков; словарь также ориентирован на ряд других языков, включая русский. Репозиторий содержит исходную предварительно обученную модель, а не вариант Qwen-14B-Chat. В README заявлены конкурентные результаты на ряде китайских и англоязычных тестов, однако это оценки разработчика, а качество зависит от задачи и способа применения. Для запуска требуются PyTorch и Transformers; модель крупная и требует значительных вычислительных ресурсов. Лицензия в предоставленных данных не указана.

Qwen2.5-14B-Instruct-1M — плотная авторегрессионная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста, включая обработку очень длинных документов и контекстов. Модель содержит около 14 млрд параметров; архитектура Qwen2 использует RoPE, SwiGLU, RMSNorm и групповое внимание с 40 головами Q и 8 головами KV. Заявленная длина контекста достигает 1 010 000 токенов, а генерация — до 8192 токенов. Для эффективного инференса на длинных последовательностях разработчик рекомендует специальную ветку vLLM с разреженным вниманием и методами экстраполяции длины; для обработки миллиона токенов версии 14B требуется не менее 320 ГБ видеопамяти суммарно. На обычном стеке Qwen2.5 возможна потеря точности при длине свыше 262 144 токенов. Модель основана на Qwen/Qwen2.5-14B и дообучена; лицензия Apache-2.0. Метаданные указывают английский язык, поэтому поддержка других языков здесь не заявляется.

Qwen2.5-14B-Instruct-MLX-8bit — квантованная 8-битная версия языковой модели Qwen2.5-14B-Instruct, адаптированная для MLX и Apple Silicon Mac. Исходную модель разработала команда Qwen, а MLX-квантизацию предоставил bartowski на основе инструментов mlx-examples. Модель предназначена для генерации текста, диалоговых сценариев и задач, требующих понимания и генерации структурированных данных. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Она обучена на большом наборе данных и заявлена как поддерживающая более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Архитектура и точное число параметров исходной модели обозначены в идентификаторе как 14B; сведения о конкретной архитектуре в README не приведены. К сильным сторонам относятся широкий языковой охват, длинный контекст, возможности работы со структурированными данными и локальный запуск на совместимых Mac с Apple Silicon. Ограничения включают зависимость от MLX и совместимого оборудования, а также типичные для генеративных моделей риски неточностей, вредного или неподходящего содержания. Модель распространяется по лицензии Apache-2.0.

Карточка модели kyoganath786/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

QuantFactory/Qwen2.5-3B-Instruct-GGUF — квантизированная версия модели Qwen2.5-3B-Instruct, созданная QuantFactory с использованием llama.cpp на основе Qwen/Qwen2.5-3B-Instruct. Это каузальная языковая модель для генерации текста и диалоговых сценариев, включая следование инструкциям, ответы на вопросы, написание длинных текстов, работу со структурированными данными и генерацию JSON. Она также ориентирована на задачи программирования и математики. Модель содержит 3,09 млрд параметров, имеет 36 слоёв и архитектуру Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV-внимании и связанными эмбеддингами слов. Используется Grouped-Query Attention: 16 голов для Q и 2 для KV. Поддерживается контекст до 32 768 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Квантизация в формате GGUF предназначена для локального запуска через совместимое программное обеспечение на базе llama.cpp и может снизить требования к вычислительным ресурсам по сравнению с полноразмерной моделью. README не содержит сведений о конкретном уровне квантизации, точных требованиях к памяти, производительности или ограничениях качества, поэтому их нельзя определить по предоставленным данным. Модель распространяется по лицензии qwen-research; указанная лицензия доступна по ссылке на исходную модель Qwen/Qwen2.5-3B-Instruct.

lmstudio-community/Qwen2.5-7B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct, разработанной командой Qwen. Квантизация выполнена bartowski на основе llama.cpp release b3772; модель представлена в рамках программы Community Models LM Studio, но LM Studio не является её разработчиком или владельцем. Модель предназначена для генерации текста, диалоговых сценариев, ответов на инструкции и работы со структурированными данными. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский, что делает её пригодной для многоязычных приложений. Ключевые характеристики включают размер 7 млрд параметров, контекст до 128 тысяч токенов с настройками YaRN RoPE и генерацию до 8 тысяч токенов. К сильным сторонам относятся широкий языковой охват, поддержка длинного контекста и улучшенное понимание и создание структурированных данных. При этом модель может генерировать неточную, вредную или вводящую в заблуждение информацию, а README не содержит подробностей о конкретной схеме квантизации, требованиях к ресурсам и результатах бенчмарков. Распространение указано под лицензией Apache 2.0.

RobinsonLabs Qwen3.5-122B-A10B-REAP-30-abliterated-GGUF — набор квантованных GGUF-версий языковой модели, созданный Robinson Labs на основе 0xSero/Qwen3.5-88B. Исходная модель представляет собой примерно 30%-ную экспертную pruning-версию Qwen/Qwen3.5-122B-A10B, уменьшенную с 122B до примерно 88B параметров при сохранении архитектуры qwen35moe и бюджета из 10B активных экспертов. Модель поддерживает стандартное предсказание одного токена, без Multi-Token Prediction; конфигурация содержит 48 слоёв и 879 тензоров. Данные о поддерживаемых языках и размере контекстного окна в карточке не указаны. Модель предназначена для генерации текста, рассуждений, программирования, математических и фактических задач, а также следования инструкциям. Abliteration уменьшает склонность к отказам в ответах на запросы, связанные со взрослым и творческим содержанием, при этом заявлено сохранение защитных механизмов против самоповреждения и содействия реальному неправомерному поведению. В опубликованных проверках модель получила 5/5 на тесте способностей, 2 отказа из 25 на общем тесте отказов и 10/10 на ограниченном наборе проверок детской безопасности, однако эти результаты не гарантируют сохранность защитных механизмов во всех сценариях. Распространение выполняется в формате GGUF с importance-matrix-квантизацией и вариантами Q6_K, Q5_K_M, Q4_K_M, Q4_K_S, IQ4_XS, Q3_K_M, IQ3_M, IQ3_XS, IQ2_M и IQ2_XS. Качество, требования к памяти и скорость зависят от выбранного варианта квантизации. Модель лицензирована по Apache-2.0; использование должно быть ответственным, поскольку она помечена как предназначенная не для всех аудиторий.

apolo13x/Qwen3.5-27B-quantized.w4a16 — квантованная версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen и опубликованной пользователем apolo13x. Модель принимает текст и изображения, а генерирует текст, поэтому предназначена для диалоговых сценариев, анализа визуального и текстового контента, а также общих задач рассуждения и следования инструкциям. Веса сжаты до формата INT4 W4A16 с использованием GPTQ и инструмента llm-compressor. Для калибровки использовано 512 образцов из датасета HuggingFaceH4/ultrachat_200k. Размер модели уменьшен с 51,8 до 17,3 ГБ, примерно в 3 раза, при заявленном среднем восстановлении точности 100,3% относительно исходной модели. В README не указаны точное количество контекстных токенов и поддерживаемые языки. Модель демонстрирует высокие результаты в GPQA Diamond, IFEval и MMLU-Redux: средняя оценка составила 90,05% против 89,76% у исходной Qwen3.5-27B. Ключевые ограничения связаны с 4-битным квантованием и зависимостью от совместимой инфраструктуры; на 27 февраля 2026 года заявлена поддержка в nightly-версии vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Fable-Holo3.1 — мультимодальная модель для диалогов и следования инструкциям, опубликованная Nightmedia. Это слияние Qwen3.6-35B-A3B, Qwen3.6-35B-A3B-Fable-5-Distill и Holo3.1-35B-A3B; архитектура относится к семейству Qwen3.5 MoE. Модель принимает текст и изображения и выдаёт текст. В карточке также описаны варианты для текстового режима, включая сборку с контекстом 1 млн токенов; эти сведения не подтверждают такую длину контекста для основного репозитория. Модель предназначена для мультимодальных диалогов, анализа изображений, рассуждений, задач STEM и программирования. Автор сообщает об улучшении perplexity, скорости и результатов на отдельных тестах после слияния, но не приводит полного описания методики и воспроизводимых сравнений. Модель распространяется под лицензией Apache-2.0.

Youssofal/Qwen3.8-27B-MTPLX-Optimized-Quality-FP16 — сборка модели Qwen3.8-27B, подготовленная Youssofal для запуска через MTPLX на компьютерах Mac с Apple Silicon. Это текстовая генеративная модель для локального использования, включая программирование, работу с кодом, текстами, JSON и многоязычными запросами. Модель распространяется в формате MLX и оптимизирована для чипов Apple M1 и M2; для более новых Mac рекомендуется родственная сборка с bf16. Модель имеет размер 27B параметров, использует динамическое 8-битное квантование, а оставшиеся плавающие параметры хранятся в FP16. Она поддерживает контекст до 262 144 токенов и многоступенчатое предсказание с глубиной MTP 3. MTPLX применяет спекулятивное декодирование с точным сохранением распределения генерации; заявлено ускорение в два-три раза по сравнению с обычным декодированием. Для работы требуется Mac с Apple Silicon и не менее 32 ГБ объединённой памяти, а для этой сборки рекомендуется от 36 ГБ. Размер загрузки — 29,4 ГБ. Сильными сторонами являются высокое совпадение с исходной моделью Qwen3.8-27B в тестах качества, оптимизация для локального запуска на Mac и поддержка длинного контекста. Ограничения включают привязку к экосистеме Apple Silicon, высокие требования к памяти и отсутствие опубликованных замеров скорости именно на M1 и M2. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-9B-Distill-MTPLX-Q6G64 — локальная MLX-версия модели empero-ai/Qwen3.8-9B-Distill, подготовленная pooyakn73 с использованием MTPLX для нативного multi-token prediction и speculative decoding на Apple Silicon. Это мультимодальная модель архитектуры Qwen3-Next с поддержкой текста и изображений, предназначенная для локальной генерации текста, программного кода и анализа изображений с ускоренным декодированием. Модель содержит около 9 млрд параметров, контекстное окно 262 144 токена и занимает около 8,7 ГБ на диске. Основная часть параметров квантизирована до 6 бит с group size 64 и affine-квантизацией, тогда как MTP draft head и vision tower сохранены в bf16. Такая конфигурация позволяет использовать speculative decoding без потери корректности, а на Apple M5 Pro демонстрирует до 74,9 токена в секунду при оптимальной глубине спекуляции 2. Vision tower восстановлен и сохранён, поскольку стандартный путь конвертации MLX мог его исключать. Сильные стороны модели — сочетание мультимодальности, большого контекстного окна, компактного размера и высокой скорости локального вывода на Apple Silicon. В тесте HumanEval она показала pass@1 81,10% при настройке reasoning effort xhigh, однако более крупные модели в приведённом сравнении достигли около 96% и выше, поэтому модель может уступать им в сложных задачах рассуждения и генерации кода. Указанные показатели скорости и качества зависят от оборудования, настроек декодирования и длины генерации. Модель распространяется по лицензии Apache-2.0.

Qwen-Qwen2.5-Coder-14B-Instruct-GGUF-Q4_K_M — квантизированная версия Qwen2.5-Coder-14B-Instruct, опубликованная пользователем sigmanih с использованием Sigma Studio. Модель предназначена для генерации текста и кода, программирования, повседневных ассистентов, агентских сценариев и задач, требующих рассуждений. В README указаны английский и итальянский языки, однако полный перечень поддерживаемых языков не приведён. Модель использует архитектуру qwen2 и формат GGUF с квантизацией Q4_K_M. Она содержит 14 млрд параметров, имеет 48 Transformer-слоёв, размер скрытого представления 5120 и контекстное окно до 32 768 токенов. Размер файлов составляет около 8,37 ГБ; для инференса рекомендуется примерно 10,5 ГБ VRAM при полной загрузке на GPU или 10,3 ГБ RAM в CPU-гибридном режиме. Рекомендуемая конфигурация — GPU с 12–16 ГБ VRAM либо система с 32 ГБ оперативной памяти. По приведённым тестам модель показывает сильные результаты в программировании и ряде математических задач: 86% на HumanEval, 100% на MBPP и GSM8K, 89% на ARC-Challenge и MATH. При этом результаты по GPQA и MMLU-Pro составили 33%, а общая оценка в заявленном наборе тестов — 69 из 100. В агентском тестировании завершено 4 из 6 сценариев, а соблюдение протокола инструментов составило 63,6%, поэтому модель не следует считать безошибочной для сложной автономной работы. В README одновременно указаны лицензия other в метаданных и обозначение Apache-2.0 на странице, поэтому условия использования требуют дополнительной проверки по официальным лицензионным материалам репозитория и базовой модели.

Tele-FLM (также FLM-2) — открытая многоязычная языковая модель на 52,2 млрд параметров, разработанная BAAI и TeleAI. Это плотный декодерный Transformer, обученный примерно на 2 трлн токенов; архитектура использует RoPE, RMSNorm и SwiGLU и во многом совместима с Llama. Контекст модели составляет 4096 токенов. Модель предназначена для генерации текста и извлечения признаков, включая многоязычные запросы и задачи, где важны фактические суждения. В обучающих данных преобладают английский и китайский языки; также включены код и тексты на других языках. Доступны веса и сведения о разработке и обучении модели. Модель распространяется по лицензии Apache 2.0. По предупреждению разработчиков, она может воспроизводить предвзятые или оскорбительные примеры и выдавать небезопасный контент; ответы следует проверять.

Trinity Mini — открытая по весам разговорная языковая модель от Arcee AI, дообученная на базе arcee-ai/Trinity-Mini-Base. Это MoE-модель семейства AFMoE с 26 млрд параметров и 3 млрд активных параметров; в README указаны 128 экспертов, из которых активны 8 и один общий. Модель предназначена для диалогов и задач рассуждения, включая математику и программирование. Модель обучена на 10 трлн токенов. Длина контекста составляет 128 тыс. токенов. Метаданные указывают поддержку английского, испанского, французского, немецкого, итальянского, португальского, русского, арабского, хинди, корейского и китайского языков. Для запуска заявлена совместимость с Transformers, vLLM, llama.cpp, LM Studio и API. Указанная в README лицензия — OpenMDW-1.1; метаданные классифицируют лицензию как other.

Yuan 2.0-51B-hf — плотная авторегрессионная языковая модель семейства Yuan, разработанная IEIT System. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, рассуждения, решение математических задач и помощь с кодом. Модель насчитывает 46,2 млрд параметров, использует архитектуру YuanForCausalLM и принимает контекст длиной до 4096 токенов. Разработчики указывают, что Yuan 2.0 основана на Yuan 1.0 и обучалась на расширенных наборах предобучающих и инструкционных данных. В карточке приведены бенчмарки по математике, программированию и достоверности ответов, но результаты конкретно этой версии в предоставленном фрагменте не показаны. Модель может ошибаться и поддаваться вводящим в заблуждение инструкциям. Для весов и репозитория указаны лицензия other и условия Yuan 2.0; README сообщает о возможности коммерческого использования при соблюдении этих условий.

RedHatAI/Apertus-8B-Instruct-2509-FP8-dynamic — инструкционная языковая модель, разработанная Red Hat на базе swiss-ai/Apertus-8B-Instruct-2509. Она предназначена для генерации и преобразования текста, диалоговых приложений и других сценариев обработки естественного языка. Модель поддерживает более 1000 языков и рассчитана на работу с длинным контекстом, однако его максимальный размер в README не указан. Входом и выходом служит текст; архитектура обозначена как ApertusForCausalLM. Модель использует динамическое квантование весов и активаций линейных операторов трансформерных блоков в формате FP8. Это примерно вдвое уменьшает число битов на параметр, размер на диске и требования к GPU-памяти по сравнению с исходным представлением FP16, что упрощает развертывание. Модель валидирована с vLLM 0.11.2, Red Hat OpenShift AI 3.2 и Red Hat AI Inference Server 3.2.5; README также указывает поддержку развертывания через vLLM. К сильным сторонам относятся многоязычность, длинный контекст, открытые и полностью соответствующие требованиям источники обучающих данных, а также сниженные требования к ресурсам благодаря FP8-квантизации. Ограничения включают текстовую модальность, потенциальные особенности качества и совместимости, связанные с квантизацией, и отсутствие в предоставленных данных подробных бенчмарков, точного размера контекста и результатов по отдельным языкам. Модель распространяется по лицензии Apache 2.0.

Valdemardi/DeepSeek-R1-Distill-Llama-70B-AWQ — квантованная версия модели DeepSeek-R1-Distill-Llama-70B, основанной на DeepSeek-R1 и разработанной командой DeepSeek AI. Модель относится к большим языковым моделям для задач рассуждения и создана посредством дистилляции: в меньшую плотную модель перенесены образцы и паттерны рассуждений, полученные от DeepSeek-R1. В README также указано, что семейство DeepSeek-R1 ориентировано на задачи математики, программирования и общего логического рассуждения, а исходная модель демонстрировала результаты, сопоставимые с OpenAI o1 в этих направлениях. Представленная сборка использует 4-битное AWQ-квантование, выполненное с помощью AutoAWQ 0.2.8, с group size 128, zero point и режимом GEMM. Это снижает требования к памяти и делает запуск крупной 70B-модели более доступным, однако может сопровождаться потерей точности по сравнению с полноразмерной версией; конкретные результаты для этой сборки в README не приведены. Архитектура, размер контекста, поддерживаемые языки и модальности отдельно не указаны, поэтому подтверждённо описать можно только текстовый LLM-сценарий. Модель распространяется по лицензии llama3.3; README также ссылается на Model Agreement для лицензии модели. Условия лицензии следует проверить перед коммерческим или иным ответственным использованием.

Deepthink-Reasoning-7B — дообученная PrithivMLmods языковая модель на базе Qwen2.5-7B-Instruct с 7,1 млрд параметров. Она предназначена для диалоговой генерации текста с упором на рассуждения, решение логических задач, математику и программирование; также подходит для творческого письма, следования инструкциям и формирования структурированных ответов, включая JSON. Модель использует архитектуру Qwen2 и принимает текстовые запросы, выдавая текст. В метаданных указан контекст до 32 768 токенов, тогда как README заявляет поддержку до 128 тысяч токенов и генерацию до 8 тысяч; это расхождение стоит учитывать при настройке. Карточка заявляет поддержку более 29 языков, включая русский и английский, но метаданные подтверждают английский. Модель распространяется по лицензии CreativeML Open RAIL-M. Заявления README об улучшениях в математике, коде, следовании инструкциям и длинном контексте не сопровождаются результатами оценивания, поэтому фактическое качество на конкретных задачах следует проверять отдельно.

Llama-Deepsync-3B — дообученная PrithivMLmods диалоговая языковая модель на архитектуре Llama 3.2, предназначенная для генерации текста с рассуждениями, решения задач и помощи в программировании. По карточке, модель умеет следовать инструкциям, создавать структурированные ответы, включая JSON, работать с таблицами и генерировать длинные тексты. Модель содержит 3,2 млрд параметров и поддерживает контекст до 131 072 токенов; заявленная длина генерации — до 8 000 токенов. README заявляет поддержку более 29 языков, а метаданные перечисляют английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель доступна в формате safetensors для Transformers и распространяется по лицензии CreativeML OpenRAIL-M. Модель подходит для диалоговых помощников, объяснения решений, программирования, математики и творческого письма. Заявления о повышении качества и поддержке языков приведены в карточке модели и не сопровождаются результатами оценки; фактическое качество может различаться в зависимости от задачи и языка.

Llama-Krikri-8B-Instruct — инструктивная языковая модель ILSP для общения и выполнения текстовых задач, разработанная на базе Llama-Krikri-8B-Base. Это плотная модель семейства Llama с 7,6 млрд параметров и контекстом до 131 072 токенов. Базовую модель ILSP продолжительно обучали на греческих и английских текстах, а Instruct-версию дополнительно настроили на инструкциях и диалогах на греческом и английском языках. Модель предназначена для генерации и редактирования текста, суммаризации, ответов по нескольким документам, перевода между греческим и английским, а также перевода с этих языков на французский, немецкий, итальянский, португальский и испанский. Карточка также заявляет возможности структурированного извлечения данных, программирования, использования инструментов и решения задач в юридической, финансовой, медицинской и научной областях. Веса доступны в формате safetensors; для применения авторы рекомендуют официальные квантованные версии GGUF и MLX. Лицензия — Llama 3.1 Community License. Результаты для отдельных задач могут различаться; заявленные возможности специализированных областей не заменяют экспертную проверку.

ThomasBaruzier/Meta-Llama-3.1-70B-Instruct-GGUF — это версия большой языковой модели Meta Llama 3.1 70B Instruct, опубликованная пользователем ThomasBaruzier в формате GGUF. Модель предназначена для генерации текста и диалогового взаимодействия по инструкциям, включая ответы на вопросы, написание и преобразование текстов, суммирование и другие задачи обработки естественного языка. Модель относится к семейству Llama 3.1, содержит около 70 миллиардов параметров и поддерживает текстовую модальность. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Формат GGUF ориентирован на локальный запуск и совместимость с соответствующими инструментами инференса, однако конкретный тип квантования, требования к памяти и размер контекстного окна в предоставленных данных не указаны. Сильными сторонами модели являются большой размер, инструкционное дообучение и многоязычная поддержка. Ограничения включают высокие потенциальные требования к вычислительным ресурсам, а также возможные ошибки, неточности и нежелательные результаты, характерные для генеративных моделей. Модель распространяется по Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, требования к атрибуции и маркировке «Built with Llama», а также применимую Acceptable Use Policy.

RedHatAI/Meta-Llama-3.1-8B-Instruct-FP8 — квантизированная FP8-версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая instruction-tuned модель для генерации текста и ассистентского диалога, предназначенная для коммерческого и исследовательского использования. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако в документации отдельно указано ограничение на использование только английского языка. Модель содержит 8 млрд параметров и использует архитектуру Meta-Llama-3.1. Веса и активации линейных слоёв внутри трансформерных блоков квантизированы в FP8 с симметричной поканальной для всего тензора схемой; выходной слой lm_head не квантизируется. По сравнению с 16-битной версией это примерно вдвое снижает размер на диске и требования к памяти GPU. Модель оптимизирована для инференса через vLLM, включая совместимый с OpenAI интерфейс. К преимуществам относятся уменьшенное потребление памяти и эффективное развёртывание при сохранении близкого к исходной модели качества: средний результат на OpenLLM составляет 73,44 против 73,79 у неквантизированной версии. Ограничения связаны с возможной потерей качества из-за квантизации, зависимостью от vLLM и заявленным ограничением области применения. Модель распространяется по лицензии llama3.1; также необходимо соблюдать применимое законодательство и условия исходной лицензии Meta.

ThomasBaruzier/Meta-Llama-3-70B-Instruct-GGUF — это GGUF-версия инструкционной языковой модели Meta Llama 3 с размером 70 млрд параметров. Модель разработана Meta и предназначена для генерации текста, диалогов и выполнения инструкций; в карточке также указана задача text-generation. Заявленный язык — английский. Модель относится к текстовым, без указаний на поддержку изображений, аудио или других модальностей. Формат GGUF ориентирован на локальный запуск средствами совместимой инфраструктуры, однако конкретная версия квантования, требования к памяти, максимальный контекст и показатели качества в README не указаны. Сильными сторонами являются инструкционный режим и масштаб 70 млрд параметров, но практические характеристики зависят от используемого варианта GGUF и аппаратного обеспечения. Модель распространяется по Meta Llama 3 Community License. Лицензия разрешает использование, копирование, модификацию и распространение на установленных условиях, включая сохранение уведомления об атрибуции и указание «Built with Meta Llama 3» при распространении материалов или продуктов. Также требуется соблюдение Acceptable Use Policy; для продуктов с более чем 700 млн ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

MiniCPM4.1-8B-GGUF — это компактная большая языковая модель серии MiniCPM4.1, разработанная командой OpenBMB. Модель предназначена для генерации текста, диалоговых приложений, выполнения инструкций, задач, требующих рассуждений, и локального запуска на периферийных устройствах. Она поддерживает режимы глубокого рассуждения и обычной генерации, а также гибридный режим с объединением этих подходов. Модель содержит 8 млрд параметров и распространяется в формате GGUF, ориентированном на эффективный инференс в совместимых инструментах. Архитектура использует обучаемый разреженный механизм внимания InfLLM v2: при обработке текста длиной до 128K токенов каждому токену требуется вычислять релевантность менее чем с 5% токенов, что снижает вычислительные затраты при работе с длинным контекстом. Модель обучалась с применением низкоточного вычисления FP8 и стратегии Multi-token Prediction; заявлены поддержка китайского и английского языков и текстовая модальность. К сильным сторонам относятся эффективность, пригодность для локального и периферийного развертывания, поддержка длинного контекста и режимов с рассуждением. Ограничения включают отсутствие в предоставленных данных точного описания максимального контекстного окна именно для данной версии, требований к аппаратному обеспечению, результатов бенчмарков и особенностей совместимых GGUF-рантаймов. Модель распространяется по лицензии Apache-2.0.

Это копия Mistral-7B-Instruct-v0.1, опубликованная sanchit-gandhi. Модель представляет собой плотный трансформер Mistral с 7,1 млрд параметров, дообученный для следования инструкциям на общедоступных диалоговых наборах данных. Веса разбиты на шарды по 5 ГБ, чтобы облегчить загрузку в средах с ограниченной оперативной памятью; по остальным характеристикам модель идентична оригиналу. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Архитектура использует Grouped-Query Attention, Sliding-Window Attention и токенизатор BPE с поддержкой байтового отката; контекст составляет до 32 768 токенов. Для формата инструкций применяются маркеры [INST] и [/INST], также доступен шаблон чата Transformers. Лицензия — Apache-2.0. В карточке отмечено отсутствие встроенных механизмов модерации, поэтому сгенерированные ответы могут не соблюдать ограничения безопасности. Уменьшенный размер шардов упрощает загрузку модели, но не уменьшает её объём параметров или вычислительные требования при генерации.