I.14Автоматизация процессов и AI-агенты

rinna/bilingual-gpt-neox-4b-instruction-sft — двуязычная разговорная языковая модель компании rinna, созданная дообучением GPT-NeoX на 4,8 млрд параметров для выполнения инструкций. Архитектура — плотный трансформер GPT-NeoX; модель принимает текст и генерирует текст. Контекст составляет 2048 токенов. Модель предназначена для диалогов, ответов на вопросы и других запросов на японском и английском языках. Для диалога README задаёт формат с репликами «ユーザー» и «システム»; качество генерации чувствительно к параметрам декодирования, поэтому их стоит подбирать под задачу. Модель дообучалась на данных Anthropic HH-RLHF и FLAN Instruction Tuning, включая японские переводы. Выпущенная 2 августа 2023 года версия распространяется по лицензии MIT.

Sakalti/Calme-3.2-fp16 — модель генерации текста на основе архитектуры Qwen2, созданная объединением весов с помощью mergekit и метода TIES. В README указано, что в качестве базовой использована MaziyarPanahi/calme-3.2-instruct-78b; метаданные связывают её с дообучением этой модели. Размер составляет 76,7 млрд параметров, формат весов — safetensors, точность — float16, библиотека — Transformers, контекст — до 32 768 токенов. Модель предназначена для диалогов и генерации текста общего назначения. Она принимает текст и выдаёт текст; поддержка чата указана в метаданных. Описание базовой модели характеризует её как экспериментальную дообученную модель на базе Qwen2.5-72B для англоязычных диалогов и генерации текста, но языковая специализация данной версии отдельно не подтверждена. Лицензия обозначена как other, конкретные условия в предоставленных данных не раскрыты. Объединение выполнено с весом 1 для базовой модели; README не перечисляет другие модели-участники.

mlx-community/DeepSeek-R1-4bit — это 4-битная версия модели DeepSeek-R1, разработанной командой DeepSeek и преобразованная сообществом mlx-community в формат MLX. Конвертация выполнена с использованием mlx-lm версии 0.21.0. Модель предназначена для локального запуска и генерации текста через библиотеку mlx-lm, включая сценарии с чат-шаблоном и передачей сообщений пользователя. README не содержит сведений о точной архитектуре, количестве параметров, поддерживаемых языках и модальностях, размере контекста, результатах тестирования, ограничениях или лицензии, поэтому эти характеристики нельзя достоверно оценить по представленным данным.

unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF — это GGUF-версия дистиллированной языковой модели DeepSeek-R1-Distill-Llama-70B. Модель создана на основе DeepSeek-R1-Distill-Llama-70B, разработанной командой DeepSeek, а данный вариант опубликован Unsloth. Это текстовая модель для генерации ответов и решения задач в диалоговом и общем текстовом режимах; в примере README она используется для рассуждений и простых математических вопросов через llama.cpp. Модель содержит 70 млрд параметров и основана на архитектуре семейства Llama; точная версия базовой архитектуры и размер контекстного окна в README не указаны. Поддерживаемый язык обозначен как английский. Формат GGUF предназначен для локального запуска с llama.cpp и поддерживает квантованные варианты, включая Q4_K_M и Q8_0. Для ускорения возможна частичная выгрузка слоёв на GPU, однако из-за размера модели запуск требует значительных вычислительных ресурсов. К сильным сторонам относятся большой размер, возможности дистиллированной модели DeepSeek-R1 и удобство локального использования в llama.cpp с разными уровнями квантования. Ограничения — высокая требовательность к памяти и отсутствие в предоставленных данных сведений о точности на тестах, мультимодальности, контекстном окне и поддержке языков помимо английского. Модель распространяется по лицензии llama3.3.

DeepSeek-V4-Flash-0731-2.4bit-mixed — это смешанно-точечная MLX-квантизованная версия модели DeepSeek-V4-Flash-0731, разработанная сообществом mlx-community на основе чекпойнта deepseek-ai. Модель предназначена для генерации текста, диалоговых сценариев и задач рассуждения; формат ориентирован на запуск на компьютерах Apple Silicon через oMLX. Модель имеет 284 млрд параметров, около 304 млрд с учётом блоков MTP и примерно 13,8 млрд активных параметров на токен. Архитектура включает 43 слоя, MoE с 256 маршрутизируемыми и одним общим экспертом, выбором top-6, MLA, разреженный индексатор внимания, hyper-connections с Sinkhorn и YaRN с заявленным контекстом до 1 млн токенов. Все три блока DSpark MTP сохранены. Эффективная точность составляет 2,44 бита на вес, размер на диске — 92,8 ГБ. Основные языки явно не указаны; в проверке генерация была связной на английском. Сильные стороны — существенно меньший размер по сравнению с исходным форматом, сохранение MTP, умеренное падение скорости генерации при увеличении контекста и низкий рост потребления памяти благодаря MLA. Ограничения — высокая потребность в памяти: для запуска рекомендуется Mac с 128 ГБ, а предварительная обработка длинных запросов может быть очень медленной. По тесту MMLU-Pro результат составил 0,573 против 0,647 у API-версии в BF16, однако оценка ограничена одной выборкой и не заменяет проверку на целевых задачах. Требуется oMLX версии 0.5.7 или новее; mlx-lm напрямую эту архитектуру не поддерживает. Лицензия — MIT.

Модель разработана Карлом Вайнмайстером и представляет собой DistilBERT, дообученный на наборе данных facebook/anli для задач понимания английского текста. Она поддерживает классификацию текста и оценку сходства предложений; архитектура — DistilBertForSequenceClassification, максимальная длина контекста — 512 токенов. Модель подходит для сравнения текстовых фрагментов и классификационных сценариев на английском языке. Распространяется по лицензии Apache-2.0.

Dolphin Llama 13B — языковая модель команды Dolphin на архитектуре Llama 1 с 12,9 млрд параметров. Она дообучена на открытой реализации датасета Orca: инструкциях FLANv2 с ответами GPT-3.5 и GPT-4. Модель предназначена для диалогов и выполнения разнообразных инструкций; формат запросов включает поля SYSTEM, USER и ASSISTANT. Контекст составляет 2048 токенов. В карточке модель описана как uncensored: при подготовке данных удаляли примеры отказов, избегания и выравнивания. Это позволяет настраивать поведение модели собственным alignment-слоем, но также означает, что без дополнительной фильтрации она может отвечать на вредоносные запросы. Модель основана на Llama 1 и предназначена только для некоммерческого использования; лицензия в метаданных указана как other.

Elysium2.1-11b — объединённая модель для генерации текста, созданная powermove72 с помощью LazyMergekit. При слиянии методом passthrough использованы слои 0–24 модели powermove72/Trinity_Notus-xb и слои 25–49 модели powermove72/GreenScorpius-xb-Passthrough. Модель построена на плотной архитектуре Mistral с 11 млрд параметров и контекстом до 32 768 токенов. Она предназначена для генерации текста и диалоговых ответов на входные текстовые запросы. Репозиторий содержит веса в формате Safetensors; в конфигурации слияния указан тип bfloat16. Лицензия в предоставленных данных не указана.

FlexiDepth-Llama-3-8B-Instruct — диалоговая причинно-языковая модель, разработанная Xuan Luo, Weizhi Wang и Xifeng Yan. Это дообученная версия Meta Llama 3 8B Instruct с методом FlexiDepth, который динамически пропускает слои во время генерации текста, чтобы сократить вычисления и ускорить вывод. Архитектура — плотная DDLlamaForCausalLM; модель содержит 7,5 млрд параметров, принимает текст и имеет контекст до 8192 токенов. Модель предназначена для генерации текста и ответов на инструкции на английском языке. Авторы приводят результаты по языковым и рассуждательным тестам: в опубликованном сравнении качество сопоставимо с базовой Llama 3 8B Instruct на большинстве заданий при меньшем среднем числе используемых слоёв. Подход также позволяет анализировать, сколько слоёв модель задействует для разных токенов и задач. Модель распространяется в формате Safetensors под лицензией Apache-2.0. Для загрузки авторы указывают использование Transformers версии 4.57.0; заявленные результаты относятся к описанному в README оцениванию и не гарантируют такое же ускорение или качество в любой среде и на любых задачах.

Homer-v1.0-Qwen2.5-7B — дообученная на большом объёме инструкционных данных языковая модель от автора репозитория newsbang. Она основана на Qwen2.5-7B и предназначена для диалогов и выполнения инструкций; карточка также приводит результаты оценки на IFEval и BBH. Архитектура — плотная Qwen2 с причинным декодером Qwen2ForCausalLM, размер — 7,1 млрд параметров, контекст — до 131 072 токенов. Модель принимает текст и генерирует текст; отдельная специализация на математике не подтверждена, хотя автор сообщает о выпуске математической части набора данных и анализе утечек данных в математических бенчмарках. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. В карточке не описаны поддерживаемые естественные языки и подробные ограничения качества.

Infinity-Instruct-7M-Gen-Llama3_1-8B-GGUF — набор GGUF-квантизованных версий языковой модели Infinity-Instruct-7M-Gen-Llama3_1-8B, разработанной BAAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель обучалась на датасете BAAI/Infinity-Instruct. Модель предназначена для генерации текста и работы с инструкциями, а также для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель рассчитана на 8 миллиардов параметров и поддерживает текстовый ввод и вывод на английском языке. В репозитории представлены варианты от F16 до низкобитных Q2–Q8 и IQ-квантизаций, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размеры файлов варьируются примерно от 3,5 до 16,1 ГБ; наиболее качественными в README названы варианты Q6 и Q5, а Q4_K_M указан как сбалансированный вариант по размеру и качеству. Сильная сторона набора — возможность локального использования на оборудовании с разным объёмом памяти благодаря широкому выбору квантизаций. Ограничения связаны с потерей качества в низкобитных вариантах, а также с тем, что README не содержит данных о максимальной длине контекста, подробной архитектуре, результатах бенчмарков и поддержке других языков или модальностей. Лицензия указана как llama3.1.

juanako-7b-UNA-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением mistralai/Mistral-7B-Instruct-v0.2 и fblgit/juanako-7b-UNA методом SLERP с помощью MergeKit. Это плотная модель Mistral с 7,1 млрд параметров для генерации текста и общения в формате инструкций. Она рассчитана на диалоговые сценарии и поддерживает контекст до 32 768 токенов. Модель принимает текст и генерирует текст; в метаданных заявлена поддержка чата. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. Карточка не приводит результатов сравнительных оценок качества или подробностей о языковом охвате, поэтому применимость для конкретного языка или задачи следует проверять отдельно.

K2-Horizon-MoVA-36B-A4B MLX-4bit — это 4-битная MLX-конверсия модели IFM/K2-Horizon-MoVA-36B-A4B, разработанной IFM. Модель предназначена для генерации текста и запуска через mlx-lm на устройствах Apple с unified memory. Это разреженная Mixture-of-Experts-модель с архитектурой Mixture-of-Values attention (MoVA): общий объём составляет 36 млрд параметров, при обработке каждого токена активно около 4 млрд. Исходная модель поддерживает нативный контекст до 524 288 токенов (512K), однако фактически доступная длина контекста зависит от объёма unified memory и настроек KV-кэша. Вариант является текстовым и не требует vision projector; в метаданных указан английский язык. Веса в основном квантизованы методом affine 4-bit с размером группы 64, а веса маршрутизаторов MoE и MoVA сохранены в 8-битном формате. Размер модели составляет 21,07 ГБ. К сильным сторонам относятся большой контекст, сниженная по сравнению с полной точностью потребность в памяти и разреженная обработка с небольшим числом активных параметров на токен. Ограничениями являются необходимость актуальной версии mlx-lm, зависимость практической длины контекста от доступной памяти и отсутствие мультимодальных возможностей. Модель распространяется по лицензии Apache-2.0.

kellemar-DPO-Orca-Distilled-7B-SLERP — текстовая авторегрессионная модель, разработанная decruz и дообученная на базе mlabonne/Marcoro14-7B-slerp с использованием набора argilla/distilabel-intel-orca-dpo-pairs. Она предназначена для базового инференса и общих языковых задач, включая генерацию ответов, рассуждения и работу в диалоговых приложениях. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README приведены результаты бенчмарков OpenLLM и Nous на январь 2024 года; они характеризуют оценку автора и могут зависеть от методики тестирования. Для модели указана лицензия CC BY-NC 4.0, поэтому её использование ограничено некоммерческими условиями этой лицензии.

Kimi-K2.6-RAM-447GB-GGUF — это смешанно-точная GGUF-квантизация модели moonshotai/Kimi-K2.6, опубликованная baa-ai и созданная с использованием конвейера RAM (Resource-Aware Mixed-precision). Модель предназначена для генерации текста и локального запуска через llama.cpp, в том числе на системах с 512 ГБ оперативной памяти или на конфигурациях с двумя модулями по 256 ГБ. В основе лежит архитектура DeepSeek-V3 decoder (kimi_k2) с 61 слоем, 1,03 трлн параметров, скрытым размером 7168, MLA-attention и MoE-структурой из 384 маршрутизируемых экспертов, из которых для каждого токена активируются 8. Экспертные веса квантизированы в Q3_K, а веса attention распределены между Q5_K и Q8_0 на основе чувствительности отдельных тензоров к ошибкам квантования. Размер файла составляет 447 ГБ. Ключевое преимущество варианта — ориентация на более высокое качество по сравнению с менее ресурсоёмкими сборками благодаря неравномерному распределению разрядности для attention-тензоров. Ограничениями являются чрезвычайно высокие требования к оперативной памяти и отсутствие imatrix: его не использовали, поскольку промежуточный файл Q8_0 объёмом 1,1 ТБ превышал доступную память. Экспертные веса исходной модели INT4 были предварительно деквантизированы и повторно квантизированы в GGUF. В карточке указана лицензия modified-MIT с типом license: other. Поддерживаемые языки и мультимодальные возможности в README не описаны.

L3.1-70b-Milasha — чат-модель, созданная KaraKaraWitch как слияние пяти моделей семейства Llama 3.1 с помощью LazyMergekit. Она предназначена для диалога и генерации текста в формате Llama 3 Instruct; при слиянии MeowMix использовалась для усиления языковых возможностей в китайском, японском и корейском языках. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель подходит для многоходовых бесед и генерации текста с длинным контекстом. Веса доступны в формате safetensors. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое использование. README не содержит подробной оценки качества или перечня ограничений; заявленный акцент на CJK-языках относится к усилению языковых возможностей при слиянии.

Llama 2 13B — это языковая модель для генерации текста, разработанная Meta. Репозиторий TheBloke содержит её версии в формате GGUF, подготовленные TheBloke для локального запуска и инференса на CPU и GPU. Модель основана на архитектуре Llama 2, имеет 13 миллиардов параметров и поддерживает английский язык. Она предназначена для задач генерации текста, включая диалоговые сценарии, написание и продолжение текстов, а также другие приложения text-generation. Формат GGUF поддерживает метаданные, специальные токены и улучшенную токенизацию; доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать баланс между размером, требованиями к памяти и качеством. Контекстное окно и точный набор поддерживаемых модальностей в README не указаны; модель является текстовой и не поддерживает мультимодальный ввод. Файлы совместимы с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие. Квантование снижает требования к ресурсам, но может уменьшать качество по сравнению с исходной версией в формате fp16; степень компромисса зависит от выбранного варианта. Модель распространяется по лицензии Llama 2; условия лицензии следует учитывать при использовании.

Llama-3.1-Tulu-3-70B-SFT-GGUF — это набор GGUF-квантизированных версий языковой модели Llama-3.1-Tulu-3-70B-SFT, разработанной AllenAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях с поддержкой GGUF, например LM Studio. Модель содержит 70 миллиардов параметров и основана на архитектуре Llama 3.1; заявленный язык — английский. В репозитории представлены варианты квантизации от Q8_0 до IQ1_M, различающиеся размером файлов, требованиями к памяти и качеством вывода. Наиболее качественными считаются Q8_0, Q6_K и Q5_K, а Q4_K_M обозначен как подходящий вариант по умолчанию для большинства сценариев. Модели в формате GGUF поддерживают запуск через llama.cpp, однако для версий с низкой точностью возможна заметная потеря качества. Размеры файлов варьируются примерно от 16,75 до 74,98 ГБ, а сведения о размере контекста и мультимодальности не указаны. Для использования требуется достаточно оперативной или видеопамяти в зависимости от выбранной квантизации и конфигурации запуска. Для модели указана лицензия llama3.1.

Llama-3.1-Tulu-3-8B-GGUF — набор GGUF-квантизаций языковой модели Llama-3.1-Tulu-3-8B, разработанной Allen Institute for AI (AI2) и опубликованной в формате для локального запуска. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев; указанный в карточке pipeline — text-generation. Для работы рекомендуется формат приглашений с ролями system, user и assistant, а запуск возможен, в частности, через LM Studio или совместимые инструменты llama.cpp. Модель содержит около 8 млрд параметров, поддерживает английский язык и поставляется в вариантах от исходных весов F16 до более компактных Q2–Q8-квантизаций. Размер файлов составляет примерно от 3,5 до 16,1 ГБ; варианты отличаются компромиссом между качеством и требованиями к памяти. Наиболее сбалансированным для большинства сценариев README называет Q4_K_M, а Q5 и Q6 — высококачественными вариантами. Более сильное сжатие уменьшает потребление памяти, но снижает качество, а отдельные варианты оптимизированы для ARM и имеют ограничения по аппаратной совместимости. Длина контекста и мультимодальные возможности в карточке не указаны. Лицензия обозначена как llama3.1; перед использованием следует учитывать условия лицензии базовой модели.

jiangchengchengNLP/llama3.3-70B-instruct-abliterated-awq — это 4-битная квантованная версия AWQ модели Llama-3.3-70B-Instruct-abliterated. Базовая модель разработана huihui-ai на основе Llama 3.3 70B Instruct, первоначально созданной Meta AI. Модель предназначена для генерации текста и использования в сценариях, где требуется следование инструкциям. Модель поддерживает текстовый ввод и вывод, относится к семейству Llama и имеет размер 70 миллиардов параметров. В README указаны английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий языки. Квантование AWQ до 4 бит снижает требования к памяти по сравнению с полноразмерной версией, однако README не содержит данных о контекстном окне, производительности, аппаратных требованиях или результатах оценки. Модель распространяется по лицензии llama3.3. Ограничения, связанные с качеством, безопасностью, областью применимости и особенностями версии abliterated, в README подробно не описаны.

pearl-ai/Llama-3.3-70B-Instruct-pearl — сертифицированный вариант Meta Llama-3.3-70B-Instruct, подготовленный командой Pearl Research для работы с Pearl vLLM mining plugin. Модель относится к большим языковым моделям типа instruct и предназначена для генерации текста и диалоговых сценариев на основе текстовых запросов; в карточке указана поддержка английского языка. Модель имеет размер 70B параметров и распространяется через Transformers. Её основной сценарий — запуск в инфраструктуре Pearl miner, где vLLM интегрирован с процессами mining. Для работы требуются CUDA-совместимые NVIDIA GPU класса sm90, например H100 или H200, а также программный стек Pearl; в примере запуска задана длина контекста 8192 токена, однако максимальный контекст модели отдельно не указан. В сравнительном тесте на 4 GPU H200 Pearl-сертифицированный вариант показал близкие к исходной модели результаты MMLU и более высокую пропускную способность в некоторых конфигурациях параллелизма, включая 18 291,66 токена в секунду при DP=4. Эти показатели зависят от оборудования и настроек запуска. Модель ориентирована на специализированную инфраструктуру Pearl и требует запущенного pearld-узла с RPC-доступом, поэтому её использование вне этого стека может потребовать дополнительной настройки. Лицензия указана как llama3.3.

llama-3-cat-8b-instruct-v1-GGUF — это квантизированная версия инструкционной текстовой модели llama-3-cat-8b-instruct-v1, опубликованной TheSkullery. Квантизация выполнена bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия по инструкциям, включая локальный запуск через совместимые инструменты llama.cpp. Модель имеет размер 8 миллиардов параметров и поддерживает различные варианты квантизации от Q8_0 до IQ1_S. Доступны версии объёмом примерно от 2,16 до 8,54 ГБ; варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M отмечены как рекомендуемые благодаря балансу качества и требований к памяти. Более компактные варианты позволяют запускать модель на системах с ограниченными ресурсами, но снижают качество. Поддерживается текстовая модальность; сведения о языках и размере контекста в представленном README не указаны. Для работы следует использовать формат промпта, основанный на специальной разметке Llama 3 с ролями system, user и assistant. Лицензия указана как llama3. README не содержит подробных результатов тестирования, описания исходного обучения или ограничений, специфичных для самой модели, поэтому её фактическое качество и языковые возможности требуют самостоятельной оценки.

Llama-3-Perky-Pat-Instruct-8B-GGUF — квантизированная GGUF-версия инструкционной языковой модели Llama-3-Perky-Pat-Instruct-8B. В качестве базовых моделей указаны Meta-Llama-3-8B-Instruct от Meta и Llama-3-8B-Instruct-MopeyMule от failspy; исходная модель опубликована grimjim. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия по инструкциям. Она поддерживает текстовый ввод и вывод, использует формат промптов Llama 3 с ролями system, user и assistant. Размер базовой модели — 8 миллиардов параметров. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Репозиторий содержит множество вариантов квантизации от Q8_0 до Q2_K и IQ2/IQ3/IQ4, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Варианты Q5–Q6 и Q4 описаны как обеспечивающие высокое или хорошее качество, тогда как варианты Q2–Q3 экономят память, но заметно уступают по качеству. Лицензия указана как llama3; конкретные условия её применения следует проверять в документации лицензии Llama 3.

Llama-3-Yggdrasil-8B-GGUF — это набор GGUF-квантизированных версий языковой модели Llama-3-Yggdrasil-8B. Исходную модель разработал Locutusque; она создана на основе объединения моделей NousResearch/Meta-Llama-3-8B, NousResearch/Meta-Llama-3-8B-Instruct, Locutusque/Llama-3-Hercules-5.0-8B и Locutusque/llama-3-neural-chat-v2.2-8b. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp и совместимые инструменты. Доступны варианты с разным балансом качества, размера и требований к памяти: от Q8_0 размером 8,54 ГБ до сверхкомпактного IQ1_S размером 2,01 ГБ. Наиболее рекомендуемыми в карточке названы варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; низкобитные варианты экономят память, но заметно уступают по качеству. В карточке не указаны точная архитектура в технических деталях, максимальный контекст, поддерживаемые языки и результаты benchmark-тестов. Также не задан chat template, поэтому приведённый формат приглашений может быть неточным и требует проверки по исходной карточке модели. Модель распространяется по лицензии Llama 3; условия исходных компонентов и совместимость конкретного варианта следует дополнительно проверять перед использованием.

Llama-Nephilim-Metamorphosis-v2-8B — объединённая языковая модель на архитектуре Llama, созданная автором репозитория с помощью mergekit. В неё с небольшим весом добавлена модель grimjim/llama-3-Nephilim-v3-8B, дообученная на основе Instruct, а основой служит Meta-Llama-3.1-8B-Instruct. После объединения дополнительное обучение не проводилось. Модель предназначена для прямого диалога и генерации текста. Она содержит около 7,5 млрд параметров, рассчитана на контекст до 131 072 токенов и сохраняет возможности обработки длинного контекста; автор сообщает о тестировании до 16 тыс. токенов. Используются архитектура Llama и формат safetensors. Карточка отмечает преимущественно сохранённое поведение безопасности. Модель принимает текст и генерирует текст. Она распространяется по лицензии llama3.1; применяйте её с соблюдением условий этой лицензии.

wangrongsheng/LongWriter-llama3.1-8b-abliterated — текстовая генеративная модель семейства Llama, представленная в формате Transformers и сохранённая в safetensors. По названию репозитория модель связана с LongWriter и Llama 3.1 8B; параметры каталога указывают размер около 7,5 млрд параметров и контекст до 131072 токенов. Она подходит для генерации текста и диалоговых сценариев, где полезно обрабатывать длинный контекст. Метаданные не уточняют языковую специализацию, автора дообучения, лицензию, данные обучения или оценки качества. Суффикс «abliterated» заявлен только в названии и сам по себе не подтверждает конкретные свойства безопасности или поведения модели.

MaziyarPanahi/M7Yamshadowexperiment28_Experiment24Inex12 — слитая языковая модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и принимает текстовые запросы, выдавая текст. Модель создана путём объединения automerger/M7Yamshadowexperiment28-7B и automerger/Experiment24Inex12-7B. Поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Лицензия — Apache-2.0.

Marcoroni-7b-DPO-Merge — языковая модель на 7,1 млрд параметров, опубликованная nfaheem. Это плотная авторегрессионная модель семейства Mistral, объединённая методом TIES с помощью mergekit на основе madatnlp/marcoroni-7b-v3-safetensor, fblgit/UNA-TheBeagle-7b-v1 и udkai/Turdus; веса сохранены в формате safetensors с точностью float16. Модель предназначена для генерации текста и общих языковых задач, включая ответы на вопросы, рассуждения и решение задач. В README приведены результаты на ARC, HellaSwag, MMLU, TruthfulQA, Winogrande и GSM8K, а также заявлено первое место в рейтинге Hugging Face среди моделей около 13 млрд параметров по состоянию на 15 января 2024 года. Нативное контекстное окно составляет 32 768 токенов. README и метаданные не указывают поддерживаемые естественные языки. Модель распространяется по лицензии Apache-2.0; рейтинги из README относятся к указанным оценкам и не гарантируют качество на любых пользовательских задачах.

Это сжатая инструкционная языковая модель meta-llama/Llama-3.2-3B-Instruct, разработанная Meta. Модель предназначена для диалоговых сценариев и генерации ответов на пользовательские запросы; в качестве базовой модели указана Llama-3.2-3B-Instruct. В README также указан датасет HuggingFaceH4/ultrachat_200k и библиотека Transformers. Модель использует схему сжатия W4A16: веса представлены в формате 4 бит, а активации — в формате 16 бит. Сжатие выполнено с помощью llmcompressor на 512 образцах из секции train_sft датасета ultrachat_200k с chat-препроцессингом. Максимальная длина последовательности при подготовке указана как 131072 токена. Такие характеристики могут снизить требования к памяти и упростить запуск по сравнению с полноразмерной версией, однако README не содержит результатов сравнительной оценки, сведений о поддерживаемых языках, точных ограничениях качества или лицензии. Архитектура и модальности отдельно не описаны; по представленным данным модель следует считать текстовой.

amd/MiniMax-M2.1-MXFP4 — текстовая causal language model на базе MiniMaxAI/MiniMax-M2.1, подготовленная Advanced Micro Devices, Inc. Модель принимает текст и генерирует текст, предназначена для задач обработки естественного языка и инференса больших языковых моделей. Модель использует архитектуру MiniMaxM2ForCausalLM и поддерживает английский язык. Веса и активации квантизированы в формате OCP MXFP4: веса — статически, активации — динамически. Квантизация выполнена с помощью AMD-Quark версии 0.11 на основе QuixiAI/MiniMax-M2.1-bf16. Для запуска указаны SGLang и vLLM, а целевая аппаратная платформа — AMD Instinct MI300 и MI350/MI355 с ROCm 7.0, PyTorch 2.8.0 и Transformers 4.57.1 под Linux. В README также приведён пример запуска с максимальной длиной контекста 32 768 токенов. На GSM8K модель показала результат 0,9348 против 0,9356 у исходной BF16-версии, сохранив 99,91% исходной точности. Это указывает на небольшую потерю качества при существенном снижении точности представления, однако данных о других бенчмарках, скорости, потреблении памяти и качестве на иных языках или задачах нет. Использование ориентировано на совместимое оборудование AMD и соответствующий программный стек. Лицензия обозначена как modified-MIT; в README указаны модификации и авторские права Advanced Micro Devices, Inc. за 2026 год.