I.14Автоматизация процессов и AI-агенты

test2_3 — диалоговая языковая модель, созданная alnrg2arg слиянием моделей mlabonne/NeuralBeagle14-7B и abideen/NexoNimbus-7B с помощью mergekit и метода SLERP. Она предназначена для генерации текста в чате, ответов на инструкции, рассуждений и творческих задач. Модель основана на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров; контекст — до 32 768 токенов. Репозиторий содержит веса в формате safetensors, а карточка указывает возможность диалогового использования. Модель принимает текст и генерирует текст. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое; качество ответов и поведение при сложных запросах могут зависеть от сценария применения.

GLM-4-32B-0414-GGUF — это квантизированная версия языковой модели GLM-4-32B-0414, разработанной THUDM, подготовленная пользователем bartowski в формате GGUF. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Заявлена поддержка китайского и английского языков. Модель содержит 32 миллиарда параметров; точные сведения об архитектуре, размере контекста и поддерживаемых модальностях в README не указаны. Доступны варианты от BF16 до различных квантизаций Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Более высокие уровни квантизации обеспечивают лучшее качество, а низкие подходят для систем с ограниченными ресурсами, но могут заметно уступать по качеству. Для запуска требуется совместимое программное обеспечение и объём памяти, соответствующий выбранному варианту. Квантизация выполнена с использованием llama.cpp и метода imatrix; в описании также отмечено исправление токенизатора. Модель распространяется по лицензии MIT. README не содержит подробных результатов тестирования, поэтому фактические преимущества в конкретных задачах и ограничения базовой модели требуют самостоятельной проверки.

Triangulum-5B-it — мультиязычная инструкционная языковая модель от prithivMLmods, построенная на авторегрессионной архитектуре LLaMA. Модель содержит 4,9 млрд параметров, принимает текст и генерирует текст; максимальная длина контекста составляет 8192 токена. В метаданных указана библиотека Transformers, формат весов safetensors и лицензия CreativeML OpenRAIL-M. Модель предназначена для диалога и генерации текста, включая ответы на вопросы, суммаризацию, анализ текста, перевод и создание контента. В README заявлены обучение на синтетических данных с длинными цепочками рассуждений, supervised fine-tuning и RLHF. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. README содержит несогласованности: в одном месте упоминается Triangulum 10B, а пример запуска ссылается на GGUF, тогда как метаданные этой модели указывают 4,9B параметров и safetensors. Качество рассуждений и заявленные методы обучения отдельно не подтверждены. Использование регулируется лицензией CreativeML OpenRAIL-M.

Winter Garden 7B Alpha — экспериментальная чат-модель на архитектуре Mistral, собранная автором карточки путём слияния девяти моделей и вариантов весов. Она предназначена для диалоговой генерации текста, ответов на инструкции, помощи с программированием, научными и математическими вопросами, а также творческих сценариев и ролевых диалогов. В README описано слияние слоёв Mistral-7B-v0.1 с чередованием моделей по девяти случайным группам; конфигурация в основном сохраняет порядок базовой Mistral. Модель содержит 7,1 млрд параметров, принимает контекст до 32 768 токенов и распространяется в формате safetensors. Карточка предлагает использовать разговорный шаблон с описанием сцены и карточкой персонажа; также упоминает несколько вариантов формата инструкций. Автор характеризует модель как способную работать с наукой, математикой и творческими задачами, однако это экспериментальное слияние, и приведённые в README оценки не гарантируют качества в конкретных сценариях. Указана лицензия CC BY-NC 4.0, которая ограничивает коммерческое использование.

Это набор GGUF-квантизованных версий инструкционной языковой модели wisenut-nlp-team-wisenut-llama-3-8B-0.7-Instruct. Исходную модель разработала команда Wisenut NLP Team, а квантизации подготовил Featherless AI Quants. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые и прикладные сценарии обработки естественного языка. Модель относится к семейству Llama 3 и содержит 8 млрд параметров. Она работает в текстовой модальности; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8 ГБ, что позволяет выбирать баланс между требованиями к памяти и качеством. Главное преимущество набора — возможность запускать модель в формате GGUF на совместимом программном обеспечении и подбирать уровень квантизации под имеющееся оборудование. При этом более агрессивная квантизация может снижать качество по сравнению с исходной моделью, а конкретные показатели производительности и качества в README не приведены. Лицензия и условия использования также не указаны.

xdg-llama-3-8B — языковая модель на архитектуре Llama 3, опубликованная xiaodongguaAIGC. Модель содержит около 7,5 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. Она дообучена с использованием SFT, DPO и RLHF, включая обучение reward model и PPO, на смешанных инструкционных данных; среди датасетов указаны набор разработчика alpaca_en_zh_ruozhiba и наборы для безопасности PKU-SafeRLHF и CValues_DPO. Модель предназначена для генерации ответов на инструкции и вопросы, в том числе на китайском и английском языках; автор также заявляет возможности в программировании, рассуждениях и безопасном отказе. README приводит результаты MMLU, C-EVAL и C-MMLU, которые ниже указанных там результатов базовой Llama-3-8B и Llama-3-8B-Instruct. Файлы представлены в формате safetensors. Лицензия в предоставленных данных не указана.

Yi-34B-200K-DARE-megamerge-v8 — языковая модель на 33,9 млрд параметров, созданная brucethemoose слиянием нескольких моделей Yi 34B 200K методом DARE TIES с помощью mergekit. Дополнительного дообучения при создании слияния не проводилось. Модель предназначена для генерации текста, диалогов и работы с длинным контекстом; автор ориентировал её на качество при контексте от 32 тысяч токенов. Максимальный заявленный нативный контекст — 200 000 токенов. В карточке приведён шаблон Orca-Vicuna; также может работать с ChatML и форматами, похожими на Alpaca. Автор отмечает, что подбор параметров генерации важен: рекомендует низкую температуру и MinP от 0,1, поскольку модель склонна к чрезмерно случайным ответам. Успешность слияния и смещения весов в пользу формата Vicuna автор обозначает как экспериментальную. Модель поддерживает английский язык. Лицензия указана как other, поэтому конкретные условия использования следует проверять в репозитории.

AlphaMonarch-7B — диалоговая языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная Mlabonne. Модель получена слиянием нескольких моделей семейства Beagle и последующим дообучением методом DPO на наборе предпочтений argilla/OpenHermes2.5-dpo-binarized-alpha; в метаданных базовой моделью указана mlabonne/NeuralMonarch-7B. Модель предназначена для диалогов, следования инструкциям, рассуждений, ролевых сценариев и написания историй. README рекомендует шаблон чата Mistral Instruct и описывает контекст 8 тысяч токенов; метаданные указывают native context в 32 768 токенов. Разрешено текстовое взаимодействие на английском языке. README сообщает о формальном и изысканном стиле ответов, который можно менять инструкциями в запросе. Модель доступна в формате safetensors и распространяется по лицензии CC BY-NC 4.0, ограничивающей коммерческое использование. Заявления README о сравнительных результатах относятся к указанным там бенчмаркам; они не гарантируют качество на других задачах. LLM может выдавать ошибочную или вымышленную информацию.

m-ric/Aria_hf_2 — опубликованный на Hugging Face чекпойнт модели Aria, разработанной командой Rhymes.AI; репозиторий содержит веса в формате safetensors и использует архитектуру AriaForConditionalGeneration. Это мультимодальная модель типа mixture-of-experts, принимающая текст и изображения и генерирующая текст. Она подходит для диалога по изображениям, визуальных вопросов и ответов, описания изображений, а также задач понимания документов и диаграмм. В документации Aria указаны 3,9 млрд активируемых параметров на визуальный токен и 3,5 млрд на текстовый токен; текст обрабатывается MoE-декодером, а изображения — лёгким визуальным энкодером. Репозиторий m-ric/Aria_hf_2 не уточняет размер контекстного окна, поддерживаемые языки или лицензию, поэтому эти характеристики здесь не заявляются. Для загрузки через Transformers указано использование trust_remote_code.

bartowski/baidu_ERNIE-4.5-21B-A3B-PT-GGUF — это GGUF-квантизация модели ERNIE-4.5-21B-A3B-PT, разработанной Baidu. Квантизации подготовлены bartowski с использованием llama.cpp b5924 и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от исходных весов BF16 размером 43,66 ГБ до компактных IQ3 и Q3 объёмом около 9,35–10,73 ГБ, а также распространённые форматы Q4, Q5, Q6 и Q8. Варианты Q4–Q6 обеспечивают хороший или очень высокий уровень качества при меньших требованиях к памяти; Q4_K_M обозначен как стандартный вариант для большинства сценариев, а Q6_K_L и Q6_K — как варианты, близкие к максимальному качеству. Некоторые форматы оптимизированы для CPU, ARM или Apple Silicon. В README не указаны контекстное окно, поддерживаемые языки, модальности, точная архитектура и рекомендуемый формат промпта. Лицензия также не указана, поэтому условия использования следует уточнять на странице исходной модели Baidu. Ключевое ограничение — необходимость подобрать вариант квантизации с учётом доступной оперативной или видеопамяти и допустимой потери качества.

DeepSeek-R1-Distill-Qwen-32B-abliterated-GGUF — это набор квантизированных версий текстовой генеративной модели DeepSeek-R1-Distill-Qwen-32B-abliterated. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходную модель разработала huihui-ai. Модель предназначена для генерации текста и запуска локально через совместимые инструменты, включая LM Studio и llama.cpp. Модель содержит около 32 миллиардов параметров и распространяется в формате GGUF с вариантами от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4 и Q3, включая IQ-варианты. Размер файлов составляет примерно от 15,94 до 65,54 ГБ в зависимости от варианта. README не указывает поддерживаемые языки, размер контекстного окна и мультимодальные возможности, поэтому подтверждено только текстовое применение. Ключевые преимущества — широкий выбор вариантов квантизации, возможность локального запуска и сохранение высокого качества у версий Q6 и Q5; Q4_K_M обозначена как вариант по умолчанию для большинства сценариев. Более компактные версии подходят для систем с ограниченной оперативной памятью, но обеспечивают более низкое качество. Модель помечена как abliterated и uncensored, однако подробные характеристики, ограничения и лицензия в README не указаны.

DeepSeek-V2-Lite-IMat-GGUF — это GGUF-квантизированная версия языковой модели DeepSeek-V2-Lite, разработанной deepseek-ai. Квантизацию выполнил legraphista с использованием llama.cpp и метода IMatrix, предназначенного для снижения размера модели с сохранением качества. Модель относится к задачам генерации текста и рассчитана на запуск через совместимые инструменты, включая llama.cpp. В репозитории доступны варианты от исходных FP16 и BF16 до различных уровней квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серии. Размер файлов составляет примерно от 5,64 до 31,42 ГБ. IMatrix применяется в вариантах с более низкой точностью, включая Q4_K, Q3_K, Q2_K и IQ-квантизации; для FP16, BF16, Q8_0 и некоторых других вариантов он не используется. Исходная модель имеет тип данных BF16. Сильная сторона сборки — широкий выбор компромиссов между качеством, размером и требованиями к ресурсам, а IMatrix может улучшать сохранение качества при агрессивной квантизации. README не содержит сведений об архитектуре, числе параметров, длине контекста, поддерживаемых языках, мультимодальности, результатах оценивания или лицензии, поэтому эти характеристики нельзя достоверно определить по представленным данным.

mlx-community/dolphin-vision-72b-4bit — 71,5-миллиардная мультимодальная чат-модель семейства LLaVA-Qwen2, преобразованная сообщественным проектом mlx-community в формат MLX из cognitivecomputations/dolphin-vision-72b. Она принимает текст и изображения и генерирует текст; подходит для диалога, ответов на вопросы по изображениям и общих задач генерации текста. Модель основана на Qwen/Qwen2-72B, дообученной на инструкционных и диалоговых данных, включая Dolphin, OpenHermes, наборы для программирования, математики и вызова функций. Заявленная длина контекста — 131 072 токена. Репозиторий предназначен для использования с mlx-vlm на устройствах Apple, а веса представлены в 4-битном варианте. README ссылается на исходную карточку для подробностей; метаданные указывают лицензию как other, поэтому конкретные условия следует уточнять в исходной карточке и файлах лицензии. Качество ответов по изображениям и поддержка отдельных возможностей зависят от исходной модели и реализации; это крупная модель, требующая значительных ресурсов.

Legion-V2.1-LLaMa-70B-Elarablated-v0.8-hf-GGUF — это квантизированная GGUF-версия языковой модели Legion-V2.1-LLaMa-70B-Elarablated-v0.8-hf, разработанной e-n-v-y и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В основе лежит модель семейства LLaMa с заявленным размером 70B параметров. Доступны варианты квантизации от Q8_0 до низкобитных Q3 и IQ3, что позволяет выбирать между качеством ответов, размером файла и требованиями к оперативной памяти. Рекомендуемыми указаны варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; размеры доступных файлов составляют примерно от 31,94 до 74,98 ГБ. Для работы используется форматированный шаблон промпта LLaMA 3 с системными, пользовательскими и ассистентскими сообщениями. Сильной стороной модели является возможность локального запуска и широкий выбор квантизаций, включая варианты, оптимизированные для ограниченного объёма памяти и некоторых CPU-платформ. Ограничения включают значительные требования к дисковому пространству и памяти, особенно для высококачественных вариантов; при более сильной квантизации качество снижается. Сведения о поддерживаемых языках, размере контекстного окна, мультимодальности и специализированных сценариях в README не указаны. Лицензия обозначена как llama3.3.

Etheria-55b-v0.1 — плотная языковая модель семейства Llama, созданная слиянием моделей серии Etheria и моделей Yi-34B-200K. Автор объединил варианты VerA и VerB, затем применил метод DARE TIES; в метаданных указаны 55,1 млрд параметров и формат safetensors. Модель предназначена для генерации текста и диалогового общения; в README указана совместимость с форматами запросов ChatML и Alpaca. Для контекста заявлена теоретическая длина до 200 000 токенов, однако автор рекомендует начинать с 32 000 токенов, поскольку влияние слияния на работу с длинным контекстом не проверено. README сообщает о тестировании до 32 000 токенов через exl2 и приводит результаты нескольких оценок на Open LLM Leaderboard. Модель распространяется по лицензии Apache-2.0.

Experiment28M7_Percival_01Shadow — объединённая модель на архитектуре Mistral, созданная слиянием automerger/Experiment28M7-7B и automerger/Percival_01Shadow-7B. Модель содержит 7,1 млрд параметров и предназначена для генерации текста; максимальная длина контекста составляет 32 768 токенов. Модель можно использовать для диалогов и других задач генерации текста. Она распространяется в формате Safetensors по лицензии Apache 2.0. Данных о специализации по языкам или предметным областям в карточке нет.

Experiment28T3q_NeuralsirkrishnaExperiment26 — слитая языковая модель семейства Mistral, созданная путём объединения automerger/Experiment28T3q-7B и automerger/NeuralsirkrishnaExperiment26-7B. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и сохранена в формате safetensors. Модель предназначена для генерации текста и принимает текстовые запросы, формируя текстовые ответы. Размер контекстного окна составляет 32 768 токенов. Репозиторий распространяется по лицензии Apache-2.0.

Это квантизированная GGUF-версия текстовой генеративной модели gemma-2-27b-it-SimPO-37K, созданная пользователем bartowski на основе AALF/gemma-2-27b-it-SimPO-37K. Квантизация выполнена с помощью llama.cpp b3615 и метода imatrix; модель предназначена для запуска локально, в том числе через LM Studio. Модель относится к семейству Gemma 2 и имеет размер 27B параметров. Она работает с текстом и предназначена для генерации ответов в диалоговом формате с использованием специального шаблона prompt format Gemma. В README не указаны поддерживаемые языки, размер контекстного окна и точные сведения об архитектуре или исходном обучении, поэтому эти характеристики нельзя надежно определить. Доступно множество вариантов квантизации от F16 до Q2_K и IQ2_M, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Варианты Q6_K и Q6_K_L описаны как близкие к исходному качеству, а Q4_K_M — как компромиссный вариант. Более сильная квантизация экономит память, но снижает качество; самые компактные варианты характеризуются как низкокачественные. Модель распространяется по лицензии Gemma.

Карточка модели Elio2151/Gemma-2-9B-Instruct-TechnicalAgentFineTuned-Merged_6 на Hugging Face совпадает с карточкой Elio2151/Gemma-2-9B-Instruct-TechnicalAgentFineTuned-Merged_5, поэтому описание составлено по ней. Elio2151/Gemma-2-9B-Instruct-TechnicalAgentFineTuned-Merged_5 — дообученная чат-модель Elio2151 на архитектуре Gemma 2. В качестве основы использована unsloth/gemma-2-9b-it-bnb-4bit; модель обучали с использованием Unsloth и библиотеки TRL от Hugging Face. Модель предназначена для диалоговой генерации текста и может использоваться для ответов на вопросы, составления текстов и помощи в технических задачах. Она содержит около 9 млрд параметров, принимает текст и генерирует текст, поддерживает английский язык и имеет контекстное окно 8192 токена. В репозитории указаны веса safetensors. Модель распространяется по лицензии Apache 2.0. README не описывает конкретный набор обучающих данных, результаты оценки качества или специальные ограничения применения.

bartowski/gemma-2-9b-it-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Gemma 2 9B IT, разработанной Google и подготовленной пользователем bartowski для запуска через llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая локальные чат-приложения и другие задачи, где требуется выполнение инструкций. Доступны варианты от F32 до низкобитных Q2 и IQ-квантизаций объёмом примерно от 3,43 до 36,97 ГБ. Модель является текстовой и использует архитектуру Gemma 2 с примерно 9 млрд параметров. README не указывает поддерживаемые языки и размер контекста. Для работы необходимо применять специальный формат prompt с маркерами начала и конца хода; системные сообщения не поддерживаются. Квантизации с более высокой точностью сохраняют лучшее качество, а варианты Q4–Q6 предлагают компромисс между качеством и требованиями к памяти; низкобитные варианты экономичнее, но могут заметно уступать в качестве. Распространение основано на лицензии Gemma от Google. Для доступа к исходной модели на Hugging Face требуется принять условия использования Google. README не содержит подробного описания ограничений лицензии или результатов бенчмарков, поэтому качество следует оценивать с учётом выбранной квантизации и конкретного сценария применения.

GLM-4.7-Flash-5bit — это версия языковой модели GLM-4.7-Flash, разработанной организацией zai-org и преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста и запуска на устройствах и в программных окружениях, совместимых с MLX. Модель поддерживает английский и китайский языки и относится к классу text-generation. Вариант 5bit использует 5-битное представление параметров, что может снизить требования к памяти по сравнению с полноформатной версией, однако README не содержит точных сведений о размере модели, архитектуре, длине контекста, доступных модальностях и производительности. Для работы требуется библиотека mlx-lm; в README приведён пример загрузки модели, применения chat template и генерации ответа. Модель распространяется по лицензии MIT. Ограничения, связанные с качеством, безопасностью и областью применения базовой модели, в предоставленных данных отдельно не описаны.

MLX-формат модели GLM-4.7-Flash-6bit, конвертированной сообществом mlx-community из базовой модели zai-org/GLM-4.7-Flash с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе в сценариях диалогового взаимодействия с применением chat template. Из доступных данных известно, что модель поддерживает английский и китайский языки и распространяется по лицензии MIT. Формат 6bit указывает на квантованное представление, однако точные сведения об архитектуре, количестве параметров, размере контекста, модальностях, производительности и ограничениях в README не приведены. Для использования требуется установка mlx-lm; модель рассчитана на окружение MLX.

Olafangensan/GLM-4.7-Flash-heretic — разговорная текстовая модель семейства GLM-4.7-Flash, созданная удалением части отказов методом ablation (abliteration). В README приведено сравнение с исходной моделью zai-org/GLM-4.7-Flash: частота отказов в указанной оценке снизилась с 50 до 15 из 100, а KL-дивергенция составила 0,0039. Метаданные указывают архитектуру GLM-4 MoE Lite, 4,1 млрд параметров и контекст до 202 752 токенов; README описывает исходную GLM-4.7-Flash как модель MoE 30B-A3B. Модель предназначена для генерации текста в диалоге и локального развертывания; среди возможных сценариев — ответы на вопросы, написание текстов и помощь в программировании. Исходная карточка приводит результаты на математических, научных и кодовых бенчмарках, однако они относятся к GLM-4.7-Flash и не подтверждают напрямую качество heretic-версии. В метаданных указаны английский и китайский языки, формат safetensors и библиотека Transformers; README также упоминает запуск через vLLM и SGLang. Лицензия — MIT. Уменьшение числа отказов не означает отсутствия отказов или гарантии безопасности и качества; опубликованные сравнительные замеры ограничены приведённой оценкой и не заменяют независимую проверку модели.

GML-Mistral-merged-v1 — плотная языковая модель семейства Mistral, опубликованная пользователем zyh3826. Это объединение моделей quantumaikr/quantum-v0.01 и mncai/mistral-7b-dpo-v5, выполненное методом passthrough с помощью mergekit; веса сохранены в формате safetensors и типе bfloat16. Модель предназначена для генерации текста и принимает текстовые запросы. В метаданных указан размер 8,9 млрд параметров и контекстное окно до 32 768 токенов. Репозиторий распространяется по лицензии Apache-2.0. Карточка не описывает языки, специальные предметные области или сравнительные результаты, поэтому назначение модели следует считать общим; качество ответов и поддержка конкретных сценариев в предоставленных данных не оценены.

mlx-community/gpt-oss-120b-MXFP4-Q8 — языковая модель для генерации текста, разработанная на основе openai/gpt-oss-120b компанией OpenAI и преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.27.0. Модель предназначена для сценариев генерации текста и диалогового взаимодействия, включая работу с prompt и chat template, и может использоваться через библиотеку mlx-lm. Модель относится к pipeline text-generation и рассчитана на запуск в экосистеме MLX. В идентификаторе указано обозначение MXFP4-Q8, однако README не раскрывает подробности архитектуры, фактический объём параметров, поддерживаемые языки, максимальную длину контекста, модальности или результаты тестирования. Лицензия — Apache-2.0. Сильной стороной является адаптация к MLX и возможность локального использования через mlx-lm; ограничения и требования к аппаратным ресурсам в предоставленных данных не указаны.

Grafted-Hermetic-Platypus-A-2x7B — чат-модель семейства Mixtral, созданная объединением Platyboros-Instruct-7B и Hermes-Instruct-7B-v0.2. Она предназначена для генерации текста в ответ на инструкции и диалоговые запросы; карточка приводит форматы запросов Mistral-Instruct и Alpaca. Модель имеет архитектуру Mixtral с разреженной смесью экспертов (MoE), около 7,1 млрд параметров и контекст до 32 768 токенов. Репозиторий содержит веса Safetensors. В README приведены результаты Open LLM Leaderboard, включая среднее значение 64,23, но эти оценки сами по себе не гарантируют качество в конкретном сценарии. Модель распространяется по лицензии Apache-2.0.

QuantFactory/granite-3.0-1b-a400m-instruct-GGUF — квантизированная версия Granite-3.0-1B-A400M-Instruct, созданная QuantFactory с использованием llama.cpp на основе модели IBM ibm-granite/granite-3.0-1b-a400m-instruct. Исходная модель разработана командой Granite в IBM и дообучена на открытых наборах данных для следования инструкциям, а также на внутренних синтетических данных с применением supervised fine-tuning, reinforcement learning и объединения моделей. Модель предназначена для генерации текста и диалоговых сценариев, обработки инструкций, ответов на вопросы, рассуждений, решения математических задач, работы с кодом и задач на понимание текста. В карточке указано около 1 млрд параметров; формат GGUF и квантизация ориентированы на запуск через llama.cpp и использование с ограниченными ресурсами. Поддерживаемые модальности, точный размер контекста и перечень языков в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0. В карточке приведены результаты на IFEval, MT-Bench, MMLU, HumanEval, GSM8K, PAWS-X и других тестах, однако они относятся к указанной в метаданных модели Granite-3.0-2B-Instruct, поэтому не должны напрямую интерпретироваться как показатели данной 1B-квантизированной версии. Ограничения включают уменьшенный размер модели и возможное снижение качества из-за квантизации; отдельные характеристики производительности и требования к запуску не указаны.

Это квантованная версия Granite 3.0 2B Instruct — инструкционно настроенной языковой модели, разработанной IBM под именем ibm-granite/granite-3.0-2b-instruct. Репозиторий MaziyarPanahi/granite-3.0-2b-instruct-GGUF содержит файлы модели в формате GGUF, предназначенные для локального запуска и совместимые с экосистемой llama.cpp. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые и другие сценарии текстовой обработки. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов, включая решения с GPU-ускорением. Из предоставленных данных не указаны точное устройство архитектуры, размер контекстного окна, поддерживаемые языки, результаты тестирования и конкретные ограничения качества. Лицензия в README также не указана, поэтому условия использования следует уточнять в исходном репозитории базовой модели IBM и в материалах данного репозитория.

Heretic-Scalpel-TriTier-E2B — экспериментальная разговорная языковая модель, опубликованная пользователем feifei. По карточке, она построена на Gemma 4 E2B и использует архитектуру Hierarchical Tri-Tier Mixture-of-Adapters: плотный адаптер для STEM-задач и разреженно активируемые микроадаптеры для тематического управления генерацией. Метаданные классифицируют её как дообучение модели aifeifei798/Heretic-Scalpel-E2B; репозиторий содержит веса SafeTensors, а заявленная лицензия — Apache-2.0. Модель предназначена для диалоговой генерации текста, включая рассуждения по STEM и алгоритмам, программирование, а также литературные, гуманитарные и творческие задачи. Карточка описывает базовую модель как Gemma 4 E2B, но не приводит надёжных сведений о контекстном окне и поддержке мультимодального ввода; текстовые задачи и английский язык подтверждаются метаданными. Заявленный размер артефакта — 121,6 МБ. README заявляет 32 специализированных микроадаптера и 50 шагов обучения, однако не предоставляет достаточных независимых оценок качества или подробных воспроизводимых результатов. Поэтому пригодность для конкретных задач следует проверять отдельно; совместимость с пользовательским кодом требует загрузки с trust_remote_code=True.

Hermes-4-70B-GGUF — это квантизированная версия языковой модели Hermes-4-70B, разработанной NousResearch. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы, создание и преобразование текстов и другие задачи обработки естественного языка. Формат GGUF ориентирован на локальный запуск с использованием совместимых инструментов, включая llama.cpp и LM Studio. В основе модели лежит модель размером 70 миллиардов параметров; точный вариант квантования в README не указан. Модель работает с текстовой модальностью, сведения о поддерживаемых языках и размере контекстного окна не приведены. Квантизация может снизить требования к памяти по сравнению с полноразмерной моделью, но потенциально влияет на точность и качество генерации. Как и другие генеративные модели, она может создавать неточные, вредные или неподходящие ответы. GGUF-квантизация предоставлена командой LM Studio с использованием llama.cpp release b6287, при этом LM Studio не является разработчиком исходной модели. Лицензия в README не указана.