I.14Автоматизация процессов и AI-агенты

CogVLM2 Chinese Chat — мультимодальная чат-модель компании Zhipu AI на архитектуре CogVLM2 с языковой основой Meta-Llama-3-8B-Instruct. Она принимает изображения и текст и генерирует текстовые ответы на вопросы о содержимом изображений, включая документы, диаграммы и сцены. Поддерживает китайский и английский языки, изображения с разрешением до 1344 × 1344 пикселей и контекст до 8192 токенов. Модель предназначена для визуальных вопросов и ответов, чтения текста на изображениях и анализа документов без внешних OCR-инструментов. README сообщает об улучшениях на бенчмарках TextVQA и DocVQA относительно предыдущего поколения CogVLM. В метаданных размер указан как 8,3 млрд параметров, тогда как README описывает семейство как модель на 19B; точный размер этой версии поэтому представлен источниками неоднозначно. Модель опубликована в формате safetensors. Лицензия указана как «other»; конкретные условия использования следует сверять с условиями репозитория и базовой модели.

ColorShadow-7B — языковая модель для генерации текста и диалогов, созданная слиянием моделей diffnamehard/Mistral-CatMacaroni-slerp-7B и cookinai/Valkyrie-V1. Слияние выполнено методом Gradient-SLERP с помощью mergekit; архитектура — плотная MistralForCausalLM с 7,1 млрд параметров. Модель предназначена для генерации текста и разговорного взаимодействия. Она принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. В README приведены результаты оценки на нескольких бенчмарках рассуждения и понимания текста. Модель распространяется по лицензии Apache-2.0.

Cypher-7B — диалоговая языковая модель на архитектуре Mistral, созданная объединением NousResearch/Nous-Hermes-2-Mistral-7B-DPO и cognitivecomputations/samantha-1.1-westlake-7b-laser методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и общения в формате чата. Модель принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. Репозиторий использует Transformers и формат safetensors. Лицензия указана как CC, но конкретный вариант лицензии в предоставленных данных не раскрыт.

Это GGUF-квантизированная версия conversational-модели datagemma-rig-27b-it, исходно разработанной Google. Релиз подготовлен пользователем legraphista с применением llama.cpp и предназначен для локального запуска и генерации текста в диалоговых сценариях. В основе лежит модель размером 27 млрд параметров в формате BF16; исходная карточка указывает текстовую генерацию, но не сообщает поддерживаемые языки и размер контекстного окна. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, включая форматы IQ. Квантизация позволяет выбирать компромисс между качеством, размером файла и требованиями к памяти: размеры файлов варьируются примерно от 10,45 до 54,46 ГБ. Для ряда вариантов применена IMatrix-квантизация, рассчитанная на сохранение качества при уменьшенной точности; BF16, FP16, Q8_0 и Q6_K используют статические варианты без IMatrix. Модель предназначена для работы через llama.cpp и совместимые инструменты, однако конкретные системные требования и показатели качества в README не указаны. Использование регулируется лицензией Gemma от Google; для доступа на Hugging Face требуется принять условия лицензии. Ограничения, связанные с безопасностью, точностью ответов и конкретными сценариями применения исходной модели, в представленных данных не описаны.

Andromeda-70B-GGUF — это квантизированная версия языковой модели Andromeda-70B, разработанной ddh0. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных средах, совместимых с форматом GGUF, включая LM Studio, llama.cpp и другие проекты на его основе. Модель имеет заявленный размер 70B параметров и поддерживает несколько вариантов квантизации — от Q8_0 до Q2 и IQ-серий. Размер файлов варьируется примерно от 22 до 75 ГБ, поэтому можно выбирать между качеством ответов и требованиями к оперативной памяти. Наиболее качественными и рекомендуемыми указаны варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_L и Q4_K_M; варианты с более низкой разрядностью экономят память, но заметно уступают по качеству. В README приведён специальный шаблон приглашений с системными и пользовательскими сообщениями, а также датами отсечения знаний: декабрь 2023 года для базы знаний и 26 июля 2024 года как текущая дата шаблона. Архитектура, поддерживаемые языки, размер контекстного окна, результаты тестирования и лицензия не указаны. Условия использования следует уточнять по исходной модели ddh0/Andromeda-70B и соответствующим материалам проекта.

Это набор GGUF-квантизированных версий языковой модели Gemma 3 40B, разработанной ddh0 и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и локального запуска в совместимых приложениях, включая LM Studio, llama.cpp и другие проекты на его основе. В набор входят варианты от BF16 до низкобитных Q2 и IQ-квантизаций размером примерно от 15,5 до 79,6 ГБ. Доступны различные уровни компромисса между качеством, требованиями к памяти и скоростью инференса; наиболее качественными и рекомендуемыми в README названы варианты Q6_K, Q6_K_L, Q5 и Q4. Архитектура, поддерживаемые языки, модальности и размер контекста в предоставленных данных не указаны. Сильной стороной модели является широкий выбор квантизаций, позволяющий адаптировать запуск к доступным ресурсам, при этом старшие варианты сохраняют качество, близкое к исходной модели. Низкобитные варианты требуют меньше памяти, но могут заметно уступать по качеству. Для модели не указан отдельный chat template, поэтому используется шаблон по умолчанию, который может быть некорректным; рекомендуется сверяться с карточкой исходной модели. Лицензия указана как Gemma.

DeepSeek LLM 7B Chat — разработанная DeepSeek плотная авторегрессионная языковая модель семейства LLaMA с 6,5 млрд параметров в метаданных. Модель создана на основе deepseek-ai/deepseek-llm-7b-base и дообучена на дополнительных инструкционных данных для диалогового взаимодействия. Она обучалась с нуля на корпусе из 2 трлн токенов на английском и китайском языках. Модель предназначена для генерации текста и ответов в чате. Она принимает текстовые сообщения и выдаёт текст; максимальный контекст составляет 4096 токенов. README предупреждает, что системный промпт несовместим с этой версией и не рекомендует его включать во входные сообщения. Указана лицензия other; README представляет выпуск как открытый для исследовательского сообщества, но не уточняет конкретные условия лицензии.

Карточка модели KnutJaegersberg/Deita-Mixtral-8x7b на Hugging Face совпадает с карточкой KnutJaegersberg/Deita-34b, поэтому описание составлено по ней. KnutJaegersberg/Deita-34b — языковая модель для генерации текста, построенная на архитектуре Llama с плотной схемой и 33,9 млрд параметров. Модель рассчитана на инструкции и диалоговые запросы; в README приведён пример ответа на вопрос о тонкой настройке языковой модели. Контекстное окно составляет 4096 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. В метаданных указан датасет KnutJaegersberg/Deita-6k; они не уточняют связь модели с базовым чекпойнтом или способ её обучения.

Dolphin-5.1-7b — языковая модель на архитектуре Mistral, созданная слиянием моделей cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser и teknium/OpenHermes-2.5-Mistral-7B методом SLERP с помощью LazyMergekit. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев. Её можно применять для ответов на вопросы, написания и преобразования текста, а также для других задач, решаемых генеративной языковой моделью. В README не приведены отдельные результаты оценки качества или подробные рекомендации по применению. Модель распространяется под лицензией Apache-2.0. Карточка не сообщает о специальных ограничениях или дополнительных фильтрах контента.

Eunoia-Gemma-9B — объединённая с помощью mergekit языковая модель на архитектуре Gemma 2 с 9 млрд параметров. В слиянии SLERP использованы gmonsoon/SahabatAI-Lion-9B-TIES-v1 и Gunulhona/Gemma-System-9B; в конфигурации базовой указана первая модель. Репозиторий содержит веса в формате safetensors, модель предназначена для генерации текста и диалогового общения. Модель принимает текстовые запросы и выдаёт текст. Контекстное окно составляет 8192 токена. Метаданные базовой модели указывают на назначение для диалогов и генерации по инструкциям на языках Юго-Восточной Азии и английском; точный перечень поддерживаемых языков не приведён. Лицензия в предоставленных данных не указана.

Gaperon-1125-8B — двуязычная авторегрессионная языковая модель с 8 млрд параметров, разработанная командой ALMAnaCH в Inria Paris. Модель построена на архитектуре Llama 3 и обучена примерно на 4 трлн токенов с поэтапным смешиванием данных; финальная фаза включала около 20% данных в формате инструкций. Используется токенизатор Llama 3.1 BPE с размером словаря 128 256 токенов. Модель предназначена для генерации текста на французском и английском языках, работы с кодом и исследований двуязычного NLP, стратегий обучения и отбора данных. В обучающих данных преобладает английский язык (54–65% токенов), доля французского составляет 24–39%, кода — 8–14%. README указывает, что это основной выпуск проекта для общего использования в масштабе 8B, однако также характеризует его как исследовательскую модель и не рекомендует для производственных и критически важных применений. Для диалоговых задач авторы советуют SFT-вариант; качество на бенчмарках уступает моделям, специально оптимизированным под них или более крупным моделям. Лицензия в метаданных — BigScience OpenRAIL-M.

CallComply/gemma-2-27b-it — текстовая инструкционная модель семейства Gemma 2 от Google, представленная в формате safetensors и предназначенная для диалоговой генерации. Это плотная decoder-only языковая модель с 27,6 млрд параметров и контекстом до 8192 токенов; она принимает текст и генерирует текст. Карточка описывает семейство Gemma как англоязычное, а отдельные сведения о дообучении именно этой версии не приведены. Модель подходит для чат-ботов и виртуальных помощников, ответов на вопросы, суммаризации и создания черновиков текстов. Указанные ограничения включают возможные фактические ошибки, устаревшие сведения, смещения в ответах и трудности с неоднозначностью и сложными инструкциями. Для использования действует лицензия Gemma.

Gemma-2-9B-It-SPPO-Iter3-GGUF — квантизированная версия языковой модели Gemma-2-9B-It-SPPO-Iter3, опубликованная UCLA-AGI и подготовленная в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, включая диалоговые и другие сценарии применения текстовых LLM. Обучение или дообучение связано с датасетом openbmb/UltraFeedback. Модель содержит около 9 миллиардов параметров и поддерживает английский язык. Доступны варианты от F32 до низкобитных квантований Q2 и IQ2, размером примерно от 3,43 до 36,97 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp b3389; варианты Q6 и Q5 позиционируются как обеспечивающие очень высокое качество, а Q4 — как компромисс между качеством и требованиями к памяти. README не указывает размер контекста и модальности, поэтому эти характеристики неизвестны. Для работы требуется соблюдать формат prompt, основанный на специальной разметке ролей Gemma. Модель не поддерживает system prompt. Качество и требования к памяти зависят от выбранного варианта квантования: более компактные файлы экономят ресурсы, но могут заметно снижать качество. Лицензия указана как gemma; конкретные условия её применения следует уточнять в документации Gemma.

GLM-5.2-DQ4plus-q8 — это конвертированная в формат MLX и смешанно квантованная версия языковой модели GLM-5.2, разработанной Z.ai (zai-org) и опубликованной сообществом mlx-community. Модель предназначена для генерации текста и локального запуска на одном Apple Mac Studio с чипом M3 Ultra и 512 ГБ памяти; для использования рекомендуется библиотека mlx-lm. Ключевая особенность — смешанная квантизация: большинство тензоров сохраняется в 8-битном формате, тензоры up и gate экспертных слоёв квантуются до 4 бит, а down-тензоры — до 5 и 6 бит в зависимости от блока. Такой подход призван сохранить качество при меньшем потреблении памяти и оставить место для контекстного окна. В README не указаны точный размер модели, архитектура GLM-5.2, поддерживаемые языки, модальности и длина контекста; заявленные характеристики применимы прежде всего к MLX-окружению Apple Silicon. Модель ориентирована на пользователей, которым нужен локальный запуск крупной языковой модели на совместимом Mac. Её сильная сторона — компромисс между качеством и требованиями к памяти благодаря преимущественно 8-битным весам и более экономной квантизации экспертных тензоров. Ограничения связаны с привязкой к MLX и оборудованию Apple Silicon, а также с возможными потерями качества из-за квантизации. Модель распространяется по лицензии MIT.

MaziyarPanahi/gpt-oss-20b-Derestricted-GGUF — это набор файлов модели в формате GGUF для ArliAI/gpt-oss-20b-Derestricted. Исходную модель разработала ArliAI, а конвертацию и публикацию GGUF-файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые приложения и библиотеки. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между качеством, размером файлов и требованиями к памяти. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов. Сведения об архитектуре, размере контекста, поддерживаемых языках и мультимодальности в README не указаны. Лицензия также не указана, поэтому условия использования по этим данным определить нельзя.

GreenOnion-7b-task — объединённая языковая модель от автора powermove72, созданная с помощью LazyMergekit из GreenNode/GreenNode-mini-7B-multilingual-v1olet и eren23/OGNO-7b-dpo-truthful. В конфигурации использован метод task arithmetic с весами 0,4 и 0,6 соответственно, нормализацией и объединённым токенизатором; архитектура — плотная MistralForCausalLM, веса сохранены в safetensors и рассчитаны на float16. Модель предназначена для генерации текста; базовая OGNO-7B ориентирована на правдивость ответов. Размер составляет 7,1 млрд параметров, длина контекста — 32 768 токенов. В названии одной из исходных моделей заявлена многоязычность, однако конкретный перечень поддерживаемых языков в предоставленных данных не приведён. Лицензия в источниках не указана.

Hathor_Gamma-L3-8B-0.6-GGUF — квантизированная версия языковой модели Hathor_Gamma-L3-8B-0.6, разработанной Nitral-AI. Файлы в формате GGUF подготовлены пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия; в README указан английский язык и шаблон запросов в формате, совместимом с Llama 3. Модель содержит около 8 миллиардов параметров и доступна в нескольких вариантах квантования от Q8 до Q2 и IQ2/IQ3/IQ4. Размер файлов составляет примерно от 2,75 до 9,52 ГБ. Старшие варианты квантования обеспечивают очень высокое качество при повышенных требованиях к памяти, тогда как младшие позволяют запускать модель на устройствах с ограниченным объёмом RAM, но заметно снижают качество. Некоторые варианты используют f16 для весов эмбеддингов и выходного слоя и отмечены как экспериментальные. Эта сборка удобна для локального запуска через llama.cpp и совместимые инструменты. README не содержит сведений о длине контекста, мультимодальности, данных обучения, результатах тестирования или точных архитектурных особенностях. Лицензия указана как other, без дополнительных условий в представленном описании, поэтому перед использованием следует проверить лицензию исходной модели Nitral-AI.

jina-vlm — компактная мультиязычная модель зрения и языка от Jina AI. Она объединяет визуальный энкодер SigLIP2-So400M с языковым декодером Qwen3-1.7B-Base и содержит 2,4 млрд параметров. Для обработки изображений произвольного разрешения модель использует перекрывающиеся фрагменты и attention pooling, сокращая число визуальных токенов в четыре раза с сохранением пространственной информации. Модель предназначена для диалога по изображениям и мультимодального понимания: она отвечает на вопросы, описывает сцены и извлекает сведения из графиков, диаграмм и документов. README приводит результаты на VQA-бенчмарках, включая многоязычные наборы, а также описывает текстовый режим и извлечение признаков. В метаданных указаны поддержка чата и языки, в том числе английский, китайский, арабский, русский, немецкий, французский, испанский и японский. Модель доступна в формате Safetensors и рассчитана на использование через Transformers, vLLM или Jina API. По приведённым в README текстовым тестам она уступает базовой Qwen3-1.7B-Base на ряде показателей; OCRBench также не является лучшим среди сравниваемых моделей. Лицензия — CC BY-NC 4.0, допускающая использование с некоммерческими ограничениями.

kanana-1.5-v-3b-instruct — мультимодальная языковая модель семейства Kanana-1.5-V, разработанная командой Unified Foundation Model в Kakao. Она принимает текст и изображения и генерирует текст; архитектура включает энкодер изображений, C-abstractor и языковую модель kanana-1.5-3b-instruct. Модель содержит около 3,67 млрд параметров, поддерживает контекст до 32 тысяч токенов и предназначена для работы на английском и корейском языках. Модель подходит для описания изображений, понимания документов, рассуждений по распознанному тексту и выполнения мультимодальных инструкций. В опубликованных Kakao оценках она показала результаты на англоязычных и корейских тестах понимания изображений и следования инструкциям; результаты бенчмарков не гарантируют точность в каждом пользовательском сценарии. Модель может выдавать неточную или вводящую в заблуждение информацию, особенно при работе с научными диаграммами и математическими задачами. Её не рекомендуется применять в медицине, праве и других областях с высокими ставками; качество языков, кроме корейского и английского, не оценивалось и может быть низким. Лицензия — kanana-license.

L3.3-70B-Euryale-v2.3-GGUF — это квантизированная версия языковой модели L3.3-70B-Euryale-v2.3, разработанной Sao10K и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp или совместимые приложения, включая LM Studio. Доступно множество вариантов квантизации с разным балансом между качеством и размером — от Q8_0 размером около 75 ГБ до более компактных вариантов Q2 и IQ3. Модель относится к классу text-generation и содержит 70B параметров согласно идентификатору базовой модели. Квантизация выполнена с использованием imatrix и специального набора данных; для некоторых вариантов предусмотрена оптимизация под ARM, AVX или определённые аппаратные возможности. В README не указаны точная архитектура, максимальная длина контекста, поддерживаемые языки, мультимодальность и результаты бенчмарков. Сильной стороной модели является широкий выбор квантизаций: Q6_K и Q5 считаются высококачественными, а Q4-варианты предлагают более доступный размер для большинства сценариев локального запуска. Ограничениями являются значительные требования к памяти даже у компактных вариантов, а также возможное снижение качества при агрессивной квантизации. Для отдельных ARM-оптимизированных файлов требуются конкретные аппаратные инструкции; некоторые варианты не рекомендуется использовать на Mac. Указанная лицензия — Llama 3.

Llama-3-11.5B-V2-GGUF — набор квантизированных версий языковой модели Llama-3-11.5B-V2, опубликованный bartowski. Исходная модель разработана Replete-AI, а квантизация выполнена с использованием llama.cpp версии b3024 и метода imatrix. Модель предназначена для генерации текста и локального запуска в форматах GGUF, включая работу через llama.cpp и совместимые инструменты. Модель содержит около 11,5 млрд параметров и относится к текстовым моделям; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Доступны варианты квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантизации с размером файлов примерно от 3,63 до 12,24 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие снижают требования к оперативной памяти и видеопамяти, но сильнее теряют в качестве. Для запуска рекомендуется выбирать вариант, помещающийся в доступный объём RAM и VRAM; наиболее сбалансированными в README названы Q6_K, Q5_K и Q4_K. Преимущество набора — широкий выбор компромиссов между качеством, скоростью и потреблением памяти, а также пригодность для локального инференса. Ограничения включают отсутствие точного описания архитектуры, контекстного окна, языков, результатов оценивания и корректного chat template; указанный шаблон может быть неверным. Модель распространяется по лицензии Llama 3; конкретные условия определяются лицензией Meta, ссылка на которую приведена в карточке.

unsloth/Llama-3.2-11B-Vision-Instruct-bnb-4bit — 4-битная версия мультимодальной инструкционно-настроенной модели Meta Llama 3.2 Vision с примерно 11 млрд параметров. Репозиторий подготовлен Unsloth и предназначен для использования с Transformers; базовая модель — meta-llama/Llama-3.2-11B-Vision-Instruct. Архитектура семейства основана на авторегрессионном оптимизированном Transformer с Grouped-Query Attention, а инструкционные версии обучались с применением supervised fine-tuning и RLHF. Модель предназначена для диалоговых сценариев и задач, требующих работы с текстом и изображениями, включая визуальное понимание и генерацию ответов по пользовательским инструкциям. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. 4-битное представление снижает требования к памяти и делает модель более подходящей для локального запуска и дообучения на ограниченных GPU-ресурсах. К сильным сторонам относятся мультимодальность, инструкционное поведение и экономичное по памяти 4-битное квантование. README не содержит точных сведений о размере контекста, формате визуального входа, бенчмарках и ограничениях качества, поэтому эти характеристики требуют проверки в исходной карточке Meta. Модель является статической и обучена на офлайн-данных. Использование регулируется Llama 3.2 Community License — специальной коммерческой лицензией Meta, а также Acceptable Use Policy.

MInAlA/Llama-3.2-3B-DPO-merged — диалоговая языковая модель на архитектуре Llama, полученная выравниванием Llama-3.2-3B-Instruct методом DPO на наборе предпочтений argilla/ultrafeedback-binarized-preferences. Модель содержит 3,2 млрд параметров, принимает текст и генерирует текст; поддерживает контекст до 131072 токенов и предназначена для использования через библиотеку Transformers. Модель подходит для диалогов, генерации ответов и других текстовых задач общего назначения. В метаданных указаны мультиязычные возможности базовой модели, но конкретный перечень языков для этой производной модели не приведён. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

Hugging-quants/Llama-3.2-3B-Instruct-Q8_0-GGUF — квантованная версия инструкционно дообученной языковой модели Llama 3.2 3B Instruct, разработанной Meta и представленной в формате GGUF для использования с llama.cpp и совместимыми средствами инференса. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций на локальном или ограниченном по ресурсам оборудовании. Модель содержит около 3 миллиардов параметров и использует 8-битное квантование Q8_0, что снижает требования к памяти по сравнению с полноразмерными весами при сохранении близкого к исходной модели качества. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модальность — текстовая; размер контекста в README не указан. К сильным сторонам относятся инструкционная настройка, относительно небольшой размер, широкая заявленная языковая поддержка и удобный для локального запуска формат GGUF. Ограничения включают возможную потерю качества из-за квантования, меньшие возможности по сравнению с более крупными моделями и отсутствие информации о конкретных показателях производительности и максимальном контексте. Модель распространяется по Llama 3.2 Community License от Meta. При распространении материалов или производных продуктов требуется соблюдать условия лицензии, включая указание «Built with Llama», сохранение лицензионного уведомления и Acceptable Use Policy; для продуктов с более чем 700 миллионами месячных активных пользователей предусмотрены дополнительные условия.

Llama-3-Alpha-Centauri-v0.1 — экспериментальная чат-модель семейства Llama 3, созданная автором серии Centaurus на основе дообучения и слияния моделей. Она предназначена для генерации ответов, рассуждений и анализа, в том числе по темам STEM, компьютерных наук, программирования и социальных наук. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст длиной до 8192 токенов. В карточке указана цель создать менее цензурированную модель; среди упомянутых возможностей — логическая дедукция, критическое мышление и анализ. В метаданных отмечен набор NobodyExistsOnTheInternet/ToxicQAFinal. README сообщает о настройках LoRA и 4-битного обучения, но не уточняет базовый репозиторий, а поля базовой модели в метаданных нет. Автор описывает модель как экспериментальную и предупреждает, что эффективность может меняться. Модель может выдавать токсичные или нежелательные ответы; пользователь отвечает за их интерпретацию и применение. Лицензия — llama3.

TheBloke/LLaMA-7b-GGUF — это квантизированная версия языковой модели LLaMA 7B, разработанной Meta. Репозиторий подготовлен TheBloke и содержит файлы в формате GGUF для запуска модели через llama.cpp и совместимые приложения. Модель предназначена для генерации и продолжения текста, диалоговых и других сценариев инференса с использованием произвольного текстового запроса. Доступны варианты квантизации от 2 до 8 бит, рассчитанные на запуск с использованием CPU и GPU; конкретные требования к памяти зависят от выбранного файла. Формат GGUF поддерживается llama.cpp, text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и рядом других инструментов. Ключевые характеристики — архитектура LLaMA, размер 7 миллиардов параметров и текстовая модальность. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Квантизация снижает требования к памяти и упрощает локальный запуск, однако низкобитные варианты могут заметно ухудшать качество, особенно самые компактные версии. Модель не является мультимодальной, а её точные ограничения по качеству и применению зависят от выбранного метода квантизации. В метаданных указана лицензия other; конкретные условия лицензии в README не приведены, поэтому перед использованием необходимо проверить лицензионные условия оригинальной модели Meta.

Llama-Sentient-3.2-3B-Instruct — дообученная PrithivMLmods модель на архитектуре Llama для генерации текста и диалогов с выполнением инструкций. Она основана на meta-llama/Llama-3.2-3B-Instruct и дообучена на наборе mlabonne/lmsys-arena-human-preference-55k-sharegpt. Модель содержит 3,2 млрд параметров, использует PyTorch и имеет контекстное окно до 131 072 токенов. Модель предназначена для чат-ботов, виртуальных помощников, поддержки пользователей и генерации текстов, объяснений и сводок по запросу. Карточка указывает английский язык; метаданные также описывают базовую модель как мультиязычную, но явно перечисляют для этой модели только английский. Лицензия — CreativeML Open RAIL-M. Возможности и качество для конкретных задач могут отличаться; карточка не приводит результатов оценки.

EnlistedGhost/Magistral-Small-2509-Vision-GGUF — квантизированная GGUF-версия мультимодальной модели Magistral-Small-2509-Vision. Модель создана на базе оригинальных файлов, весов и компонентов MistralAI, а конфигурация, шаблон чата и системный промпт переработаны EnlistedGhost. Заявленный размер модели — 24 млрд параметров. Модель предназначена для диалоговых сценариев, обработки текста и изображений, а также задач image-text-to-text. Она поддерживает визуальный ввод благодаря повторно включённой vision tower и совместима с Ollama, Llama.cpp и Xllama. В README заявлена поддержка английского, русского и украинского языков. Доступны GGUF-файлы с различными уровнями квантизации, включая Q2_K_M, Q3_K_M, Q4_K_M, Q5_K_XL и Q6_K_L; для некоторых вариантов применён динамический метод GH5TS, сохраняющий более высокую точность в критически важных слоях. Сильные стороны модели — мультимодальность, поддержка локального запуска через распространённые GGUF-совместимые инструменты и наличие оптимизированных шаблонов чата. Ограничения включают зависимость от совместимого рантайма, компромиссы качества и объёма памяти из-за квантизации, а также отсутствие в README данных о размере контекста, производительности и точных требованиях к оборудованию. Модель распространяется по лицензии Apache-2.0.

Mistral-Starling-merge-trial3-7B — объединённая языковая модель, созданная grimjim с помощью mergekit методом SLERP на основе Nexusflow/Starling-LM-7B-beta и grimjim/Mistral-7B-Instruct-demi-merge-v0.2-7B. Модель с архитектурой Mistral содержит 7,1 млрд параметров и предназначена для генерации текста в диалоговом формате, включая задачи рассуждения; заявленная длина контекста составляет 32 768 токенов. Модель принимает текст и генерирует текстовые ответы. В метаданных Hugging Face указаны библиотека Transformers и лицензия Apache-2.0. README сообщает о цели объединить сильные стороны рассуждения с контекстом 32K, но не приводит оценок качества или подробных результатов проверки.

Multi_verse_modelInex12-7B — объединённая чат-модель на архитектуре Mistral, созданная Maxime Labonne автоматическим слиянием MTSAIR/multi_verse_model и MSL7/INEX12-7b. Для слияния использован метод SLERP с настройкой весов слоёв внимания и MLP; веса сохранены в формате safetensors и типе bfloat16. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалоговой генерации текста. В карточке указана лицензия Apache-2.0. Языковые сведения карточки и метаданных указывают на англоязычную базовую модель; отдельные языковые возможности объединённой модели не описаны.