I.3Извлечение и структурирование данных

TelperionAI Huihui-Qwen3.8-27B-abliterated-INT4-AWQ-GPTQ — квантованная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated. Модель построена с использованием llm-compressor и предназначена для запуска и генерации текста с меньшими требованиями к памяти, в том числе через vLLM. Калибровка выполнена на данных, сгенерированных самой abliterated-моделью, с примерами кода, математики, STEM, диалогов и многоязычных запросов. Основой является смешанная квантализация INT4 W4A16: большинство MLP-слоёв используют асимметричную INT4-квантализацию с размером группы 32, а отдельные компоненты сохраняются в INT8 или BF16. Attention-компоненты, GDN-слои, эмбеддинги, нормализации, выходная голова и vision tower используют более высокую точность. Размер весов на диске составляет около 25,1 ГБ. Поддерживаются AWQ-масштабирование и GPTQ-компенсация ошибок; заявлена совместимость с GPU архитектуры Turing и новее без необходимости FP8 или FP4. По результатам внутреннего сравнения с исходной BF16-версией модель показывает 96,45% совпадения top-1 токенов и медианное расхождение генерации на 41-м токене. При этом оценка проведена только на одном корпусе и без downstream-бенчмарков, поэтому качество на прикладных задачах не установлено. Vision tower не квантован, но модель оценивалась как текстовая; эффективность speculative decoding с MTP-головой не измерялась. Модель унаследовала от базовой версии удалённые направления отказа, поэтому её поведение в части отказов отличается от стандартной модели Qwen. Лицензия — Apache-2.0.

Это квантизированная GGUF-версия Granite 3.3 2B Instruct — компактной языковой модели, разработанной IBM под идентификатором ibm-granite. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в диалоговом формате, включая запуск локально через LM Studio, llama.cpp и совместимые проекты. Модель содержит 2 млрд параметров и относится к текстовым моделям; сведения о поддерживаемых языках, размере контекста и дополнительных модальностях в README не указаны. Доступны варианты от BF16 до различных уровней квантования Q8, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Старшие варианты обеспечивают качество, близкое к исходной модели, а менее точные подходят для устройств с ограниченным объёмом RAM, но могут заметно уступать по качеству. Для работы требуется использовать указанный формат prompt с ролями system, user и assistant. Модель распространяется по лицензии Apache-2.0. README описывает именно квантизированные сборки, поэтому их характеристики и качество зависят от выбранного варианта квантования.

Это GGUF-квантизированная версия языковой модели granite-4.0-h-micro, разработанной IBM Granite и опубликованной в формате llama.cpp-сумместимых файлов пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты с точностью от BF16 до Q3 и IQ3/IQ4, с размерами файлов примерно от 1,46 до 6,39 ГБ. Квантизация выполнена с использованием imatrix на базе llama.cpp, что позволяет снизить требования к памяти при сохранении приемлемого качества; наиболее качественными считаются варианты Q6 и Q5, а Q4_K_M указан как вариант по умолчанию для большинства сценариев. Исходный README не содержит сведений об архитектуре, числе параметров, поддерживаемых языках, модальностях, размере контекста или формате prompt. Сильной стороной модели является широкий выбор степеней квантизации для разных ограничений по памяти и оборудования, включая варианты, ориентированные на CPU и Apple silicon. Более компактные варианты экономят память, но обеспечивают более низкое качество. Лицензия в README не указана; условия использования следует уточнять на странице исходной модели IBM Granite и соответствующего репозитория.

Josiefied-Qwen3-4B-abliterated-v1 — диалоговая языковая модель, разработанная Gökdeniz Gülmez на основе Qwen3-4B. Модель дообучена с изменением отказного поведения, чтобы давать более открытые ответы, сохраняя следование инструкциям и интерфейс вызова инструментов. Она предназначена для генерации текста и диалогов, выполнения инструкций и сценариев, где нужна менее строгая фильтрация ответов. Архитектура — плотная Qwen3ForCausalLM примерно на 3,7 млрд параметров; нативное контекстное окно составляет 40 960 токенов. В репозитории указаны веса safetensors, а также варианты GGUF и MLX. Модель может генерировать чувствительные или спорные ответы из-за ослабленных защитных ограничений. Лицензия в предоставленных данных не указана.

Карточка модели KeefeBuild/Keefe-Discere-v2.0 на Hugging Face совпадает с карточкой KeefeBuild/Keefe-Discere-v2.0-OxAlpha, поэтому описание составлено по ней. Keefe-Discere-v2.0-OxAlpha — языковая модель KeefeBuild, дообученная на базе unsloth/qwen2.5-7b-instruct-unsloth-bnb-4bit. Это плотная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров; она принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для текстовой генерации и разговорных сценариев на английском языке, с контекстом до 32 768 токенов. В карточке указаны Apache-2.0 и обучение с использованием Unsloth и библиотеки TRL. Конкретные специализации и результаты оценки качества не описаны, поэтому модель следует рассматривать как универсальную дообученную языковую модель, а поведение при вызове инструментов проверять в целевой интеграции.

aditeyabaral/langcache-colbert-v1-4gpu — англоязычная модель PyLate на архитектуре ColBERT/BERT, дообученная на LangCache Sentence Pairs для семантического поиска и сравнения текстов. Она преобразует запросы и документы в последовательности 128-мерных плотных векторов и оценивает их сходство оператором MaxSim; заявленная длина контекста составляет 512 токенов, а в конфигурации модели указана максимальная длина последовательности 127 токенов. Модель содержит 136,7 млн параметров и распространяется в формате safetensors. Модель предназначена для поиска релевантных фрагментов по запросу в индексированных коллекциях, семантического кэширования и переранжирования результатов первичного поиска. Для построения индекса и быстрого поиска README предлагает PyLate и FastPLAID; также описано непосредственное переранжирование пар запрос–документ. Модель обучалась на контрастивных парах LangCache Sentence Pairs. Для указанной в карточке оценки ColBERT Triplet приведена точность 0,8206. Модель рассчитана на английский язык. Результаты представлены в виде векторов токенов и оценок сходства, поэтому для поиска по коллекции требуется индекс или список кандидатов. Лицензия — Apache-2.0.

LeoScorpius-7B — объединённая авторами viethq188 разговорная языковая модель на архитектуре Mistral с 7,1 млрд параметров. В README указано, что модель создана слиянием viethq188/Rabbit-7B-v2-DPO-Chat и v1olet/v1olet_marcoroni-go-bruins-merge-7B методом slerp; приведённая конфигурация также ссылается на AIDC-ai-business/Marcoroni-7B-v3 и Q-bert/MetaMath-Cybertron-Starling. Для общения можно использовать шаблон Alpaca. Модель предназначена для генерации текста в диалоговом формате. Контекстное окно — до 32 768 токенов; репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. README не приводит оценки качества или отдельные ограничения по сценариям, поэтому пригодность для конкретных задач требует проверки.

LFM2.5-ColBERT-350M — многоязычная модель поиска Liquid AI для семантического извлечения документов и ранжирования результатов. Она использует двунаправленную архитектуру LFM2 и позднее взаимодействие ColBERT: модель строит векторы для токенов запроса и документа, а релевантность оценивает по их совпадениям через MaxSim. Модель содержит около 350 млн параметров по README; метаданные каталога указывают 443,4 млн. Базой служит LiquidAI/LFM2.5-350M-Base с двунаправленными изменениями. Реализация доступна в формате safetensors через PyLate. Модель предназначена для многоязычного и межъязыкового поиска в RAG-системах, включая поиск по каталогам товаров, базам FAQ и поддержки, а также внутренним документам. Её также можно применять для повторного ранжирования результатов первичного поиска. README рекомендует длину документа до 512 токенов и запроса до 32 токенов; контекстное окно в метаданных составляет 128 000 токенов. Поддерживаются английский, испанский, немецкий, французский, итальянский, португальский, арабский, шведский, норвежский, японский и корейский языки. Многовекторное представление обеспечивает более точное сопоставление, чем одно векторное представление, но увеличивает размер поискового индекса. Модель ориентирована на сценарии с коротким контекстом. Лицензия указана как other; конкретные условия использования следует сверить с карточкой модели.

Linkbricks-Horizon-AI-Korean-Avengers-V2-27B — языковая модель, дообученная доктором Юнсоном Джи (Saxo), специалистом по данным компании Linkbricks. Это плотная модель Gemma 2 с 27,6 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия; она дообучена методом SFT с последующим DPO на базе Linkbricks-Horizon-AI-Korean-Avengers-V1-27B. Модель ориентирована прежде всего на корейский язык. В обучении использовались корейские новости, данные для перевода между корейским, китайским, английским и японским языками, а также примеры для суммаризации, вопросов и ответов, математики и логических рассуждений. Среди заявленных сценариев — анализ отзывов и публикаций в социальных сетях, написание текстов и кода, решение математических и логических задач. README заявляет контекст 128 тыс. токенов, тогда как метаданные указывают нативное окно 8192 токена. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Её специализация на корейском и расхождение сведений о длине контекста следует учитывать при выборе и развёртывании; заявленные в карточке улучшения не сопровождаются количественными результатами оценки.

Linq-Embed-Mistral — модель текстовых эмбеддингов команды Linq Research, построенная на основе E5-mistral-7b-instruct и Mistral-7B-v0.1. Это плотная архитектура Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; модель предназначена для поиска по тексту и оценки сходства предложений. Модель дообучена для улучшения текстового поиска: команда использовала отбор и подготовку данных, синтетические наборы и подбор отрицательных примеров с помощью учительских моделей. В README сообщается о высоких результатах на бенчмарках MTEB по состоянию на 29 мая 2024 года. Модель принимает текст и выдаёт эмбеддинги для запросов и документов, которые можно использовать для семантического поиска и ранжирования кандидатов. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование; README также указывает, что проект предназначен для исследовательских целей. Условия лицензий сторонних наборов данных могут отличаться.

Upstage Llama-2-70b-instruct — англоязычная языковая модель, дообученная Upstage на базе LLaMA 2 с использованием набора данных в стиле Orca. Это плотная авторегрессионная модель семейства LLaMA с 68,7 млрд параметров, предназначенная для выполнения инструкций и генерации текста. Для общения используется шаблон с отдельными секциями System, User и Assistant. Модель подходит для диалоговых систем, ответов на вопросы и других задач генерации текста на английском языке. В README приведены результаты оценки на ARC-Challenge, HellaSwag, MMLU, TruthfulQA и MT-bench. Метаданные указывают контекст 2048 токенов; в README заявлена возможность обработки более 10 тысяч входных токенов с включённым rope scaling, поэтому фактическая длина зависит от конфигурации запуска. Для работы используются веса PyTorch и библиотека Hugging Face Transformers. README сообщает об испытании на A100 80 ГБ, но не приводит минимальных требований для инференса. Дообученные чекпойнты распространяются по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Llama2 70B SFT v10 GGUF — это квантизированная версия языковой модели OpenAssistant Llama2 70B SFT v10, разработанной OpenAssistant и преобразованной в формат GGUF пользователем TheBloke. Модель основана на архитектуре Llama и предназначена для генерации текста и диалогового взаимодействия. Модель ориентирована на задачи, связанные с обработкой естественного языка, включая ответы на запросы пользователей и создание текста. Она использует supervised fine-tuning и обучалась на наборах данных LosslessMegaCodeTrainingV2, OpenAssistant/oasst1, Orca, а также на курированном многоязычном наборе Databricks Dolly. В карточке указан английский язык; сведения о других языках и размере контекста отсутствуют. Поставляется в формате GGUFv2 с вариантами квантизации от 2 до 8 бит, что позволяет запускать модель через llama.cpp и совместимые приложения, библиотеки и графические интерфейсы на CPU и GPU. Для диалогов предусмотрен шаблон ChatML. Ключевой особенностью является сочетание крупного размера 70B параметров и нескольких уровней квантизации, однако README не содержит результатов тестирования, точных требований к памяти или подробной оценки качества и ограничений. Лицензия указана как llama2. Условия использования следует уточнять по лицензии исходной модели Llama 2 и правилам OpenAssistant.

Llama-2-7B-Chat-GGUF — квантизированная версия диалоговой языковой модели Llama 2 7B Chat, разработанной Meta и преобразованной в формат GGUF компанией Second State Inc. Модель основана на meta-llama/Llama-2-7b-chat-hf и предназначена для генерации текста и ведения диалогов на английском языке. Модель содержит 7 миллиардов параметров, использует архитектуру Llama и поддерживает контекст до 4096 токенов. В репозитории доступны варианты квантования от 2 до 8 бит, а также f16; их размер составляет примерно от 2,83 до 13,5 ГБ. Вариант Q4_K_M обеспечивает сбалансированное соотношение размера и качества, а Q5_K_M и Q5_K_S характеризуются минимальными потерями качества. Более агрессивное квантование уменьшает требования к памяти, но может заметно ухудшать результаты. Модель подходит для локального запуска и интеграции в приложения через LlamaEdge, включая чат-сервисы и командные приложения. README не содержит отдельного описания ограничений безопасности или качества базовой модели. Лицензия указана как llama2; для использования следует учитывать условия лицензии Meta Llama 2.

bunnycore/Llama-3.1-8B-TitanFusion-v2 — объединённая авторегрессионная языковая модель семейства Llama 3.1, созданная с помощью mergekit методом Model Stock. В качестве базовой использована bunnycore/LLama-3.1-8B-HyperNova-abliteration; в слияние также вошли TitanFusion, Matrix, Ultra-Instruct и MagpieLM-8B-Chat-v0.1. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и представлена в формате safetensors с точностью bfloat16. Заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций и создание ответов. В карточке не приведены результаты оценки качества или подробные сведения о поддерживаемых языках. Лицензия в предоставленных данных не указана.

RedHatAI/Llama-3.2-1B-Instruct-FP8-dynamic — квантизированная версия Meta Llama 3.2 1B Instruct, разработанная Neural Magic. Это текстовая autoregressive-модель для генерации текста и диалоговых сценариев в формате ассистента, включая коммерческое и исследовательское использование. В README заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, однако отдельно указано ограничение на использование языков, отличных от английского. Модель использует архитектуру Meta-Llama-3.2 и принимает текст на входе, возвращая текст. Веса и активации линейных операторов внутри transformer-блоков квантизированы в FP8; для весов применяется симметричная поканальная квантизация, а активации квантизуются динамически на уровне токенов. По сравнению с 16-битным представлением это примерно вдвое снижает требования к дисковому пространству и памяти GPU. Модель предназначена для эффективного инференса с vLLM и может предоставляться через OpenAI-совместимый интерфейс. Ключевое преимущество — снижение потребления ресурсов при сохранении близкого к исходной модели качества: средний результат на указанной подвыборке OpenLLM Leaderboard составляет 50,88 против 51,70 у неквантизированной версии. Ограничение — небольшая потеря точности после квантизации, а также необходимость совместимого окружения vLLM. Модель выпущена 25 сентября 2024 года, версия 1.0, и распространяется по лицензии llama3.2.

amd/Llama-3.2-1B-Instruct-FP8-KV — это FP8-квантизованная версия инструкционной языковой модели Meta Llama-3.2-1B-Instruct, подготовленная Advanced Micro Devices (AMD) с использованием инструмента Quark и калибровочных образцов из датасета Pile. Модель предназначена для выполнения текстовых инструкций и генерации текста; README не содержит сведений о поддерживаемых языках, модальностях и размере контекстного окна. Квантизации подвергнуты все линейные слои, кроме lm_head. Веса, активации и KV-кэш представлены в формате FP8 с симметричным масштабированием на тензор, что ориентировано на эффективное развертывание и инференс. Экспорт выполняется в собственном формате Quark, совместимом с backend vLLM. По данным оценки на Wikitext-2, perplexity составляет 13,4320 против 13,1657 у исходной модели; результаты получены в режиме псевдоквантизации и могут отличаться от показателей при фактическом квантизованном инференсе. Лицензия указана как llama3.2; изменения принадлежат Advanced Micro Devices, Inc. за 2024 год.

lmstudio-community/Llama-3.2-3B-Instruct-GGUF — квантованная версия инструкционной модели Meta Llama 3.2 3B Instruct, подготовленная сообществом lmstudio-community; квантование выполнено bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение пользовательских инструкций, ответы на вопросы и использование в локальных приложениях через совместимые инструменты для GGUF. Модель относится к семейству больших языковых моделей Llama и работает с текстовой модальностью. В README указаны размер 3B параметров и поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Архитектурные детали, размер контекстного окна и конкретный уровень квантования в предоставленных данных не указаны. К сильным сторонам относятся компактный размер, инструкционное дообучение и возможность использования в локальной инфраструктуре с меньшими требованиями к ресурсам по сравнению с более крупными моделями. Ограничения включают неизвестные из README характеристики производительности, контекста и точности, а также типичные для генеративных языковых моделей риски неточных или нежелательных ответов. Модель распространяется на условиях Llama 3.2 Community License от Meta. Лицензия требует соблюдения Acceptable Use Policy, указания атрибуции и условий «Built with Llama» при распространении соответствующих материалов или продуктов; для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрено дополнительное лицензионное ограничение.

Llama3-8B-Chinese-Chat — диалоговая языковая модель, разработанная Shenzhi Wang, Yaowei Zheng, Guoyin Wang, Shiji Song и Gao Huang на основе Meta-Llama-3-8B-Instruct. В репозитории представлена версия v2.1, дообученная полными параметрами методом ORPO на смешанных китайско-английских данных предпочтений. Архитектура — плотная LlamaForCausalLM; размер составляет около 7,5 млрд параметров по метаданным, контекст — 8192 токена. Модель принимает текст и генерирует текст на китайском и английском языках. Она предназначена для диалогов и ответов по инструкциям, ролевых сценариев, вызова инструментов и решения математических задач. Авторы отмечают, что дообучение уменьшает вероятность ответа на китайский запрос по-английски и смешения языков; версия v2.1 улучшает ролевые ответы, вызов функций и математику по сравнению с предыдущими версиями. Модель не проходила настройку идентичности, поэтому ответы о том, кто она и кто её разработал, могут быть случайными. Используется лицензия Llama 3.

Llama-3-Yggdrasil-8B-GGUF — это набор GGUF-квантизированных версий языковой модели Llama-3-Yggdrasil-8B. Исходную модель разработал Locutusque; она создана на основе объединения моделей NousResearch/Meta-Llama-3-8B, NousResearch/Meta-Llama-3-8B-Instruct, Locutusque/Llama-3-Hercules-5.0-8B и Locutusque/llama-3-neural-chat-v2.2-8b. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp и совместимые инструменты. Доступны варианты с разным балансом качества, размера и требований к памяти: от Q8_0 размером 8,54 ГБ до сверхкомпактного IQ1_S размером 2,01 ГБ. Наиболее рекомендуемыми в карточке названы варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; низкобитные варианты экономят память, но заметно уступают по качеству. В карточке не указаны точная архитектура в технических деталях, максимальный контекст, поддерживаемые языки и результаты benchmark-тестов. Также не задан chat template, поэтому приведённый формат приглашений может быть неточным и требует проверки по исходной карточке модели. Модель распространяется по лицензии Llama 3; условия исходных компонентов и совместимость конкретного варианта следует дополнительно проверять перед использованием.

Инструкционная языковая модель Upstage на архитектуре LLaMA с 65 млрд параметров, представленная в формате PyTorch для Hugging Face Transformers. Модель дообучена на наборе данных в стиле Orca и предназначена для генерации ответов по инструкциям и диалоговых сценариев на английском языке. В карточке приведена оценка на бенчмарках ARC-Challenge, HellaSwag, MMLU, TruthfulQA и MT-bench. Метаданные указывают контекст 2048 токена; в README также упомянуто масштабирование RoPE, позволяющее обрабатывать более длинные входы, но точная длина для этой версии не определена. Для запуска проверялась система с A100 80 ГБ. Модель распространяется по специальной лицензии для некоммерческого использования, связанной с лицензией Meta; доступ к репозиторию предназначен для пользователей, получивших разрешение на исходные веса.

llm-jp-3-3.7b-instruct2 — языковая модель семейства LLM-jp-3, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это плотный авторегрессионный трансформер на архитектуре Llama с примерно 3,5 млрд параметров, дообученный на инструкциях методом supervised fine-tuning. Модель принимает текст и предназначена для диалогов и выполнения инструкций, прежде всего на японском и английском языках. Предварительное обучение серии проводилось на смеси данных общим объёмом 2,1 трлн токенов; контекст модели составляет 4096 токенов. Карточка описывает набор инструкционных данных на японском языке, включая материалы по безопасным ответам. Модель распространяется в формате Transformers и Safetensors по лицензии Apache-2.0. Разработчики характеризуют выпущенные модели как ранние этапы исследований и разработок: их ответы ещё не настроены для надёжного соответствия человеческим намерениям и требованиям безопасности. Результаты могут быть ошибочными или небезопасными, поэтому важные ответы требуют проверки.

Lumiere-120b — языковая модель для генерации текста и диалогов, созданная разработчиком bcse путём линейного слияния двух моделей с помощью mergekit: Undi95/Miqu-70B-Alpaca-DPO и Sao10K/Euryale-1.3-L2-70B. Модель основана на архитектуре Llama и содержит около 120,1 млрд параметров; для загрузки доступны веса в формате safetensors, а также упомянуты варианты GGUF. Модель предназначена для генерации ответов в диалоге и выполнения текстовых запросов. Контекстное окно составляет 32 764 токена. В карточке не описаны специальные предметные области или наборы поддерживаемых языков; базовая Miqu-модель настроена для ответов на инструкции в формате Alpaca. Лицензия в предоставленных сведениях не указана.

MamayLM-Gemma-2-9B-IT-v0.1 — инструктивная языковая модель INSAIT, института при Софийском университете. Это плотный трансформер-декодер Gemma 2 с 9 млрд параметров и контекстом 8192 токена, предназначенный для диалога и генерации текста на украинском и английском языках. Модель построена на основе Google Gemma 2 9B и Gemma 2 9B IT: её дополнительно предварительно обучали на 75 млрд токенов украинских и английских данных, а затем дообучили следовать инструкциям на украинских наборах данных. Она ориентирована на ответы на вопросы, рассуждения, суммаризацию и другие текстовые задачи; авторы сообщают о сильных результатах на украинских тестах при сохранении английских возможностей. Распространяется по условиям Gemma Terms of Use.

Matter 7B 0.1 — языковая модель семейства Mistral, разработанная 0-hero и дообученная полным fine-tuning на наборе Matter. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Для диалога применяется формат ChatML. Модель предназначена для генерации текста и разговорного взаимодействия с ассистентом. В карточке также заявлена поддержка вызова функций, поэтому её можно использовать в сценариях, где ассистент передаёт запросы инструментам. Обучающий набор Matter собран из более чем 35 датасетов и охватывает свыше 6 млрд токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или подробных сведений о проверке вызова функций; применимость к конкретным задачам стоит оценивать отдельно.

MiniCPM5-2B-GGUF — квантизированная версия языковой модели MiniCPM5-2B, разработанной OpenBMB и распространяемой в формате GGUF пользователем mradermacher. Модель предназначена для генерации текста и может использоваться в сценариях, требующих локального запуска, работы на периферийных устройствах и поддержки вызова инструментов. В README также заявлены возможности работы с длинным контекстом. Модель имеет около 2 миллиардов параметров, относится к текстовым моделям и ориентирована на английский и китайский языки. Доступны варианты квантизации от Q2_K до Q8_0, а также версия f16, с размером файлов примерно от 1,1 до 5,1 ГБ. Варианты Q4_K_S и Q4_K_M обозначены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а Q8_0 — как вариант с лучшим качеством среди быстрых конфигураций. Основное преимущество модели — компактность и возможность локального использования при выборе подходящего уровня квантизации. Ограничения связаны с компромиссом между размером, скоростью и качеством: менее точные варианты могут заметно уступать более крупных или слабо квантизированных версий. В README не приведены результаты бенчмарков, точный размер контекста и подробные сведения об архитектуре. Модель распространяется по лицензии Apache-2.0.

MiniMax-M2.1-GGUF — это квантизированная версия языковой модели MiniMax-M2.1, разработанной MiniMaxAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В репозитории доступны варианты в формате GGUF с уровнями квантизации от Q8_0 до Q2_K и IQ-квантами. Размер файлов составляет примерно от 79,82 до 243,14 ГБ. Более высокие уровни квантизации обеспечивают лучшее качество, но требуют больше памяти; варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M и Q4_K_S отмечены как рекомендуемые, тогда как некоторые Q3- и Q2-варианты имеют заметно более низкое качество. Поддерживаемые языки, архитектура исходной модели, размер контекста и мультимодальные возможности в README не указаны. Основные преимущества — широкий выбор квантизаций, возможность локального запуска и оптимизация imatrix-калибровкой. Ограничениями являются очень большой размер файлов и компромисс между требованиями к памяти и качеством генерации; низкобитные варианты могут давать существенно худшие результаты. Указана лицензия modified-MIT; подробные условия приведены в лицензии исходной модели MiniMax-M2.1.

Карточка модели miromind-ai/MiroThinker-v1.0-72B на Hugging Face совпадает с карточкой miromind-ai/MiroThinker-v1.0-8B, поэтому описание составлено по ней. MiroThinker-v1.0-8B — открытая исследовательская агентная модель, разработанная MiroMind на базе Qwen3-8B и дообученная для рассуждений с использованием инструментов и поиска информации. Она предназначена для многошаговых исследовательских задач: модель может запрашивать внешнюю информацию, вызывать инструменты, проверять результаты и уточнять ход решения. В описании заявлена поддержка до 600 вызовов инструментов за задачу. Модель имеет плотную архитектуру Qwen3ForCausalLM, около 7,6 млрд параметров и контекст до 262 144 токенов. Карточка сообщает об англоязычной версии; метаданные также отмечают диалоговый режим и интерфейс вызова инструментов. Модель распространяется в формате safetensors по лицензии MIT. Карточка приводит результаты на исследовательских бенчмарках, однако качество зависит от подключённых инструментов, настроек рабочего процесса и вычислительных ресурсов. Для полноценного агентного сценария нужны совместимая среда и инструменты; сама модель не выполняет внешние действия без них.

Misted-7B-Mistral-7B-Instruct-v0.2-slerp — диалоговая модель на 7,1 млрд параметров, созданная MaziyarPanahi слиянием Mistral-7B-Instruct-v0.2 и Walmart-the-bag/Misted-7B методом SLERP. Она предназначена для генерации текста в диалогах и ответов на инструкции. Модель использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов. В карточке указаны формат Safetensors и лицензия Apache-2.0. Сведения о языках и специализированных областях применения отсутствуют; поэтому модель можно описать как модель общего назначения, не приписывая ей отдельную специализацию. Качество и ограничения конкретного слияния в карточке не оценены.

TheBloke/Mistral-7B-OpenOrca-GGUF — это набор квантованных файлов модели Mistral 7B OpenOrca в формате GGUFv2. Исходную модель разработала OpenOrca, а квантование и публикацию GGUF-версии выполнил TheBloke. Модель относится к архитектуре Mistral, предназначена для генерации текста и диалоговых сценариев на английском языке и использует шаблон запросов ChatML с ролями system, user и assistant. Модель содержит около 7 миллиардов параметров. В репозитории представлены варианты квантования от 2 до 8 бит, включая методы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью и качеством вывода. Формат подходит для локального запуска на CPU и GPU через llama.cpp, text-generation-webui, LM Studio, KoboldCpp и другие совместимые приложения и библиотеки. Максимальный размер контекста и поддерживаемые модальности в README не указаны; по имеющимся данным модель является текстовой. К сильным сторонам относятся возможность локального использования, широкий выбор уровней квантования и совместимость с распространёнными инструментами инференса. Ограничения включают англоязычную специализацию, возможную потерю качества при низкобитном квантовании и отсутствие заявленных характеристик контекстного окна, бенчмарков и гарантий точности. Указанная лицензия — Apache-2.0.

Mistral-NeMo-Minitron-8B-Alpaca-CODE-Python-GGUF-16bit — локально запускаемая модель генерации кода на 8 млрд параметров от Agnuxo, представленная в формате GGUF F16. Карточка позиционирует её как помощника для написания кода на Python и других языках программирования, включая JavaScript, TypeScript, Rust, Go и C++, а также для задач научных вычислений и машинного обучения с NumPy, SciPy, Pandas, PyTorch, TensorFlow и JAX. Модель предназначена для генерации и помощи с кодом в локальных сценариях; README рекомендует запуск через Ollama и также описывает использование через Transformers. Метаданные относят архитектуру к плотному семейству Mistral, а формат файлов — к GGUF F16. Лицензия — Apache-2.0. В карточке нет подробностей о контексте, языках естественного общения и результатах независимой оценки качества.