I.5Создание и редактирование текста

Klevin/HostAi — дообученная Klevin языковая модель семейства Llama на базе unsloth/llama-3.2-3b-bnb-4bit. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM и 3,2 млрд параметров; для обучения использовались Unsloth и библиотека TRL. Модель предназначена для генерации текста, а карточка указывает английский язык и контекст до 131 072 токенов. Модель можно использовать для генерации продолжений и ответов на текстовые запросы на английском языке. Лицензия — Apache 2.0. Карточка не сообщает о специализированном назначении или результатах оценки качества.

HuatuoGPT-13b-delta — языковая модель семейства LLaMA с 12,9 млрд параметров, представленная проектом HuatuoGPT. Репозиторий направляет к проекту, но не содержит подробностей о назначении и обучении именно этой версии. Модель использует архитектуру LlamaForCausalLM, принимает текст и генерирует текст. В метаданных указано контекстное окно 2048 токенов и формат PyTorch. Лицензия — Apache-2.0.

Это GGUF-квантизация модели Huihui-gpt-oss-20b-BF16-abliterated-v2, опубликованная noctrex. Репозиторий содержит вариант MXFP4_MOE; метаданные указывают на поддержку текстовой генерации и диалогового взаимодействия. Модель предназначена для генерации текста и ведения диалогов. Её можно использовать в приложениях, которым нужна локально запускаемая GGUF-модель, совместимая с подходящими инструментами для этого формата. В README не описаны конкретные ограничения качества или условия лицензии. Связь с Huihui-gpt-oss-20b-BF16-abliterated-v2 указана в метаданных как дообучение, а представленный репозиторий содержит MXFP4_MOE-квантизацию.

Huihui-Qwen3.5-27B-Opus-abliterated-YaRN-1M — текстовая генеративная модель на архитектуре Qwen3.5 с 27 млрд параметров, представленная в GGUF BF16. Это версия модели HuihuiAI с расширением контекста YaRN и включённым пошаговым рассуждением; в README также указана поддержка изображений через файл mmproj. Модель предназначена для диалогов, генерации текста и работы с длинными контекстами: заявлено 262 тысячи токенов активного контекста и до 1 млн токенов с YaRN, а максимальная длина ответа — 81 920 токенов. Карточка указывает английский язык. Для контекста 262K заявлено около 60 ГБ видеопамяти, для 1M — около 90 ГБ. Модель основана на HuihuiAI/Huihui-Qwen3.5-27B-Opus-abliterated; исходное семейство разработано командой Qwen. Лицензия — Apache-2.0. Термин «abliterated» указывает на изменение поведения модели, однако README не уточняет его влияние на безопасность или качество; длинный контекст требует значительных ресурсов видеопамяти.

munekazu/Huihui-Qwen3.8-27B-abliterated-FP8 — FP8-квантизированная версия модели Huihui-Qwen3.8-27B-abliterated от huihui-ai, созданная на основе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и мультимодальных сценариев с использованием текста и изображений, а также для развёртывания через vLLM. Это abliterated-версия, в которой удалены ограничения на отказы, присутствующие в исходной модели. Модель имеет размер 27B параметров и использует block-wise FP8-квантизацию формата e4m3 с блоками 128×128 и динамическими активациями. Объём хранения сокращён примерно с 52 GiB в BF16 до 29 GiB в FP8. Vision tower, нормализационные слои и отдельные компоненты MTP-головы сохранены в BF16, что обеспечивает поддержку мультимодального пути vLLM и speculative decoding. Заявлена поддержка контекста до 262 144 токенов; для рассуждений используется шаблон чата с параметром reasoning_effort. Сильные стороны модели — уменьшенные требования к памяти, поддержка мультимодальности, MTP speculative decoding и сохранение значительной части поведения базовой модели благодаря абляции только среднего диапазона слоёв. Ограничения включают зависимость от совместимости vLLM и аппаратного обеспечения: на GPU Ampere FP8 не использует нативные tensor cores и применяется kernel Marlin W8A16, поэтому экономия памяти не сопровождается ускорением вычислений. В vLLM 0.24.0 также наблюдалась проблема с возвратом reasoning_content через API, хотя качество ответов не страдает. Модель распространяется по лицензии Apache-2.0.

Human-Like-Qwen2.5-1.5B-Instruct — компактная языковая модель на архитектуре Qwen2, разработанная на основе Qwen/Qwen2.5-1.5B-Instruct и дообученная с помощью AutoTrain на Human-Like-DPO-Dataset. Модель предназначена для генерации текста и диалоговых ответов; в метаданных также отмечен интерфейс вызова инструментов. Модель содержит 1,5 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и поддерживает контекст до 32 768 токенов. Указаны языки китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Репозиторий содержит веса в формате safetensors и доступен по лицензии other; конкретные условия этой лицензии следует проверить перед использованием.

Tech-Meld/HX-Mistral-1.5B_v0.2 — языковая модель семейства Mistral, созданная методом линейного слияния в mergekit на основе Mistral-7B-Instruct-v0.2. В репозитории указано 1,9 млрд параметров; архитектура — плотная авторегрессионная MistralForCausalLM, библиотека — Transformers, веса представлены в safetensors. Модель предназначена для диалоговой генерации текста и ответов на запросы; поддерживает контекст до 32 768 токенов. Её можно применять для диалоговых интерфейсов, черновиков и кратких текстовых ответов. Карточка не описывает отдельную специализацию или результаты оценки качества. Лицензия в предоставленных данных не указана.

Hymba-1.5B-Instruct — языковая модель NVIDIA для генерации текста и диалогов. Она дообучена на основе nvidia/Hymba-1.5B-Base с помощью supervised fine-tuning и direct preference optimization, используя открытые наборы инструкций и синтетические данные. Модель содержит 1,1 млрд параметров по метаданным и поддерживает контекст до 8192 токенов. Архитектура Hymba сочетает в слоях механизмы внимания и Mamba (SSM), использует Grouped-Query Attention, Rotary Position Embeddings, скользящее окно внимания и совместное использование KV-кэша между слоями. Модель предназначена для диалогов, решения математических задач, вызова функций и ролевых сценариев. NVIDIA заявляет о готовности к коммерческому использованию; модель распространяется по NVIDIA Open Model License Agreement. Модель может выдавать неточные, неполные или избыточные ответы, а также воспроизводить токсичность и социальные предубеждения из обучающих данных. README отмечает уязвимость к jailbreak-атакам и рекомендует проверять выводы при использовании в RAG- и агентных системах.

IberianLLM-7B-Instruct — мультиязычная авторегрессионная языковая модель на архитектуре Llama, разработанная LangTech. Модель содержит 6,7 млрд параметров, обучена с нуля на текстах и предназначена для генерации текста и диалогов на иберийских языках, английском и коде. Версия Instruct настроена для следования инструкциям и использует шаблон диалога ChatML; длина контекста составляет 8192 токена. Модель подходит для создания общего разговорного помощника, генерации текста и помощи с кодом. В README указано, что это ранняя демонстрационная версия без выравнивания с помощью RLHF; она может выдавать вредный или неподходящий контент, а качество может различаться между языками и диалектами. Выпущена под лицензией Apache 2.0, допускающей исследовательское и коммерческое использование.

ibm-granite_granite-4.1-30b-GGUF — это набор GGUF-квантизаций языковой модели Granite 4.1 30B, разработанной IBM и опубликованной как ibm-granite/granite-4.1-30b. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix, предназначены для локального запуска и генерации текста. Модель рассчитана на задачи text-generation и может использоваться через llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Доступны варианты от BF16 до низкобитных Q3 и IQ3, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. Размер файлов варьируется примерно от 12,78 до 57,74 ГБ; наиболее качественные варианты Q6_K_L и Q6_K имеют размер около 24 ГБ, а Q4_K_M предлагается как сбалансированный вариант. Сильной стороной набора является широкий выбор квантизаций, включая варианты, оптимизированные для различных сценариев и архитектур CPU, а также сохранение высокого качества у старших форматов. Ограничения включают значительные требования к оперативной или видеопамяти для 30-миллиардной модели, снижение качества у младших квантизаций и необходимость поддержки Granite 4.1 используемым программным обеспечением. В README не указаны языки, размер контекста, архитектурные детали и мультимодальные возможности, поэтому эти характеристики нельзя достоверно определить по представленным данным. Модель распространяется по лицензии Apache-2.0.

DevQuasar разместил квантованную в формате GGUF F16 версию языковой модели IBM Granite 4.1 3B. Модель предназначена для генерации текста и диалогового использования; каталог также отмечает поддержку чата. Базовая модель IBM рассчитана на диалоговых ассистентов, работу с кодом и вызов инструментов. В карточке указана базовая модель ibm-granite/granite-4.1-3b. Данных о языках, длине контекста и конкретных ограничениях этой версии в предоставленных источниках нет. Лицензия не указана.

Icefog72 разработал Ice0.34n-14.11-RP как слияние предварительно обученных языковых моделей методом SLERP с помощью mergekit. В слиянии использованы Ice0.32-10.11-RP и Ice0.33-13.11-RP; модель основана на Ice0.32-10.11-RP. Это плотная MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов, распространяемая в формате safetensors. Модель предназначена для генерации текста в диалоговом формате. В README приведены результаты Open LLM Leaderboard, включая средний балл 21,83 и результат IFEval 47,87; эти показатели сами по себе не гарантируют качество в конкретных сценариях. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.

IceTea21EnergyDrinkRPV13-DPOv3 — разговорная языковая модель на архитектуре Mistral, созданная автором репозитория слиянием предварительно обученных моделей методом SLERP с помощью mergekit. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; длина контекста — до 32 768 токенов. Модель принимает текстовые запросы и генерирует текстовые ответы. В карточке указано слияние двух вариантов IceTea21EnergyDrinkRPV13, однако их локальные пути не дают надёжного идентификатора базовой модели на Hugging Face. Сведения о специализированных областях и поддерживаемых естественных языках не приведены. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

Модель PS4Research/IKn8jwlNamPNIS15 — дообученная PS4Research языковая модель семейства Granite на базе ibm-granite/granite-4.2-30b. Она предназначена для генерации текста и диалогового взаимодействия; интерфейс также поддерживает вызов инструментов. Модель содержит 28,9 млрд параметров, использует плотную архитектуру GraniteForCausalLM и принимает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Базовая модель IBM описана как многоязычная и предназначенная для рассуждений, диалога, программирования и вызова инструментов, однако README не уточняет, какие именно навыки были предметом дообучения этой версии. Модель распространяется в формате safetensors по лицензии Apache-2.0; для ускорения обучения использовались Unsloth и библиотека TRL.

iLLaDA-8B-Base — базовая языковая модель семейства iLLaDA, разработанная GSAI-ML и представленная в работе Improved Large Language Diffusion Models. Это плотная 8-миллиардная модель с полностью двунаправленной архитектурой маскированной диффузии, обученная с нуля на 12 триллионах токенов. В ней 32 слоя, размерность модели 4096 и 32 головы внимания; контекст составляет 8192 токена. Модель предназначена для генерации текста и диалоговых сценариев. Она поддерживает генерацию переменной длины и оценивание вариантов ответа на основе уверенности, что подходит, в частности, для задач с выбором ответа. В README приведён результат 74,8 на MMLU для базовой версии iLLaDA 8B. Модель доступна в формате Safetensors и используется через Transformers. Лицензия — Apache-2.0. README не сообщает о специализированной отраслевой настройке или ограничениях качества за пределами приведённых результатов; языки обучения и применения не указаны.

iLLaDA-8B-Instruct — диалоговая языковая модель семейства iLLaDA от GSAI-ML, построенная на плотной архитектуре с полностью двунаправленным masked diffusion. Модель примерно на 7,6 млрд параметров обучена с нуля на 12 трлн токенов предобучения; доступна в формате safetensors и рассчитана на контекст до 8192 токенов. Модель предназначена для генерации текста в диалогах, а также поддерживает генерацию переменной длины и оценивание вариантов ответа по уверенности, например в тестах с выбором ответа. В README приведены результаты бенчмарков instruct-модели, включая MMLU и MMLU-Pro. Для запуска используется библиотека Transformers. Модель принимает текст и генерирует текст. В метаданных указана лицензия Apache-2.0. Результаты бенчмарков сами по себе не гарантируют точность в конкретных прикладных сценариях; README отсылает за кодом инференса и оценки к репозиторию LLaDA.

Inex12Yamshadowexperiment28-7B — слитая модель, автоматически созданная Maxime Labonne объединением MSL7/INEX12-7b и automerger/YamshadowExperiment28-7B методом SLERP. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM, примерно 7,1 млрд параметров и контекстом до 32 768 токенов. Она предназначена для генерации текста и диалоговых сценариев. Модель распространяется в формате safetensors и имеет лицензию Apache-2.0. README описывает конфигурацию слияния и приводит пример использования через Transformers, но не содержит оценок качества или сведений о поддерживаемых языках.

inf-o1-pi0-GGUF — это квантизированная версия модели infly/inf-o1-pi0, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. В README не указано, кто разработал исходную модель, кроме идентификатора организации infly. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6, Q5, Q4, Q3 и Q2, с размером файлов примерно от 12,31 до 65,54 ГБ. Указана поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Конкретные архитектура, число параметров, размер контекста и дополнительные модальности в README не раскрыты, поэтому модель следует рассматривать как текстовую. Сильная сторона набора — широкий выбор квантизаций, позволяющий подобрать баланс между качеством, требованиями к памяти и скоростью локального вывода; варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены как рекомендуемые, а Q4_K_M описан как стандартный вариант для большинства сценариев. Более сильное сжатие уменьшает требования к ресурсам, но снижает качество, особенно у вариантов Q2 и Q3. Лицензия исходной модели и условия коммерческого использования в README не указаны.

Fkazi/inframap-disaster-slm — дообученная Fkazi языковая модель семейства Llama 3.2 с плотной архитектурой LlamaForCausalLM и 3,2 млрд параметров. Она основана на unsloth/llama-3.2-3b-instruct-unsloth-bnb-4bit и предназначена для генерации текста и диалогового взаимодействия. При обучении использовались Unsloth и библиотека TRL от Hugging Face. Модель принимает текст и генерирует текст; заявлены английский язык и контекст длиной до 131 072 токенов. В метаданных также указана возможность интерфейса вызова инструментов. Репозиторий распространяется по лицензии Apache-2.0. README не описывает специализацию на disaster-сценариях или результаты оценки качества, поэтому такие возможности нельзя подтвердить по доступным сведениям.

InnerIAI-chat-7b-grok — объединённая диалоговая языковая модель, созданная InnerI с помощью LazyMergekit из InnerI/A-I-0xtom-7B-slerp и HuggingFaceH4/mistral-7b-grok. Она построена на архитектуре Mistral с плотной сетью и содержит 7,1 млрд параметров; модель предназначена для генерации текста в формате диалога с ассистентом. Указанная длина контекста — 32 768 токенов. Репозиторий распространяется в формате safetensors, лицензия — Apache-2.0. Модель можно использовать для ответов на вопросы, диалогов и написания текстов в чат-сценариях. README описывает слияние методом SLERP с настройками, различающимися для слоёв внимания и MLP. Сведений о специальных доменах или поддержке конкретных языков в карточке нет; поэтому не следует считать её оптимизированной для определённого языка или области. Качество и поведение могут зависеть от запроса и выбранной конфигурации генерации.

InnerI-AI-sn6-7B-slerp — языковая модель семейства Llama, созданная InnerI слиянием методом SLERP моделей tomaszki/nous-thirty и InnerI/A-I-0xtom-7B-slerp с помощью LazyMergekit. Она предназначена для генерации текста и диалогового взаимодействия. Модель содержит 7,1 млрд параметров, использует архитектуру LlamaForCausalLM и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате Safetensors; лицензия — Llama 2. Карточка не сообщает о специализированной предметной области, конкретных языках или оценках качества, поэтому модель можно описать только как универсальную диалоговую модель. Ее ответы могут быть неточными или неподходящими для конкретного сценария.

InnerILLM-0x00d0-Ox0dad0-nous-nous-v2.0-7B-slerp — языковая модель, созданная InnerI слиянием методом SLERP через LazyMergekit моделей OpenPipe/mistral-ft-optimized-1218 и 0x0dad0/nous_nous_v2_0. Это плотная авторегрессионная модель семейства Mistral на 7,1 млрд параметров для генерации текста. Она принимает текст и формирует текстовые продолжения; заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса Safetensors в формате bfloat16. Модель подойдёт для текстовых диалогов и генерации текста, однако карточка не приводит оценок качества, конкретных рекомендаций по применению или сведений о поддерживаемых языках. Лицензия в предоставленных данных не указана.

InnerILLM-7B-slerp — объединённая языковая модель, созданная автором репозитория с помощью LazyMergekit из OpenPipe/mistral-ft-optimized-1218 и mlabonne/NeuralHermes-2.5-Mistral-7B методом SLERP. Это плотная причинно-языковая архитектура Mistral с 7,1 млрд параметров; указанный размер контекста — 32 768 токенов. Модель предназначена для генерации текста, включая диалоговые ответы и задачи рассуждения. В README приведены результаты оценки на бенчмарках AI2 Reasoning Challenge и HellaSwag, а также средняя потеря модели; эти показатели не гарантируют качество на других задачах. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Данные о целевых языках и специализированных областях применения не приведены.

Instruct-v0.2-Seraph-7B — языковая модель Weyaxi для генерации текста в формате инструкций. Она создана слиянием методом SLERP моделей Weyaxi/Seraph-7B и mistralai/Mistral-7B-Instruct-v0.2; в конфигурации также указана базовая модель mistralai/Mistral-7B-v0.1. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и имеет контекстное окно 32 768 токенов. Модель подходит для диалоговых ответов и выполнения текстовых инструкций. Веса доступны в формате safetensors, лицензия — Apache-2.0. README не приводит результатов оценки качества или перечня поддерживаемых языков, поэтому конкретные языковые возможности и сравнительные преимущества установить нельзя.

ClaudioItaly/Intelligence-7 — объединённая плотная языковая модель семейства Qwen2, созданная с помощью mergekit методом SLERP из AIDC-AI/Marco-o1 и happzy2633/qwen2.5-7b-ins-v3. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста в диалоговом формате; контекстное окно — до 32 768 токенов. Модель подходит для ведения диалогов и генерации ответов на текстовые запросы. В конфигурации слияния указана V-образная кривая, сочетающая поведение исходных моделей на входных и выходных слоях с вкладом WizardMath в средних слоях. Данные об отдельных языковых специализациях и прикладных областях не приведены. Модель опубликована в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана. Качество и ограничения унаследованы от объединённых моделей; отдельные оценки или сведения об ограничениях модели не приведены.

ClaudioItaly/Intelligence-Cod-Rag-7B — объединённая модель для генерации текста и диалогового взаимодействия. Она создана методом TIES с помощью mergekit на основе happzy2633/qwen2.5-7b-ins-v3 и включает AIDC-AI/Marco-o1. Модель использует плотную архитектуру Qwen2 с классом Qwen2ForCausalLM, содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Репозиторий распространяет веса в формате safetensors; метаданные указывают библиотеку Transformers и поддержку чата. Модель подходит для генерации ответов и диалогов на основе текстового запроса. Карточка не приводит сведений о специальных возможностях RAG или о целевых языках и предметных областях. Лицензия в предоставленных данных не указана.

Это GGUF-квантизированная версия чат-модели InternLM2.5-20B-Chat, исходно разработанной командой internlm, а квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях, например LM Studio. Для корректного взаимодействия следует использовать указанный в карточке шаблон prompt format с ролями system, user и assistant. Модель основана на архитектуре InternLM2.5 и имеет 20 млрд параметров; доступна в форматах от F32 до различных вариантов квантизации Q8, Q6, Q5, Q4, Q3, Q2 и IQ. Размер файлов составляет примерно от 6,97 до 79,45 ГБ, поэтому требования к памяти зависят от выбранного варианта. Более высокие уровни квантизации обычно обеспечивают лучшее качество, а компактные варианты позволяют запускать модель на системах с меньшим объёмом RAM, но могут заметно снижать точность. Для некоторых вариантов embeddings и output weights сохранены в Q8_0, что потенциально повышает качество. В карточке не указаны поддерживаемые языки, размер контекста, точная архитектура, результаты оценивания и ограничения по безопасности. Лицензия обозначена как other, без дополнительных условий в README, поэтому перед использованием необходимо проверить лицензию исходной модели InternLM2.5-20B-Chat и условия распространения конкретных файлов.

internlm2_5-20b-chat-IMat-GGUF — это GGUF-квантизованная версия чат-модели internlm/internlm2_5-20b-chat, подготовленная legraphista с использованием llama.cpp (сборка b3524). Исходная модель имеет формат BF16, а в репозитории доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и более компактных IQ-квантизаций. Некоторые варианты используют IMatrix для калибровки квантования, что рассчитано на более эффективное сохранение качества при уменьшении размера модели. Модель предназначена для локального запуска задач генерации текста и чат-взаимодействия через совместимые инструменты, включая llama.cpp. Доступны файлы размером примерно от 7,55 до 39,73 ГБ, поэтому требования к оперативной или видеопамяти зависят от выбранного варианта. Ключевые характеристики исходной архитектуры, поддерживаемые языки, размер контекста, результаты тестирования и конкретные сильные стороны в README не указаны; качество и скорость также будут зависеть от уровня квантования и оборудования. Лицензия обозначена как other, без дополнительных условий в представленном README.

IntervitensInc опубликовала преобразованную версию InternLM2.5-20B с архитектурой Llama для генерации текста и диалогов. Репозиторий содержит веса в формате safetensors; размер модели составляет 19,3 млрд параметров. В README говорится, что конвертация и ручная правка токенизатора должны сохранять поведение исходной модели при температуре 0, однако это проверено лишь на небольших тестах и не подтверждено всесторонне. Модель предназначена для диалоговых сценариев, рассуждений и работы с длинным контекстом. README описывает исходную InternLM2.5 как модель с заявленной поддержкой контекста до 1 млн токенов, а метаданные этого репозитория указывают нативный контекст 262 144 токена; для этой сборки следует ориентироваться на значение из метаданных. В README приведены результаты оценки исходной модели на MMLU, CMMLU и BBH, но они не являются отдельной оценкой конвертированной версии. В README перечислены китайский и английский наборы оценки, что указывает на релевантность китайского и английского языков; метаданные не задают языковые коды. Модель может генерировать предвзятые, дискриминационные или иные нежелательные ответы. Указана лицензия Apache-2.0 для кода; для весов README сообщает об открытом доступе для академических исследований и необходимости запросить бесплатное коммерческое разрешение.

InternLM2.5-7B-Chat-1M-GGUF — это квантизированная версия чат-модели internlm2_5-7b-chat-1m, разработанной командой InternLM и преобразованной в формат GGUF пользователем bartowski. Квантизация выполнена с помощью llama.cpp версии b3278 и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы пользователя при локальном запуске через совместимое программное обеспечение, например llama.cpp. Модель имеет около 7 миллиардов параметров и заявленное контекстное окно до 1 миллиона токенов, что делает её ориентированной на работу с очень длинными документами и продолжительными диалогами. Доступно множество вариантов квантизации от Q8 до Q2 и IQ-семейства, с размером файлов примерно от 2,77 до 8,93 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, а низкие позволяют сократить требования к памяти. Для взаимодействия используется специальный шаблон prompt с ролями system, user и assistant. Сильными сторонами являются поддержка длинного контекста, широкий выбор компромиссов между качеством и размером, а также возможность локального запуска в формате GGUF. Низкие уровни квантизации могут заметно снижать качество, а экспериментальные варианты с F16 для embedding- и output-весов требуют дополнительной проверки. Языки, точная архитектура, требования к оборудованию и результаты бенчмарков в README не указаны. Лицензия обозначена как other; конкретные условия использования необходимо уточнять в исходной модели и сопутствующих материалах.