II.6Документация и сопровождение разработки
В разделе собраны самостоятельные задачи, где AI помогает поддерживать понятную техническую документацию и ускорять передачу знаний. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
38 015 моделейMeliodasPercival_01_Strangemerges_32Yamshadow — объединённая модель семейства Mistral с 7,1 млрд параметров для генерации текста. Она создана слиянием моделей automerger/MeliodasPercival_01-7B и automerger/Strangemerges_32Yamshadow-7B; веса представлены в формате Safetensors. Модель предназначена для генерации текста с контекстом до 32 768 токенов. Её можно использовать для продолжения текста, составления черновиков и диалоговых сценариев на основе текстового ввода. Модель распространяется по лицензии Apache 2.0. Карточка не описывает специализацию, языковое покрытие или результаты оценки качества, поэтому их нельзя надёжно определить.
MeliodasT3qm7_Strangemerges_32T3q — объединённая модель Mistral, созданная слиянием automerger/MeliodasT3qm7-7B и automerger/Strangemerges_32T3q-7B. Она предназначена для генерации текста и диалоговых ответов. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Карточка не описывает специализированные области применения, поддерживаемые языки или конкретные ограничения качества. Оценить сильные стороны и ограничения слияния по представленным сведениям нельзя.
MaziyarPanahi/MeliodasT3q_ShadowExperiment24 — объединённая модель для генерации текста, созданная на основе automerger/MeliodasT3q-7B и automerger/ShadowExperiment24-7B. В карточке указана архитектура Mistral с плотной структурой и 7,1 млрд параметров; модель распространяется в формате safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста по текстовому запросу. Она выпущена под лицензией Apache-2.0. Данных о специализации, языках и конкретных ограничениях качества в карточке нет.
Memgpt-slerp-7b-3 — объединённая модель генерации текста, созданная liminerity с помощью LazyMergekit. Она объединяет liminerity/Memgpt-slerp-7b-2 и liminerity/Mem-Beagle-7b-slerp-v6 методом SLERP; в конфигурации указаны базовая модель liminerity/Memgpt-slerp-7b-2 и формат весов bfloat16. Модель построена на архитектуре Mistral с плотной причинно-языковой сетью на 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для диалоговой генерации текста и может применяться для ответов на запросы, продолжения текста и ведения чата. В метаданных заявлена возможность chat; сведений о специализированных областях применения или языках в доступных данных нет. Файлы модели представлены в формате safetensors. Лицензия в предоставленных данных не указана.
TroyDoesAI/Merge1 — объединённая языковая модель, созданная TroyDoesAI методом SLERP с помощью mergekit из TroyDoesAI/Abliterated-Merge-WIP и TroyDoesAI/Abliterated-Merge-WIP-3. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров; она предназначена для генерации текста и диалогового общения. Модель принимает текст и выдаёт текст, поддерживает контекст до 8192 токенов и распространяется в формате safetensors. Модель опубликована 14 июля 2024 года. В README не приведены сведения о языках или предметной специализации, поэтому их нельзя уточнить. Лицензия в предоставленных данных не указана.
mahiatlinux/merged1 — объединённая языковая модель, созданная автором репозитория с помощью LazyMergekit из mistralai/Mistral-7B-Instruct-v0.2 и chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Веса объединены методом slerp; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, формат файлов — safetensors. Модель рассчитана на генерацию текста и диалоговые сценарии, включая ответы на инструкции и математические запросы. Поддерживает контекст до 32 768 токенов. Модель принимает текст и генерирует текст. В карточке указана лицензия базовой модели, но лицензия самого объединённого репозитория не приведена в доступных данных, поэтому условия использования установить нельзя. Качество и ограничения именно этого слияния в карточке не оценены.
mergekit-community/mergekit-slerp-mkzyzjw — языковая модель для генерации текста и диалогового общения. Репозиторий создан с помощью mergekit методом SLERP на основе cognitivecomputations/dolphin-2.9-llama3-8b-256k; конфигурация использует 16-битные веса. Модель построена на архитектуре Llama и содержит около 7,5 млрд параметров. Модель принимает текст и генерирует текстовые ответы в формате диалога. В метаданных указано контекстное окно до 524 288 токенов. Карточка описывает слияние слоёв одной и той же базовой модели; отдельные специализированные сценарии применения не заявлены. Лицензия в предоставленных данных не указана.
Карточка модели mergekit-community/mergekit-slerp-ojqhjfr на Hugging Face совпадает с карточкой mergekit-community/mergekit-slerp-rxkhjnf, поэтому описание составлено по ней. Это слитая методом SLERP языковая модель на архитектуре Llama с 7,5 млрд параметров, созданная сообществом mergekit из NousResearch/Meta-Llama-3-8B-Instruct и cognitivecomputations/dolphin-2.8-mistral-7b-v02. Модель предназначена для генерации текста и диалогов; конфигурация использует кривую смешивания весов по слоям и формат bfloat16. Модель принимает текстовые запросы и генерирует текст, в том числе ответы в чате. В карточке указано контекстное окно 8192 токена; исходная Meta Llama 3 рассчитана прежде всего на английский язык. Репозиторий использует библиотеку Transformers и содержит веса Safetensors. Лицензия в доступных данных не указана.
Это объединённая языковая модель семейства Llama 3.2, созданная автором репозитория с помощью mergekit методом TIES. В качестве базовой использована huihui-ai/Llama-3.2-3B-Instruct-abliterated; также объединены bunnycore/Llama-3.2-3B-ProdigyPlusPlus, chuanli11/Llama-3.2-3B-Instruct-uncensored, meta-llama/Llama-3.2-3B и meta-llama/Llama-3.2-3B-Instruct. Модель содержит 3,2 млрд параметров, построена на архитектуре LlamaForCausalLM и рассчитана на генерацию текста и диалоговое взаимодействие. Заявленная длина контекста — 131 072 токена. Репозиторий использует формат safetensors; в карточке не указана лицензия. Модель подходит для диалоговых приложений и генерации текста. Метаданные указывают интерфейс вызова инструментов, но подробности его использования не приведены. Объединение включает варианты с пометками uncensored и abliterated, однако конкретные гарантии фильтрации или качества не описаны.
rwitz2/mergemix — языковая модель для генерации текста, созданная слиянием DARE-TIES на основе Mistral-7B-v0.1 и трёх других моделей: rwitz/go-bruins-v2, rwitz/dec10 и AIDC-ai-business/Marcoroni-7B-v3. Архитектура — плотная MistralForCausalLM; размер — 7,1 млрд параметров, контекст — до 32 768 токенов. Веса опубликованы в формате safetensors и имеют тип bfloat16. Модель можно применять для генерации продолжений текста и диалоговых ответов. Карточка не описывает её специализацию, обучение, языковую поддержку или результаты оценки, поэтому качество и пригодность для конкретных сценариев следует проверять отдельно. Лицензия — Apache-2.0.
Это объединённая с помощью mergekit диалоговая языковая модель на архитектуре Llama, созданная методом passthrough на основе meta-llama/Meta-Llama-3-8B-Instruct. В конфигурации повторно включены слои 24–31 базовой модели; в репозитории указано 9,2 млрд параметров, веса представлены в формате safetensors и типе bfloat16. Модель предназначена для диалоговой генерации текста и ассистентских ответов. Она принимает текст и выдаёт текст, имеет контекстное окно 8192 токена. Карточка указывает лицензию Llama 3. Языковые сведения базовой модели указывают на английский язык; отдельные возможности этой сборки за пределами текстового диалога не заявлены.
Meta-Llama-3-11.5B-Instruct — созданная mpasila экспериментальная инструкционная языковая модель, полученная слиянием слоёв Undi95/Meta-Llama-3-8B-Instruct-hf методом passthrough с помощью mergekit. Модель предназначена для диалогов и генерации текста в ответ на инструкции; архитектура — плотная Llama с причинным языковым моделированием, объём — около 11 млрд параметров, контекст — 8192 токена. Карточка указывает английский язык и формат safetensors. Модель может подойти для чат-ботов, ответов на вопросы, написания и продолжения текстов, а также генерации кода. Доступна по лицензии llama3. Карточка описывает способ слияния, но не приводит сравнительных оценок качества; как экспериментальная Frankenmerge, она может отвечать менее стабильно, чем исходная модель.
unsloth/Meta-Llama-3.1-70B-Instruct — квантованная версия Meta-Llama-3.1-70B-Instruct, разработанная на основе модели Meta компанией Unsloth. Модель предназначена для диалоговых приложений, генерации и продолжения текста, а также дообучения на собственных наборах данных с использованием инструментов Unsloth. Она ориентирована прежде всего на англоязычные сценарии. Модель относится к семейству Llama 3.1, имеет размер 70B параметров и поддерживается библиотекой Transformers. README не содержит подробностей об архитектуре, модальностях и размере контекстного окна; по представленным данным модель является текстовой. Unsloth позиционирует свои инструменты как позволяющие ускорять дообучение и снижать потребление памяти, а также экспортировать результат в GGUF и использовать его через vLLM, однако эти характеристики относятся к процессу дообучения и экосистеме Unsloth, а не обязательно к самой модели. К сильным сторонам относятся большой размер модели и возможность адаптации под пользовательские данные. Ограничения включают отсутствие заявленной поддержки других языков и модальностей, а также отсутствие в README подробных оценок качества, требований к оборудованию и характеристик инференса. Модель распространяется по лицензии llama3.1; конкретные условия этой лицензии следует учитывать перед использованием.
Meta-Llama-3.1-8B-Instruct-abliterated-IMat-GGUF — это GGUF-сборка инструкционной языковой модели mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated, подготовленная и квантованная пользователем legraphista с помощью llama.cpp. Модель предназначена для генерации текста и диалогового использования в локальных приложениях, поддерживающих формат GGUF и llama.cpp. Доступны варианты от BF16 и FP16 до квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ4. Для ряда вариантов применена IMatrix-квантизация, призванная сохранить качество при уменьшении размера модели. Размер базовой модели составляет 8B параметров, исходный тип данных — BF16. В README не указаны точный размер контекста, перечень поддерживаемых языков и мультимодальные возможности; по представленным данным это текстовая модель без заявленной поддержки изображений или других модальностей. Сильными сторонами сборки являются широкий выбор уровней квантования, возможность локального запуска и наличие вариантов, оптимизированных по соотношению качества и потребления памяти. Ограничения включают потенциальную потерю качества в низкобитных вариантах, зависимость производительности от оборудования и совместимость с llama.cpp или другим ПО, поддерживающим GGUF. Основа модели обозначена как abliterated и uncensored, поэтому встроенные ограничения безопасности могут быть ослаблены; это следует учитывать при использовании. Указанная лицензия — Llama 3.1.
Meta-Llama-3-8B-Instruct-BPE-fix-GGUF — это GGUF-версия инструкционной языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для генерации текста и выполнения инструкций в сценариях диалоговых ассистентов, ответов на вопросы, написания и преобразования текста. В карточке указаны английский язык и задача text-generation; поддержка других языков не заявлена. Известно, что модель относится к семейству Llama 3 и содержит 8 миллиардов параметров. Формат GGUF ориентирован на локальный запуск с совместимыми инструментами инференса, а суффикс BPE-fix указывает на вариант с исправлением, связанным с токенизацией BPE, однако подробности этого исправления в README не приведены. Сведения о размере контекста, точной архитектуре, модальностях, производительности и ограничениях качества отсутствуют. Модель распространяется по лицензии Meta Llama 3 Community License. Лицензия разрешает использование, воспроизведение, распространение, создание производных работ и модификацию на установленных условиях. При распространении материалов или продуктов необходимо включать текст лицензии, указывать «Built with Meta Llama 3», сохранять требуемое уведомление об авторских правах и соблюдать Acceptable Use Policy. Для организаций и продуктов с более чем 700 миллионами ежемесячных активных пользователей предусмотрено получение отдельной лицензии Meta.
NousResearch/Meta-Llama-3-8B-Instruct-GGUF — это инструкция-ориентированная языковая модель в формате GGUF, основанная на Meta Llama 3 и опубликованная NousResearch. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции пользователя, запуск локального вывода и интеграцию в приложения, поддерживающие формат GGUF. В карточке указано, что модель работает с текстом и ориентирована на английский язык. Из доступных данных известны размер базовой модели — 8 миллиардов параметров — и принадлежность к семейству Llama 3. Формат GGUF удобен для локального запуска и использования средствами совместимой экосистемы, однако конкретные варианты квантования, требования к памяти, максимальная длина контекста, архитектурные детали и показатели качества в README не указаны. Ограничениями также являются возможные ошибки и ограничения, характерные для генеративных языковых моделей; область применения и качество для других языков не описаны. Модель распространяется по лицензии Meta Llama 3 Community License. Использование и распространение требуют соблюдения условий этой лицензии и Acceptable Use Policy, а при распространении материалов или продуктов на их основе необходимо предоставить копию соглашения и указать «Built with Meta Llama 3». Для производных моделей предусмотрены дополнительные требования к наименованию, а для продуктов и сервисов с более чем 700 миллионами активных пользователей в месяц требуется отдельное разрешение Meta.
Модель gpjt/Meta-Llama-3-8B-openassistant-guanaco-llama2-format — дообученная автором gpjt версия Meta-Llama-3-8B на наборе gpjt/openassistant-guanaco-llama2-format. Датасет основан на OpenAssistant Guanaco и адаптирован под предполагаемый формат запросов Llama 2. Модель построена на архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и работает с контекстом до 8192 токенов. Модель предназначена для генерации текста в диалоговом формате и ответов на пользовательские запросы. Базовая модель рассчитана на английский текст и код; карточка не уточняет языковой охват самой дообученной версии. Веса опубликованы в формате safetensors и доступны по лицензии Llama 3.
Это набор GGUF-квантизированных версий instruct-модели meta-llama/Llama-3.1-8B-Instruct, подготовленный командой featherless-ai-quants. Модель относится к задачам генерации текста и предназначена для диалоговых сценариев, следования инструкциям и локального или серверного запуска в совместимых средах, поддерживающих формат GGUF. В основе лежит языковая модель Llama 3.1 с 8 миллиардами параметров; README не уточняет архитектуру, языки и размер контекстного окна. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8 ГБ. Более компактные варианты снижают требования к памяти, тогда как версии с более высокой точностью потенциально лучше сохраняют исходное качество, но требуют больше ресурсов. Сильной стороной набора является выбор уровней квантизации для разных аппаратных ограничений и сценариев развертывания. Ограничения включают возможные потери качества из-за квантизации и необходимость использовать совместимое программное обеспечение для GGUF. Лицензия в README не указана; условия использования следует уточнять по лицензии исходной модели Llama 3.1 и условиям распространения данного набора.
DevQuasar-12/meta-llama.Llama-4-Scout-17B-16E-Instruct-GGUF — это квантованная версия языковой модели meta-llama/Llama-4-Scout-17B-16E-Instruct, опубликованная DevQuasar. Модель предназначена для генерации текста и работы в сценариях инструкционного взаимодействия, включая ответы на запросы пользователя и выполнение текстовых задач. Модель относится к семейству Llama 4 Scout; в её обозначении указаны конфигурация 17B и 16E. Формат GGUF предназначен для использования в совместимых инструментах локального запуска квантованных моделей. Согласно README, модель работает только с текстом; сведения о поддерживаемых языках, размере контекста и конкретном варианте квантования не приведены. К сильным сторонам относятся инструкцийная настройка исходной модели и возможность локального использования квантованной версии, что может снизить требования к ресурсам по сравнению с полноразмерной моделью. Ограничения связаны с отсутствием мультимодальных возможностей и недостатком данных о качестве, точности, требованиях к оборудованию и параметрах квантования. Лицензия в README не указана; условия использования следует уточнять для исходной модели и данной публикации отдельно.
Это модель оценки читаемости текста, разработанная OpenDataLab и представленная в работе Meta-rater: A Multi-dimensional Data Selection Method for Pre-training Language Models. Она дообучена на ModernBERT-base и присваивает тексту непрерывную оценку от 0 до 5 по признакам ясности, связности, сложности словаря, структуры предложений, грамматики и пунктуации. Модель содержит 149 млн параметров, использует архитектуру ModernBERT для классификации последовательностей и принимает текст длиной до 8192 токенов согласно метаданным репозитория. Модель предназначена для проверки и отбора текстов, оценки учебных материалов, поддержки редактирования и улучшения веб-контента. В карточке указаны F1 87,47% и точность 94,13%, однако методика и набор оценки не описаны в предоставленных сведениях. Модель рассчитана прежде всего на английский язык; по карточке, она не оценивает тематику текста и его длину. Лицензия — MIT.
MFANN-llama3.1-Abliterated-SLERP — диалоговая языковая модель, созданная netcat420 слиянием SLERP двух моделей: netcat420/MFANNv0.21.11 и mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated. Она построена на архитектуре LlamaForCausalLM и содержит около 7,5 млрд параметров; модель предназначена для генерации текста и ответов в чате. Для неё заявлено контекстное окно до 131 072 токенов. Слияние объединяет базовую модель MFANN с Meta-Llama 3.1 8B Instruct Abliterated. Модель работает с текстом и может применяться для диалогов, свободной генерации и ответов на запросы. Карточка не сообщает о специализированной предметной области или поддерживаемых естественных языках. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.
microsoft_Phi-4-mini-instruct-GGUF — набор GGUF-квантизованных версий инструкционной модели Phi-4-mini-instruct, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp версии b4792 и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через LM Studio, llama.cpp и другие проекты на его основе. Доступны варианты квантизации от Q2_K_L до Q8_0 размером примерно от 1,83 до 4,08 ГБ. Более высокие разрядности обычно обеспечивают лучшее качество, но требуют больше памяти; в README рекомендуются, в частности, Q4_K_M как вариант стандартного размера, а также Q5, Q6 и Q8 для более высокого качества. Некоторые варианты используют Q8_0 для весов embedding и output, а отдельные форматы оптимизированы для CPU ARM, AVX или Apple silicon. Формат prompt использует специальные маркеры system, user и assistant. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, размере контекста, мультимодальности или лицензии исходной модели. Основные ограничения связаны с потерями качества при низких уровнях квантизации и необходимостью выбирать вариант с учётом доступной оперативной памяти.
MiMo-V2.6-Distill-Qwen-9B GGUF — набор общественных GGUF-квантизаций модели Xiaomi MiMo, основанной на 9B-чекпойнте MiMo-V2.6-Distill-Qwen-9B от Xiaomi MiMo и архитектуре Qwen3.5-9B. Пакет предназначен для запуска через llama.cpp и включает квантизированные файлы языковой модели, а также совместимый BF16 multimodal projector для обработки изображений. Модель ориентирована на программирование, универсальные агентные задачи, visual coding, кибербезопасность, использование инструментов и мультимодальные сценарии с изображениями. Указана гибридная архитектура Qwen3.5 и нативный контекст до 262 144 токенов, однако практическая длина контекста зависит от выбранной квантизации, настроек KV-cache, среды выполнения и доступной памяти. Поддержка видео данным релизом не заявлена; сведения о языках в карточке явно не указаны, хотя калибровочные данные включают английский, китайский, код, tool- и agent-тексты. Доступно несколько вариантов квантизации с размером примерно от 1,97 до 9,53 GB. Q8_0 обеспечивает наибольшую близость к BF16, а IQ4_XS и Q5_K_S обозначены как компромисс между требованиями к памяти и сохранением точности. Низкобитные варианты Q2, IQ2, IQ1 и Q1 имеют заметно худшую fidelity и рекомендованы только для экспериментального использования. Приведённые измерения отражают совпадение следующего токена на ограниченной выборке, а не качество решения задач, программирования, tool use или визуального понимания. Лицензия указана как other; конкретные условия upstream-лицензии не определены.
EnlistedGhost/Ministral-3-14B-Instruct-2512-GGUF — это конвертированная и квантованная версия Ministral-3-14B-Instruct-2512 от Mistral AI, опубликованная EnlistedGhost. Модель распространяется в формате GGUF и совместима с Ollama и Llama.cpp. Она предназначена для диалоговых текстовых задач и мультимодального анализа изображений, включая обработку запросов по тексту и изображениям; создавать изображения и обрабатывать аудио или видео она не умеет. Модель имеет 14 млрд параметров, поддерживает мультимодальный режим благодаря vision-проекторам и поставляется с несколькими файлами mmproj. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. В релиз включены варианты F16 и K-квантования с разным соотношением размера и качества. Автор также добавил собственный шаблон чата и скользящее окно контекста для последних восьми взаимодействий, однако фактический доступный размер контекста в README не указан. К сильным сторонам относятся локальный запуск через Ollama или Llama.cpp, поддержка изображений и выбор вариантов квантования. Ограничения включают отсутствие генерации изображений и поддержки аудио или видео, а также возможную потерю качества при квантовании. Модель распространяется по лицензии Apache-2.0.
Ministral-3-14B-Instruct-2512-textonly-NVFP4 — текстовая производная модели Ministral-3-14B-Instruct-2512-BF16 от Mistral, подготовленная сообществом ppetermann. Модель предназначена для генерации текста и использования в формате instruct, включая развёртывание сервиса вывода через vLLM и OpenAI-совместимый API. Модель содержит только языковую часть исходного мультимодального чекпойнта: поддержка изображений и другие функции компьютерного зрения удалены. Она основана на архитектуре MistralForCausalLM и имеет заявленный размер исходной модели 14B параметров. Веса полностью квантизованы в формате NVFP4 и сохранены в формате compressed-tensors, что ориентировано на эффективное выполнение при поддержке соответствующего аппаратного и программного стека. README не указывает языки, размер контекста и точные характеристики качества. Сильными сторонами являются уменьшенный формат хранения и ориентация на производительное серверное инференс-развёртывание; автор сообщает около 21 токена в секунду на запрос при работе через vLLM на машине с GB10. Ограничения включают отсутствие мультимодальности и зависимость от совместимости с vLLM и NVFP4. Модель распространяется по лицензии Apache-2.0.
Ministral-3-3B-Instruct-2512 в формате LiteRT-LM — это квантизированная версия текстовой instruct-модели mistralai/Ministral-3-3B-Instruct-2512, подготовленная сообществом для запуска на устройствах через on-device runtime Google LiteRT-LM. Модель предназначена для генерации текста и диалоговых сценариев непосредственно на Android, iOS, macOS и других совместимых edge-устройствах без обязательной передачи данных в облако. Исходная модель разработана Mistral AI, а представленная сборка распространяется в формате .litertlm и относится к quantized-моделям. Это текстовая модель: vision tower Pixtral удалён, поэтому обработка изображений не поддерживается. Используется декодер Ministral с native Mistral-шаблоном чата [INST] … [/INST], прямым форматом ответов без блока рассуждений и остановкой по токену </s>. Размер модели — около 3B параметров; файл занимает примерно 2,3 ГБ, а с учётом runtime и GPU-кэша требуется около 2,7 ГБ или больше оперативной памяти. Веса представлены в формате symmetric int4 blockwise с блоком 32 и OCTAV clipping, вычисления выполняются в integer, размер KV-контекста составляет 4096 токенов. Токенизатор и шаблон запросов включены в bundle. Сильные стороны модели — возможность полностью локального запуска, совместимость с GPU и CPU через LiteRT-LM, отсутствие необходимости в отдельных файлах токенизатора и хорошие показатели на современных мобильных и настольных устройствах. Ограничения включают текстовую специализацию без мультимодальности, ограниченный контекст в 4096 токенов, высокие требования к памяти для GPU и заметно меньшую скорость на слабых устройствах, например Raspberry Pi 5. Лицензия — Apache-2.0.
Ministral-8B-Instruct-2410-GGUF — квантизированная версия инструкционной языковой модели Ministral-8B-Instruct-2410, разработанной Mistral AI и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые и прикладные сценарии на поддерживаемых языках: английском, французском, немецком, испанском, итальянском, португальском, китайском, японском, русском и корейском. Из доступных данных известен размер базовой модели — 8B параметров; сведения о конкретном типе квантизации, архитектуре, размере контекста и численных характеристиках отсутствуют. Ключевые достоинства модели — инструкционная настройка, мультиязычность и возможность использования квантизированной сборки в совместимой с GGUF инфраструктуре. При этом README не содержит результатов тестирования, поэтому качество на отдельных языках и задачах оценить нельзя; также не указаны точные требования к памяти и производительности. Модель распространяется по Mistral AI Research License (MRL-0.1), которая ограничивает использование модели, производных моделей и результатов исследовательскими целями и устанавливает дополнительные требования к распространению, атрибуции и уведомлению о модификациях.
Miqu-MS-70B — объединённая модель генерации текста, созданная автором репозитория Undi95 методом Model Stock с помощью mergekit. В основе слияния лежит 152334H/miqu-1-70b-sf; также объединены Tess-70B-v1.6, MiquMaid-v2-70B и Midnight-Miqu-70B-v1.0. Модель семейства Llama имеет плотную архитектуру LlamaForCausalLM и 68,7 млрд параметров. Она предназначена для генерации текста и диалогов; в README приведены варианты шаблонов запросов Alpaca, Mistral и Vicuna. Контекст составляет 32 764 токена. Доступны веса в формате safetensors, а для модели также упомянуты сторонние квантованные варианты. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. README не приводит результатов сравнительной оценки качества; поскольку модель объединяет компоненты с разными форматами запросов, автор предлагает несколько шаблонов промптов.
MiroThinker-v1.0-8B-GGUF — квантованная версия языковой модели MiroThinker-v1.0-8B, разработанной miromind-ai и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста, агентских сценариев и задач deep research, включая работу в приложениях на базе llama.cpp и LM Studio. Указан английский язык. Модель содержит 8 миллиардов параметров и распространяется в нескольких вариантах точности: от BF16 до квантований Q2–Q8 и IQ. Для квантования использовался llama.cpp с методом imatrix, что позволяет уменьшить размер файлов и требования к памяти при сохранении качества; рекомендуемыми названы варианты Q4–Q6. Размер файлов составляет примерно от 3,9 до 16,39 ГБ в зависимости от формата. В README не указаны точная архитектура, максимальная длина контекста, результаты бенчмарков и дополнительные модальности, поэтому возможности модели в этих аспектах оценить нельзя. Более сильные квантования обеспечивают лучшее качество, а компактные варианты подходят для систем с ограниченной оперативной памятью, но могут заметнее терять качество. Для работы следует использовать совместимое ПО llama.cpp или LM Studio и формат промпта с маркерами ChatML. Лицензия — MIT.
Карточка модели NostraEmpire/mirror-olmo-2-13b-instruct на Hugging Face совпадает с карточкой allenai/OLMo-2-1124-13B-Instruct, поэтому описание составлено по ней. OLMo-2-1124-13B-Instruct — разговорная языковая модель Allen Institute for AI (AI2), постобученная на основе OLMo-2 13B. Она прошла supervised fine-tuning на варианте набора Tülu 3 и обучение RLVR; метаданные указывают базовую модель allenai/OLMo-2-1124-13B-Instruct-RLVR2. Модель с плотной архитектурой OLMo 2 содержит 13,2 млрд параметров, использует Transformers и формат safetensors, а её контекст составляет 4096 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, следование инструкциям и решение математических задач. Обучение ориентировано преимущественно на английский язык и охватывает разнообразные задачи, включая MATH, GSM8K и IFEval. Модель распространяется по лицензии Apache 2.0. У OLMo-2 ограничено обучение безопасности; без дополнительной фильтрации она может выдавать проблемные ответы, особенно в ответ на соответствующие запросы. Для загрузки через Hugging Face README сообщает о необходимости установить Transformers из основной ветки.