II.8Инженерия данных и аналитика

Olmo-3.1-32B-Instruct-GGUF — это квантизированная версия языковой модели Olmo-3.1-32B-Instruct, разработанной AllenAI. Публикацией и квантизацией в формате GGUF занимался bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, поддерживающих llama.cpp, включая LM Studio. Модель имеет размер 32 млрд параметров, относится к текстовым моделям и, согласно карточке, ориентирована на английский язык. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ; размеры файлов составляют примерно от 14 до 64 ГБ. Для работы необходимо использовать соответствующий шаблон чата с ролями system, user и assistant. Размер контекста и другие архитектурные характеристики в карточке не указаны. Сильной стороной является широкий выбор квантизаций, позволяющий подобрать баланс между качеством, потреблением памяти и скоростью локального запуска. Варианты Q5 и Q6 заявлены как высококачественные, а Q4_K_M — как подходящий вариант для большинства сценариев. Более компактные варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству. Модель ориентирована на текстовые задачи и не заявлена как мультимодальная; поддержка других языков, кроме английского, в карточке не описана. Лицензия — Apache 2.0.

ASTRAL-256k-5.5b — языковая модель от разработчика aww для генерации текста и диалогов. Она построена на архитектуре MistralForCausalLM, имеет 1,6 млрд параметров и поддерживает контекст до 256 000 токенов, что подходит для работы с длинными документами и продолжительными беседами. Модель принимает текст и генерирует текст; в карточке заявлена поддержка английского языка. Модель предназначена для создания статей, отчётов и художественных текстов, чат-ботов, суммаризации и перевода больших документов. Карточка также заявляет оптимизацию вычислений, включая запуск с bfloat16, но не приводит сравнительных результатов. Модель распространяется по лицензии Apache-2.0.

Celestial-Order-24B-V3 — языковая модель для генерации текста и диалогов, созданная Sorihon с помощью mergekit. В README указано, что это слияние методом Karcher Mean моделей Celestial-Order-V2.75, Celestial-Order-V2.5 и Celestial-Order-24B-V2; метаданные каталога связывают её базовую модель с Sorihon/Celestial-Order-24B-V2. Архитектура — плотная MistralForCausalLM, размер — 23,4 млрд параметров, формат файлов — safetensors, нативное окно контекста — 131 072 токена. Модель предназначена для генерации текста и использования в чат-сценариях. Карточка и метаданные не приводят специальных отраслевых назначений или поддерживаемых языков. Лицензия в предоставленных данных не указана.

Chronorctypus-Limarobormes-13b — объединённая инструкциями дообученная языковая модель от chargoddard. Она создана слиянием пяти моделей на базе TheBloke/Llama-2-13B-fp16 по методике Resolving Interference When Merging Models, чтобы сохранить больше возможностей исходных моделей, чем при обычном линейном слиянии. Модель построена на плотной архитектуре Llama, содержит 12,9 млрд параметров и рассчитана на контекст до 4096 токенов. Модель предназначена для генерации ответов и выполнения инструкций в формате Alpaca: запрос передаётся в секции Instruction, ответ начинается после Response. В README автор сообщает, что модель показалась ему достаточно способной, и приводит результаты оценки на наборе тестов Open LLM Leaderboard. Модель использует формат safetensors. README не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

Citaman/command-r-12-layer — разговорная языковая модель на архитектуре Cohere, созданная автором репозитория с помощью слияния SLERP модели Citaman/command-r-13-layer. В метаданных указано 12 млрд параметров, контекст до 8192 токенов и формат safetensors; модель предназначена для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Карточка не приводит отдельной оценки качества, перечня поддерживаемых языков или отраслевой специализации. Лицензия в доступных данных не указана.

unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF — это GGUF-версия дистиллированной языковой модели DeepSeek-R1-Distill-Llama-70B. Модель создана на основе DeepSeek-R1-Distill-Llama-70B, разработанной командой DeepSeek, а данный вариант опубликован Unsloth. Это текстовая модель для генерации ответов и решения задач в диалоговом и общем текстовом режимах; в примере README она используется для рассуждений и простых математических вопросов через llama.cpp. Модель содержит 70 млрд параметров и основана на архитектуре семейства Llama; точная версия базовой архитектуры и размер контекстного окна в README не указаны. Поддерживаемый язык обозначен как английский. Формат GGUF предназначен для локального запуска с llama.cpp и поддерживает квантованные варианты, включая Q4_K_M и Q8_0. Для ускорения возможна частичная выгрузка слоёв на GPU, однако из-за размера модели запуск требует значительных вычислительных ресурсов. К сильным сторонам относятся большой размер, возможности дистиллированной модели DeepSeek-R1 и удобство локального использования в llama.cpp с разными уровнями квантования. Ограничения — высокая требовательность к памяти и отсутствие в предоставленных данных сведений о точности на тестах, мультимодальности, контекстном окне и поддержке языков помимо английского. Модель распространяется по лицензии llama3.3.

DeepSeek-R1-Distill-Qwen-1.5B-GGUF — это квантизированная версия модели DeepSeek-R1-Distill-Qwen-1.5B, разработанной командой DeepSeek-AI. Формат GGUF подготовлен bartowski на основе llama.cpp, релиз b4514; модель распространяется в рамках сообщества LM Studio, но LM Studio не является её разработчиком или владельцем. Модель предназначена для генерации текста и прежде всего ориентирована на задачи рассуждения и пошагового анализа. Она дистиллирована из reasoning-модели DeepSeek R1 и настроена на работу с chain-of-thought. Указана поддержка контекстного окна до 128k токенов. Другие характеристики, включая точный размер в параметрах исходной GGUF-сборки, поддерживаемые языки и мультимодальные возможности, в README не приведены; по указанным данным модель относится к текстовым, а не мультимодальным системам. К сильным сторонам относятся компактный размер базовой модели, ориентация на рассуждения и большой заявленный контекст. Ограничения включают возможные неточные, вредоносные или неподходящие ответы, а также отсутствие гарантий качества, безопасности и стабильности использования. Лицензия в README не указана, поэтому условия коммерческого и иного использования необходимо уточнять в материалах исходной модели DeepSeek-R1-Distill-Qwen-1.5B и конкретной GGUF-сборки.

DeepVeo-R1-A — объединённая текстовая языковая модель на архитектуре Qwen2, созданная сообществом mergekit-community методом DARE TIES. В слияние вошли Qwen/Qwen2.5-1.5B, Alfitaria/Q25-1.5B-VeoLu и deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B; размер модели — 1,5 млрд параметров. Репозиторий содержит веса в формате safetensors, рассчитанные на использование с Transformers. Модель предназначена для генерации текста в диалоговом формате; в метаданных также заявлен интерфейс вызова инструментов. Контекстное окно — до 131 072 токенов. Данные не уточняют отдельные языковые или предметные специализации, а также лицензию, поэтому эти характеристики не описываются.

Карточка модели KnutJaegersberg/Deita-Mixtral-8x7b на Hugging Face совпадает с карточкой KnutJaegersberg/Deita-34b, поэтому описание составлено по ней. KnutJaegersberg/Deita-34b — языковая модель для генерации текста, построенная на архитектуре Llama с плотной схемой и 33,9 млрд параметров. Модель рассчитана на инструкции и диалоговые запросы; в README приведён пример ответа на вопрос о тонкой настройке языковой модели. Контекстное окно составляет 4096 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. В метаданных указан датасет KnutJaegersberg/Deita-6k; они не уточняют связь модели с базовым чекпойнтом или способ её обучения.

QuantFactory/dolphin-2.1-mistral-7b-GGUF — квантизированная версия модели Dolphin 2.1 на базе cognitivecomputations/dolphin-2.1-mistral-7b, созданная QuantFactory с использованием llama.cpp. Модель разработана в рамках проекта Dolphin; обучение спонсировала a16z. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, выполнение инструкций и творческие задачи. Модель основана на архитектуре Mistral с размером 7B параметров и распространяется в формате GGUF. Поддерживает текстовую модальность, английский язык и формат запросов ChatML. Для обучения использовались датасеты ehartford/dolphin и jondurbin/airoboros-2.2.1; Dolphin описывается как открытая реализация подхода Microsoft Orca с дополнительной очисткой, дедупликацией и повышением качества данных. К сильным сторонам относятся высокая готовность следовать инструкциям, универсальность и ориентация на творческую генерацию. Модель позиционируется как uncensored: из обучающих данных удалялись элементы alignment и bias, поэтому она может выполнять потенциально небезопасные или неэтичные запросы. При использовании в сервисах рекомендуется самостоятельно добавить слой выравнивания и фильтрации. Сведения о размере контекста и точных параметрах квантизации в README не указаны. Лицензия — Apache-2.0, допускающая коммерческое и некоммерческое использование.

Eidolon-v3-14B — разговорная текстовая модель на архитектуре Qwen2, разработанная Lambent и дообученная на базе Lambent/ProtoEidolon-v2.2.4-14B с использованием TRL. Модель предназначена для диалогов, следования инструкциям и генерации продолжений текста; в карточке также указана совместимость с интерфейсом вызова инструментов. Модель содержит 14 млрд параметров и поддерживает контекст до 131 072 токенов. В обучении использовались SFT и DPO, в том числе данные предпочтений и текстовые корпуса; предыдущие версии в цепочке разработки включали слияния моделей. Карточка приводит результаты EQ-Bench, IFEval и GPQA, но не даёт полного независимого сравнения. Автор отмечает возможные проблемы с настроенным шаблоном чата и допускает его возврат к предыдущей версии. В метаданных указана пометка not-for-all-audiences, поэтому модель может выдавать нежелательный или токсичный контент. Лицензия в предоставленных данных не указана.

Falcon-7B-Instruct — языковая модель TII на основе Falcon-7B, дообученная на смеси диалоговых и инструкционных данных. Это плотная авторегрессионная модель с архитектурой decoder-only; в карточке указаны 7 млрд параметров, тогда как метаданные каталога сообщают 10,9 млрд. В архитектуре используются rotary positional embeddings, multi-query attention и FlashAttention, рассчитанные на эффективный инференс. Модель предназначена для диалогов и выполнения инструкций на естественном языке: она может отвечать на вопросы, помогать с текстовыми задачами и вести беседу. Основной язык обучения — английский; карточка также указывает французский, но предупреждает, что качество на языках помимо английского может быть слабым. Для быстрого инференса README рекомендует не менее 16 ГБ памяти; для использования с Transformers требуется PyTorch 2.0. TII сообщает о дообучении на смеси instruct/chat-датасетов объёмом около 250 млн токенов. Модель может воспроизводить стереотипы и смещения из веб-данных, поэтому перед применением в производстве ответы следует оценивать и дополнять защитными мерами. Лицензия — Apache 2.0.

FLAN-T5-XL — языковая модель Google на архитектуре T5, дообученная следовать инструкциям на более чем тысяче дополнительных задач. Версия XL содержит 1,5 млрд параметров, принимает текст и генерирует текст; контекст — до 512 токенов. Модель распространяется в форматах PyTorch и Safetensors по лицензии Apache 2.0. Модель предназначена для выполнения разнообразных текстовых задач по инструкциям, включая ответы на вопросы, рассуждения, обобщение и генерацию текста, в том числе в режиме zero-shot и few-shot. Она обучалась на многоязычных задачах; в карточке перечислены английский, русский и десятки других языков. Подходит для экспериментов и как основа для прикладных NLP-сценариев с последующей оценкой. Карточка предупреждает о возможном воспроизведении предвзятости и неподходящего содержания из обучающих данных. Модель не тестировалась в реальных приложениях; перед применением следует оценить безопасность и справедливость для конкретного сценария.

GLM-5.3-DERISKED-Int4-Int8Mix — языковая модель для генерации текста, разработанная Blackfrost на основе полной GLM-5.3 от Z.AI и квантизированной версии Tech2wild. Модель предназначена для исследовательского и локального использования, включая запуск и обслуживание через vLLM на совместимой многографической инфраструктуре. Она поддерживает английский и китайский языки и относится к классу causal language models. Архитектура модели — GlmMoeDsaForCausalLM с mixture-of-experts: около 743 млрд параметров всего, примерно 40 млрд активных на токен, 78 основных слоёв и дополнительный MTP-слой. Используются 256 маршрутизируемых экспертов с выбором top-8 на токен и один общий эксперт, скрытый размер составляет 6144. Веса представлены в формате compressed-tensors pack-quantized: маршрутизируемые эксперты квантизированы в Int4, плотные и attention-слои — в Int8, с group size 128. Контекст может достигать 131 072 токенов согласно настройкам запуска. Сильной стороной модели является сочетание полной MoE-архитектуры GLM-5.3 с компактным смешанным квантизированным представлением, рассчитанным на работу в ограниченной по памяти инфраструктуре. Blackfrost применил к весам собственную модификацию DWM, изменяющую профиль отказов модели. Чекпойнт не проходил оценочную серию тестов на отказы, поэтому показатели безопасности от других вариантов GLM-5.3 к нему неприменимы. Выводы могут быть неточными, оскорбительными или небезопасными; модель не является механизмом обеспечения безопасности и требует внешних ограничений. Модель публична и не требует специального доступа. Для запуска заявлен путь vLLM с compressed-tensors и tensor parallelism; это не GGUF-модель. Лицензия наследуется от GLM-5.3 и указана как glm-5.3; необходимо сохранять исходные уведомления об авторских правах и условиях лицензии.

GPT-NeoXT-Chat-Base-20B — диалоговая языковая модель, разработанная Together Computer в рамках OpenChatKit. Она дообучена на базе GPT-NeoX на более чем 40 млн инструкций и дополнительном небольшом наборе отзывов о предпочтениях людей. Архитектура — плотная GPT-NeoX, число параметров в метаданных — 26,9 млрд, максимальный контекст — 2048 токенов; модель работает с текстом и предназначена для генерации ответов в чат-ботах. Модель подходит для ответов на вопросы, суммаризации, классификации и извлечения информации, в том числе в диалогах с несколькими ходами и при работе с предоставленным контекстом. В карточке заявлена поддержка английского языка. Лицензия — Apache 2.0. Ответы могут быть неточными или нерелевантными, особенно на сложные, неоднозначные вопросы и темы за пределами обучающих данных. Модель не рекомендуется для критически важных сценариев и решений, существенно влияющих на людей; для запуска требуется значительный объём памяти GPU.

Mungert/gpt-oss-20b-Derestricted-GGUF — это GGUF-версия модифицированной модели gpt-oss-20b, разработанной Arli AI на базе открытой модели OpenAI. Модель предназначена для генерации текста, локального и специализированного использования, задач рассуждения и агентных сценариев, где требуется снизить выраженность стандартных отказов модели. При этом заявленная цель модификации — сохранить качество рассуждений исходной модели. Базовая gpt-oss-20b содержит около 21 млрд параметров, из которых примерно 3,6 млрд активны одновременно, и относится к моделям с архитектурой Mixture of Experts. Модель ориентирована на меньшую задержку и локальный запуск; README также указывает формат GGUF и генерацию с использованием llama.cpp. Для снятия отказов применён метод Norm-Preserving Biprojected Abliteration, который изменяет направляющие компонентов весов с сохранением их исходных норм. Дополнительно в процессе квантования отдельные важные слои переводятся в более высокую точность, что увеличивает размер файла, но может улучшать точность при низкой разрядности. Сильной стороной модели заявляется сочетание уменьшенного количества отказов, сохранённого качества рассуждений и удобства локального запуска в различных вариантах квантования. Ограничения включают возможные остаточные попытки подавлять отдельные запросы, зависимость качества и размера от выбранного GGUF-варианта, а также отсутствие в представленном README подробных данных о языках, длине контекста, результатах стандартизированных бенчмарков и точных системных требованиях. Лицензия указана как Apache-2.0.

ING Triomphant M2 SLERP — языковая модель, созданная MatthieuJ путём слияния arcee-ai/Clown-DPO-Extended и MatthieuJ/ING_Triomphant_M1_SLERP методом SLERP с помощью mergekit. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалогового общения. Контекстное окно составляет до 32 768 токенов; веса представлены в формате safetensors с типом данных bfloat16. Модель подходит для ведения диалогов, генерации ответов и продолжения текста. В README приведена конфигурация слияния, в которой для слоёв внимания и MLP заданы разные коэффициенты смешивания исходных моделей. Модель распространяется по лицензии Apache 2.0.

Jan-v3-4B-base-instruct-GGUF — это квантованная версия текстовой генеративной модели Jan-v3-4B-base-instruct, разработанной janhq и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста по инструкциям и может применяться в локальных сценариях работы с текстом, включая запуск через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель содержит около 4 миллиардов параметров и поддерживает текстовый ввод и вывод. В репозитории указана поддержка английского языка и тег для задач, связанных с кодом. Доступно множество вариантов квантования — от BF16 до форматов Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Рекомендованными названы, в частности, варианты Q6_K_L, Q6_K, Q5_K и Q4_K_M; для систем с ограниченными ресурсами доступны более компактные варианты, но с меньшим качеством. К сильным сторонам относятся локальный запуск, широкий выбор размеров квантованных файлов и оптимизация imatrix, направленная на сохранение качества при сжатии. Ограничения — отсутствие в README сведений об архитектуре, размере контекстного окна, точных результатах оценки, мультимодальности и поддерживаемых языках помимо английского. Для работы требуется совместимый движок с поддержкой этой модели и формата GGUF. Модель распространяется по лицензии Apache-2.0.

Карточка модели dhanesh-hf/Jarvis-Titan-M4-Merged на Hugging Face совпадает с карточкой dhanesh-hf/Jarvis-Titan-V15-MoE-Decoupled, поэтому описание составлено по ней. J.A.R.V.I.S. Titan V15 MoE Decoupled — диалоговая языковая модель Dhanesh на архитектуре JarvisTitanMoEForCausalLM. Согласно карточке, она основана на DeepSeekMoE с общим экспертом и восемью маршрутизируемыми экспертами, из которых активируются два; также заявлены слои Tri-Brid памяти с локальным скользящим окном внимания, извлечением значимых KV-состояний и нейронной памятью Titans. Метаданные каталога указывают 7,1 млрд параметров и контекст 32 768 токенов. Модель предназначена для генерации текста в диалоге и взаимодействия с инструментами через соответствующий интерфейс. Карточка описывает объединённые автономные веса M4, включающие калиброванный адаптер Tri-Brid, а метаданные связывают модель с дообучением Jarvis-Titan-V14-MoE-Merged. В репозитории указаны веса Safetensors. Лицензия обозначена как other, поэтому условия использования следует проверять в материалах репозитория.

Карточка модели Resggg/Kimi-K3-Abliterated-modal на Hugging Face совпадает с карточкой SHSLab/Kimi-K3-Abliterated, поэтому описание составлено по ней. SHS-Lab/Kimi-K3-Abliterated — открытая мультимодальная модель на основе Kimi K3, обработанная методом abliteration для ослабления отказов, связанных с механизмами выравнивания. Она предназначена для исследований механизмов отказа, red-team-оценки и контролируемых экспериментов. Архитектура унаследована от базовой модели: Mixture-of-Experts с 2,8 трлн параметров, Kimi Delta Attention и Attention Residuals; модель поддерживает контекст до 1 млн токенов, изображения и видео наряду с текстом. Модель подходит для программирования, многошаговых агентных задач, анализа документов и работы с визуальными данными. По заявлению карточки, ослабление отказов нацелено на запросы на английском и японском языках и не добавляет новых знаний или возможностей; возможны небольшие изменения тона и формулировок. Независимая оценка этой версии не проводилась, поэтому точность для конкретных задач следует проверять отдельно. Модель распространяется с весами для самостоятельного развёртывания по лицензии Kimi K3 License; карточка не рекомендует её для неконтролируемого использования в пользовательских продуктах или там, где обязательна модерация контента.

WhiskyAKM/LFM2.5-2.6B-NVFP4-GGUF — квантованная GGUF-сборка текстовой модели Liquid AI LFM2.5-2.6B, подготовленная для локального запуска через llama.cpp на CPU и GPU. В основе лежит LiquidAI/LFM2.5-2.6B-Base; в карточке указаны архитектура LFM2, около 2,69 млрд параметров и гибридная структура из 30 слоёв, включая свёрточные слои и GQA. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и агентных сценариев с вызовом инструментов. Она поддерживает контекст до 131 072 токенов и ориентирована на эффективный запуск на устройстве. Файл NVFP4 использует 4-битное представление для уменьшения требований к памяти. Репозиторий указывает лицензию `other`; конкретные условия следует сверять с карточкой базовой модели и файлами лицензии. В README заявлены сильные стороны в использовании инструментов и длинном контексте, но независимые результаты оценки не приведены.

Это GGUF-сборка модели Llama 3.1 Nemotron 70B Instruct, опубликованная MarsupialAI. Она основана на Meta Llama 3.1 70B Instruct и предназначена для диалоговой генерации текста. В метаданных указана связь с датасетом NVIDIA HelpSteer2; README сообщает, что сборка использует iMatrix, созданную с помощью groups_merged.txt от Kalomaze. Модель можно применять для диалоговых ассистентов, ответов на вопросы и генерации текста на английском и других поддерживаемых языках базовой модели. Репозиторий содержит формат GGUF, подходящий для запуска совместимыми средствами инференса. Размер базовой модели — 70 млрд параметров. Используется лицензия Llama 3.1; перед применением необходимо соблюдать её условия.

MaziyarPanahi/Llama-3-8B-Instruct-DPO-v0.2 — диалоговая языковая модель, созданная MaziyarPanahi методом DPO дообучения Meta Llama 3 8B Instruct. Модель использует архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Она принимает текстовые сообщения в шаблоне ChatML и генерирует текстовые ответы.

Llama-3-Instruct-8B-SPPO-Iter3-GGUF — квантизированная версия инструкционной языковой модели Llama-3-Instruct-8B-SPPO-Iter3, разработанной UCLA-AGI. Квантизацию в формате GGUF выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в диалоговом формате с системными и пользовательскими инструкциями. Модель имеет около 8 миллиардов параметров, поддерживает текстовую модальность и ориентирована на английский язык. В репозитории доступны варианты квантизации от Q8 до Q2, различающиеся размером файла, требованиями к памяти и качеством генерации. Версии Q5–Q8 характеризуются высоким качеством, тогда как варианты Q3 и Q2 экономят память, но заметно уступают по качеству; некоторые варианты с суффиксом L используют F16 для весов эмбеддингов и выходного слоя и обозначены как экспериментальные. Модель подходит для локального запуска и ресурсоограниченных сценариев, где важен баланс между качеством и потреблением памяти. Ограничения включают зависимость результатов от выбранного уровня квантизации, отсутствие заявленной поддержки других модальностей и отсутствие в README сведений о размере контекстного окна и результатах бенчмарков. Для корректного использования следует применять указанный формат промпта Llama 3. Модель распространяется по лицензии Apache-2.0.

M7Yamshadowexperiment28_Strangemerges_32Shadow — объединённая методом SLERP модель семейства Mistral с плотной архитектурой MistralForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и поддерживает контекст до 32 768 токенов. Модель создана объединением automerger/M7Yamshadowexperiment28-7B и automerger/Strangemerges_32Shadow-7B. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

Magistral-Small-2506-GGUF — это GGUF-квантизированная версия языковой модели Magistral Small, разработанной Mistral AI. Файл подготовлен пользователем lmmy на основе llama.cpp, а распространением модели в рамках Community Model Program занимается сообщество LM Studio. Модель предназначена для генерации текста и задач, связанных с рассуждением, включая диалоговые сценарии, ответы на вопросы и обработку текстовых запросов. Модель поддерживает контекст длиной до 49 152 токенов и работает в формате GGUF, совместимом с llama.cpp и приложениями, использующими этот формат, включая LM Studio. В README не указаны точный размер модели, конкретная конфигурация архитектуры, поддерживаемые языки и модальности, а также параметры используемой квантизации. К сильным сторонам относятся большой контекст и возможность локального запуска через совместимое программное обеспечение. К ограничениям относятся потенциальное снижение качества из-за квантизации и отсутствие подробных данных о производительности, языковой поддержке и требованиях к оборудованию. Модель распространяется по лицензии Apache-2.0; при использовании следует учитывать, что она может генерировать неточные, вредные или неподходящие результаты.

Magistral Small 2506 — языковая модель от Mistral AI, представленная сообществом LM Studio в виде весов MLX в исходной точности bfloat16. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 23,4 млрд параметров, предназначенная для диалоговой генерации текста. Сборка подготовлена командой LM Studio с помощью mlx_lm и оптимизирована для Apple Silicon. Модель подходит для ведения диалога и генерации ответов на текстовые запросы; заявленная длина контекста составляет 49 152 токена. Веса распространяются по лицензии Apache-2.0. Эта публикация является производной сборкой базовой модели mistralai/Magistral-Small-2506; карточка не приводит специальных отраслевых назначений или дополнительных гарантий качества. Как и другие генеративные модели, она может выдавать неточную или неподходящую информацию.

Sakalti/Magro-7b-v1.1 — объединённая модель для генерации текста и диалогового общения, созданная автором репозитория с помощью mergekit. В основе слияния лежит HuggingFaceH4/zephyr-7b-alpha; также включена Sakalti/magro-7B. Использован метод TIES, итоговые веса указаны в формате bfloat16. Модель построена на архитектуре Mistral с плотной причинно-языковой моделью примерно на 7,1 млрд параметров. Она принимает текстовые запросы и генерирует текстовые ответы; заявленная длина контекста — 32 768 токенов. Подходит для диалоговых приложений и генерации ответов. Лицензия — MIT.

stamsam/maple-preview-gguf — набор GGUF-конвертаций модели Maple-Preview, разработанной DeepGrove. Это языковая reasoning-модель для генерации текста и решения задач, реализованная как Mixture-of-Experts: всего около 20 млрд параметров, примерно 1 млрд активных на токен (A1B), 24 слоя и контекст до 131 072 токенов. Архитектура использует 256 экспертов, 8 активных экспертов, GQA с 16 query-heads и 4 KV-heads, а также гибридное внимание с чередованием скользящего окна размером 512 и глобального внимания. Модель поддерживает текстовую модальность; заявленные языки в README не указаны. В репозитории доступны варианты F16, Q4_K_M и экспериментальный ternary TQ2_0 с двухбитными весами, что позволяет выбирать между качеством, размером и требованиями к памяти. Сильными сторонами являются большой контекст, MoE-архитектура, низкая активная вычислительная стоимость и поддержка GPU для указанных сборок. При этом проект находится на ранней стадии валидации: систематические оценки, perplexity и бенчмарки отсутствуют, а поддержка ternary-вычислений новая. Файлы нельзя загрузить в основной llama.cpp или PrismML upstream; требуется форк stamsam/llama.cpp, ветка prism, с Maple runtime. Базовая модель и опубликованные материалы распространяются по лицензии MIT.

MeliodasPercival_01_Experiment26Neuralarjuna — объединённая языковая модель семейства Mistral, созданная из automerger/MeliodasPercival_01-7B и automerger/Experiment26Neuralarjuna-7B. Она предназначена для генерации текста и диалогов по текстовым запросам. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Карточка не уточняет языки обучения и конкретные специализации модели.