II.1Анализ требований и архитектура ПО

h2o-danube2-1.8b-base — базовая языковая модель H2O.ai с архитектурой MistralForCausalLM и примерно 1,8 млрд параметров. Она обучена как фундаментальная модель для последующей адаптации под конкретные задачи; для диалогового применения разработчик предлагает отдельную версию h2oai/h2o-danube2-1.8b-chat. Модель генерирует текст по текстовому контексту и рассчитана на последовательности длиной до 8 192 токенов. В README отмечены результаты на бенчмарках среди моделей сопоставимого размера, но качество для конкретных приложений зависит от дообучения и проверки. Карточка указывает на возможные предвзятые, оскорбительные, неверные или бессмысленные ответы. Распространяется по лицензии Apache-2.0.

elastix-ai выпустила HyperPrune-Qwen3.6-27B-4to8 — причинную языковую модель Qwen3.6-27B с полуструктурированной разреженностью 4:8, полученную прунингом. Чекпойнт рассчитан на генерацию текста и диалоговое применение; для загрузки используются Transformers и AutoModelForCausalLM. В метаданных указаны 22,3 млрд параметров и контекст до 262 144 токенов. Прунинг выполнен во всех слоях декодера, с проверенной разреженностью около 50% в охваченном наборе модулей. В карточке приведены результаты perplexity на WikiText-2 по двум различающимся протоколам, поэтому их нельзя напрямую сравнивать между собой или с результатами, полученными по другим настройкам. README отмечает, что гиперсеть выбирала маску лишь для первых 200 выходных строк каждой проекции, а для остальных использовалась маска SparseGPT. Языки и условия лицензии подробно не раскрыты; метаданные обозначают лицензию как other.

zhongweixie опубликовал экспериментальную модель Qwen3-4B, дообученную методом In-Place Test-Time Training (In-Place TTT). Модель предназначена для генерации текста и работы с длинными последовательностями; в карточке заявлены адаптация к входной последовательности во время инференса и обучение на контексте длиной 32 768 токенов с 6 000 шагами. Это плотная авторегрессионная модель семейства Qwen с архитектурой Qwen3ForCausalLM и 3,7 млрд параметров. Репозиторий содержит веса safetensors для Transformers, а метаданные отмечают разговорный режим и английский язык. Указанная лицензия — Apache-2.0. Карточка заявляет экономную по памяти обработку длинного контекста без полного attention и улучшение результатов на длинноконтекстных задачах, однако конкретные сравнительные результаты и ограничения не приведены. Модель происходит от Qwen/Qwen2.5-4B; README описывает её как Qwen3-4B на архитектуре Qwen2.5-4B.

ClaudioItaly/intelligence-Creative — это слитая методом SLERP языковая модель на архитектуре Qwen2, созданная с помощью mergekit из ClaudioItaly/intelligence-cod-rag-7b-v3 и ZeroXClem/Qwen2.5-7B-HomerCreative-Mix. Модель содержит 7,1 млрд параметров, использует формат Safetensors и предназначена для диалоговой генерации текста; заявленная длина контекста — 32 768 токенов. Модель можно применять для ведения диалога и создания текстовых ответов. В карточке указана возможность чата, но подробные сценарии, языковое покрытие и результаты оценки качества не описаны. Лицензия в предоставленных данных не указана.

MaziyarPanahi/japanese-stablelm-instruct-gamma-7b-Mistral-7B-Instruct-v0.2-slerp-GGUF — это 7-миллиардная текстовая генеративная модель в формате GGUF. Она создана MaziyarPanahi на основе объединённой методом slerp модели japanese-stablelm-instruct-gamma-7b-Mistral-7B-Instruct-v0.2-slerp, использующей Mistral-7B-Instruct-v0.2 и japanese-stablelm-instruct-gamma-7b. Модель предназначена для генерации текста и диалоговых сценариев, а формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые приложения и библиотеки. Доступны варианты квантования с разной разрядностью, включая 2-, 3-, 4-, 5-, 6- и 8-битные конфигурации; README подробно описывает варианты до 6 бит. Квантование позволяет снизить требования к памяти и запускать модель на широком спектре оборудования, но может уменьшать качество по сравнению с полноразмерными весами. Данные о максимальном контексте, поддерживаемых языках, результатах тестирования и специализированных ограничениях отсутствуют. Модель распространяется по лицензии Apache-2.0.

JevBerta — модель leobitz для классификации с нулевым обучением на структурированных задачах с переменным числом вариантов ответа. Она принимает контекст, запрос и список вариантов, а для интерфейса JEV сопоставляет состояние с контекстом, инструкции — с запросом, а критерии — с вариантами. Для каждого варианта формируется пара текстов, которую обрабатывает Transformer-энкодер на базе microsoft/deberta-v3-base; затем блоки внимания по набору вариантов учитывают их взаимосвязь, а MLP выдаёт нормированные вероятности. Размер модели в README указан как 198 млн параметров. В приведённом снимке точность составляет 0,854 на validation и 0,627 на ood_eval; результаты зависят от набора данных и не гарантируют качество на конкретной задаче. Модель предназначена для выбора среди заданных кандидатов, а не для свободной генерации ответов. Лицензия — MIT.

Модель hungpill/kanana-1.5-8b-instruct-2505-Safe-DPO — дообученная разговорная языковая модель семейства Llama, опубликованная пользователем hungpill. Она предназначена для генерации текста в диалогах; в метаданных также отмечен интерфейс вызова инструментов. Модель содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Модель сохранена в формате safetensors и распространяется по лицензии Apache-2.0. В карточке указано, что обучение выполнялось с Unsloth и библиотекой TRL. Основной язык, отмеченный в метаданных, — английский. Карточка называет модель Safe-DPO, но не описывает конкретные меры безопасности или результаты оценки; фактические возможности вызова инструментов и качество ответов по доступным сведениям оценить нельзя.

pipenetwork/Kimi-K3-REAPgraded-MLX-mxfp4-q8 — это версия модели Kimi-K3 от Moonshot AI, подвергнутая агрессивному экспертному pruning методом REAP и конвертированная в формат MLX для запуска на компьютерах Apple Silicon. Модель относится к мультимодальным MoE-моделям, но README не уточняет полный перечень поддерживаемых модальностей и языков. Базовая Kimi-K3 имеет 2,78 трлн параметров, из которых 104 млрд активируются на токен, использует Kimi Delta Attention, Attention Residuals и контекст до 1 млн токенов. В данной версии сохранено 326 из 896 экспертов в каждом из 92 MoE-слоёв; заявленный объём составляет около 1,048 трлн параметров и 451 ГБ. Основное назначение модели — локальная генерация текста и кода через mlx-lm на Apple Silicon с unified memory объёмом около 512 ГБ. Благодаря сохранению наиболее значимых экспертов и наличию двух общих экспертов модель лучше сохраняет структурную корректность генерации кода, чем обычное удаление экспертов. Квантизация сохранённых наиболее важных весов в MXFP4 является побитово точной копией исходных весов Moonshot; менее значимые эксперты используют 2-битное представление. Заявлена скорость около 2,68 токена в секунду на M3 Ultra с 512 ГБ памяти. Это компромиссная сборка для размещения большой модели на одной машине, а не вариант с максимальным качеством. Из-за pruning ожидается заметное ухудшение языковых способностей по сравнению с полной Kimi-K3: возможны уход в спискообразные или похожие на исходный файл продолжения, дрейф ответа и циклы повторения, особенно при агрессивных сценариях. Уменьшение числа сохранённых экспертов сокращает требования к памяти, но не обязательно ускоряет генерацию, поскольку на каждый токен приходится считывать общие тензоры и выбранные эксперты. Лицензия указана как other с названием kimi-k3; дополнительные условия использования в README не приведены.

Klyrune-2B-General-1 — компактная языковая модель общего назначения, разработанная в проекте Klyrune-2B. Это первая инструкция-настроенная версия проекта, дообученная на базе OpenBMB MiniCPM5-2B-Base для следования инструкциям, работы со знаниями и решения задач. Модель имеет плотную архитектуру семейства Llama с классом LlamaForCausalLM и содержит 2,2 млрд параметров. Она поддерживает генерацию текста и диалоговый интерфейс, а заявленная длина контекста составляет 524 288 токенов. Модель предназначена для ответов на запросы и решения общих задач; приведённые авторами результаты особенно относятся к математике и информатике: указаны 70,4% на MATH-500 и 63,0% и 85,6% на двух разделах математики MMLU. Эти оценки не подтверждают одинаковое качество во всех задачах и языках. В метаданных указан английский язык. Модель распространяется под лицензией Apache-2.0; файлы весов представлены в формате safetensors.

L3-Zodiac-8B-ORPO-Base-GGUF — это квантованная версия текстовой генеративной модели L3-Zodiac-8B-ORPO-Base, созданная bartowski на основе модели unsloth/llama-3-8b-bnb-4bit. Исходная модель опубликована nothingiisreal. Модель предназначена для генерации текста и локального запуска через llama.cpp в формате GGUF, включая сценарии, где важны сниженные требования к памяти и возможность выбрать баланс между качеством и размером файла. Модель основана на архитектуре Llama 3 и имеет 8 миллиардов параметров. В карточке указаны английский язык и текстовая модальность; сведения о длине контекста и дополнительных модальностях отсутствуют. Доступны варианты квантования от Q8_0 и Q8_0_L высокого качества до IQ2 и Q2_K с существенно меньшим размером. Варианты Q6_K, Q5_K и Q4_K обозначены как рекомендуемые; более низкие уровни требуют меньше оперативной памяти, но снижают качество. Некоторые варианты являются экспериментальными и используют веса embedding и output в формате f16. К сильным сторонам относятся широкий выбор размеров, поддержка llama.cpp и высокая сохранность качества у старших вариантов квантования. Ограничения связаны с потерями качества при сильном квантовании, отсутствием явно заданного chat template и неопределённостью корректного формата запросов: в README отмечено, что приведённый шаблон может быть неверным, поэтому детали следует проверять по карточке исходной модели. Модель распространяется по лицензии Llama 3.

Leo Hessianai 7B Chat Bilingual — это двуязычная чат-модель на базе архитектуры Llama с 7 млрд параметров, разработанная LAION LeoLM. Представленная версия распространяется в формате GGUF и квантизирована TheBloke для запуска на CPU и GPU. Модель предназначена для генерации текста и диалогового взаимодействия на английском и немецком языках. Модель подходит для локальных чат-приложений, текстовых ассистентов и других сценариев генерации текста. Она поддерживается llama.cpp и рядом совместимых интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и ctransformers. Для взаимодействия используется шаблон ChatML. README не указывает размер контекстного окна и конкретные показатели качества; квантизация может снижать требования к памяти и вычислительным ресурсам, но потенциально отражаться на точности по сравнению с исходной версией. Исходная модель обучалась с использованием немецкоязычных и многоязычных наборов данных, включая OpenSchnabeltier, OpenAssistant и наборы инструкций на немецком языке, а также англоязычные датасеты. Модель распространяется по лицензии Llama 2; условия применения следует проверять в соответствии с этой лицензией и требованиями исходной модели.

Creekside/lfm-1.2b-lambda-calculus-5ep — компактная языковая модель семейства LFM2, дообученная Creekside на базе unsloth/LFM2.5-1.2B-Instruct. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Модель содержит 1,5 млрд параметров, имеет контекстное окно 128 000 токенов и распространяется в формате safetensors. В README указано, что при обучении использовались Unsloth и библиотека TRL; карточка не описывает конкретные данные обучения или специальные навыки, связанные с lambda calculus. Лицензия — Apache-2.0. Поскольку README не приводит оценок качества и подробностей дообучения, пригодность для специализированных задач, включая lambda calculus, следует проверять отдельно.

LFM2.5-2.6B-Uncensored-GGUF — это квантованная GGUF-версия модели LFM2.5-2.6B от Liquid AI, подготовленная автором SC117 на основе релиза LFM2.5-2.6B-Uncensored. Модель предназначена для генерации текста и локального запуска на периферийных устройствах, включая агентские сценарии. Версия получила модификацию abliterix Trial 65, из-за которой частота отказов при ответах существенно ниже, чем у официальной базовой модели. Модель содержит около 2,6 млрд параметров, использует гибридную архитектуру из 30 слоёв: 22 блока double-gated short-convolution и 8 блоков GQA. Заявлены контекстное окно 128K токенов, словарь размером 128K и ChatML-подобный шаблон с поддержкой встроенного рассуждения через тег <think>. Модель ориентирована прежде всего на англоязычные сценарии; другие языки и мультимодальность в предоставленных данных не указаны. К сильным сторонам относятся компактный размер, пригодность для edge-развёртывания, большое контекстное окно и несколько уровней GGUF-квантизации, откалиброванных с использованием imatrix. Ограничение — сниженная отказоустойчивость в отношении потенциально вредных запросов: в указанной оценке модель отказала в 6 из 100 случаев против примерно 90 из 100 у базовой версии. Поэтому её следует дополнительно тестировать, защищать от несанкционированного доступа и подвергать аудиту. Распространение осуществляется по лицензии LFM Open License v1.0.

Llama3.1-8B-Chinese-Chat-GGUF — это набор файлов модели в формате GGUF для генерации текста и ведения диалогов на основе модели Llama3.1-8B-Chinese-Chat. Исходную модель разработал shenzhi-wang, а GGUF-квантизацию и публикацию выполнил MaziyarPanahi. Доступны варианты с разной точностью квантизации: 2-, 3-, 4-, 5-, 6- и 8-битные версии. Модель предназначена для локального запуска в сценариях генерации текста и чат-взаимодействия, включая использование через llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие совместимые инструменты. Формат GGUF ориентирован на эффективное локальное выполнение и поддерживает работу с CPU и GPU в зависимости от выбранного программного обеспечения. В README не указаны точная длина контекста, перечень поддерживаемых языков, параметры архитектуры исходной модели, результаты оценивания или конкретные сильные стороны в сравнении с альтернативами. Выбор уровня квантизации позволяет балансировать между размером файлов, потреблением памяти и качеством генерации: более сильное сжатие обычно снижает требования к ресурсам, но может повлиять на качество. Лицензия модели в README не указана, поэтому условия использования необходимо уточнять на странице исходной модели и репозитория GGUF.

QuantFactory/Llama-3.1-8B-Instruct-abliterated_via_adapter-GGUF — квантизированная версия модели Llama-3.1-8B-Instruct-abliterated_via_adapter, созданная QuantFactory с использованием llama.cpp. Исходная модель объединяет Meta-Llama-3.1-8B-Instruct от Meta и LoRA-адаптер Llama-3-Instruct-abliteration-LoRA-8B; объединение выполнено методом task arithmetic с помощью mergekit. Модель предназначена для генерации текста и диалоговых сценариев, совместимых с instruct-моделями Llama. LoRA применялась для ослабления отказов в ответах, поэтому модель ориентирована на более свободное выполнение запросов, однако это может снижать встроенные механизмы безопасности и требовать дополнительного контроля со стороны пользователя. Указан размер базовой модели 8B параметров и тип данных bfloat16 на этапе объединения; формат GGUF предназначен для использования в llama.cpp и совместимых инструментах. В README не указаны точный размер квантизации, поддерживаемые языки, длина контекста, конкретные модальности и результаты бенчмарков. Модель распространяется по лицензии llama3.1.

Llama-3.1-DeepHermes-R1-Reasoning-8B-DarkIdol-Instruct-1.2-Uncensored-GGUF — языковая модель для генерации текста, разработанная DavidAU на основе Llama 3.1 и базовой модели DeepHermes-R1-Reasoning-8B-DarkIdol-Instruct-1.2-Uncensored. Модель объединяет возможности рассуждения DeepHermes с дообучением DarkIdol и распространяется в формате GGUF. Модель предназначена для общего использования, решения задач и головоломок, мозгового штурма, творческого письма, генерации сюжетов и сцен, ролевого взаимодействия и других текстовых сценариев. В описании заявлены uncensored-поведение, поддержка ненормативной лексики, NSFW- и хоррор-контента, а также возможность рассуждений при любых значениях temperature. Поддерживается английский язык. Заявлены архитектура семейства Llama 3.1, размер 8B параметров и контекстное окно до 128k токенов. Для работы требуется шаблон Llama 3 Instruct либо стандартный Jinja Autoloaded Template, встроенный в квантизированные файлы. Сильными сторонами являются сочетание reasoning и творческой генерации, большой контекст и отсутствие ограничений на содержательную тематику. Ограничения включают отсутствие заявленных результатов бенчмарков, сведений о точных требованиях к оборудованию и гарантии качества ответов; модель может генерировать потенциально неприемлемый или чувствительный контент. Лицензия — Apache-2.0.

Llama-3.2-1B-GGUF — текстовая генеративная модель, подготовленная prithivMLmods на основе meta-llama/Llama-3.2-1B и распространяемая в формате GGUF. Репозиторий содержит файл весов F16 размером 2,48 ГБ; метаданные указывают на плотную архитектуру семейства Llama и возможность диалога. Модель предназначена для генерации текста и диалогового использования, в том числе через Ollama. В карточке указаны английский язык и лицензия CreativeML OpenRAIL-M; README также сообщает Apache-2.0, поэтому точные условия лицензирования требуют проверки у автора репозитория.

Llama-3.2-3B-TitanFusion — диалоговая языковая модель на архитектуре Llama, созданная слиянием нескольких предварительно обученных моделей с помощью mergekit и метода TIES. Базой слияния послужила huihui-ai/Llama-3.2-3B-Instruct-abliterated; также объединены Devarui379/VersatiLlama-Llama-3.2-3B-Instruct-Abliterated, ValiantLabs/Llama3.2-3B-Esper2 и SaisExperiments/Evil-Alpaca-3B-L3.2. Модель содержит 3,2 млрд параметров, рассчитана на генерацию текста и диалоговые ответы. Заявленная длина контекста — 131072 токена; доступны веса в формате safetensors для библиотеки Transformers. Метаданные указывают на интерфейс для вызова инструментов, но подробности его использования в карточке не приведены. Данные не подтверждают поддержку конкретных естественных языков. В числе объединённых моделей есть варианты с ослабленными отказами, однако карточка не описывает поведение итоговой модели подробно. Лицензия в предоставленных данных не указана.

divinetribe/Llama-3.3-70B-Instruct-abliterated-8bit-mlx — это 8-битная квантованная версия языковой модели huihui-ai/Llama-3.3-70B-Instruct-abliterated, основанной на Llama 3.3 от Meta. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный и периферийный запуск на устройствах Apple Silicon через MLX и mlx-lm. Доступна только текстовая модальность; заявлены английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий языки. Модель относится к классу 70B и использует 8-битное представление весов, что может снизить требования к памяти по сравнению с полноразмерной версией, сохраняя возможность локального запуска на совместимом оборудовании. Вариант обозначен как abliterated и uncensored, поэтому его поведение в отношении отказов и ограничений безопасности может отличаться от исходной instruct-модели; README не содержит результатов тестирования качества, производительности или безопасности. Архитектура, размер контекста и точные системные требования не указаны. Распространение регулируется Llama 3.3 Community License от Meta. Лицензия предоставляет ограниченные права на использование, копирование, изменение и распространение при соблюдении условий, включая передачу текста лицензии и атрибуции, отображение надписи «Built with Llama» для распространяемых продуктов или сервисов, сохранение уведомления об авторских правах и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 миллионами активных пользователей в месяц предусмотрено дополнительное требование получить лицензию Meta.

Это дообученная модель KKHYA/llavaqwen3-1.7b-finetune с 1,7 млрд параметров, опубликованная в формате PyTorch и Safetensors для библиотеки Transformers. Она предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Контекст модели составляет до 40 960 токенов. Модель создана на неизвестном датасете, а сведения о её обучении, оценке и специальных сценариях применения не приведены. Репозиторий распространяется по лицензии Apache-2.0. README не описывает отдельные преимущества или ограничения качества.

Это дообученная модель KKHYA на 1,7 млрд параметров, созданная на основе KKHYA/llavaqwen3-1.7b-finetune. Она использует архитектуру NMMaskMoELLaVAQwen3ForCausalLM и предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Контекст модели составляет до 40 960 токенов. Модель принимает текст и выдаёт текст. Датасет дообучения не описан, поэтому область специализации и качество на конкретных задачах по карточке определить нельзя. Распространяется под лицензией Apache-2.0.

LongAlign-6B-64k-base — базовая языковая модель семейства ChatGLM, разработанная авторами проекта LongAlign на основе ChatGLM3-6B. Для неё расширено контекстное окно до 64k токенов; модель предназначена как основа для дальнейшего обучения и работы с длинными последовательностями. Проект LongAlign исследует обучение LLM для длинного контекста и предлагает данные длинных инструкций, стратегии упаковки последовательностей и оценки следования инструкциям на длинном контексте. Модель принимает текст и генерирует текст. В README указана базовая версия на 6B параметров, а метаданные репозитория сообщают 7,8B параметров и контекст до 65 536 токенов. Карточка и метаданные указывают английский и китайский языки. Репозиторий использует PyTorch и Transformers; лицензия — Apache-2.0. Это базовая модель, а не описанная в README чат-версия LongAlign-6B-64k, поэтому её пригодность для следования инструкциям напрямую не установлена.

YeungNLP/LongQLoRA-Llama2-7b-8k — дообученная версия LLaMA 2 7B, созданная авторами метода LongQLoRA для работы с длинным контекстом. В карточке описан метод эффективного расширения контекстного окна больших языковых моделей с меньшими затратами GPU; для этой модели заявлено увеличение длины контекста с 4096 до 8192 токенов, а метод в целом также позволяет расширение до 12 тысяч токенов. Модель предназначена для генерации текста и продолжения длинных документов. Авторы сообщают о конкурентных значениях perplexity на PG19 и Proof-pile после 1000 шагов дообучения; в сравнении с LongLoRA модель показала лучшие значения и приблизилась к MPT-7B-8K. В метаданных указаны 6,6 млрд параметров, архитектура LLaMA и библиотека Transformers; язык карточки — английский. Модель опубликована под лицензией Apache-2.0. Результаты в README относятся к оценке perplexity на конкретных корпусах и сами по себе не подтверждают качество для всех задач генерации; заявленная цель — работа с длинным контекстом.

Mungert/Magistral-Small-2506-abliterated-GGUF — это GGUF-квантизированная версия модели Magistral-Small-2506, основанная на модели Mistral и опубликованная Mungert. Модель создана на основе варианта huihui-ai/Magistral-Small-2506, в котором с помощью abliteration существенно снижено количество отказов от генерации. GGUF-файлы сгенерированы через llama.cpp. Модель предназначена для текстовой генерации и диалоговых сценариев, включая локальный запуск и экспериментальное применение. В README указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Точные размер, архитектура, длина контекста и набор доступных квантовок для этой карточки не указаны. Ключевая особенность — экспериментальный подход к квантизации: отдельные важные слои получают более высокую точность, чем при стандартной конфигурации IMatrix, что, по утверждению автора, может улучшать качество при меньшей битности, особенно для MoE-моделей. Ограничения включают экспериментальный статус, сниженные механизмы фильтрации безопасности и повышенный риск чувствительных, спорных или неподходящих ответов; результаты требуют контроля и проверки. Модель распространяется по лицензии Apache-2.0.

MarsupialAI/Magnum-12b-v2_iMatrix_GGUF — чат-модель Magnum 12B в формате GGUF, опубликованная MarsupialAI. Репозиторий содержит iMatrix-квантизованные файлы; README сообщает, что iMatrix подготовлена с использованием groups_merged.txt от Kalomaze. Модель предназначена для генерации текста и диалогового общения. Метаданные указывают поддержку английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Репозиторий создан 6 августа 2024 года и распространяется по лицензии Apache-2.0. GGUF подходит для локального запуска в совместимом программном обеспечении, однако карточка не сообщает точные варианты квантования, требования к памяти, размер контекста и оценку качества. Квантизация может влиять на качество ответов по сравнению с исходными весами.

bartowski/magnum-32b-v1-GGUF — это набор квантизированных версий текстовой генеративной модели magnum-32b-v1, разработанной anth​​racite-org и преобразованной bartowski в формат GGUF для запуска с помощью llama.cpp и совместимых приложений, включая LM Studio. Модель предназначена для диалогов и генерации текста на английском и китайском языках; в README также указан специальный шаблон prompt для чата. Доступны варианты от BF16 размером 65,03 ГБ до высоко сжатых IQ2_M и Q2_K размером около 11–13 ГБ. Квантизация выполнена с использованием imatrix и калибровочного набора данных. Версии Q6_K_L, Q6_K, Q5 и Q4 заявлены как обеспечивающие высокое или хорошее качество при меньшем размере, тогда как варианты Q3 и Q2 экономят оперативную память, но заметно уступают по качеству. Сведения об архитектуре, числе параметров исходной модели и размере контекстного окна в README отсутствуют. Модель удобна для локального запуска при выборе подходящего уровня квантизации, однако требования к памяти зависят от конкретного файла и могут быть значительными. Лицензия указана как other с названием tongyi-qianwen; в качестве лицензионного документа приведена лицензия Qwen/Qwen2-72B-Instruct.

Карточка модели Kailune-AI/mamba-gpt-3b-v4 на Hugging Face совпадает с карточкой CobraMamba/mamba-gpt-3b-v4, поэтому описание составлено по ней. CobraMamba/mamba-gpt-3b-v4 — авторская дообученная языковая модель семейства Llama, созданная на основе openlm-research/open_llama_3b_v2. Она содержит 3,3 млрд параметров и предназначена для генерации текста, диалогов и ответов на запросы; обучение включало наборы Stanford Alpaca, Open Assistant, LIMA, CodeAlpaca, GPT-4 Generated Data и UltraChat. Модель принимает текст и выдаёт текст, поддерживает английский и многоязычные запросы; родной контекст составляет 2048 токенов. В карточке приведены результаты тестирования на MMLU, ARC и HellaSwag, однако заявленное превосходство над более крупными моделями следует считать утверждением разработчика, а не независимой оценкой. Модель может давать ошибочные или нерелевантные ответы и воспроизводить предвзятое либо оскорбительное содержание. Для использования опубликована лицензия Apache-2.0.

Карточка модели openbmb/MiniCPM-2B-dpo-bf16 на Hugging Face совпадает с карточкой openbmb/MiniCPM-2B-dpo-bf16-llama-format, поэтому описание составлено по ней. MiniCPM-2B-dpo-bf16-llama-format — диалоговая языковая модель MiniCPM от ModelBest и лаборатории обработки естественного языка Университета Цинхуа (TsinghuaNLP). Это DPO-версия семейства MiniCPM, представленная в архитектуре Llama; в метаданных указано 2,7 млрд параметров и контекст до 4096 токенов. Модель принимает текст и генерирует текст, поддерживает китайский и английский языки. Модель предназначена для диалогов, ответов на вопросы и других задач общего назначения, а компактный размер позволяет рассматривать её для локального запуска, в том числе на устройствах с ограниченными ресурсами. Разработчики сообщают о результатах DPO-версии на MTBench, однако оценка зависит от настроек генерации: в карточке отмечено, что качество генерации через Hugging Face Transformers может быть ниже, чем через vLLM. Ограничения включают галлюцинации, чувствительность к формулировке запроса, непоследовательность ответов и неточные знания; длинные ответы DPO-версии могут повышать вероятность галлюцинаций. Лицензия указана как other, а README заявляет о выпуске весов для исследований и ограниченного коммерческого использования; перед применением следует свериться с условиями лицензии репозитория.

MaziyarPanahi/miqu-1-70b-sf-GPTQ — 4-битная GPTQ-квантизация дообученной модели 152334H/miqu-1-70b-sf. Она построена на плотной архитектуре LlamaForCausalLM и предназначена для генерации текста и диалогов на английском языке. Размер модели — 68,7 млрд параметров, длина контекста — 32 764 токена. Квантизация GPTQ снижает требования к памяти по сравнению с полноточными весами. Модель подходит для генерации продолжений текста и ведения диалогов. Репозиторий распространяет веса в формате safetensors; лицензия — Apache-2.0. README подтверждает квантизацию, а сведения о базовой модели, размере, контексте, языке и лицензии взяты из метаданных.

unsloth/mistral-7b — базовая плотная авторегрессионная языковая модель семейства Mistral, опубликованная Unsloth в формате Safetensors. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. В метаданных указан английский язык и лицензия Apache-2.0. Модель предназначена для генерации текста и может использоваться как основа для чат-ботов и дополнения текста. README связывает её с шаблонами ShareGPT ChatML и Vicuna и предлагает ноутбуки для разговорного дообучения, текстового продолжения и DPO; это рекомендации по дальнейшей настройке, а не свидетельство, что данный чекпойнт уже дообучен под эти сценарии. Описания качества или конкретных результатов нет.