II.1Анализ требований и архитектура ПО

Huihui-gemma-4-26B-A4B-it-abliterated-GGUF — это квантованный релиз модели Huihui Gemma 4 26B A4B IT Abliterated, подготовленный пользователем groxaxo. Модель распространяется в формате GGUF для локального запуска и совместимых с llama.cpp сред. Исходная модель разработана huihui-ai; данный репозиторий содержит только её квантованные сборки. Модель предназначена для генерации текста по текстовым запросам, а также для мультимодальных сценариев image-text-to-text: анализа и описания изображений с учётом текстовой инструкции. Для работы с изображениями требуется совместимый файл mmproj. Доступны варианты квантования с разным балансом между качеством, скоростью и потреблением VRAM и RAM; более крупные и высокобитные варианты обычно сохраняют больше качества, а компактные требуют меньше ресурсов, но сильнее теряют в точности. Ключевые характеристики: архитектура и параметры унаследованы от базовой модели Gemma 4 26B A4B, формат — GGUF, целевой runtime — llama.cpp, поддерживаются текстовая и визуальная модальности. Точные языки и размер контекстного окна в README не указаны. К сильным сторонам относятся локальный запуск, выбор из множества квантований и поддержка мультимодального вывода. Ограничения включают зависимость качества от выбранной квантовки, аппаратных ресурсов и корректности файла mmproj, а также возможные неточности и особенности поведения модели с уменьшенными ограничениями фильтрации. Конкретная лицензия в README не приведена; перед использованием и распространением необходимо проверить лицензию исходной модели и файлы репозитория.

Huihui-MoE-0.8B-2E — языковая модель с архитектурой Mixture of Experts от huihui.ai, созданная на основе Qwen/Qwen3-0.6B. В слоях MLP используются два эксперта, из которых для каждого токена активируется один. По метаданным, общее число параметров составляет 507,9 млн, а длина контекста — 40 960 токенов. Модель предназначена для генерации текста, ответов на вопросы и диалоговых приложений. Она может служить основой для дальнейшего дообучения под конкретные задачи; в карточке указано, что модель не проходила fine-tuning, а веса маршрутизации экспертов инициализированы случайно, поэтому без дообучения выбор экспертов может быть неоптимальным. Для загрузки указана библиотека Transformers, файлы представлены в формате safetensors. Лицензия — Apache-2.0.

Huihui-NeoHorse-1-4B-abliterated-GGUF — языковая модель для генерации текста, разработанная huihui-ai на базе TokenRhythm/NeoHorse-1-4B. Модель распространяется в формате GGUF и предназначена для задач следования инструкциям, рассуждений, программирования, использования инструментов и агентских сценариев. В карточке также указано наличие компонентов MTP и Visual, извлечённых из Qwen/Qwen3.5-4B, что должно обеспечивать поддержку визуальных возможностей, однако подробные сведения о поддерживаемых модальностях и языках не приведены. Это экспериментальная версия с уменьшенной фильтрацией отказов, полученная методом abliteration: аблированы слои 5–17 с индексацией от нуля. Заявленный размер — около 1,4 млрд параметров, а рекомендуемый размер контекста при использовании через llama.cpp составляет 262144 токена. К сильным сторонам относятся компактность, поддержка локального запуска через llama.cpp и ориентация на кодирование, рассуждения и tool use. При этом метод модификации описан как грубая proof-of-concept реализация, поэтому качество, стабильность и поведение модели могут быть непредсказуемыми. Фильтрация контента существенно ослаблена, поэтому модель может генерировать чувствительные, спорные или неподходящие материалы и не предоставляет стандартных гарантий безопасности. Она рекомендуется преимущественно для исследований, тестирования и контролируемых сред, а не для публичных или критически важных производственных приложений; необходимы мониторинг и проверка результатов человеком. Лицензия — Apache 2.0.

J.A.R.V.I.S. Titan V14 MoE Merged — языковая модель для генерации текста, разработанная Dhanesh. Это объединённый самостоятельный чекпойнт на архитектуре DeepSeekMoE с 8 маршрутизируемыми экспертами и одним общим экспертом; в карточке также указаны Grouped-Query Attention и 28 слоёв. Модель предназначена для диалогового общения, генерации текста и сценариев с интерфейсом вызова инструментов. В метаданных указаны 7,1 млрд параметров и контекст длиной 32 768 токенов; README приводит другие значения размера — 14,8 млрд параметров всего и около 3,2 млрд активных. Файлы опубликованы в формате Safetensors. Карточка заявляет английский язык и лицензию other, условия которой следует сверить с полной лицензией репозитория. Качество и ограничения в карточке подробно не описаны.

K2 — плотная авторегрессионная языковая модель семейства Llama с 65 млрд параметров, разработанная в сотрудничестве MBZUAI, Petuum и LLM360. Репозиторий IFM/K2 содержит базовую версию модели; в проекте также выпущена отдельная чат-версия. Модель обучена на 1,4 трлн токенов в два этапа, а её контекст составляет 8192 токена. K2 предназначена для генерации текста и ответов на запросы на английском языке. Её можно использовать как основу для чат-приложений, а также для экспериментов с предварительным обучением и дообучением крупных языковых моделей. Авторы сообщают о цели воспроизводимо раскрыть процесс обучения и сопутствующие артефакты; карточка приводит оценки на общих и специализированных тестах, включая математику, медицину и программирование. Модель опубликована в формате Safetensors для Transformers и распространяется по лицензии Apache 2.0. Она обучена преимущественно для английского языка; данных о поддержке других языков в карточке нет.

K2-Horizon-32B-heretic-GGUF — это производная модель для генерации текста, разработанная soyaakinohara на базе IFM/K2-Horizon-32B и soyaakinohara/K2-Horizon-32B-heretic. Модель обработана методом Heretic для ослабления отказов, после чего выполнены слияние LoRA, конвертация в формат GGUF и квантование. Она предназначена для локального запуска и генерации текста на совместимом программном обеспечении, включая llama.cpp. Модель использует пользовательскую архитектуру K2Horizon и содержит 34,8 млрд плотных параметров. Максимальный контекст составляет 524 288 токенов, однако на видеокартах с ограниченной памятью его необходимо уменьшать. Поддерживаются английский и другие многоязычные сценарии. Доступны варианты BF16, Q8_0, Q6_K, Q4_K_M и Q2_K; Q4_K_M отмечен как рекомендуемый и рассчитан на запуск примерно на двух видеокартах по 16 ГБ, тогда как Q2_K требует меньше памяти, но обеспечивает более низкую точность. К сильным сторонам относятся большой контекст, несколько уровней квантования и сниженная склонность к отказам: в указанном испытании Heretic модель отказала в 3 случаях из 100, при KL-дивергенции 0,056. Ограничения включают нестандартную архитектуру, для которой требуется специальная ветка llama.cpp MBZUAI-IFM; стандартная upstream-версия llama.cpp не поддерживается. Для длинного контекста также может потребоваться дополнительная память под KV-кэш и его квантование. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

egoigo/kanana-1.5-8b-instruct-2505-Safe-DPO — дообученная разговорная языковая модель семейства Llama, опубликованная egoigo. Она предназначена для генерации текста в диалоге; метаданные также отмечают интерфейс для вызова инструментов. Модель содержит 7,5 млрд параметров и поддерживает контекст до 32 768 токенов. Модель дообучена с использованием Unsloth и библиотеки Hugging Face TRL. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Карточка не описывает конкретные сценарии, данные обучения или результаты оценки качества.

Sakalti/Kani-3B — чат-модель для генерации текста, разработанная Sakalti на основе дообучения unsloth/Qwen2.5-3B-Instruct. Она предназначена для диалогов и ответов на запросы; в метаданных также заявлен интерфейс вызова инструментов. Модель использует плотную архитектуру Qwen2 и содержит 3,1 млрд параметров. Указанная длина контекста — 131 072 токена. В карточке заявлены английский и японский языки, обучение выполнено на наборе HachiML/Hachi-Alpaca с использованием Unsloth и TRL. Модель опубликована в формате safetensors и распространяется по лицензии qwen-research. Карточка не приводит результатов оценки качества или подробностей об ограничениях дообучения; характеристики базовой модели не следует автоматически считать подтверждёнными для этой версии.

Kosmos-EVAA-gamma-light-8B — объединённая с помощью mergekit методом SLERP языковая модель семейства Llama, созданная из jaspionjader/Kosmos-EVAA-gamma-8B и jaspionjader/Kosmos-EVAA-v12-8B. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и предназначена для генерации текста; длина контекста составляет 8192 токена. Модель подходит для генерации и продолжения текста в сценариях, где нужна компактная языковая модель. В карточке не приведены сведения о поддерживаемых естественных языках, специализированных областях или результатах оценки качества. Репозиторий содержит веса в формате safetensors и доступен по лицензии, указанной в метаданных Hugging Face.

LLaDA-1.5 — плотная языковая модель семейства LLaDA от GSAI-ML, предназначенная для генерации текста и диалогового взаимодействия. Для загрузки автор рекомендует библиотеку Transformers; веса доступны в формате Safetensors. Модель можно использовать для построения чат-ботов и приложений, генерирующих текст по текстовому запросу. Карточка не приводит размер модели, длину контекста, поддерживаемые языки или результаты оценки качества. Лицензия MIT разрешает использование, модификацию и распространение на её условиях.

bartowski/Llama-3.1-70B-ArliAI-RPMax-v1.2-GGUF — это набор GGUF-квантизаций модели Llama-3.1-70B-ArliAI-RPMax-v1.2, разработанной ArliAI. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, включая сценарии ролевого общения и другие задачи, совместимые с базовой текстовой LLM. Для запуска рекомендуется использовать llama.cpp или LM Studio с указанным форматом prompt. Модель имеет архитектуру и размер исходной Llama-3.1-70B, однако точные сведения о количестве параметров, поддерживаемых языках и размере контекстного окна в представленном README не указаны. Доступны варианты квантизации от Q8_0 до более компактных IQ- и Q-форматов размером примерно от 19 до 75 ГБ. Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; чем сильнее сжатие, тем ниже качество, но тем меньше требования к памяти. Главные преимущества — большое количество параметров, широкий выбор квантизаций и возможность локального запуска на совместимом оборудовании. Ограничениями являются значительные требования к оперативной или видеопамяти даже у компактных вариантов, а также потенциальная потеря качества при использовании низкобитных квантизаций. В README указана лицензия llama3.1; дополнительные условия использования производной модели не описаны.

OpenSourceEnjoyer/LLaMA-3.1-8B-Function-Calling-FP16 — дообученная языковая модель семейства LLaMA 3.1, разработанная OpenSourceEnjoyer на базе unsloth/meta-llama-3.1-8b-bnb-4bit. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 131 072 токенов. Обучение проводилось с Unsloth и библиотекой TRL. Модель предназначена для генерации текста; название указывает на сценарий вызова функций, однако README не описывает формат и качество этой возможности. Она принимает текст и выдаёт текст. Для модели указана лицензия Apache-2.0. Карточка содержит мало сведений о данных обучения и проверке качества, поэтому пригодность для конкретных сценариев вызова функций следует оценивать отдельно.

ZEUS — разговорная языковая модель на базе Llama 3.1, созданная T145 объединением нескольких моделей методом DARE TIES. В объединение вошли meta-llama/Llama-3.1-8B-Instruct, akjindal53244/Llama-3.1-Storm-8B, arcee-ai/Llama-3.1-SuperNova-Lite и Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2. Модель содержит 7,5 млрд параметров и имеет контекст до 131 072 токенов. ZEUS предназначена для диалогов и генерации текста, в том числе для продолжительных бесед с сохранением связности. Она поддерживает интерфейс вызова инструментов и по умолчанию формирует ответы в Markdown. README описывает её как uncensored-модель; опубликованные оценки включают 79,41 на IFEval и 31,39 на BBH. Модель доступна в формате Safetensors под лицензией Apache-2.0. Она рассчитана прежде всего на англоязычные диалоги; качество для других языков в предоставленных материалах не охарактеризовано. Это объединение моделей, поэтому результат не гарантирует стабильной связности или качества во всех задачах.

llama3.1-airoboros3.2-QDT-8B-GGUF — это квантизированная версия текстовой генеративной модели llama3.1-airoboros3.2-QDT-8B, разработанной nbeerbower и дополнительно подготовленной bartowski в формате GGUF для llama.cpp. Модель обучена с использованием датасета jondurbin/airoboros-3.2 и предназначена для генерации текста, диалоговых сценариев и локального запуска через совместимые приложения, включая LM Studio. Модель относится к семейству Llama 3.1 и содержит около 8 миллиардов параметров. Она поддерживает текстовую модальность; сведения о языках и размере контекстного окна в README не указаны. Доступны варианты от F16 до различных квантизаций Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Для ARM-процессоров предусмотрены специальные варианты, оптимизированные под поддержку sve или i8mm. Сильная сторона модели — широкий выбор квантизаций, включая варианты с высоким качеством и версии для устройств с ограниченными ресурсами. Более компактные варианты снижают требования к памяти, но могут уступать по качеству генерации. README не содержит подробной информации о результатах оценки, ограничениях, системных требованиях или специфических возможностях базовой модели. Лицензия указана как llama3; условия её применения следует уточнять в документации лицензии Llama 3.

Llama3.1-Gutenberg-Doppel-70B — диалоговая языковая модель, созданная nbeerbower дообучением mlabonne/Hermes-3-Llama-3.1-70B-lorablated на данных jondurbin/gutenberg-dpo-v0.1 и nbeerbower/gutenberg2-dpo. Для обучения методом ORPO использовались две H100, модель обучалась три эпохи. Модель построена на плотной архитектуре Llama 3.1 и содержит 69,5 млрд параметров. Она предназначена для генерации текста в диалоге и выполнения инструкций; нативный размер контекстного окна — 131 072 токена. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH. Модель распространяется в формате safetensors по лицензии llama3.1. Карточка не уточняет языки обучения и специальные ограничения применения; производительность может зависеть от формулировки запроса и сценария использования.

Llama-3.1-SauerkrautLM-8b-Instruct-GGUF — это квантованные версии инструкционной текстовой модели Llama-3.1-SauerkrautLM-8b-Instruct, разработанной VAGOsolutions. Квантизацию в формате GGUF выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp или LM Studio. Модель имеет размер 8 миллиардов параметров и поддерживает немецкий, английский, итальянский, французский, португальский и испанский языки. Доступны варианты от F32 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-форматов; размер файлов варьируется примерно от 3,5 до 32,1 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, а низкие требуют меньше оперативной памяти, но могут заметно ухудшать результаты. Размер контекстного окна и дополнительные модальности в README не указаны, поэтому модель следует считать текстовой. Модель удобна для локального использования на совместимом оборудовании, особенно когда требуется баланс между качеством, скоростью и потреблением памяти. Основные ограничения связаны с потерями качества при агрессивной квантизации и отсутствием подробных данных о бенчмарках, производительности и контекстном окне. Лицензия указана как llama3.1.

bunnycore/Llama-3.2-1b-Chatml-RP — объединённая языковая модель семейства Llama 3.2, созданная автором bunnycore методом TIES с помощью mergekit. В состав вошли unsloth/Llama-3.2-1B-Instruct, bunnycore/Llama-3.2-1b-chatml-lora_model и bunnycore/Llama-3.2-1b-Mixer; размер модели — 1,2 млрд параметров, архитектура — плотная LlamaForCausalLM. Модель предназначена для генерации текста в диалоговом формате. Она принимает текст и выдаёт текст; метаданные указывают поддержку чата и интерфейса вызова инструментов. Заявленная длина контекста — 131 072 токена. Карточка не уточняет целевые языки, поэтому многоязычность базовой модели не позволяет определить языки, для которых именно этот merge рассчитан в первую очередь. Модель сохранена в формате safetensors и использует лицензию базовой модели unsloth/Llama-3.2-1B-Instruct — Llama 3.2 Community License. Результаты объединения могут отличаться от поведения каждой исходной модели; качество и надёжность вызова инструментов в карточке не оценены.

qingy2019 дообучил эту диалоговую модель на основе unsloth/Llama-3.2-3B-Instruct с использованием Unsloth и библиотеки TRL. Это плотная архитектура LlamaForCausalLM с 3,2 млрд параметров, предназначенная для генерации текста в диалогах; метаданные указывают контекст длиной до 131 072 токенов и поддержку интерфейса вызова инструментов. Модель можно применять для генерации ответов в чате и других сценариев, где требуется продолжение текста. В карточке приведены результаты Open LLM Leaderboard: среднее значение 19,63, IFEval — 49,92 и BBH — 21,35; они не дают полной оценки качества для конкретных задач. Доступны веса PyTorch и safetensors. Лицензия — Apache-2.0.

Esper 2 — языковая модель Valiant Labs для задач DevOps, облачной архитектуры и программирования. Она дообучена на базе Meta Llama 3.2 3B Instruct и содержит 3,2 млрд параметров; для генерации текста использует архитектуру Llama и формат safetensors. Обучающие данные включают синтетические инструкции по DevOps и коду, а также примеры общего диалога. Модель предназначена для ответов на вопросы и генерации кода и конфигураций для AWS, Azure, GCP, Terraform, Docker, CI/CD-пайплайнов и shell-скриптов. Она следует формату инструкций Llama 3.2 Instruct и поддерживает английский язык. Указанное окно контекста — 131 072 токена. Распространяется по лицензии Llama 3.2; перед использованием следует учитывать её условия.

Llama3.2-3B-ShiningValiant2-GGUF — это GGUF-квантизированная версия языковой модели Llama3.2-3B-ShiningValiant2, разработанной ValiantLabs и подготовленной для распространения в квантизированных форматах пользователем bartowski. Модель построена на архитектуре Llama, содержит около 3 млрд параметров и предназначена для текстовой генерации в режиме instruction/chat. Указан английский язык; поддержка мультимодальности не заявлена. Модель ориентирована на диалоговые и технические сценарии, включая вопросы по естественным наукам, физике, биологии, химии, информатике и инженерии. В обучении или дообучении указаны наборы данных sequelbox/Celestia и sequelbox/Supernova. Доступны варианты от F16 до различных уровней квантизации, включая Q8_0 и Q6_K_L, что позволяет запускать модель локально через llama.cpp и LM Studio с разными требованиями к памяти и качеству. К сильным сторонам относятся компактный размер, локальный запуск и специализация на научно-технических запросах. Ограничения включают относительно небольшую ёмкость модели, английскую языковую ориентацию и возможное снижение качества при сильной квантизации; заявленный размер контекста в README не указан. В README приведены результаты тестов на ряде бенчмарков, однако они заметно различаются по задачам, поэтому модель следует проверять на конкретных рабочих сценариях. Лицензия указана как llama3.2.

UCLA-AGI разработала Llama-3-Instruct-8B-SPPO-Iter1 — плотную авторегрессионную языковую модель семейства Llama с 7,5 млрд параметров, дообученную методом Self-Play Preference Optimization на первом этапе. В качестве основы использована meta-llama/Meta-Llama-3-8B-Instruct; обучение опиралось на наборы промптов UltraFeedback и синтетические ответы. Модель рассчитана прежде всего на английский язык, поддерживает диалог и принимает текст для генерации текста. Контекстное окно составляет 8192 токена. Модель подходит для диалоговых ответов и генерации текста с настройкой на предпочтения пользователей. В карточке приведены результаты AlpacaEval и Open LLM Leaderboard для оценки её качества на сравнительных и языковых бенчмарках. Модель распространяется по лицензии Apache-2.0.

Это дообученная модель KKHYA на базе KKHYA/llavaqwen3-1.7b-finetune. Она использует архитектуру LlavaQwen3ForCausalLM и содержит 1,7 млрд параметров. Модель предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Контекстное окно составляет 40 960 токенов. Модель принимает текст и, с учётом семейства Llava, может работать с изображениями; описание карточки не раскрывает детали этой возможности или обучения. Данные README не уточняют обучающий датасет, сценарии применения и результаты оценки. Лицензия — Apache-2.0.

Это дообученная модель KKHYA на базе KKHYA/llavaqwen3-1.7b-finetune. Она предназначена для генерации текста и диалогов; метаданные указывают поддержку интерфейса вызова инструментов. Модель содержит 1,7 млрд параметров, использует архитектуру NMMaskMoELLaVAQwen3 и доступна в форматах PyTorch и Safetensors. Контекстное окно составляет 40 960 токенов. Модель принимает текстовые запросы и выдаёт текст. Датасет дообучения и специальные сценарии применения не описаны. Лицензия — Apache-2.0.

Это дообученная модель KKHYA на базе KKHYA/llavaqwen3-1.7b-finetune с 1,7 млрд параметров. Она предназначена для генерации текста и диалогового взаимодействия; в метаданных также заявлен интерфейс вызова инструментов. Архитектура указана как NMMaskMoELLaVAQwen3ForCausalLM, веса доступны в форматах PyTorch и safetensors, библиотека для работы — Transformers. Модель принимает текст и генерирует текст, поддерживает контекст до 40 960 токенов. Данные обучения, языковой охват и результаты оценки не описаны. Репозиторий распространяется по лицензии Apache-2.0.

magnum-12b-v2-GGUF — это набор GGUF-квантизаций текстовой генеративной модели magnum-12b-v2, разработанной anthracite-org и квантованной bartowski с использованием llama.cpp и imatrix-калибровки. Модель предназначена для чат-взаимодействия и генерации текста; запуск возможен, в частности, через LM Studio. Для общения рекомендуется формат промпта ChatML с ролями system, user и assistant. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский языки. Известен размер базовой модели — 12B параметров; архитектура и размер контекстного окна в README не указаны. Доступны варианты от F32 размером 49 ГБ до низкобитных IQ2/Q2-квантизаций размером около 4,4–5,5 ГБ. Варианты Q5–Q6 отмечены как высококачественные и рекомендуемые, а Q4 — как компромисс между качеством и требованиями к памяти; более сильное сжатие снижает качество. Основные преимущества — широкий набор языков, выбор уровней квантизации и возможность локального запуска в формате GGUF. Ограничения включают неизбежную потерю качества у низкобитных вариантов и отсутствие в предоставленных данных сведений о результатах тестирования, мультимодальности и точном контекстном окне. Распространение указано по лицензии Apache-2.0.

Magnum-v4-72b-GGUF — это набор GGUF-квантизаций текстогенеративной модели magnum-v4-72b, разработанной anthracite-org и подготовленной для llama.cpp пользователем bartowski. Модель предназначена для диалоговой генерации текста и запуска локально через совместимые приложения, включая LM Studio. README указывает английский язык и формат чата с системными и пользовательскими сообщениями. Модель имеет 72 миллиарда параметров; точная архитектура, размер контекстного окна и поддерживаемые модальности в README не указаны. Представлены варианты квантизации от Q8_0 до IQ1_M с размерами файлов примерно от 23,74 до 77,26 ГБ. Более высокие уровни квантизации обычно сохраняют лучшее качество, а низкие требуют меньше оперативной памяти, но заметно уступают по качеству. Рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Основные ограничения связаны с большими требованиями к дисковому пространству и памяти, особенно для вариантов высокого качества, а сильное сжатие снижает качество генерации. Некоторые варианты используют Q8_0 для embedding- и output-весов, что может влиять на качество, но автор отмечает отсутствие однозначных выводов. Распространение указано по лицензии Apache-2.0.

Meta-Llama-3.1-8B-Instruct-heretic — это модифицированная версия Meta-Llama-3.1-8B-Instruct, разработанная пользователем saidutta69 на основе модели Meta и созданная с помощью Heretic v1.4.0. Вариант предназначен для генерации текста и диалоговых сценариев, где требуется более прямое следование инструкциям без встроенного поведения отказа. Поддерживается английский язык. Модель сохраняет базовые знания и возможности следования инструкциям исходной Llama 3.1 8B, но подавляет отказы посредством направленных изменений весов в выходных проекциях attention и down-проекциях MLP, без дообучения. Это модель примерно на 8 млрд параметров с текстовой модальностью; README не указывает размер контекста. Доступны веса BF16 и GGUF-квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0, подходящие для запуска на GPU с 8–12 ГБ памяти, потребительском оборудовании, CPU и Apple Silicon. Сильная сторона модели — сохранение возможностей базовой instruct-модели при уменьшении количества отказов и возможность локального запуска через Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Ограничение заключается в намеренном отсутствии защитных фильтров: модель может выполнять запросы, от которых исходная версия отказалась, в том числе нежелательные. Ответственность за безопасное применение лежит на пользователе. Модель распространяется по лицензии llama-3.1-community-license, унаследованной от базовой модели.

MiniCPM4.1-8B-Russian-CPT-i1-GGUF — это квантизированная версия русскоязычной текстовой модели ALEKAS/MiniCPM4.1-8B-Russian-CPT, подготовленная mradermacher в формате GGUF. Модель основана на архитектуре MiniCPM и содержит около 8 миллиардов параметров. В качестве обучающего набора указан its5Q/biggest-ru-book; базовая библиотека — Transformers. Модель предназначена для генерации и обработки текста, прежде всего на русском языке, а также на английском. Она может использоваться локально в сценариях текстовой генерации и других задачах, поддерживаемых causal language models. Доступны многочисленные варианты квантизации i1, различающиеся размером, скоростью и качеством: от примерно 2 до 6,8 ГБ. В README не указаны размер контекста, поддерживаемые модальности, результаты тестирования или точные прикладные возможности. К преимуществам относятся специализация на русском языке, выбор компактных квантизированных вариантов и возможность локального запуска при ограниченных ресурсах. Ограничения зависят от выбранного типа квантизации: наиболее компактные варианты могут заметно уступать по качеству, тогда как более качественные требуют больше памяти. Модель распространяется по лицензии Apache-2.0.

MoritzLaurer/MiniLM-L6-mnli — англоязычная модель классификации последовательностей на базе MiniLM-L6 от Microsoft, дообученная на датасете MultiNLI для распознавания отношений между посылкой и гипотезой. Она подходит для классификации текста по заданным категориям методом zero-shot: категории можно задавать естественно-языковыми описаниями без отдельного обучения на этих метках. Модель построена на архитектуре BERT, содержит 25,9 млн параметров и обрабатывает входы длиной до 512 токенов. В README указана точность 0,814 на тестовой выборке MultiNLI matched. Компактность обеспечивает высокую скорость, но точность несколько ниже, чем у более крупных моделей. Для развёртывания доступна версия в формате PyTorch; лицензия в предоставленных данных не указана.

dealignai/MiniMax-M2.7-JANGTQ-CRACK — версия MiniMax M2.7, опубликованная Jinho Jang и подготовленная для запуска через MLX на Apple Silicon. В основе лежит MoE-модель MiniMax M2.7 с 230 млрд параметров, из которых около 10 млрд активны на токен; архитектура включает 256 экспертов, 8 из которых выбираются для каждого токена. Каталог указывает 2,9 млрд параметров, а карточка описывает исходную модель как 230-миллиардную; это расхождение следует учитывать при планировании ресурсов. Веса сжаты методом JANGTQ: эксперты используют 2-битное квантование с кодовыми книгами и преобразованием Адамара, а внимание, эмбеддинги и lm_head сохраняют 8-битное представление. README сообщает о размере около 55 ГБ. Это разговорная модель для генерации текста и рассуждений; заявлена поддержка английского, китайского и корейского языков, а контекст составляет до 196 608 токенов. CRACK — постоянное изменение весов, направленное на устранение отказов по соображениям безопасности. Модель также предоставляет интерфейс вызова инструментов. Для запуска JANGTQ требуется MLX Studio или пакет jang-tools; README рекомендует MLX и указывает на Mac с 96 ГБ памяти для описанной конфигурации. Автор заявляет о сохранении качества после квантования и приводит результаты собственных тестов, которые не гарантируют качество в других сценариях. Ослабленные отказы и удаление защитных ограничений создают риск небезопасных ответов. Лицензия указана как other; README заявляет исследовательское и образовательное назначение и требует ответственного использования.