I.3Извлечение и структурирование данных

AEON-7/Gemma-4-12B-it-AEON-Abliterated-MLX-8bit — это 8-битная MLX-квантизованная версия модели AEON-7/Gemma-4-12B-it-AEON-Abliterated-K4-BF16, созданная сообществом AEON-7 на базе Gemma 4. Модель предназначена для локального запуска на компьютерах с Apple Silicon через mlx-vlm и поддерживает диалоговые, агентские, программные и рассуждающие сценарии, а также вызов функций и инструментов. Модель содержит около 12 млрд параметров и использует формат mxfp8 с группами по 32 элемента для линейных слоёв языкового декодера; связанная выходная голова и проекторы для vision и audio сохранены в bf16. Поддерживаются текст, изображения и аудио, включая описание изображений и транскрибацию речи. В README явно указан английский язык. Для сервера MLX заявлен размер KV-кэша до 32768 токенов, однако точное максимальное контекстное окно модели не указано. Ключевое преимущество — высокая близость к исходной BF16-версии при существенно меньших требованиях к памяти: заявлены near-lossless качество, 0,924 совпадения top-1 токенов и медианный KL около 0,002 ната на собственной выборке. Модель рассчитана на Apple Silicon, оптимально с 24 ГБ и более unified memory; размер на диске около 13,4 ГБ, рекомендуемый объём памяти — от 32 ГБ, поэтому для Mac с 16 ГБ она может быть непрактична. Это abliterated-версия с удалёнными или ослабленными механизмами отказа, что может расширять диапазон ответов, но также снижать предсказуемость защитного поведения. Указана лицензия Gemma.

Gemma 4 31B JANG4M CRACK — это модифицированная версия Gemma 4 31B IT от dealignai. Модель представляет собой плотную 60-слойную мультимодальную архитектуру с чередованием скользящего и глобального внимания; она предназначена для диалога, рассуждений, генерации кода и обработки изображений. В README автор сообщает о сохранении визуальных возможностей и результатов MMLU на уровне 86,8% после модификации, а также о значительном снижении отказов на тестах HarmBench. Веса представлены в формате Safetensors с квантизацией JANG_4M: 8-битное внимание и 4-битные MLP. Для запуска автор рекомендует vMLX с поддержкой Gemma 4 на Mac с Apple Silicon и достаточным объёмом объединённой памяти; стандартные mlx_lm и mlx_vlm поддерживают модель не полностью. Лицензия — Gemma. README позиционирует выпуск как исследовательский и возлагает на пользователей ответственность за соблюдение применимых законов.

Gemma4 E4B 8B Heretic Ultra — версия Gemma 4 E4B Instruct от Google DeepMind, обработанная llmfan46 с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA) для снижения склонности к отказам. Это плотная мультимодальная модель семейства Gemma 4 для диалога и генерации ответов по тексту, изображениям и аудио. В репозитории доступны исходные веса fp16 в формате safetensors; в отдельной ветке размещена конверсия MLX 4-bit для mlx-lm на Apple Silicon. Модель подходит для диалоговых сценариев, рассуждений, программирования, анализа изображений и обработки аудио. В приведённых автором тестах доля отказов составила 3 из 100 против 99 из 100 у исходной модели; точность на PIQA составила 85,85%, а на MMLU — 68,60%. Эти результаты относятся к указанным тестам и не гарантируют качество в других задачах. Ablation немного снизила результаты относительно исходной Gemma 4 E4B Instruct. Лицензия — Apache 2.0. Поскольку модель специально изменена для снижения отказов, она может отвечать на запросы, которые исходная модель отклоняла; следует учитывать это при выборе сценариев применения.

Gemma 4 E4B it qat JANG_4M CRACK — дообученная и квантованная мультимодальная модель dealignai на базе google/gemma-4-e4b-it. Это плотная модель семейства Gemma 4 с гибридным скользящим и глобальным вниманием. Вариант JANG_4M использует 8-битную точность для attention и 4-битную для MLP; модель предназначена для запуска на Apple Silicon через vMLX. Модель поддерживает диалог, работу с изображениями и аудио, ответы на вопросы, многошаговые рассуждения и генерацию кода. Разработчик заявляет об удалении отказов при сохранении возможностей; в приведённых тестах модель показала 71,9% на MMLU и 100% выполнения запросов из вредоносных категорий HarmBench. Для запуска требуется vMLX с поддержкой Gemma 4 и достаточный объём объединённой памяти. Указана лицензия Gemma; карточка рекомендует использовать модель для исследований и возлагает соблюдение применимых законов на пользователя.

Myric/GLM-4.7-Flash-APEX-GGUF — это GGUF-квантизованная версия GLM-4.7-Flash от zai-org, подготовленная в репозитории Myric для запуска через llama.cpp. Модель предназначена прежде всего для генерации текста, агентного программирования и сценариев, где важны локальный запуск и поддержка спекулятивного декодирования. Доступны варианты APEX-i-quality размером 16,60 ГБ, APEX-i-compact размером 13,27 ГБ и APEX-i-mini размером 10,24 ГБ; все они сохраняют MTP draft head. Модель использует MoE-архитектуру с 31,2 млрд общих параметров и примерно 3,6 млрд активных на токен: 64 маршрутизируемых эксперта с выбором top-4 и один общий эксперт. Архитектура основана на DeepSeek и использует MLA-внимание, 47 основных слоёв плюс один MTP-слой, а также контекст до 202 752 токенов. Квантизация выполнена из bf16-чекпойнта с использованием imatrix и смешанной точности: наиболее важные компоненты сохраняются на уровне около 6,4–6,9 бит на вес, а основная компрессия приходится на маршрутизируемые эксперты. В агентном бенчмарке программирования варианты i-quality и i-compact набрали по 53 из 59 тестов, тогда как i-mini — 38 из 59; это показывает, что младшая версия заметно слабее на длинных композиционных задачах. i-quality обеспечивает лучший баланс качества и размера, а i-compact почти не уступает ему на измеренном сценарии. Для загрузки требуется llama.cpp версии b10251 или новее с поддержкой GLM-4.7-Flash MTP; старые версии могут не распознать число тензоров. Лицензия модели — MIT.

GLM-5.2-JANGTQ_K — квантованный вариант GLM-5.2 от Z.ai, подготовленный bearzi для запуска через MLX на компьютерах Apple с Apple silicon. Это языковая модель семейства GLM с архитектурой MoE и поддержкой чата; метаданные указывают 30,4 млрд параметров и контекст до 1 048 576 токенов. Профиль JANGTQ_K использует смешанную квантовку TurboQuant: routed-эксперты сжаты до 2 или 4 бит, а блоки внимания и индексатор DSA сохранены в FP16. Голова MTP удалена, поскольку она не используется в описанном режиме генерации MLX. Модель предназначена для генерации текста в диалоге, написания кода и длительных задач с большим контекстом. Для загрузки требуются около 260 ГБ объединённой памяти, пакет jang-tools и runtime MLX с патчем IndexShare; обычные MLX, LM Studio и Ollama этот набор не поддерживают без соответствующей доработки. В метаданных указана лицензия MIT.

Locutusque/Hyperion-1.5-Mistral-7B — разговорная языковая модель, опубликованная M4-ai и дообученная на наборе Hyperion-v1.5 на основе mistralai/Mistral-7B-v0.1. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, рассчитанная на контекст до 32 768 токенов; веса доступны в формате safetensors. Модель предназначена для диалоговых ответов на сложные вопросы, научных рассуждений, генерации и понимания кода, математических и логических задач, а также работы с медицинскими текстами. В README заявлена поддержка английского языка и применение в обучающих системах, профессиональных помощниках и технических чат-интерфейсах. Качество и согласованность ответов могут варьироваться из-за неоднородного форматирования и качества разметки обучающих данных. Медицинские и другие предметные ответы требуют проверки. Модель распространяется по лицензии Apache-2.0.

LwQ-Reasoner-10B — дообученная модель prithivMLmods для генерации текста и диалогов. Она основана на плотной авторегрессионной архитектуре Llama и обучена на синтетических наборах данных для рассуждений. Размер модели — 9,9 млрд параметров, контекстное окно — 32 768 токенов; веса доступны в формате safetensors, запуск предполагает библиотеку Transformers. Модель предназначена для многоязычных диалогов, следования инструкциям и решения задач, требующих математических рассуждений или использования заданного контекста. Её можно применять в чат-ботах, обучающих помощниках, для ответов на вопросы, составления сводок и генерации текстов. Карточка указывает лицензию Llama 3.1. Качество может различаться между языками; модель может ошибаться в узкоспециализированных темах и сложных многошаговых рассуждениях, а неоднозначные инструкции способны ухудшить результат. При работе с длинными материалами нужно учитывать ограничение контекста, а для запуска модели такого размера требуются значительные вычислительные ресурсы.

Magstral 123B — плотная языковая модель на архитектуре Mistral, созданная автором lodrick-the-lafted слиянием весов anthracite-org/magnum-v2-123b и mistralai/Mistral-Large-Instruct-2407. Автор описывает её как простое слияние в пропорции 50/50 методом SLERP, призванное приблизить Magnum v2 к обычному варианту Mistral Large. Модель предназначена для генерации текста и диалогов; каталог также отмечает интерфейс вызова инструментов. Она содержит 122,2 млрд параметров, работает с текстом и имеет контекстное окно до 131 072 токенов. Карточка не уточняет языки, на которых модель особенно эффективна, и не приводит результатов оценки качества. В репозитории указана лицензия other; конкретные условия использования следует проверять в файлах лицензии модели и её базовых компонентов. Большой размер модели требует значительных вычислительных ресурсов.

Marcoroni-neural-chat-7B-v1-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 и Toten5/Marcoroni-neural-chat-7B-v1 методом SLERP. Модель построена на архитектуре Mistral с плотной причинной языковой моделью и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и ответов на инструкции в диалоговом формате. Контекст составляет до 32 768 токенов, поэтому её можно применять для многошаговых бесед и работы с длинными текстовыми запросами. Метаданные не устанавливают конкретные поддерживаемые естественные языки. Веса представлены в формате Safetensors, тип данных при слиянии указан как bfloat16. Лицензия — Apache-2.0. Качество и поведение могут зависеть от формулировки запроса; ограничения по языкам и отдельным прикладным областям в предоставленных данных не описаны.

Meta Llama 3 70B — большая авторегрессионная языковая модель Meta с оптимизированной архитектурой Transformer и Grouped-Query Attention. Эта версия предназначена для генерации текста; семейство включает предварительно обученные и настроенные варианты, но карточка репозитория не уточняет, к какому варианту относится этот чекпойнт. Модель принимает текст и генерирует текст, включая код. Её можно использовать для диалоговых помощников и адаптировать к различным задачам генерации естественного языка. В README указано, что модель предназначена для коммерческого и исследовательского использования на английском языке; применение на других языках выходит за рамки заявленного назначения, хотя дообучение для них допускается при соблюдении условий лицензии и политики использования. Модель выпущена Meta в апреле 2024 года. Репозиторий содержит веса в формате safetensors и распространяется по специальной лицензии Llama 3 с коммерческими условиями. Ответы могут требовать дополнительных мер безопасности, настроенных под конкретное приложение.

Mistral-7B-Uncensored — разговорная текстовая модель на базе архитектуры Mistral 7B с примерно 7 миллиардами параметров. Согласно карточке, её разработчик и сопровождающий — luvGPT; модель создана посредством дообучения, ориентированного на выполнение инструкций. Указанный язык — английский, основная модальность — текст. Репозиторий содержит квантованную версию для локального запуска. Модель предназначена для диалоговых сценариев, следования инструкциям, творческого письма, открытого обсуждения, помощи с кодом и техническими объяснениями. Она ориентирована на локальное и автономное использование, включая приватные или изолированные среды, исследование prompt engineering и alignment, а также эксперименты с пользовательской настройкой поведения. Поддерживается формат диалога с ролями system, user и assistant; заявлена стабильная работа в продолжительных разговорах и выполнение многошаговых задач. К сильным сторонам относятся компактный для локального развертывания размер, пригодность для квантованных и CPU-ориентированных сред, гибкость и сниженный уровень автоматической фильтрации. Ограничение модели заключается в отсутствии встроенного защитного фильтра: ответственность за применение и управление рисками возлагается на оператора. Модель распространяется по лицензии Apache 2.0.

next-70b-i1-GGUF — это набор квантизированных файлов GGUF для языковой модели next-70b, разработанной thelamapi и подготовленной в формате GGUF пользователем mradermacher. Модель относится к большим трансформерным instruction-tuned языковым моделям с 70 миллиардами параметров и предназначена для генерации текста и диалогового использования. Модель обучалась на наборах данных для instruction tuning, написания текстов, краткого содержания, агентных сценариев, математических задач и программной инженерии, включая GSM8K, MATH-500 и SWE-bench Verified. Заявлена поддержка турецкого, английского, немецкого, испанского, французского, русского, китайского, японского и корейского языков. README не содержит данных о длине контекста, точной архитектуре трансформера, мультимодальности или результатах бенчмарков, поэтому эти характеристики нельзя оценить по предоставленной информации. Основное преимущество репозитория — широкий выбор квантизаций с размером примерно от 15,4 до 58 ГБ, что позволяет выбирать баланс качества, скорости и требований к памяти. Для использования требуются совместимые инструменты, поддерживающие GGUF. Низкобитные варианты могут заметно уступать по качеству; в README отдельно отмечены варианты с низким качеством, а для ряда конфигураций рекомендуются IQ-квантизации или Q4_K_M. Модель распространяется по лицензии MIT.

NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-BF16 — языковая модель NVIDIA для генерации текста и диалогов с поддержкой рассуждений. Это эластичный чекпойнт на базе NVIDIA-Nemotron-3-Nano-30B-A3B-BF16, содержащий вложенные варианты размером 30B, 23B и 12B параметров, которые можно извлечь из общих весов. Для основного варианта указаны 30B общих и 3,6B активных параметров; архитектура сочетает Mamba-2, Transformer и Mixture-of-Experts. Модель распространяется в формате BF16 через safetensors и использует библиотеку Transformers. Модель предназначена для диалогов, решения задач на рассуждение и генерации текста с возможностью выбирать вариант под доступный вычислительный бюджет. Она поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Размер контекста по метаданным — 262 144 токена; в README также описана настройка развёртывания с контекстом до 1M токенов. README заявляет готовность к коммерческому использованию, однако конкретное обозначение лицензии в метаданных — other, поэтому условия следует проверить на странице модели.

Open-Instruct GPT-4 Alpaca 7B — языковая модель семейства LLaMA, разработанная исследователями AllenAI и дообученная на наборе инструкций GPT-4 Alpaca в рамках исследования по настройке открытых моделей на инструкции. Это плотная авторегрессионная модель примерно на 6,6 млрд параметров для генерации текста и выполнения пользовательских инструкций на английском языке; для качественной генерации рекомендуется использовать обученный формат запросов. Контекст составляет 2048 токенов. Модель подходит для диалоговых ответов, следования инструкциям, решения задач, вопросов и генерации кода. В карточке приведены результаты тестирования на MMLU, GSM, BBH, TydiQA, Codex-Eval и AlpacaFarm. Репозиторий содержит diff весов, поэтому для использования требуется доступ к исходной модели LLaMA в формате Hugging Face. Указана лицензия AI model license вместе с исходной лицензией LLaMA; условия следует проверять в соответствующих файлах лицензии.

Open-Instruct ShareGPT 65B — языковая модель AllenAI на архитектуре LLaMA с 65 млрд параметров, дообученная на очищенном наборе ShareGPT. Она предназначена для генерации ответов на инструкции и диалоговые запросы; карточка также приводит результаты на тестах знаний, математики, рассуждений, вопросов и ответов и генерации кода. Модель принимает текст и выдаёт текст, рассчитана на английский язык и поддерживает контекст до 2048 токенов. Это diff-модель: для использования нужны исходные веса LLaMA в формате Hugging Face, к которым применяются изменения модели. В README указаны лицензия AI model license и исходная лицензия LLaMA; перед использованием необходимо учитывать условия обеих лицензий. Качество генерации зависит от соблюдения описанного в карточке формата входного запроса.

Карточка модели open-thoughts/OpenThinker-32B на Hugging Face совпадает с карточкой trinityomnis/OpenThinker-32B, поэтому описание составлено по ней. OpenThinker-32B — плотная языковая модель на 32 млрд параметров, созданная дообучением Qwen/Qwen2.5-32B-Instruct командой OpenThoughts на наборе OpenThoughts-114k. Она предназначена для генерации текста в диалоге и задач, где требуется пошаговое рассуждение, включая математику, научные вопросы и программирование. Модель поддерживает контекст до 32 768 токенов; для работы доступны веса в формате Safetensors и интерфейс вызова инструментов. В README приведены результаты оценки на наборах математических и научных задач, но они не гарантируют аналогичного качества на других данных. Обучающие примеры получены с помощью дистилляции DeepSeek-R1, поэтому ответы могут содержать ошибки или необоснованные рассуждения. Модель распространяется по лицензии Apache 2.0.

Locutusque/Orca-2-13b-SFT_v5 — плотная языковая модель на архитектуре Llama, созданная полным дообучением Microsoft Orca-2-13b на наборах No Robots, EverythingLM, Guanaco, OpenAssistant и Open-Platypus. Модель содержит 12,9 млрд параметров и рассчитана на генерацию текста; карточка отмечает поддержку кода и языки английский, французский, испанский, хинди и китайский. Контекст составляет 4096 токенов, для запросов используется шаблон ChatML. Модель подходит для диалоговых ответов, следования инструкциям, решения задач и генерации кода. В README сообщается о тестовом loss 0,38 на Open-Platypus, но сравнительные оценки качества не приведены. Репозиторий содержит веса в формате safetensors. Для использования необходимо соблюдать исследовательскую лицензию Microsoft Orca-2; метаданные обозначают лицензию как other.

QevaCoT-7B-Stock — объединённая языковая модель на базе семейства Qwen2.5, созданная методом Model Stock с помощью mergekit. В слияние вошли Qwen2.5-7B и несколько моделей на его основе, включая инструктивные и ориентированные на рассуждения варианты. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2ForCausalLM и работает через библиотеку Transformers; заявленная длина контекста — 131 072 токена. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы и задачи, где полезны пошаговые рассуждения. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

YOYO-AI Qwen3-30B-A3B-YOYO-V5 — объединённая модель семейства Qwen3 MoE, созданная YOYO-AI алгоритмом yoyo_fusion на основе Qwen/Qwen3-30B-A3B-Instruct-2507, Qwen/Qwen3-30B-A3B-Thinking-2507 и Qwen/Qwen3-Coder-30B-A3B-Instruct. Она предназначена для диалогов, выполнения инструкций, генерации текста и вызова инструментов; объединение сводит навыки исходных моделей в один чекпойнт. Репозиторий содержит веса safetensors в формате bfloat16. Модель принимает текст и выдаёт текст. Метаданные указывают 2,6 млрд параметров и контекст до 262 144 токенов; в README также заявлена длина контекста 1 010 000 токенов, но не поясняется, при каких условиях она доступна. В карточке отмечены английский и китайский языки. Модель распространяется по лицензии Apache-2.0. Указанные в README параметры генерации: temperature 0,7, top-p 0,8 и top-k 20. Фактическое качество объединения, результаты оценок и практические требования к оборудованию в карточке не приведены.

QuantTrio/Qwen3.5-2B-AWQ — вариант мультимодальной модели Qwen3.5-2B, разработанной командой Qwen. Модель представляет собой авторегрессионную языковую модель с vision-энкодером и предназначена для обработки текста и изображений, генерации ответов, визуального понимания, рассуждений, программирования, агентских сценариев, прототипирования и предметно-ориентированной донастройки. Репозиторий содержит веса и конфигурации в формате Hugging Face Transformers; заявлена совместимость с Transformers, vLLM, SGLang и KTransformers. Модель содержит около 2 млрд параметров, 24 слоя, скрытое измерение 2048 и нативный контекст длиной 262 144 токена. В архитектуре используются Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; указана ранняя интеграция мультимодальных токенов. Заявлена поддержка 201 языка и диалекта. Суффикс AWQ указывает на вариант весов, подготовленный для 4-битного квантованного инференса, однако подробные параметры квантования в предоставленных данных не описаны. К сильным сторонам относятся мультимодальность, большой контекст, относительно небольшой размер, потенциально эффективный инференс и широкое языковое покрытие. Ограничением является масштаб 2B: модель ориентирована прежде всего на прототипирование, исследовательские задачи и разработку, поэтому может уступать более крупным моделям в сложном рассуждении и специализированных сценариях. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Brainwaves-Nex-i1-GGUF — это GGUF-квантизированная версия модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex, подготовленная mradermacher. Модель предназначена для локального запуска задач генерации текста и диалогов, включая рассуждения, математику, STEM, программирование и многоязычные сценарии. В README также указано, что это vision-модель, поэтому для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. Заявлены языки English, Chinese, Japanese и Spanish. Доступны варианты квантизации i1 от Q2_K до Q6_K, включая IQ-квантизации и imatrix-файл; размер файлов составляет примерно от 13,3 до 29,3 ГБ. Вариант Q4_K_M отмечен как быстрый и рекомендуемый, а Q4_K_S — как компромисс между размером, скоростью и качеством. Точный размер контекста, детальные сведения об архитектуре, результаты тестирования и системные требования в README не указаны. Модель распространяется по лицензии Apache-2.0. К ограничениям относятся неизбежная потеря качества при низких уровнях квантизации, отсутствие подробных бенчмарков и неполная документация по использованию мультимодальных возможностей.

Это 4-битная GPTQ-квантизованная версия модели Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU, разработанной DavidAU и основанной на Qwen/Qwen3.8-27B. Данная сборка подготовлена с использованием AutoRound 0.12.3 и поддерживает загрузку через Transformers и высокопроизводительную подачу через vLLM. Модель предназначена для генерации текста, следования инструкциям, рассуждений и программирования. В карточке заявлены режим Heretic/uncensored, уменьшенное количество токенов для чрезмерного обдумывания и автоматически изменяемый размер рассуждений. Указана текстовая языковая модель с поддержкой английского языка; архитектура, размер контекста и дополнительные модальности в README не описаны, хотя pipeline_tag обозначен как image-text-to-text. Ключевые параметры квантизации: веса 4-bit, активации 16-bit, GPTQ с group size 128. Размер модели составляет около 19 ГБ вместо примерно 54 ГБ в FP16, что дает сокращение примерно на 65%. Согласно приведенным тестам на NVIDIA A100 80GB с vLLM 0.27.1, качество на ARC-Easy, HumanEval и BBH сопоставимо с FP16 или немного выше, а различие в WikiText2 perplexity минимально; при этом результаты MMLU немного ниже. Ограничениями являются зависимость от совместимой поддержки GPTQ/AutoRound и отсутствие подробных сведений об исходном обучении, контекстном окне и фактических мультимодальных возможностях. Лицензия модели указана как Apache-2.0. Полные сведения о методике обучения и характеристиках исходной FP16-модели вынесены в отдельную карточку DavidAU.

SmolLM3-3B-trellis-3inst-4bpw-kernel — это квантованная версия языковой модели SmolLM3-3B, разработанной HuggingFaceTB. Модель предназначена для генерации текста, диалоговых приложений, локального инференса и интеграции с vLLM или Transformers, включая использование в coding agents через OpenAI-совместимый API. Поддерживаются английский, французский, испанский, итальянский, португальский, китайский, арабский и русский языки. Модель работает в текстовой модальности; базовая архитектура и точный размер контекста в README не раскрыты, однако в примере конфигурации указано ограничение контекста 4096 токенов. Веса сжаты до 4,0 бит на параметр методом GLQ: используются trellis-coded quantization QTIP TCQ в варианте 3inst, randomized Hadamard transform и LDLQ. Сжатые веса хранятся в памяти и декодируются на лету объединённым CUDA-ядром, что снижает требования к VRAM. Указаны средний SQNR весов 22,06 дБ и близкая к базовой perplexity на WikiText-2: 9,23 против 9,12 у bf16-версии. Для экономии памяти под длинный контекст доступна E8-квантизация KV-кэша, уменьшающая его размер примерно в четыре раза при 4-битном режиме. Ограничения включают необходимость CUDA-совместимой среды и glq версии не ниже 0.7.0; приведённые результаты AIME являются единичными оценками с заметной погрешностью. Модель распространяется по лицензии Apache-2.0.

Whittle-Next-27B-A3B-GGUF — это GGUF-квантизированная версия модели Whittle-Next-27B-A3B, разработанной logic65 и подготовленной квантизатором mradermacher. Модель основана на архитектуре mixture-of-experts и предназначена для генерации текста, диалоговых сценариев, рассуждений, программирования и математических задач. В метаданных заявлена поддержка английского, китайского и других языков, а также сценариев с длинным контекстом. Модель содержит около 27 млрд параметров в общей конфигурации и обозначает архитектуру с примерно 3 млрд активных параметров, однако точные сведения о механизме активации, размере контекста и мультимодальных возможностях не указаны. Среди заявленных архитектурных особенностей — hyper-connections, n-gram memory, per-layer embeddings, knowledge distillation и online distillation. Доступны варианты GGUF с разными уровнями квантизации от Q2_K до Q8_0 и IQ4_XS; версии Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, а Q8_0 — как вариант с наилучшим качеством среди представленных. К сильным сторонам относятся поддержка локального запуска через совместимые инструменты, включая llama.cpp, широкий выбор компромиссов между размером, скоростью и качеством, а также ориентация на рассуждения, код и математику. К ограничениям относятся неизбежная потеря качества в более агрессивно квантизированных вариантах, отсутствие опубликованных в README бенчмарков и точных характеристик контекстного окна, а также отсутствие сведений о поддержке изображений или других модальностей. Модель распространяется по лицензии Apache-2.0.

ZEUS-8B-V26 — объединённая языковая модель на архитектуре Llama 3.1, созданная с помощью mergekit методом DARE TIES. В объединение вошли instruct- и reasoning-модели, включая HuatuoGPT-o1, Skywork-o1, Llama-3.1-Storm, SauerkrautLM и другие; базой в README названа unsloth/Meta-Llama-3.1-8B-Instruct. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов; интерфейс также поддерживает вызов инструментов. Метаданные указывают библиотеку Transformers и формат safetensors. В README приведены результаты Open LLM Leaderboard, включая 67,08% на IFEval и 32,25% на BBH; эти показатели относятся к указанной оценке и сами по себе не гарантируют качество в других сценариях. Данные о лицензии и поддерживаемых языках в предоставленных источниках отсутствуют. В README также не описаны специальные ограничения на применение.

A.X 4.0 — большая языковая модель SK Telecom для понимания корейского языка и применения в корпоративной среде. Репозиторий skt/A.X-4.0 содержит плотную авторегрессионную модель семейства Qwen2, с классом Qwen2ForCausalLM и весами в формате safetensors; README указывает, что модель основана на Qwen2.5 и дополнительно обучена на крупных корейских наборах данных. Метаданные каталога указывают 71,1 млрд параметров, а заявленная длина контекста составляет 131 072 токена. Модель предназначена для диалогов, понимания длинных документов и текстовых задач на корейском языке; интерфейс также поддерживает вызов инструментов. README сообщает о результатах на корейских тестах KMMLU и CLIcK и об экономном использовании токенов при обработке корейского текста. В карточке также упомянута облегчённая версия A.X 4.0 Light, но этот репозиторий содержит основную модель. Для запуска README указывает Transformers версии 4.46.0 или новее; для использования вызова инструментов через vLLM — версии 0.6.4.post1 или новее. Лицензия обозначена как other, поэтому конкретные условия использования следует сверять с лицензией репозитория.

Calcium-Opus-14B-Merge — языковая модель на архитектуре Qwen2, созданная prithivMLmods слиянием моделей методом Model Stock через mergekit. В основу слияния вошла Qwen/Qwen2.5-14B-Instruct вместе с Calcium-Opus-14B-Elite и QwQ-LCoT-14B-Conversational; размер модели — 14 млрд параметров, формат весов — safetensors, контекст — до 32 768 токенов. Модель предназначена для диалогов, следования инструкциям, генерации текста и задач, требующих логических рассуждений и решения задач в несколько шагов. Карточка особо отмечает понимание контекста, математические задачи и подробные объяснения; метаданные также указывают интерфейс вызова инструментов. Веса доступны по лицензии из репозитория; сведения о лицензии в предоставленных данных отсутствуют.

unsloth/DeepSeek-R1-0528-Qwen3-8B-unsloth-bnb-4bit — это 4-битная версия модели DeepSeek-R1-0528-Qwen3-8B, опубликованная Unsloth и основанная на модели DeepSeek AI. Модель предназначена для диалоговых сценариев и задач, требующих рассуждений, включая математику, программирование и общую логику. Она поддерживает режимы с рассуждением и без него и работает через библиотеку Transformers. Модель имеет размер 8B параметров, однако README не содержит подробностей об архитектуре, поддерживаемых языках, модальностях и размере контекста. По заявленным данным, обновление DeepSeek-R1-0528 улучшает глубину рассуждений и результаты на сложных задачах; в частности, точность на AIME 2025 выросла до 87,5%. Для режима рассуждений не рекомендуется использовать жадное декодирование, поскольку это может снижать качество и приводить к повторениям. Для запуска требуется соблюдать рекомендованный шаблон чата и параметры генерации. Модель распространяется под лицензией MIT. README не приводит подробностей о возможных ограничениях качества, безопасности или применимости в критически важных сценариях.

Dolphin X1 8B — диалоговая языковая модель команды Dolphin, полученная дообучением Meta Llama 3.1 8B Instruct. Модель предназначена для генерации текста общего назначения и диалогов; она сохраняет возможности базовой модели и рассчитана на настройку поведения через системный промпт. В каталоге указано 7,5 млрд параметров, архитектура Llama с плотной сетью, формат safetensors и контекст до 131 072 токенов. Модель подходит для чат-ботов, ответов на вопросы, написания и редактирования текстов, а также интерфейсов с вызовом инструментов. Карточка описывает её как менее ограниченную в отказах и оставляющую владельцу приложения настройку системных правил. В README приведены результаты оценок MMLU и IFEval, но они сами по себе не гарантируют качество на конкретных задачах. Модель использует лицензию Llama 3.1; при использовании необходимо соблюдать её условия.