II.3Рефакторинг, миграция и модернизация

Theros/L3-ColdBrew-CoT-R1-test — текстовая языковая модель, созданная объединением заранее обученных моделей с помощью mergekit. В слиянии DARE TIES использованы Theros/L3-ColdBrew-CoT и DeepSeek-R1-Distill-Llama-8B с равными весами; в качестве базовой модели указана Theros/L3-ColdBrew-CoT. Архитектура — плотная Llama с классом LlamaForCausalLM, размер — 7,5 млрд параметров. Модель предназначена для генерации текста в диалоговом формате. Базовая модель связана с задачами рассуждения, математики и программирования, однако карточка не приводит отдельных оценок качества этой версии. Контекст составляет 8192 токена; доступны веса в формате safetensors, библиотека для работы — Transformers. Модель опубликована 26 января 2025 года. Условия лицензии в предоставленных данных не указаны. Результаты могут зависеть от запроса и сценария использования; карточка не сообщает об оценках качества или специализированных ограничениях.

Shining Valiant 2 — чат-модель Valiant Labs, дообученная на базе Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов; она принимает текст и генерирует текст, используя формат инструкций Llama 3.1 Instruct. Модель рассчитана на диалог, ответы на технические вопросы и структурированные рассуждения, особенно в естественных науках, инженерии и информатике. Для обучения использованы наборы sequelbox/Celestia для технических знаний, sequelbox/Spurline для сложных рассуждений и sequelbox/Supernova для общего диалога. В README заявлены улучшения в логике и структурированном рассуждении, а также в физике, химии, биологии, астрономии, науках о Земле, информатике и теории информации. Метаданные указывают английский язык. Модель распространяется в формате safetensors по лицензии llama3.1; применение требует соблюдения условий лицензии Llama 3.1.

Llama-3.1-Nemotron-Nano-4B-v1.1-bf16 — версия компактной языковой модели NVIDIA, опубликованная mlx-community и преобразованная из nvidia/Llama-3.1-Nemotron-Nano-4B-v1.1 для запуска с библиотекой MLX. Это плотная авторегрессионная модель семейства Llama с 3,9 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для диалоговой генерации текста. Базовая модель NVIDIA ориентирована на рассуждения, код, математику, RAG и вызов инструментов; эти сценарии могут быть полезны и для данной версии, но README подтверждает только конверсию и не приводит отдельной оценки её качества или результатов тестирования. В карточке заявлена поддержка английского языка. Репозиторий содержит веса safetensors в формате для MLX, а не отдельную квантизацию. Лицензия указана как other, поэтому перед использованием следует свериться с условиями лицензирования исходной модели NVIDIA и репозитория.

TheBloke/LLaMA-7b-GGUF — это квантизированная версия языковой модели LLaMA 7B, разработанной Meta. Репозиторий подготовлен TheBloke и содержит файлы в формате GGUF для запуска модели через llama.cpp и совместимые приложения. Модель предназначена для генерации и продолжения текста, диалоговых и других сценариев инференса с использованием произвольного текстового запроса. Доступны варианты квантизации от 2 до 8 бит, рассчитанные на запуск с использованием CPU и GPU; конкретные требования к памяти зависят от выбранного файла. Формат GGUF поддерживается llama.cpp, text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и рядом других инструментов. Ключевые характеристики — архитектура LLaMA, размер 7 миллиардов параметров и текстовая модальность. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Квантизация снижает требования к памяти и упрощает локальный запуск, однако низкобитные варианты могут заметно ухудшать качество, особенно самые компактные версии. Модель не является мультимодальной, а её точные ограничения по качеству и применению зависят от выбранного метода квантизации. В метаданных указана лицензия other; конкретные условия лицензии в README не приведены, поэтому перед использованием необходимо проверить лицензионные условия оригинальной модели Meta.

Marcoroni 70B GGUF — это квантизированная версия большой языковой модели Marcoroni 70B, разработанной AIDC-ai-business и преобразованной в формат GGUF пользователем TheBloke. Модель основана на архитектуре Llama и предназначена для генерации текста по инструкциям, включая диалоговые и другие задачи обработки естественного языка. В карточке указано, что модель обучалась с использованием набора данных Open-Orca и поддерживает английский язык. Модель имеет около 70 миллиардов параметров; доступны варианты GGUF с разной разрядностью квантования — 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между качеством, требованиями к памяти и скоростью работы. Формат поддерживается llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и candle, с возможностью CPU- и GPU-инференса. В качестве шаблона запросов используется формат Alpaca. К сильным сторонам относятся возможность локального запуска и широкий выбор уровней квантования. Ограничения включают высокие требования к ресурсам для 70B-модели, зависимость характеристик от выбранной квантованной версии и отсутствие в предоставленных данных сведений о размере контекста, мультимодальности и подробных результатах оценки. Указана лицензия CC BY-NC 4.0; кроме того, заявляется применимость условий лицензии Meta Llama 2, поэтому коммерческое использование может быть ограничено и требует проверки совместимости лицензий.

Nanbeige4-3B-Base — базовая языковая модель из семейства Nanbeige четвёртого поколения, разработанная командой Nanbeige. Модель содержит 3,5 млрд параметров, построена на плотной архитектуре Llama и предназначена для генерации текста и дальнейшей адаптации под прикладные задачи, например через supervised fine-tuning. В обучении использовался корпус из веб-текстов, книг, кода и научных статей, дополненный синтетическими данными для вопросов и ответов и рассуждений. Модель принимает текст и генерирует текст; заявленная длина контекста составляет 32 768 токенов. В карточке указаны английский и китайский языки. Разработчики сообщают о сильных результатах после дообучения на математических задачах и тестах на научные знания, в отдельных сравнениях превосходящих модели большего размера. Это базовый чекпойнт, поэтому для диалогового использования может потребоваться дополнительная настройка. Модель распространяется по лицензии Apache-2.0. Как и другие вероятностные языковые модели, она может выдавать ошибочную или неожиданную информацию, а также предвзятые или дискриминационные ответы. Разработчики не гарантируют отсутствие такого контента.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-fit16gib-GGUF — это смешанно-точная GGUF-квантизация базовой модели NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, подготовленная Alberto-Codes. Модель предназначена для генерации текста и локального запуска в пределах 16 ГиБ видеопамяти. В README указано, что архитектура содержит 128 маршрутизируемых экспертов, а 46 экспертных блоков составляют около 93% параметров; точные сведения о контекстном окне, поддерживаемых языках и полном наборе модальностей не приведены. Ключевая особенность сборки — распределение разрядности по группам слоёв на основе карты чувствительности и importance matrix. Размер файла составляет 15,76 ГиБ, средняя разрядность — 4,287 бит на параметр. По измерениям на WikiText-2 модель имеет perplexity 7,0689, среднюю KL-дивергенцию 0,071403 и совпадение наиболее вероятного токена с эталоном f16 в 89,418% случаев. В сравнении с указанной в README сборкой IQ2_XXS она обеспечивает лучшее качество при меньшем размере файла, однако результаты относятся к конкретному тесту и не заменяют независимую проверку на целевых задачах. Сборка не содержит MTP-блок, поэтому спекулятивное декодирование с --spec-type draft-mtp недоступно. Для загрузки требуется версия llama.cpp с поддержкой типа тензоров Q2_0, объединённой 7 июля 2026 года; все приведённые измерения выполнены на build b10362, а совместимость с промежуточными версиями не подтверждена. Модель распространяется по лицензии openmdw-1.1; README не содержит сведений о коммерческих ограничениях сверх условий этой лицензии.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP-RFA_S — это смешанная малобитная квантованная версия модели Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. Базовую модель разработал DavidAU совместно с Nightmedia, TeichAI, armand0e и trohrbaugh; репозиторий квантования поддерживает tcclaviger. Модель основана на Qwen3.6 с 27 млрд параметров и предназначена для широкого круга задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, сторителлинга и ролевого взаимодействия. В карточке заявлена поддержка английского и китайского языков, а также текстово-графического сценария, однако размер контекста не указан. Версия RFA_S использует смешанную точность: основные dense MLP-слои, часть attention-блоков и MTP-блок квантованы в RFA 4-bit, линейное и gated-delta attention — в RFI int8 W8A8, а отдельные компоненты, включая vision tower, embeddings и lm_head, сохранены в bf16. Всего квантовано 405 модулей, общий размер составляет около 22,97 ГБ. Такой подход уменьшает требования к памяти по сравнению с менее агрессивной сборкой, сохраняя часть компонентов в более высокой точности. Ключевые ограничения связаны с совместимостью: требуется специальный образ tcclaviger/vllm:dev или более новый runtime с поддержкой RFA/RFI и оборудования RDNA 4 (gfx12xx); работа на другом оборудовании не подтверждена. Это не самостоятельная дообученная архитектура, а численно изменённая квантованная сборка родительской модели. Лицензия указана как Apache-2.0.

Это независимая MLX-квантизация весов официальной модели Qwen/Qwen3.8-27B, подготовленная для нативного speculative decoding через MTPLX 2.6.0 на компьютерах Apple Silicon. Разработчик производной сборки — автор репозитория yc777; базовую модель разработала команда Qwen. Модель предназначена для генерации текста и запуска локальных OpenAI-совместимых сервисов. Основная часть весов представлена в 4-битном аффинном формате с размером группы 64, а MTP sidecar сохранён в BF16 и необходим для нативного многошагового предсказания. Поддерживается архитектура qwen3-next-mtp, заявлен английский язык, а пакет занимает около 15 ГБ на диске. Для работы требуются Mac на Apple Silicon с достаточным объёмом unified memory и MTPLX версии 2.6.0 или новее с поддержкой qwen3-next-mtp. Сборка предназначена для MTPLX и не поддерживается в oMLX 0.5.3 в режиме прямой загрузки. Главное преимущество — возможность ускоренной генерации с MTP: на M3 Max с 128 ГБ памяти авторы измерили 33,9 токена в секунду в end-to-end API-тесте, а пиковые наблюдения в интерфейсе превышали 40 токенов в секунду. Эти показатели зависят от запроса, длины контекста и ответа, давления на память, версии MTPLX и степени принятия черновых токенов; ускорение не гарантируется для каждого сценария. MTP sidecar увеличивает требования к диску и памяти по сравнению с полностью 4-битной конвертацией, а первый запрос после простоя включает загрузку и прогрев модели. Модель распространяется по лицензии Apache-2.0. При распространении производной версии необходимо сохранять исходную лицензию и атрибуцию Qwen. Это не официальный релиз Qwen или MTPLX.

Yepengz/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored-NM-DAU-NEO-MTP-GGUF — это многэтапная fine-tune- и merge-модель на базе Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored, связанная с разработчиком DavidAU и созданная с использованием Unsloth. Модель ориентирована на английский и китайский языки и распространяется в форматах GGUF, включая обычные и MTP-квантизации, с вариантами, рассчитанными на запуск на пользовательском оборудовании. Модель предназначена для широкого спектра задач: рассуждений и решения проблем, программирования, творческого письма, художественной прозы, ролевых сценариев и других диалоговых применений. В README заявлены пять режимов reasoning и пять instruct-режимов, включая режимы Spoon и Einstein, возможность переключения режимов через API или на уровне сообщения, а также отсутствие reasoning-токенов в instruct-режимах. Основной акцент сделан на сокращении объёма рассуждений и ускорении генерации при сохранении подробности ответов. Ключевые характеристики включают размер 27B параметров, поддержку GGUF-квантизаций, варианты с разрядностью 4 и 8 бит и заявленную повышенную устойчивость к чрезмерному «обдумыванию». Модель позиционируется как сильно uncensored и может быть полезна для сценариев, где требуется меньше ограничений на содержание, однако это одновременно повышает риски нежелательных, небезопасных или неприемлемых ответов. Заявления о превосходстве над другими моделями и результатах бенчмарков приведены в README без подробных методик проверки. Размер контекста и точный перечень поддерживаемых модальностей в предоставленных данных не указаны. Лицензия — Apache-2.0. Для использования следует учитывать особенности конкретной GGUF-квантизации, требования к памяти и отсутствие заявленных ограничений на содержание.

Qwick-3.5-9B — модель Nobuyuki Horiuchi, дообученная на основе Qwen/Qwen3.5-9B. Это самостоятельный чекпойнт BF16 в формате Transformers, предназначенный для генерации текста с более короткими рассуждениями: при близких результатах на MMLU-Pro и GPQA-Diamond длина ответов в приведённых сравнениях сокращалась примерно на 29–40%. Модель также оценивалась на следовании инструкциям, японских вопросах и генерации кода. Основные сценарии — текстовые рассуждения и ответы на вопросы; README приводит оценку сохранения возможностей на изображениях по валидационной выборке MMMU, но автор не квалифицирует модель для широкого мультимодального развёртывания. Модель рассчитана в первую очередь на японский и английский языки. Репозиторий содержит веса Safetensors и использует библиотеку Transformers; лицензия — Apache-2.0. Качество зависит от задачи и профиля генерации: например, в README зафиксировано снижение результата на HMMT и регрессия в разделе инженерии MMLU-Pro. Модель не оценивалась для критически важных рекомендаций, решений с высоким воздействием без надзора или автономных действий; результаты для других форматов, настроек и распределений изображений требуют отдельной проверки.

RWKV-6 World — многоязычная авторегрессионная языковая модель семейства RWKV, разработанная BlinkDL. Она предназначена для генерации продолжений текста и диалоговых ответов; карточка приводит примеры форматов подсказок для чата и вопросов с ответами. Модель обучалась более чем на 100 языках: около 70% обучающих данных составлял английский, 15% — другие языки и 15% — код. В обучении использовались корпуса Pile, SlimPajama, StarCoder и OSCAR, а также Википедия и собранные диалоговые данные; для версий World указано от 0,59 до 1,42 триллиона токенов.

SelFee-13B-delta — дельта-веса модели для следования инструкциям, разработанной проектом KAIST SelFee. Это плотная авторегрессионная модель семейства LLaMA с 12,9 млрд параметров и контекстом 2048 токенов; репозиторий содержит веса в формате PyTorch. Для восстановления полного чекпойнта дельту применяют к исходным весам LLaMA. Модель дообучена на инструкциях и ответах с цепочками самопроверки и пересмотра: она может самостоятельно формировать обратную связь, исправлять ответ и завершать пересмотр, когда считает его ненужным, либо работать с заданным числом пересмотров. SelFee предназначена для диалоговых ответов на инструкции и вопросы, включая задачи из математики и программирования, а также для генерации и доработки ответов посредством самокритики. Обучающие данные включали англоязычные примеры из Alpaca, ShareGPT, Flan, математики и кода; основной язык модели — английский. Лицензия весов — CC-BY-NC-4.0, которая ограничивает коммерческое использование. README отмечает ограничения длины при подготовке части обучающих примеров; качество и точность ответов следует проверять, особенно в предметных задачах.

BoldingBuilds выпустила Ternary Bonsai 2 27B Abliterated PTQ1_0 GGUF — текстовую чат-модель на основе релиза PrismML Ternary Bonsai 2 27B в формате GGUF. Веса изменены непосредственно на троичной решётке: редактированы 98 тензоров, остальные 753, включая эмбеддинги и выходной слой, побайтно совпадают с базовой версией. Модель предназначена для генерации ответов в диалогах и заметно реже отказывает, в том числе на запросы, которые исходная модель отклоняет. В опубликованном сравнении с исходной PTQ1_0-версией доля оценённых отказов на SimpleSafetyTests снизилась с 83% до 0%, а переотказов на безопасных запросах XSTest — с 1,6% до 0%. Результаты MMLU почти не изменились; на HumanEval наблюдалось снижение на 3 процентных пункта, статистически незначимое в данном тесте. Модель принимает текст и генерирует текст; мультимодальные компоненты не включены. Для запуска требуется форк llama.cpp от PrismML: стандартный llama.cpp не загружает PTQ1_0. Лицензия — Apache-2.0.

WizardLM-2-7B-abliterated-GGUF — это квантизированная версия языковой модели WizardLM-2-7B-abliterated, опубликованная и подготовленная bartowski на основе оригинальной модели fearlessdots. Модель предназначена для генерации текста и запуска локально через llama.cpp; в README указан формат запросов с системным сообщением, ролями USER и ASSISTANT. Модель содержит 7 млрд параметров и представлена в формате GGUF с вариантами квантизации от Q8_0 до IQ1_S. Доступны сборки размером примерно от 1,61 до 7,69 ГБ. Квантизация выполнена с использованием llama.cpp и метода imatrix. В README не указаны поддерживаемые языки, размер контекстного окна, архитектура исходной модели или мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильная сторона семейства — широкий выбор вариантов квантизации, позволяющий подобрать баланс между качеством, размером файла и требованиями к памяти; для высокого качества рекомендуются Q6_K, Q5_K_M, Q5_K_S и некоторые варианты Q4. Более агрессивная квантизация экономит память, но снижает качество, особенно у вариантов IQ1. Модель распространяется по лицензии Apache-2.0.

PrunaAI/WizardLM-2-7B-GGUF-smashed — это сжатая и квантизированная версия WizardLM-2-7B, опубликованная PrunaAI; исходная модель связана с Microsoft. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp, LM Studio, text-generation-webui или библиотеки llama-cpp-python и ctransformers. Модель имеет архитектуру llama и около 7 млрд параметров. Она распространяется в формате GGUF с вариантами квантизации от Q2_K до Q8_0, что позволяет выбирать компромисс между размером, скоростью и качеством. В карточке приведён пример запуска с контекстом 32768 токенов; более длинный контекст требует больше ресурсов. Модель принимает текст и генерирует текст; сведения о поддерживаемых языках и мультимодальности не указаны. К сильным сторонам относятся уменьшенный размер файлов, возможность работы на менее мощном оборудовании и широкий выбор уровней квантизации. Ограничение состоит в том, что качество ответов может отличаться от базовой модели и снижаться при более агрессивном сжатии. Лицензия отдельно не указана: карточка сообщает, что она наследуется от лицензии исходной модели, поэтому перед использованием необходимо проверить условия для WizardLM-2-7B.

zephyr-orpo-141b-A35b-v0.1-GGUF — это набор GGUF-квантизаций текстовой языковой модели zephyr-orpo-141b-A35b-v0.1, разработанной HuggingFaceH4 и квантованной bartowski с использованием llama.cpp. В качестве базовой модели указана mistral-community/Mixtral-8x22B-v0.1; обучение выполнено методом ORPO на датасете argilla/distilabel-capybara-dpo-7k-binarized. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с системными и пользовательскими сообщениями через специальный chat-шаблон. Поддерживается текстовая модальность, однако сведения о языках и размере контекста в README не указаны. Доступны варианты квантования от Q2_K до Q5_K_M, включая K- и I-квантизации, с размером файлов примерно от 52,10 до 99,96 ГБ. Q5_K_M и Q5_K_S заявлены как высококачественные, Q4-варианты — как обеспечивающие хороший баланс качества и объёма, а варианты ниже Q4 экономят память ценой снижения качества. I-квантизации могут быть предпочтительнее для некоторых конфигураций cuBLAS и rocBLAS, но несовместимы с Vulkan; выбор зависит от доступных RAM и VRAM. Для запуска требуется загрузить все части выбранного файла. В README указана лицензия Apache-2.0.

Карточка модели jondurbin/airoboros-l2-70b-2.1 на Hugging Face совпадает с карточкой jondurbin/airoboros-l2-13b-2.1, поэтому описание составлено по ней. airoboros-l2-13b-2.1 — языковая модель на архитектуре Llama 2, дообученная Jondurbin на синтетических инструкциях Airoboros. Она предназначена для диалогов и выполнения инструкций: ответов по заданному контексту, написания текстов и следующих глав, ролевых бесед, помощи с кодом, планирования и генерации аргументов функций в JSON или YAML. В обучающий набор вошли примеры стилизованных ответов и экспериментальные форматы ролевых диалогов. Модель содержит 12,9 млрд параметров, работает с текстом и имеет нативное контекстное окно 4096 токенов. Для диалогов используется формат с маркерами USER и ASSISTANT; карточка рекомендует останавливать генерацию при появлении USER:, поскольку модель может продолжить имитацию диалога. В README указано, что версия 2.1 имеет ошибку форматирования промптов при обучении, которая может ухудшать работу; заявлена как экспериментальная. Модель распространяется по лицензии Llama 2. В карточке описан небольшой набор для ослабления цензурных ограничений, поэтому ответы могут включать чувствительный контент; качество и соблюдение инструкций не гарантированы.

Это GGUF-квантизированная версия языковой модели Llama-3.1-Tulu-3.1-8B, разработанной Allen Institute for AI (allenai) и опубликованной в формате квантизаций пользователем bartowski. Модель предназначена для генерации текста и запуска локально с помощью llama.cpp, LM Studio и других совместимых проектов на базе llama.cpp. Указан английский язык; поддержка других языков и мультимодальность не заявлены. Модель содержит 8 миллиардов параметров и распространяется в нескольких вариантах квантизации от Q2 до Q8, размером примерно от 3,7 до 8,5 ГБ. Доступны форматы Q4, Q5, Q6, Q8 и IQ, позволяющие выбирать между качеством ответов и требованиями к памяти; наиболее сбалансированным вариантом автор README называет Q4_K_M, а варианты Q5 и Q6 — высококачественными. Для взаимодействия рекомендуется использовать шаблон с ролями system, user и assistant. Сведения о размере контекста, точной архитектуре, производительности и ограничениях исходной модели в README не приведены. Основные преимущества — широкий выбор квантизаций, возможность локального запуска и адаптация под устройства с разным объёмом оперативной памяти. Более сильное сжатие уменьшает требования к ресурсам, но снижает качество, особенно у вариантов Q2 и Q3. Модель распространяется под лицензией llama3.1; перед использованием следует учитывать условия этой лицензии.

BioPhys-13.0-Kimi-K3-DualBrain — модель генерации текста, представленная автором как нейроморфная система с архитектурой MoE и объединением Kimi-K3 и EXAONE 3.0. Карточка заявляет поддержку корейского и английского языков, контекст до 131 072 токенов и размер 36,8 млрд параметров; веса опубликованы в формате safetensors. README также описывает отдельный Rust-движок и сжатое представление весов, но эти заявления не подтверждены метаданными репозитория. Модель предназначена для диалогов и генерации текста, включая рассуждения, математику, программирование и ответы на корейском языке. Репозиторий заявляет Apache-2.0. Описанные в README показатели производительности, сжатия и снижения галлюцинаций являются заявлениями автора; независимые подтверждения в предоставленных данных отсутствуют.

Capybara Tess Yi 34B 200K DARE Ties GGUF — это квантизированная языковая модель для генерации текста, созданная на основе модели brucethemoose Capybara Tess Yi 34B 200K DARE Ties. Исходную модель разработал brucethemoose, а преобразование в формат GGUF выполнил TheBloke. Модель относится к семейству Yi и предназначена для текстового взаимодействия, генерации ответов и других сценариев, поддерживаемых системами text-generation. Модель имеет размер 34B параметров и рассчитана на работу с текстом; в карточке указан английский язык. Файлы представлены в формате GGUF, поддерживаемом llama.cpp и рядом совместимых приложений и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие инструменты для CPU- и GPU-инференса. Доступны варианты с различными уровнями квантизации от 2 до 8 бит, что позволяет выбирать между требованиями к памяти, скоростью и качеством. В README приведён шаблон запросов Orca-Vicuna с секциями SYSTEM, USER и ASSISTANT. К сильным сторонам относятся большой размер модели, возможность локального запуска и широкий выбор уровней квантизации. Ограничения включают зависимость качества и скорости от выбранной квантизации и аппаратной конфигурации; точные показатели производительности, перечень поддерживаемых языков помимо английского и фактический размер контекстного окна в README не указаны. Модель распространяется по лицензии yi-license; в метаданных она обозначена как other, а полный текст лицензии доступен по ссылке на лицензию Yi-34B.

Codetulu 2 7B — англоязычная модель-ассистент, разработанная AI2 и дообученная на базе codellama/CodeLlama-7b-hf. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров и контекстом до 8192 токенов. Обучение проводилось на смеси общедоступных, синтетических и созданных людьми данных Tulu V2, включая набор allenai/tulu-v2-sft-mixture. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы на английском языке. Её можно использовать для создания черновиков ответов, объяснений и обобщений, а также для помощи с программным кодом благодаря базовой CodeLlama. Для качественной генерации следует соблюдать формат ввода, описанный в карточке модели. Модель не проходила выравнивание безопасности на этапе RLHF и не использует фильтрацию ответов во время работы, поэтому может генерировать проблемный контент, особенно по соответствующему запросу. Лицензия — AI2 ImpACT Low-risk; перед использованием следует учитывать её условия.

MaziyarPanahi/DeepSeek-V2.5-GGUF — это набор файлов модели в формате GGUF для базовой модели DeepSeek-V2.5, разработанной deepseek-ai. Квантованные файлы подготовлены пользователем MaziyarPanahi и предназначены для локального запуска задач генерации текста. Модель ориентирована на использование с llama.cpp и совместимыми инструментами, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, candle и другие приложения, поддерживающие GGUF. Формат подходит для локального инференса с возможностью задействовать CPU и GPU в зависимости от выбранного клиента и конфигурации. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером файлов, требованиями к памяти и качеством генерации. В README не указаны точная архитектура и размер модели, поддерживаемые языки, длина контекста, конкретные системные требования или лицензия, поэтому эти характеристики нельзя достоверно описать.

DeepSeek-V4-Flash-GGUF — это квантизированная версия модели DeepSeek-V4-Flash, опубликованная организацией ggml-org на основе исходной модели deepseek-ai. Модель предназначена для генерации текста и запуска в формате GGUF, в том числе с помощью llama.app и совместимых инструментов. В README указано, что модель автоматически конвертируется средствами проекта ggml-org/convert. Доступны варианты с разными уровнями квантизации; для моделей Q2 пока не применялась калибровка imatrix из-за отсутствия соответствующих данных. Сведения об архитектуре, количестве параметров, размере контекста, поддерживаемых языках и модальностях не приведены, поэтому оценить эти характеристики и ограничения по README невозможно. Модель распространяется по лицензии MIT. Условия использования исходной модели следует дополнительно уточнять в карточке deepseek-ai/DeepSeek-V4-Flash.

Dolphin-2.9.3-Mistral-Nemo-12B-Patched — текстовая генеративная модель, опубликованная AIOpsInSpace и созданная на основе cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b. Модель предназначена для локального запуска и генерации текста, включая работу с длинными запросами и документами. В README заявлена специализация на английском языке. Модель имеет плотную архитектуру с 12 млрд параметров и поддерживает контекст длиной до 128K токенов. Версия распространяется в формате GGUF и содержит исправление ошибок сопоставления токенов в tokenizer, из-за которых некоторые локальные backend могли аварийно завершаться или зацикливаться при генерации на длинных промптах. Это является её ключевым преимуществом для локального использования и сценариев с большим контекстом. Ограничения включают отсутствие сведений о точных изменениях относительно базовой модели, результатах независимых тестов, требованиях к оборудованию, производительности и поддерживаемых языках помимо английского. В README указана лицензия Apache-2.0.

unsloth/gemma-3n-E4B-it-unsloth-bnb-4bit — это 4-битная версия Gemma 3n E4B-it, разработанная Unsloth на базе модели Google gemma-3n-E4B-it. Модель предназначена для диалоговых и текстовых задач, включая генерацию ответов и использование в приложениях на базе Transformers. В карточке указана поддержка английского языка и формат image-text-to-text, однако текущие рекомендации README подтверждают поддержку только текста. Модель относится к семейству Gemma 3n и имеет размер 4B; используется 4-битное квантование bnb, рассчитанное на снижение требований к памяти. Максимальная длина контекста составляет 32K токенов. Для запуска рекомендуется Transformers или совместимые инструменты, а для Gemma 3n указаны параметры temperature 1.0, top_k 64 и top_p 0.95. Unsloth заявляет ускорение до 2 раз и снижение использования памяти до 80% для сценариев тонкой настройки, но конкретные результаты зависят от оборудования и конфигурации. Основные ограничения — отсутствие заявленной поддержки изображений в текущей версии, ограниченная информация о точной архитектуре и отсутствие подробных результатов оценки качества в README. Модель распространяется по лицензии Gemma; перед использованием необходимо учитывать условия этой лицензии.

ggml-org/gpt-oss-120b-GGUF — квантизированная модель для генерации текста в формате GGUF, разработанная на основе openai/gpt-oss-120b. Репозиторий опубликован организацией ggml-org; указанные исходные модели связаны также с nvidia/gpt-oss-120b-Eagle3-v3. Модель предназначена для запуска и использования в инструментах, совместимых с GGUF, включая llama.app. Ключевая известная характеристика модели — размер базовой модели 120B параметров и квантованный формат представления, который может снизить требования к ресурсам по сравнению с полноразмерной версией. README не содержит сведений об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна, поэтому эти параметры нельзя надежно определить. Модель автоматически преобразована с помощью инструментария ggml-org/convert. Это делает её удобной для локального запуска через совместимое программное обеспечение, однако конкретные требования к памяти, производительность и характеристики квантования в README не указаны. Лицензия — Apache-2.0.

Llama-3-11.5B-V2-GGUF — набор квантизированных версий языковой модели Llama-3-11.5B-V2, опубликованный bartowski. Исходная модель разработана Replete-AI, а квантизация выполнена с использованием llama.cpp версии b3024 и метода imatrix. Модель предназначена для генерации текста и локального запуска в форматах GGUF, включая работу через llama.cpp и совместимые инструменты. Модель содержит около 11,5 млрд параметров и относится к текстовым моделям; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Доступны варианты квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантизации с размером файлов примерно от 3,63 до 12,24 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие снижают требования к оперативной памяти и видеопамяти, но сильнее теряют в качестве. Для запуска рекомендуется выбирать вариант, помещающийся в доступный объём RAM и VRAM; наиболее сбалансированными в README названы Q6_K, Q5_K и Q4_K. Преимущество набора — широкий выбор компромиссов между качеством, скоростью и потреблением памяти, а также пригодность для локального инференса. Ограничения включают отсутствие точного описания архитектуры, контекстного окна, языков, результатов оценивания и корректного chat template; указанный шаблон может быть неверным. Модель распространяется по лицензии Llama 3; конкретные условия определяются лицензией Meta, ссылка на которую приведена в карточке.

Это текстовая базовая модель семейства Mistral, опубликованная Unsloth как производная от Mistral-Small-24B-Base-2501, разработанной командой Mistral AI. Она предназначена для генерации текста, дальнейшего дообучения и создания разговорных и агентных приложений. Модель имеет плотную архитектуру MistralForCausalLM и 23,4 млрд параметров; нативное контекстное окно составляет 32 768 токенов. Карточка указывает поддержку многих языков, включая английский, французский, немецкий, испанский, итальянский, китайский, японский, корейский, португальский, нидерландский и польский. Среди заявленных возможностей семейства — следование инструкциям, рассуждения, вызов функций и выдача JSON; этот репозиторий классифицирован для генерации текста. Веса доступны в формате safetensors, библиотека — Transformers. Лицензия Apache 2.0 разрешает использование и модификацию, в том числе в коммерческих целях. Это базовый чекпойнт, а не указанная в README instruct-версия; сведения о разговорных и агентных возможностях в карточке относятся к описываемому семейству и не гарантируют тот же уровень поведения у базовой модели без дообучения. Для запуска на GPU README указывает более 60 ГБ видеопамяти; локальный запуск на меньшем оборудовании зависит от квантизации.

Это GGUF-квантизированная версия языковой модели Llama-3.1-Nemotron-Nano-8B-v1, разработанной NVIDIA и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель имеет около 8 миллиардов параметров и поддерживает текстовую модальность. В README указан английский язык, а контекстное окно и дополнительные архитектурные характеристики не приведены. Доступны варианты от BF16 до различных уровней квантования GGUF: более крупные варианты обеспечивают более высокое качество, а компактные Q4 и Q3 подходят для систем с ограниченным объёмом памяти. Для работы рекомендуется использовать указанный формат prompt с шаблоном Llama 3. Сильной стороной модели является широкий выбор квантований, позволяющий адаптировать размер и качество под доступное оборудование; для большинства сценариев рекомендуются варианты Q4–Q6. Ограничения включают возможное снижение качества при низких уровнях квантования, отсутствие сведений о мультиязычности и контекстном окне, а также необходимость совместимого локального ПО и достаточного объёма памяти. Модель распространяется по NVIDIA Open Model License; ссылка на лицензию указана в карточке.