II.8Инженерия данных и аналитика

Qwen3.8-27B-TURBO-fcf-GGUF — открытая многоэтапная fine-tune-модель на базе Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU, опубликованная в формате GGUF. В README указаны разработчик базовой модели и участники обучения DavidAU и его команда; для обучения применялись Unsloth, методы COLD FUSION и Fable Fusion 711, а также наборы данных DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Репозиторий содержит обычные и MTP-квантизации, включая варианты для 4- и 8-битного запуска на потребительском оборудовании. Модель предназначена для широкого спектра задач: рассуждений и решения задач, программирования, творческого письма, художественной прозы, ролевых сценариев и других текстовых применений. Заявленная особенность TURBO-версии — сокращение объёма внутреннего рассуждения по сравнению с обычной Qwen3.8 при сохранении детализации и качества ответов, что должно повышать скорость генерации и снижать расход токенов. В метаданных указаны английский и китайский языки; контекстное окно и точный набор поддерживаемых модальностей в README не описаны, хотя pipeline_tag указывает image-text-to-text. Ключевые характеристики — около 27 млрд параметров, архитектура на базе Qwen3.8, поддержка трёх режимов рассуждения согласно описанию автора, а также обычных и MTP GGUF-квантов. README заявляет высокие результаты на ARC-C и ARC-E и превосходство базовых моделей по нескольким бенчмаркам, однако эти утверждения не подтверждены независимыми данными в предоставленном тексте. Модель обозначена как uncensored, поэтому её ответы могут быть менее ограниченными с точки зрения защитных фильтров; конкретные требования к оборудованию и контексту запуска не приведены. Указанная лицензия — Apache-2.0.

Atomic-Germ/Qwen3.8-Flash-Next-APEX-GGUF — набор оптимизированных GGUF-квантизаций модели Qwen3.8-Flash-Next, разработанный Atomic-Germ на базе mudler/Qwen3.8-Flash-Next-APEX-GGUF. Модель описана как Mixture-of-Experts архитектура объёмом 125B/177B параметров с технологиями GDN и Qwen Sparse Attention. Репозиторий ориентирован на локальный запуск и совместное использование с Guanaco, включая потоковую загрузку с диска на потребительском оборудовании. Основные варианты включают Q6_K с высококачественной квантизацией весов, Q8_0 для скрытых состояний и F32 для нормализаций, а также более компактный Q4_0 с меньшими требованиями к памяти. В комплект также входит importance matrix imatrix.dat, предназначенная для настройки квантизации и оптимизации динамической выгрузки экспертов. В репозитории заявлен улучшенный шаблон чата с поддержкой многошагового диалога, строгих JSON-схем и параллельных вызовов инструментов. Для запуска через Guanaco указана возможность работы примерно в 24 ГБ памяти; конкретная скорость зависит от оборудования, типа квантизации и используемых ядер. Сильными сторонами являются высокая степень сжатия при заявленном небольшом ухудшении perplexity относительно BF16, оптимизация размещения чувствительных слоёв и поддержка потокового запуска крупных MoE-моделей на ограниченных ресурсах. Ограничения включают зависимость производительности от конкретного оборудования и режима загрузки, отсутствие измерений пропускной способности в README, а также неполную оценку на отложенных данных. Языки, точная максимальная длина контекста и полноценные мультимодальные возможности явно не указаны; в примере запуска используется контекст 128000 токенов. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-MLX-8bit — это 8-битная сборка модели Qwen3.8-Flash-Next, разработанная PipeNetwork для работы через MLX на компьютерах с Apple Silicon. Модель предназначена прежде всего для генерации текста, включая программирование, ответы на запросы и другие сценарии текстового вывода. В текущем runtime поддерживается только текстовый режим, хотя в составе checkpoint присутствует vision tower. Модель использует гибридную архитектуру Gated-DeltaNet и sparse attention с разреженной Mixture-of-Experts-структурой: всего около 125 млрд параметров, из которых примерно 6 млрд активируются на токен (125B-A6B). Также используется hashed n-gram embedding объёмом около 51 млрд параметров. Контекст и поддерживаемые языки в README не указаны. Модель преобразована в формат MLX и занимает около 192,2 ГБ на диске; большая часть весов квантована в 8 бит, отдельные управляющие компоненты и vision tower сохранены в bfloat16. 4B multi-token-prediction head не включён. По данным README, 8-битная версия сохраняет качество, статистически неотличимое от исходной bfloat16-модели на тесте wikitext-2, при существенно меньшем размере. Ограничения включают очень высокие требования к памяти, необходимость собственного runtime с поддержкой удалённого кода и привязку к экосистеме Apple Silicon и MLX. Лицензия — Qwen Community License 1.0.

Rax 4.5 — мультимодальная модель семейства Qwen3.5 от raxcore-dev, представленная в виде постобученных весов для Hugging Face Transformers. Это плотная причинная языковая модель с визуальным энкодером, поддерживающая ввод изображений и текста и выдающая текст. Модель насчитывает 2 млрд параметров, использует гибридную архитектуру Gated Delta Networks и gated attention, а заявленная длина контекста составляет 262 144 токена. Модель предназначена для диалогов с изображениями, визуального анализа, рассуждений, задач по коду и агентных сценариев с вызовом инструментов. README заявляет поддержку 201 языка и диалекта; модель работает в режимах с рассуждением и без него, причём режим без рассуждения включён по умолчанию. Авторы рекомендуют её для прототипирования, дообучения под конкретные задачи и разработки; для сервинга указана совместимость с Transformers, vLLM, SGLang и KTransformers. Модель распространяется по лицензии Apache-2.0. Среди практических ограничений — сравнительно небольшой масштаб в 2 млрд параметров, а также возможная нехватка памяти при использовании длинного контекста; скорость и пропускная способность зависят от среды инференса.

SlimOpenOrca-Mistral-7B — языковая модель семейства Mistral, созданная Weyaxi слиянием TIES моделей Open-Orca/Mistral-7B-SlimOrca и Open-Orca/Mistral-7B-OpenOrca. Это плотная авторегрессионная модель на 7,1 млрд параметров, распространяемая в формате safetensors; нативный контекст составляет 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы и следование инструкциям. В README указаны веса слияния 0,5 для SlimOrca и 0,3 для OpenOrca, а также плотность 0,5 для каждой исходной модели. Лицензия — Apache-2.0. Карточка также сообщает о вариантах GPTQ, GGUF и AWQ, опубликованных TheBloke; это отдельные квантованные версии.

Velvet-2B — языковая модель Almawave, разработанная командой Technology and Innovation. Она принимает и генерирует текст и предназначена для интеграции в приложения и системы на базе ИИ. Модель обучена на английском и итальянском языках; для диалога доступна в формате chat. Её можно запускать с Transformers, vLLM и Ollama. Модель предварительно обучена почти на 3 трлн токенов из общедоступных источников, а затем дообучена на наборах инструкций и более чем миллионе размеченных и синтетических примеров. Она поддерживает генерацию и продолжение текста, суммаризацию, извлечение информации, перефразирование, классификацию, машинный перевод, ответы на вопросы, рассуждение и сценарии RAG. Лицензия — Apache 2.0. Ответы могут быть неточными, неполными или избыточными, а данные обучения могут приводить к воспроизведению токсичных формулировок и социальных предубеждений. Для фактических ответов рекомендуется использовать внешние источники, например RAG, а для приложений — проверять результаты и применять подходящие меры безопасности.

airoboros-7b-gpt4 — дообученная модель семейства LLaMA с 6,6 млрд параметров, созданная Jondurbin на синтетических обучающих данных, сгенерированных GPT-4. Она предназначена для диалоговой генерации текста и отвечает на вопросы по заданному контексту, а также решает задачи на эрудицию, математику и рассуждение, программирование, тесты с выбором ответа, заполнение пропусков и общие темы. Для общения используется шаблон Vicuna; максимальная длина контекста по метаданным — 4096 токенов. Модель обучена следовать предоставленному контексту и ограничивать ответы его содержимым, чтобы уменьшить галлюцинации. Автор отмечает, что качество математических рассуждений ограничено, а результаты примеров для версии 13B могут отличаться от версии 7B. Модель распространяется под лицензией CC BY-NC 4.0, допускающей использование с указанием авторства, но запрещающей коммерческое использование.

Это квантизированная версия большой языковой модели c4ai-command-r-plus-08-2024 в формате GGUF, подготовленная пользователем bartowski на основе модели CohereForAI с использованием llama.cpp. Разработчик исходной модели — Cohere for AI. Модель предназначена для генерации текста и может применяться в диалоговых системах, создании и преобразовании текстов, а также в других сценариях, поддерживаемых задачами text-generation. В README указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. Конкретные архитектурные параметры, количество параметров, размер контекста и доступные варианты квантования в предоставленных данных не указаны. Формат GGUF и использование llama.cpp позволяют запускать модель в совместимом локальном программном окружении, однако характеристики производительности и качества зависят от конкретной квантованной версии и оборудования. Модель распространяется по лицензии CC-BY-NC-4.0 и предназначена только для некоммерческого использования; для доступа также требуется согласие с условиями лицензии Cohere. Условия лицензии следует учитывать при интеграции и распространении модели.

SanctumAI/gemma-2-9b-it-GGUF — квантизированная GGUF-версия Gemma 2 9B IT, разработанной Google и подготовленной SanctumAI. Это текстовая decoder-only языковая модель с instruction tuning, предназначенная для генерации текста, диалогов, ответов на вопросы, суммирования и задач, требующих рассуждений. Модель работает с текстом и, согласно README, доступна на английском языке. Модель содержит около 9 млрд параметров. Доступны варианты квантизации Q2_K–Q8_0, а также f16; размер файлов составляет примерно от 3,81 до 18,49 ГБ, а оценочная потребность в RAM или VRAM — от 15,14 до 28,82 ГБ в зависимости от варианта. Квантизация позволяет запускать модель на ноутбуке, настольном компьютере или собственной облачной инфраструктуре при выборе подходящего формата, но более компактные варианты могут уступать по качеству менее квантизированным. Модель распространяется по лицензии Gemma. Для корректного диалога следует использовать шаблон Gemma с маркерами начала и конца хода пользователя и модели. README не указывает размер контекстного окна, мультимодальные возможности или поддержку языков помимо английского; также конкретные ограничения качества не описаны. Как и другие языковые модели, она может генерировать неточный, вредный или неподходящий контент, поэтому результаты требуют проверки.

LargitData/gemma-4-26b-a4b-it-fp8 — производственный офлайн-чекпойнт в формате FP8 Dynamic, созданный Largitdata Inc. на основе Google Gemma 4 26B-A4B-it. Модель предназначена для локального и серверного инференса через vLLM, включая развёртывание OpenAI-совместимого API и сценарии с несколькими одновременно обслуживаемыми пользователями. Заявленная поддержка языков — английский и китайский; тип задачи — генерация текста. Модель использует архитектуру mixture-of-experts (MoE), а её базовый размер обозначен как 26B-A4B. Максимальная длина контекста в приведённых тестах составляла 32 768 токенов. Ключевая особенность — динамическое FP8-квантование без предварительной калибровки и без квантования весов MoE-роутеров и 1D-тензоров нормализации, что обеспечивает совместимость с путём загрузки Gemma 4 в vLLM. На NVIDIA H200 NVL чекпойнт занимал 25,75 GiB памяти против 48,5 GiB у BF16-версии, обеспечивал на 80% больший размер KV-кэша и почти 39-кратную максимальную параллельность для запросов длиной 32K токенов. В тесте MMLU-Pro точность составила 81,33% против 81,59% у BF16-базовой модели. Ограничения включают примерно на 6% большую задержку одиночного запроса по сравнению с BF16, отсутствие результатов по MT-Bench и другим бенчмаркам, а также ограниченную проверку оборудования: тестирование проводилось только на NVIDIA H200 NVL. Поведение на других GPU и влияние исключения роутеров из квантования требуют дополнительной оценки. Артефакт не является официальным релизом Google; применяются условия лицензии Gemma, указанной для базовой модели.

Gemma4-26B-A4B-Uncensored-HauhauCS-1M-GGUF — GGUF-сборка, опубликованная satgeze на основе модели HauhauCS/Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP, использующей архитектуру Gemma 4 с 26 млрд параметров и 4 млрд активных параметров в конфигурации MoE. Веса идентичны исходному релизу HauhauCS; в сборку добавлены масштабирование контекста, MTP-голова для спекулятивного декодирования и компоненты для обработки изображений. Модель предназначена для генерации текста, работы с очень большими документами и длинными промптами, а также для мультимодальных сценариев с изображениями. Заявлен контекст до 1 048 576 токенов благодаря YaRN-масштабированию в 4 раза относительно исходных 262 144 токенов. Vision-компонент проверен на распознавании текста и объектов на изображениях. MTP-голова совместно с llama.cpp может ускорять генерацию: в README указаны результаты 249,1–369,2 токена в секунду и прирост до 48% на RTX 5090 без изменения результата декодирования. К сильным сторонам относятся сверхдлинный контекст, поддержка изображений, возможность спекулятивного декодирования и формат GGUF, совместимый с llama.cpp и Ollama. При этом средний результат теста needle-in-a-haystack составляет около 91%, поэтому редкие пропуски при извлечении информации возможны; тестирование выше 524 тысяч токенов на момент публикации не завершено. Независимая оценка качества «раскодирования» и базовые языковые бенчмарки для этой сборки не приведены. Для работы требуются значительные ресурсы, особенно при использовании контекста в миллион токенов. Модель распространяется по лицензии Gemma.

Карточка модели unsloth/GLM-4-9B-0414 на Hugging Face совпадает с карточкой zai-org/GLM-4-9B-0414, поэтому описание составлено по ней. GLM-4-9B-0414 — текстовая генеративная модель семейства GLM-4 от Z.ai. По метаданным это плотная архитектура GLM-4 с 8,8 млрд параметров, рассчитанная на контекст до 32 768 токенов; репозиторий содержит веса Safetensors для Transformers. Модель поддерживает диалог и интерфейс вызова инструментов. Она предназначена для генерации текста в диалоге и решения общих задач с инструкциями. В README описан вариант GLM-Z1-9B-0414 с усиленными рассуждениями, особенно в математике, однако карточка относится к GLM-4-9B-0414, поэтому эти свойства нельзя уверенно приписать ей. Метаданные указывают китайский и английский языки. Лицензия — MIT.

ibm-granite/granite-3.3-8b-instruct-GGUF — это семейство версий модели IBM Granite 3.3 8B Instruct, преобразованных в формат GGUF с различными уровнями квантования. Модель разработана IBM и предназначена для генерации текста и выполнения инструкций в сценариях, поддерживаемых базовой моделью ibm-granite/granite-3.3-8b-instruct. Из доступных данных известно, что модель относится к классу text-generation и имеет около 8 миллиардов параметров. Формат GGUF удобен для локального запуска совместимыми средствами вывода, а выбор квантования позволяет находить компромисс между качеством, скоростью работы и требованиями к памяти. Конкретные поддерживаемые языки, размер контекста, архитектурные детали и различия между вариантами квантования в предоставленной карточке не указаны. Сильными сторонами являются инструкционное назначение базовой модели и возможность локального использования в компактных квантованных вариантах. Ограничения зависят от выбранного уровня квантования и характеристик среды запуска; точные сведения о качестве, мультимодальности и специализированных сценариях отсутствуют. Модель распространяется по лицензии Apache-2.0.

Hermes-Mistral-Saul-Slerp — объединённая модель генерации текста, созданная с помощью mergekit из Equall/Saul-Instruct-v1 и NousResearch/Nous-Hermes-2-Mistral-7B-DPO. Она основана на архитектуре Mistral, содержит 7,1 млрд параметров и предназначена для диалогов и генерации ответов по текстовым инструкциям; поддерживает контекст длиной до 32 768 токенов. Модель объединяет навыки двух исходных чекпойнтов методом slerp. Подходит для чат-ботов, ответов на вопросы и других сценариев генерации текста на основе инструкций. Репозиторий содержит веса в формате safetensors. Лицензия Apache-2.0.

LeoScorpius-7B-Chat-DPO-Mistral-7B-Instruct-v0.1 — чат-модель, созданная MaziyarPanahi слиянием Mistral-7B-Instruct-v0.1 и LeoScorpius-7B-Chat-DPO методом SLERP. Она предназначена для генерации ответов на инструкции и ведения диалогов. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает текст и генерирует текстовые ответы. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Метаданные не указывают языковую специализацию модели.

Ling-3.0-tiny-GGUF — набор квантизованных файлов модели Ling-3.0-tiny, разработанной IBM и опубликованной в формате GGUF для запуска через llama.cpp. Модель предназначена для локального и периферийного развертывания, генерации текста, задач рассуждения и агентских сценариев с возможностью выбирать между быстрым ответом и режимом пошагового reasoning. Модель содержит 7,9 млрд параметров, из которых на каждый токен активируется около 1,3 млрд. Она использует гибридную архитектуру с чередованием слоёв KDA (Kimi Delta Attention) и MLA (Multi-Head Latent Attention) в соотношении 3:1, а также разреженный MoE-слой с 128 маршрутизируемыми экспертами. Заявлена поддержка эффективной обработки длинного контекста, однако конкретный максимальный размер контекста и поддерживаемые языки в README не указаны. Для файлов доступны варианты от BF16 и F16 до экстремально сжатых 1–8-битных квантований; типичный компромисс между качеством и размером — Q4_K_M. Сильные стороны модели — малое число активируемых параметров, экономичное потребление памяти, высокая скорость инференса и встроенный настраиваемый режим рассуждения. В README приведены ориентиры около 100–105 токенов в секунду на NVIDIA DGX Spark и 86–90 токенов в секунду на MacBook с M4 Pro при FP8, а также пиковое потребление около 8,34 ГБ памяти при контексте 8K. Ограничения зависят от выбранного уровня квантования: сильное сжатие снижает качество и может ухудшать связность ответов. Лицензия в предоставленном README не указана.

NVIDIA Llama 3.1 405B Instruct FP8 — версия Meta Llama 3.1 405B Instruct, квантизованная NVIDIA до FP8 с помощью TensorRT Model Optimizer. Это плотная авторегрессионная Transformer-модель семейства Llama с примерно 403,7 млрд параметров; она принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Окно контекста составляет до 131 072 токенов. Модель предназначена для диалоговых систем и генерации ответов по инструкциям, а также для инференса через TensorRT-LLM или vLLM. По данным README, FP8-квантизация весов и активаций линейных операторов в блоках трансформера уменьшает требования к диску и видеопамяти примерно вдвое; на H200 заявлено ускорение примерно в 1,7 раза. README указывает совместимость с NVIDIA Blackwell, Hopper и Lovelace. Модель построена на базе Meta-Llama-3.1-405B-Instruct и не является разработкой NVIDIA: README уточняет, что NVIDIA подготовила её под требования конкретного сценария. Лицензия — Llama 3.1; карточка заявляет готовность к коммерческому и некоммерческому использованию в рамках её условий.

Карточка модели dganochenko/llama-3-8b-chat на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

unsloth/Meta-Llama-3.1-70B-Instruct-bnb-4bit — это 4-битно квантованная версия Meta-Llama-3.1-70B-Instruct, подготовленная с использованием экосистемы Unsloth. Базовую модель разработала Meta; в карточке указано, что Unsloth предоставляет квантованный вариант и инструменты для более эффективного дообучения. Модель предназначена для генерации текста и диалоговых сценариев, включая создание виртуальных ассистентов, обработку инструкций и адаптацию под специализированные наборы данных. Модель относится к семейству Llama 3.1, содержит 70 миллиардов параметров и использует архитектуру decoder-only Transformer, характерную для этой серии. Указан основной язык English; поддержка других языков в карточке не заявлена. Формат bnb-4bit снижает требования к памяти по сравнению с полноразмерной моделью, что может упростить локальный запуск и дообучение, однако потенциально сопровождается потерей качества относительно исходной версии и требует совместимого программного и аппаратного окружения. Сведения о размере контекста, мультимодальности и точных характеристиках инференса отсутствуют. Модель распространяется по лицензии Llama 3.1. Перед использованием необходимо учитывать условия этой лицензии и требования совместимого стека, включая Transformers и поддержку 4-битной загрузки.

Карточка модели jknottllm/Meta-Llama-3-8B-Instruct-FineTuned на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

Карточка модели median-group/Meta-Llama-3-8B-logits на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B, поэтому описание составлено по ней. Meta Llama 3 8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Эта версия принимает текст и генерирует текст, в том числе код; карточка репозитория описывает предварительно обученные и настроенные варианты семейства, но не уточняет, какой именно вариант представлен в этом репозитории. Модель предназначена для генерации текста на английском языке. Предварительно обученную версию можно адаптировать для разных задач генерации естественного языка, а настроенные варианты предназначены для диалоговых сценариев. Архитектура основана на оптимизированном Transformer и использует Grouped-Query Attention; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель подходит для создания разговорных помощников, генерации и продолжения текста и кода. Результаты требуют проверки, а для приложения следует настроить дополнительные меры безопасности под конкретную аудиторию и сценарий. Лицензия — специальная коммерческая лицензия Meta Llama 3 с условиями использования и ограничениями; перед внедрением необходимо ознакомиться с её текстом и Acceptable Use Policy.

Это копия Mistral-7B-Instruct-v0.1, опубликованная sanchit-gandhi. Модель представляет собой плотный трансформер Mistral с 7,1 млрд параметров, дообученный для следования инструкциям на общедоступных диалоговых наборах данных. Веса разбиты на шарды по 5 ГБ, чтобы облегчить загрузку в средах с ограниченной оперативной памятью; по остальным характеристикам модель идентична оригиналу. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Архитектура использует Grouped-Query Attention, Sliding-Window Attention и токенизатор BPE с поддержкой байтового отката; контекст составляет до 32 768 токенов. Для формата инструкций применяются маркеры [INST] и [/INST], также доступен шаблон чата Transformers. Лицензия — Apache-2.0. В карточке отмечено отсутствие встроенных механизмов модерации, поэтому сгенерированные ответы могут не соблюдать ограничения безопасности. Уменьшенный размер шардов упрощает загрузку модели, но не уменьшает её объём параметров или вычислительные требования при генерации.

NexoNimbus-7B — объединённая модель разработчика abideen на базе Mistral с 7,1 млрд параметров. Она предназначена для генерации текста и применения в качестве языковой модели общего назначения. Модель получена слиянием abideen/DareVox-7B и udkai/Garrulus методом SLERP; в конфигурации указан контекст до 32 768 токенов, а веса опубликованы в формате safetensors. Карточка приводит результаты оценки на Open LLM Leaderboard и TruthfulQA, но они не гарантируют качество для конкретного приложения. Модель принимает текст и генерирует текст; язык карточки — английский. Репозиторий распространяется по лицензии Apache-2.0.

NVIDIA-Nemotron-3-Ultra-550B-A55B-Base-BF16 — базовая большая языковая модель, разработанная NVIDIA Corporation и выпущенная в версии v1.0 GA. Она предназначена для разработчиков и исследователей, которые создают и адаптируют LLM. Модель предварительно обучена на данных по программированию, математике, науке и общим знаниям; заявлены 550 млрд параметров всего и 55 млрд активных параметров. Архитектура Nemotron Hybrid LatentMoE сочетает слои Mamba-2, MoE и выборочные слои Attention. Слои Multi-Token Prediction помогают ускорить генерацию, в том числе посредством speculative decoding. Метаданные указывают контекст до 262 144 токенов; в README заявлена поддержка до 1 млн токенов. Модель принимает и генерирует текст и поддерживает английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, хинди, арабский, китайский и иврит согласно тегам метаданных; README отдельно называет бразильский вариант португальского и не упоминает арабский и иврит. Модель заявлена для коммерческого и некоммерческого использования, однако в метаданных лицензия обозначена как «other», поэтому конкретные условия следует проверить на странице модели. Для запуска NVIDIA рекомендует GPU-ускоренные системы; README перечисляет интеграцию с NeMo и совместимое оборудование NVIDIA. Перед внедрением требуется проверка на данных конкретного сценария. (Размер файлов BF16 и практические требования к памяти в предоставленных данных не раскрыты.)

OLMo-2-1124-7B-Instruct-GGUF — это GGUF-квантизованная версия инструкционной языковой модели OLMo-2-1124-7B-Instruct, разработанной Allen Institute и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалогового взаимодействия, включая выполнение инструкций, ответы на вопросы и решение задач в локальных приложениях на базе llama.cpp. Модель содержит около 7 миллиардов параметров, работает в текстовой модальности и ориентирована на английский язык. В репозитории доступны варианты от F16 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3 и Q2, поэтому можно выбирать между качеством, скоростью и требованиями к памяти. Для квантования использовалась imatrix-методика, а также исправленный tokenizer.json базовой модели. Точный размер контекстного окна в README не указан. Сильная сторона сборки — возможность запуска модели локально с различным объёмом памяти и совместимость с llama.cpp; варианты Q6 и Q5 заявлены как высококачественные, а Q4_K_M — как подходящий вариант по умолчанию для большинства сценариев. Более сильное квантование уменьшает требования к ресурсам, но может снижать качество ответов; низкобитные варианты имеют заметные ограничения. Отдельные сборки оптимизированы для ARM и требуют соответствующих аппаратных возможностей. Модель распространяется по лицензии Apache-2.0.

Omega AI 50B — разговорная текстовая модель семейства Omega AI, опубликованная K168-V0JL как reference repository. Это дообученная производная NVIDIA Llama-3.3-Nemotron-Super-49B-v1 с плотной архитектурой DeciLMForCausalLM; в метаданных указано 87 млрд параметров и контекст до 131 072 токенов. Модель принимает текст и генерирует текст в диалоговом режиме. Она предназначена для текстовой генерации и диалоговых сценариев. README сообщает, что репозиторий служит справочным, а брендинг Omega AI не меняет архитектуру или исходные веса базовой модели. Для исходной модели NVIDIA каталог указывает применение в англоязычных диалогах, рассуждениях, программировании, RAG и агентных приложениях; эти сведения описывают базовую модель и не подтверждены отдельно для производной Omega AI. Файлы опубликованы в формате safetensors. Условия лицензии и атрибуции исходной модели продолжают действовать; конкретная лицензия в предоставленных данных не указана.

OpenHermes-2.5-neural-chat-v3-3-Slerp-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая языковая модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и Weyaxi/OpenHermes-2.5-neural-chat-v3-3-Slerp методом SLERP. Модель содержит 7,1 млрд параметров, предназначена для генерации текста и ответов на инструкции в формате диалога. Контекст — до 32 768 токенов. Модель принимает текст и выдаёт текст; в метаданных отмечена возможность чата. Репозиторий содержит веса в формате Safetensors, а конфигурация слияния указывает тип данных bfloat16. Лицензия — Apache 2.0. Подходит для диалоговых приложений и выполнения текстовых инструкций; конкретные языки, оценка качества и ограничения в предоставленных данных не описаны.

QRWKV6-32B-Instruct-Preview-v0.1 — диалоговая языковая модель Recursal.AI, созданная преобразованием Qwen2.5-32B-Instruct в вариант архитектуры RWKV-6 без обучения с нуля. Модель имеет 32 млрд параметров; в метаданных заявлен контекст 131 072 токена, тогда как README сообщает, что обучение проводилось до 16 тыс. токенов и для стабильной работы на большей длине может потребоваться дополнительное обучение. Модель предназначена для генерации текста и диалогов, включая ответы на вопросы и интерфейс вызова инструментов. Разработчики приводят результаты ряда языковых и рассуждательных бенчмарков и описывают линейное внимание RWKV как способ снизить стоимость вывода на длинных контекстах. Наследуемые знания и языковой охват зависят от Qwen; README оценивает поддержку примерно в 30 языков. Для модели требуется отдельный код инференса. Распространяется в формате safetensors по лицензии Apache-2.0.

ibrahimkettaneh/Qwen2.5-14B-Instruct-abliterated-v2-AWQ — это квантованная в формате AWQ версия производной модели Qwen2.5-14B-Instruct-abliterated-v2. Репозиторий опубликован пользователем ibrahimkettaneh; исходная базовая модель разработана командой Qwen компании Alibaba. Производная модель создана методом abliteration, направленным на ослабление отказов отвечать на запросы, а её назначение — локальная генерация текста и диалоговое использование. Модель основана на Qwen2.5-14B-Instruct: это causal language model примерно с 14,7 млрд параметров, архитектурой Qwen2 с RoPE, SwiGLU, RMSNorm и grouped-query attention. Базовая модель поддерживает текстовые задачи, следование инструкциям, программирование, математику, структурированные данные и JSON; заявлена поддержка более 29 языков, включая русский, английский и китайский. Полное контекстное окно базовой модели составляет до 131 072 токенов, а генерация — до 8192 токенов, однако параметры контекста именно этой AWQ-сборки отдельно не документированы. Ключевое преимущество — существенно меньшие требования к памяти благодаря 4-битной AWQ-квантизации; размер опубликованных весов составляет около 10 ГБ. Ограничения включают отсутствие собственной карточки модели и подробных официальных сведений о качестве, области abliteration и фактическом поведении; ослабление защит может повысить риск небезопасных или нежелательных ответов. Для базовой Qwen2.5-14B-Instruct указана лицензия Apache 2.0, но отдельная лицензия данного производного репозитория в доступной карточке не указана.

Theros/Qwen2.5-ColdBrew-R1-test2 — объединённая автором модель на основе языковых моделей Qwen2.5. Она создана методом Model Stock с помощью mergekit; в объединение вошли Theros/Qwen2.5-ColdBrew-R1-test, Theros/Qwen2.5-CyberMix-7B и bunnycore/Qwen-2.5-7B-Deep-Stock-v4. Модель предназначена для диалогов и генерации текста, а также поддерживает интерфейс общения с инструментами. Архитектура — плотная Qwen2ForCausalLM, размер — 7,1 млрд параметров, максимальный контекст — 131 072 токена. Репозиторий содержит веса в формате safetensors и рассчитан на Transformers. Лицензия в предоставленных данных не указана.