I.2Синтез, понимание и проверка знаний
В разделе собраны самостоятельные задачи, где AI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
42 341 модельLION-LLaMA-3-8b-dpo-v1.0 — языковая чат-модель Columbia NLP на архитектуре Llama 3, дообученная методом DPO на базе Columbia-NLP/LION-LLaMA-3-8b-sft-v1.0. Модель относится к семейству LION, обученному по конвейеру SFT, DPO и онлайн-обучения на предпочтениях; в этой версии применён этап DPO. В репозитории доступны веса Safetensors, модель содержит около 7,5 млрд параметров и поддерживает контекст до 8192 токенов. Модель предназначена для диалогов и генерации текста на английском языке. В карточке авторы сообщают о высоких результатах семейства LION, однако приведённая таблица содержит данные только для версии SFT, поэтому она не подтверждает конкретные показатели этой DPO-версии. Для использования указана лицензия Llama 3 Terms of Use.
promotion/Llama-3.1-8B-TLDR-NBPO-finitepool — диалоговая языковая модель на архитектуре Llama, дообученная на базе meta-llama/Llama-3.1-8B-Instruct методом Nash Bargaining Preference Optimization (NBPO) в варианте finite-pool. Она предназначена для генерации кратких пересказов TL;DR, ориентированных на полноту охвата, точность, краткость и полезность. В карточке указаны 7,5 млрд параметров и контекст до 131 072 токенов; модель использует Transformers и формат safetensors. Обучение проводилось на пуле ответов с целями, полученными из попарных предпочтений. Качество оценивали по независимым показателям предпочтения для каждой цели на отложенных промптах, используя Llama-3.3-70B-Instruct как судью. Модель основана на Llama 3.1 8B Instruct и распространяется по лицензии Llama 3.1. README описывает эксперимент оценки на TL;DR, поэтому практические результаты за пределами этого сценария не подтверждены.
Llama-3.1-Tulu-3-405B-SFT — большая плотная языковая модель с архитектурой Llama, разработанная Allen Institute for AI (AI2) и дообученная методом supervised fine-tuning на смеси общедоступных, синтетических и созданных людьми данных. Она основана на meta-llama/Llama-3.1-405B и содержит 403,7 млрд параметров; карточка указывает контекст до 131 072 токенов и библиотеку Transformers. Модель предназначена для диалогов и следования инструкциям, а также для решения задач рассуждения и ответов на вопросы, включая математические задачи и вычисления. Основной язык — английский. Веса доступны в формате PyTorch; лицензия — Llama 3.1 Community License Agreement. Модель имеет ограниченное обучение безопасности и может выдавать проблемные ответы, особенно при соответствующих запросах; фильтрация ответов не встроена. Для развёртывания требуется значительная вычислительная память из-за размера модели.
unsloth/Llama-3.2-11B-Vision-Instruct-bnb-4bit — 4-битная версия мультимодальной инструкционно-настроенной модели Meta Llama 3.2 Vision с примерно 11 млрд параметров. Репозиторий подготовлен Unsloth и предназначен для использования с Transformers; базовая модель — meta-llama/Llama-3.2-11B-Vision-Instruct. Архитектура семейства основана на авторегрессионном оптимизированном Transformer с Grouped-Query Attention, а инструкционные версии обучались с применением supervised fine-tuning и RLHF. Модель предназначена для диалоговых сценариев и задач, требующих работы с текстом и изображениями, включая визуальное понимание и генерацию ответов по пользовательским инструкциям. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. 4-битное представление снижает требования к памяти и делает модель более подходящей для локального запуска и дообучения на ограниченных GPU-ресурсах. К сильным сторонам относятся мультимодальность, инструкционное поведение и экономичное по памяти 4-битное квантование. README не содержит точных сведений о размере контекста, формате визуального входа, бенчмарках и ограничениях качества, поэтому эти характеристики требуют проверки в исходной карточке Meta. Модель является статической и обучена на офлайн-данных. Использование регулируется Llama 3.2 Community License — специальной коммерческой лицензией Meta, а также Acceptable Use Policy.
Это дообученная модель диалогового семейства Llama 3.2 от Meta, созданная на основе meta-llama/Llama-3.2-1B-Instruct. Модель содержит 1,2 млрд параметров, использует плотную архитектуру LlamaForCausalLM и предназначена для генерации текста в формате диалога. Она принимает текстовые запросы и выдаёт текстовые ответы; заявленная длина контекста — до 131 072 токенов. Модель можно применять для диалоговых ответов, поиска сведений, суммаризации и помощи в написании текста — эти сценарии унаследованы от базовой модели. Данные дообучения и его конкретная цель в карточке не раскрыты, поэтому специализированные преимущества этой версии определить нельзя. Репозиторий использует Transformers и формат safetensors. Лицензия — Llama 3.2; применение должно соответствовать её условиям.
ThomasBaruzier/Llama-3.2-3B-Instruct-GGUF — это инструкционная языковая модель семейства Llama 3.2, представленная в формате GGUF. По идентификатору модели, она основана на версии с примерно 3 миллиардами параметров и предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях. Базовая разработка Llama 3.2 принадлежит Meta, а данный вариант опубликован пользователем ThomasBaruzier. Модель предназначена для задач текстовой генерации, ответов на вопросы, диалогов, преобразования и обобщения текста, а также других сценариев, где требуется компактная instruction-tuned LLM. В карточке заявлены языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai. Архитектура, точный размер контекста, конкретный тип квантования и поддерживаемые модальности в README не указаны; формат GGUF обычно используется для локального инференса, но параметры конкретной сборки здесь не описаны. К сильным сторонам относятся относительно небольшой размер, инструкционная настройка и многоязычная ориентация, что может упростить локальный запуск и интеграцию в приложения с ограниченными ресурсами. Ограничения включают отсутствие в предоставленных данных результатов оценивания, сведений о качестве на отдельных языках и характеристик производительности; как и другие генеративные модели, она может ошибаться и требует проверки результатов. Модель распространяется по Llama 3.2 Community License Meta с требованиями к атрибуции, маркировке продуктов, соблюдению Acceptable Use Policy и специальным условиям для организаций с более чем 700 миллионами месячных активных пользователей.
Llama-3-Patronus-Lynx-8B-Instruct-i1-GGUF — это набор квантизированных файлов модели PatronusAI Llama-3-Patronus-Lynx-8B-Instruct, подготовленный пользователем mradermacher. Модель предназначена для генерации текста и задач оценки, включая обнаружение галлюцинаций. Доступна в формате GGUF и рассчитана на использование с совместимыми локальными средствами запуска. Модель имеет около 8 миллиардов параметров и поддерживает английский язык. В репозитории представлены варианты квантизации IQ и K различных уровней, размером примерно от 2,1 до 6,7 ГБ. Они позволяют выбирать компромисс между размером файла, скоростью работы и качеством; README рекомендует вариант i1-Q4_K_M как быстрый и сбалансированный. Более сильная квантизация обычно требует больше памяти, а низкобитные варианты могут заметно снижать качество. Лицензия — CC BY-NC 4.0, поэтому использование ограничено её условиями, включая некоммерческий характер лицензии. Архитектура, максимальная длина контекста, поддерживаемые модальности помимо текста и результаты количественных оценок в README не указаны.
Llama-PLLuM-8B-base-2508 — базовая плотная языковая модель семейства PLLuM, разработанная консорциумом PLLuM и продолжающая развиваться под эгидой HIVE AI. Модель построена на архитектуре Llama и содержит 7,5 млрд параметров; для неё заявлено контекстное окно до 131 072 токенов. Репозиторий предоставляет веса в формате safetensors, лицензия — Llama 3.1. Модель предназначена для генерации текста и как основа для адаптации под прикладные задачи: суммаризацию, ответы на вопросы и специализированных ассистентов. Она ориентирована прежде всего на польский язык и также обучалась на других славянских и балтийских языках и английских данных. README описывает семейство PLLuM в целом; этот чекпойнт обозначен как base-модель, поэтому для диалогового ассистента и конкретных задач может потребоваться дообучение или подключение поиска по документам. Среди ограничений — возможные фактические ошибки и смещения, особенно в спорных темах; длинный контекст может требовать значительных вычислительных ресурсов. Данные обучения отражают источники, доступные до начала 2025 года.
LongForm-OPT-125M — языковая модель для генерации длинных текстов с инструктивной настройкой на наборе LongForm. Модель разработана авторами LongForm на базе архитектуры OPT; в репозитории указано около 151,9 млн параметров, формат весов — PyTorch и SafeTensors, а родной контекст составляет 2048 токенов. Модель предназначена для генерации текста по инструкциям, включая ответы на вопросы, написание писем, исправление грамматических ошибок, создание историй и стихов, рецептов и кратких пересказов. В описании LongForm сообщается о сравнительной оценке на генерации рецептов, длинных ответах на вопросы ELI5 и коротких рассказах; приведённые результаты относятся к семейству LongForm, а не отдельно к версии 125M. Данные обучения включают англоязычные документы из C4 и Wikipedia, примеры Stack Exchange и WikiHow, а также задания, инструкции для которых создавались с помощью LLM. Теги карточки также указывают немецкий, итальянский, испанский и французский языки, но описание обучения и задач сосредоточено на английском. Лицензия в предоставленных данных не указана.
LongForm-OPT-1.3B — языковая модель на базе OPT, дообученная авторами проекта LongForm на инструкциях для генерации длинных текстов. Модель содержит около 1,7 млрд параметров и принимает текстовые запросы; её контекст составляет 2048 токенов. В карточке заявлены английский и многоязычный режимы, включая немецкий, итальянский, испанский и французский языки. Модель предназначена для генерации длинных ответов и документов по инструкциям: например, рецептов, историй, стихотворений, писем и ответов на вопросы, а также для суммаризации и исправления грамматических ошибок. Авторы сообщают о результатах оценки на генерации рецептов, ответах на вопросы ELI5 и коротких историях, где LongForm-модели превзошли сравниваемые модели с настройкой на инструкции. Ограничения включают слабую пригодность для задач структурированного предсказания и возможность галлюцинаций. Лицензия в предоставленных данных не указана.
M7Yamshadowexperiment28_Ognoexperiment27M7 — объединённая модель на архитектуре Mistral, созданная слиянием automerger/M7Yamshadowexperiment28-7B и automerger/Ognoexperiment27M7-7B. Она содержит 7,1 млрд параметров, использует формат safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов. Лицензия Apache-2.0 разрешает использование на её условиях. Данных о специальных областях применения и ограничениях качества в карточке нет.
MBX-7B-v2 — плотная языковая модель семейства Mistral с 7,1 млрд параметров, созданная flemmingmiguel путём слияния моделей flemmingmiguel/MBX-7B и flemmingmiguel/MBX-7B-v2 методом SLERP с помощью LazyMergekit. Она предназначена для генерации текста. Модель принимает текст и выдаёт текст; заявленная длина контекста составляет 32 768 токенов. Веса доступны в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка описывает схему слияния и исходные репозитории, но не приводит конкретных результатов оценки качества или подробных рекомендаций по сценариям применения.
MaziyarPanahi/MeliodasPercival_01_Experiment26Experiment24 — объединённая модель на архитектуре Mistral с 7,1 млрд параметров, созданная слиянием automerger/MeliodasPercival_01-7B и automerger/Experiment26Experiment24-7B. Она предназначена для генерации текста и диалогов, а контекст составляет до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Данных о специализации на конкретных языках или прикладных областях в карточке нет.
MetaMath-Chupacabra-7B-v2.01-Slerp-Mistral-7B-Instruct-v0.2-slerp — текстовая диалоговая модель, созданная слиянием MetaMath-Chupacabra-7B-v2.01-Slerp и Mistral-7B-Instruct-v0.2 методом SLERP. В карточке указана архитектура Mistral с плотной причинной языковой моделью на 7,1 млрд параметров; модель предназначена для генерации текста и ответов на инструкции в формате чата. Модель принимает текст и генерирует текст. Максимальная длина контекста составляет 32 768 токенов. Карточка не сообщает о специализации на конкретном языке или предметной области. Репозиторий содержит веса Safetensors, а лицензия — Apache-2.0. Качество и поведение слияния могут зависеть от запроса; отдельные ограничения в карточке не описаны.
mHossain/ml_sum_v1 — дообученная версия модели mHossain/Albaniani_sum_v1 на неизвестном наборе данных. Это плотная модель семейства T5 с архитектурой T5ForConditionalGeneration и 123,8 млн параметров, предназначенная для генерации текста по текстовому запросу. Название модели и оценка ROUGE в карточке указывают на задачу суммаризации. Модель принимает текст и генерирует текст; заявленная длина контекста — 512 токенов. В README приведены результаты оценки: loss 2,2080, ROUGE-1 6,9869, ROUGE-2 2,6256 и ROUGE-L 6,4271; без описания набора данных и протокола оценки эти значения трудно интерпретировать. Язык модели не установлен по доступным данным. Модель распространяется по лицензии Apache-2.0.
Jackrong/MLX-Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-4bit — это языковая модель для генерации текста и задач, требующих рассуждений. Модель разработана Jackrong и представляет собой версию Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled, преобразованную в формат MLX с использованием mlx-lm 0.30.7. Модель предназначена для диалоговой генерации и reasoning-сценариев на английском и китайском языках. Она основана на архитектуре Qwen3.5 с размером 9 млрд параметров и использует 4-битное представление, что уменьшает требования к памяти по сравнению с полноразмерной версией. В метаданных также указаны обучение или настройка на наборах Jackrong/Qwen3.5-reasoning-700x и nohurry/Opus-4.6-Reasoning-3000x-filtered. К сильным сторонам относятся специализация на рассуждениях, поддержка английского и китайского языков и совместимость с экосистемой MLX через библиотеку mlx-lm. Ограничения включают неизвестную длину контекста и отсутствие сведений о мультимодальности; по назначению это текстовая модель. Использование распространяется на условиях лицензии Apache-2.0.
MotherEarth-1.14-8B — слитая языковая модель семейства Llama, созданная разработчиками MotherEarth с помощью mergekit. Веса двух предварительно обученных моделей, MotherEarth-1.13-8B и MotherEarth-Proverbs-8B, объединены методом SLERP; в карточке указана архитектура LlamaForCausalLM и размер 7,5 млрд параметров. Модель предназначена для генерации текста и диалогового общения. Контекстное окно составляет до 131 072 токенов. Репозиторий содержит веса в формате safetensors; библиотека для работы с моделью — Transformers. Данные не сообщают о специализации на конкретных языках или прикладных областях. Лицензия в предоставленных данных не указана. Характеристики качества, конкретная языковая поддержка и ограничения применения не описаны.
EverMind AI представила MSA-4B — языковую модель на базе Qwen3-4B-Instruct-2507 с архитектурой Memory Sparse Attention (MSA), предназначенную для ответов на вопросы по очень большим массивам документов. В модели 3,7 млрд параметров по метаданным; README указывает 4,0 млрд. Архитектура использует разреженное внимание, позиционные кодировки RoPE на уровне документов и чередование памяти для многопереходных рассуждений. По заявлению разработчика, эти механизмы снижают вычислительную сложность и позволяют работать с памятью до 100 млн токенов; метаданные указывают нативный контекст 262 144 токена. Модель проверялась на задачах одношагового и многошагового вопросно-ответного поиска, а также на тестах длинного контекста. MSA-4B подходит для поиска ответов в больших коллекциях документов, включая сценарии, где сведения распределены по нескольким фрагментам. README сообщает о сравнении с RAG-системами на девяти наборах данных и о сильных результатах на большинстве сравнений с моделями той же размерности; это результаты, заявленные авторами. Модель текстовая, карточка ориентирована на английский язык, а среди тестов указан DuReader. Основа — Qwen3-4B-Instruct-2507, лицензия MIT. Для запуска README отсылает к отдельному коду GitHub и не содержит завершённых инструкций установки.
Moritz Laurer дообучил мультиязычную модель multilingual-MiniLMv2-L12 на MNLI и XNLI для вывода о логической связи между посылкой и гипотезой и классификации текста без заранее заданного набора классов. Она основана на 12-слойной архитектуре XLM-RoBERTa и содержит 124,3 млн параметров; базовую multilingual-MiniLM-L12 разработала Microsoft, дистиллировав её из XLM-RoBERTa-large. Модель принимает текст, а для классификации — также список меток-кандидатов, и выдаёт оценки классов или категорий NLI. Модель предназначена для мультиязычной классификации текста и NLI на более чем 100 языках. В карточке приведены результаты XNLI для 15 языков, включая русский: средняя точность указанной реализации — 0,75. Дистилляция делает её быстрее и менее требовательной к памяти, чем XLM-RoBERTa-large, но качество ниже, чем у более крупной модели. Контекст — до 514 токенов. Лицензия MIT.
NbAiLab/nb-notram-llama-3.1-8b-instruct — языковая модель Национальной библиотеки Норвегии (NB-AiLab), дообученная на базе Meta Llama 3.1 8B Instruct. Это плотная авторегрессионная модель для генерации текста с диалоговым интерфейсом и интерфейсом вызова инструментов. Размер составляет около 7,5 млрд параметров, длина контекста — 131 072 токена. Модель дообучена следовать инструкциям и вести диалог на норвежском букмоле и нюнорске, сохраняя сильные возможности английского языка. Она предназначена для ассистентов и диалоговых систем, а также для суммаризации и ответов на вопросы. Настройка включает supervised fine-tuning и небольшой этап оптимизации предпочтений; ответы обычно краткие. Обучение использовало публично доступные и синтетически созданные данные. Модель может выдавать фактические ошибки и вымышленные сведения; знания о норвежской культуре и истории могут быть неравномерными и зависеть от формулировки запроса. Данные актуальны ориентировочно до мая 2024 года, а защитное выравнивание ограничено. Для применения вне экспериментов рекомендуется оценивать модель в целевом сценарии; без дополнительных мер контроля её не следует использовать в высокорисковых медицинских, юридических или финансовых задачах. Лицензия — Llama 3.1 Community License.
JANGQ-AI публикует Nemotron-Cascade-2-30B-A3B-JANG_2L — квантованный вариант NVIDIA Nemotron-Cascade-2-30B-A3B, подготовленный проектом JANG для запуска через MLX на Apple Silicon. Это языковая модель для диалогов, пошаговых рассуждений и задач с вызовом инструментов. В основе — гибридная архитектура Nemotron-H: Mamba-2, MoE и слои внимания; README указывает 52 слоя, включая 6 слоёв внимания. Метаданные сообщают о 1,9 млрд параметров и контексте до 262 144 токенов. README заявляет размер файлов 10,3 ГБ, скорость генерации до 130 токенов в секунду и результат 88% на тесте MMLU из 200 вопросов в режиме рассуждений. Модель ориентирована на Mac с Apple Silicon и унифицированной памятью от 16 ГБ; для загрузки автор рекомендует MLX Studio или пакет JANG для MLX. Эти показатели приведены в карточке модели и зависят от оборудования и методики измерения. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории. README называет представление JANG квантованием 2,3 бита с 8-битным вниманием, хотя метаданные перечисляют формат safetensors.
NeuralBeagle14-7B — языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная Mlabonne. Это DPO-дообучение модели mlabonne/Beagle14-7B на наборе предпочтений argilla/distilabel-intel-orca-dpo-pairs; исходная Beagle14-7B объединяет несколько моделей семейства Beagle. Модель предназначена для генерации текста в диалоговом формате, следования инструкциям и ответов на запросы общего характера. Модель подходит для задач рассуждения, ролевого общения и написания историй. В README указано контекстное окно 8 тыс. токенов, а метаданные каталога указывают нативный контекст 32 768 токенов. Поддерживаются шаблоны chatml и формат чата Llama. Модель работает с текстом и выдаёт текст; сведения о конкретных естественных языках не приведены. Модель распространяется в формате Safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. В README приводятся высокие результаты сравнительных оценок для категории моделей около 7 млрд параметров, но автор отмечает возможное влияние неудачного запуска и чрезмерного использования обучающего набора предпочтений; результаты бенчмарков сами по себе не гарантируют качество на конкретных задачах.
NeuralsirkrishnaShadow_Experiment27Shadow — объединённая модель Mistral для генерации текста, созданная из automerger/NeuralsirkrishnaShadow-7B и automerger/Experiment27Shadow-7B. Она предназначена для сценариев, где нужно продолжать текст или получать ответы в текстовом формате. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате safetensors. Данных о специализации по языкам или прикладным областям в карточке нет. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или подробных сведений о поведении, поэтому пригодность для конкретных задач следует проверять отдельно.
Severian/Nexus-IKM-Hermes-2-Pro-Mistral-7B — диалоговая языковая модель семейства Mistral, разработанная Severian и дообученная в течение двух эпох с помощью Unsloth на наборе данных Internal Knowledge Map. Модель предназначена для генерации текста в чате и ответов с опорой на знания, представленные в этом наборе данных. Она содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель использует плотную архитектуру MistralForCausalLM, веса опубликованы в формате safetensors. Лицензия — MIT. Карточка не сообщает о специализированной предметной области или языках обучения, поэтому их нельзя достоверно указать.
cross-encoder/nli-deberta-base — англоязычный кросс-энкодер на базе DeBERTa от Microsoft, дообученный командой Sentence Transformers для распознавания логических отношений между парами предложений. Модель содержит 151,8 млн параметров, использует архитектуру DeBERTa для классификации последовательностей и принимает пары текстов с контекстом до 512 токенов. Для каждой пары модель оценивает три класса: противоречие, следование и нейтральное отношение. Эти оценки можно использовать для классификации без примеров с заранее заданными метками, а также для оценки сходства предложений и задач текстовой классификации. Модель доступна в форматах PyTorch, ONNX и Safetensors; в README приведён способ запуска через библиотеку Sentence Transformers. Модель обучена на SNLI и MultiNLI и ориентирована на английский язык. Качество зависит от соответствия входных данных этим задачам и доменам; README не приводит численных результатов оценки. Лицензия — Apache-2.0.
NorskGPT-Mistral-7b — дообученная на норвежских инструкционных парах языковая модель bineric на базе Mistral-7B-v0.1. Она предназначена для генерации текста и работы в роли чат-ассистента на норвежском языке; лучше всего подходит для суммаризации, ответов на вопросы и диалога. Модель имеет плотную архитектуру MistralForCausalLM, около 7,1 млрд параметров и контекст до 32 768 токенов. По заявлению авторов, на февраль 2024 года модель занимала второе место среди моделей для генерации текста на материковых скандинавских языках и была одной из лучших моделей для норвежского после GPT-3.5. Для оптимального результата может потребоваться настройка промптов. Это языковая модель, а не источник фактов: она не гарантирует специальных знаний о Норвегии или высокой точности в узких областях. Базовая модель не имеет встроенной цензуры, поэтому модель может выдавать вредоносный или оскорбительный контент. Веса доступны в форматах PyTorch и safetensors по лицензии CC BY-NC-SA 4.0, допускающей некоммерческое использование на условиях лицензии.
NousResearch_Hermes-4-70B-GGUF — это набор квантизированных версий языковой модели Hermes-4-70B, разработанной NousResearch. Квантизацию выполнил bartowski с использованием llama.cpp версии b6258 и метода imatrix. Модель предназначена для генерации текста и локального запуска через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В набор входят варианты в формате GGUF с разными уровнями квантизации: от Q8_0 размером около 75 ГБ до IQ2_S размером около 22 ГБ. Более крупные варианты обеспечивают более высокое качество, тогда как компактные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для большинства сценариев рекомендуются Q4_K_M, Q5_K_M, Q5_K_S и Q6_K; Q3 и Q2-варианты предназначены для систем с ограниченными ресурсами и имеют более низкое качество. README не содержит сведений об архитектуре, поддерживаемых языках, размере контекста, мультимодальности, точных задачах исходной модели или лицензии. Формат prompt также не указан, поэтому его следует уточнять на странице оригинальной модели NousResearch/Hermes-4-70B.
Это GGUF-квантизированная версия языковой модели Llama-3_3-Nemotron-Super-49B-v1_5, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться через llama.cpp, LM Studio и другие проекты на его основе. Модель относится к классу крупных текстовых моделей примерно на 49 млрд параметров. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. В README рекомендуются, в частности, варианты Q4_K_M, Q5, Q6 и IQ4_XS; размеры файлов составляют примерно от 26,87 до 99,74 ГБ. Для работы используется специальный prompt format семейства Llama 3. Сильной стороной являются высокое качество старших вариантов квантизации и возможность локального запуска в совместимых инструментах. Ограничения связаны с большим размером модели и высокими требованиями к памяти, особенно для BF16 и качественных вариантов. В предоставленных данных не указаны поддерживаемые языки, размер контекстного окна, мультимодальные возможности и лицензия исходной модели.
Nemotron-Cascade-8B-GGUF — это квантованная версия языковой модели Nemotron-Cascade-8B, разработанной NVIDIA и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста, рассуждений и задач общего назначения; в карточке указаны сценарии локального запуска через LM Studio, llama.cpp и совместимые проекты. Заявленный язык — английский. Модель содержит 8 миллиардов параметров. Доступны варианты с точностью от BF16 до Q2 и различными форматами квантования, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M и IQ4_XS. Размер файлов составляет примерно от 3,9 до 16,4 ГБ. Квантование выполнено с использованием imatrix на базе llama.cpp; для работы рекомендуется применять шаблон диалога с поддержкой маркера /think. Сильной стороной является выбор вариантов между качеством и требованиями к памяти, включая варианты, рекомендованные автором как близкие к исходному качеству. Сведения о размере контекста, архитектуре, дополнительных модальностях и результатах бенчмарков в README не приведены. Модель распространяется по лицензии NVIDIA Open Model License; в карточке указана лицензия other и приведена ссылка на её текст. Условия лицензии следует учитывать отдельно перед использованием и распространением.
o1-pro — модель из серии o1 от OpenAI, обученной с применением обучения с подкреплением для решения задач, требующих рассуждений перед ответом. Вариант o1-pro использует больше вычислительных ресурсов для более глубокого обдумывания ответа. Модель предназначена для сложных задач рассуждения и подготовки ответов на запросы пользователя. Доступный фрагмент карточки не описывает архитектуру, размер, поддерживаемые языки и длину контекста, поэтому эти характеристики не приводятся. Лицензия в предоставленных данных не указана.