I.3Извлечение и структурирование данных

Llama 4 Maverick Instruct — мультимодальная модель Meta для диалогов и задач понимания изображений. Это авторегрессионная модель с архитектурой смеси экспертов (MoE) и ранним объединением модальностей; в варианте Maverick используются 17 млрд параметров и 128 экспертов. Модель предназначена для чат-ассистентов и визуальных задач: распознавания и анализа изображений, составления описаний и ответов на вопросы по изображению. Она поддерживает арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский языки. Проверено понимание до пяти входных изображений; для большего числа изображений требуется дополнительная проверка в конкретном приложении. Модель разработала Meta. Репозиторий содержит дообученную версию базовой Llama 4 Maverick, распространяемую в формате Safetensors. Использование регулируется пользовательской коммерческой лицензией Llama 4 Community License и Acceptable Use Policy.

Gunulhona/Llama-Merge-Small — объединённая диалоговая языковая модель, созданная с помощью mergekit методом SLERP из KISTI-KONI/KONI-Llama3-8B-Instruct-20240729 и meta-llama/Meta-Llama-3.1-8B-Instruct. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM и 7,5 млрд параметров; веса представлены в формате safetensors. Указанная длина контекста — 131 072 токена. Модель предназначена для генерации текста в диалогах и ответов на запросы; метаданные также отмечают интерфейс для вызова инструментов. Базовая модель KISTI описана как корейская диалоговая модель для ответов на вопросы и помощи с научно-технической информацией, однако README не приводит отдельной оценки возможностей или языкового охвата именно этого объединения. Лицензия в предоставленных данных не указана.

LLaMA-MoE-v2-3.8B (2/8) SFT — чат-модель семейства LLaMA-MoE-v2, разработанная командой llama-moe. Она создана на основе LLaMA 3: полносвязные слои FFN или слои внимания разделены на разреженные эксперты, а маршрутизатор выбирает два из восьми экспертов. Затем модель прошла supervised fine-tuning в два этапа на открытых данных. Модель предназначена для генерации текста и диалогов на английском языке. В репозитории указано 3,8 млрд активируемых параметров, а метаданные каталога сообщают о 2,6 млрд параметров; контекст составляет до 8192 токенов. Доступны веса в формате safetensors. Лицензия — Apache-2.0, допускающая коммерческое использование при соблюдении её условий. Модель можно применять для диалоговых помощников, ответов на вопросы, следования инструкциям и решения общих текстовых задач. Представленные в карточке бенчмарки охватывают знания, математику, программирование и понимание текста, но не дают оценки именно этой SFT-версии. Карточка не приводит конкретных ограничений или результатов её качества.

Deepcodr/llama_sample_chat2 — диалоговая модель генерации текста, разработанная Deepcodr путём дообучения NousResearch/Meta-Llama-3.1-8B-Instruct. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM и 7,5 млрд параметров; для обучения использовались Unsloth и библиотека TRL. Модель предназначена для чата и генерации ответов на текстовые запросы. Контекстное окно составляет 131 072 токена; в карточке отмечена поддержка английского языка. Модель распространяется под лицензией Apache-2.0. Карточка не описывает специализированную предметную область или отдельные ограничения качества; ожидаемые возможности в целом связаны с базовой инструктивной моделью Llama 3.1 8B.

Карточка модели mergekit-community/llama-world на Hugging Face совпадает с карточкой fradinho/world-llama2, поэтому описание составлено по ней. fradinho/world-llama2 — объединённая диалоговая языковая модель на архитектуре Llama с 6,6 млрд параметров. Она создана методом task arithmetic с помощью mergekit из LargeWorldModel/LWM-Text-Chat-1M и NousResearch/Llama-2-7b-chat-hf; веса сохранены в формате safetensors, исходная точность — bfloat16. Модель предназначена для генерации текста и ведения диалогов. Заявленная длина контекста составляет 1 048 576 токенов, что позволяет обрабатывать длинные текстовые запросы и документы. В карточке базовая диалоговая модель описана как англоязычная; отдельные языковые возможности итогового объединения не уточняются. Модель распространяется по лицензии MIT. Карточка не приводит сравнительных оценок качества или специальных мер безопасности; результаты на длинном контексте и в других языках могут зависеть от сценария применения.

llm-jp/llm-jp-3.1-1.8b-instruct4 — языковая модель, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это версия серии LLM-jp-3.1 с улучшенным следованием инструкциям благодаря дополнительному обучению на парах инструкций и ответов, а также последующей настройке с учителем и Direct Preference Optimization. Модель построена на плотной архитектуре LlamaForCausalLM и содержит около 1,7 млрд параметров. Она принимает текст и генерирует текст, поддерживает японский и английский языки, а контекст составляет 4096 токенов. Подходит для диалога и выполнения текстовых инструкций; опубликована в формате Safetensors для Transformers. Разработчики отмечают, что модель находится на раннем этапе исследований и разработок и не была специально настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

Luxe_4B — плотная языковая модель семейства Llama от FourOhFour, созданная при участии участников Anthracite. Это производная модели Minitron: она прошла восстановительное дообучение и настройку для следования инструкциям на 70 млн качественных токенов. Модель предназначена для работы в роли универсального помощника и для ролевых диалогов. Модель содержит 3,9 млрд параметров, поддерживает контекст до 131 072 токенов и распространяется в формате Safetensors для Transformers. В README указано, что обучение проходило с контекстом 8 тыс. токенов; целевой контекст из метаданных больше. В карточке заявлен английский язык. Лицензия — Apache-2.0.

M7Multiverseex26-7B — плотная языковая модель семейства Mistral с 7,1 млрд параметров, созданная Maxime Labonne автоматическим слиянием моделей через mergekit. В конфигурации указаны liminerity/M7-7b и allknowingroger/MultiverseEx26-7B-slerp; применён метод dare_ties, а результат сохранён в формате safetensors с точностью bfloat16. Модель предназначена для генерации текста и может использоваться в диалоговых приложениях и для создания текстовых ответов. Максимальная длина контекста — 32 768 токенов. Репозиторий распространяется по лицензии Apache-2.0.

magnum-v4-9b-GGUF — набор GGUF-квантизаций языковой модели magnum-v4-9b, разработанной anthracite-org и квантизированной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и чат-сценариев, а запускать её можно, в частности, через LM Studio. Указан английский язык и формат prompt с ролями system, user и assistant. В набор входят варианты от F16 до низкобитных Q2 и IQ2/IQ3-квантизаций с размерами файлов примерно от 3,43 до 18,49 ГБ. Более высокие разрядности обеспечивают лучшее сохранение качества, но требуют больше памяти; для некоторых вариантов заявлены оптимизации под ARM, включая требования к поддержке sve или i8mm. Сильная сторона набора — широкий выбор компромиссов между качеством и потреблением памяти, при этом Q5–Q6 и некоторые Q4-варианты отмечены как рекомендуемые. Ограничения включают снижение качества у низкобитных вариантов и отсутствие данных о размере контекста, архитектуре исходной модели, мультимодальности и дополнительных языках. Лицензия указана как gemma.

MamayLM-Gemma-3-12B-IT-v1.0 — мультимодальная инструктивная модель INSAIT, института Софийского университета Св. Климента Охридского. Она создана на базе Gemma 3 12B: модель непрерывно предварительно обучали на данных с акцентом на украинский язык и культуру, применяя смешивание данных и объединение моделей, а затем дообучили на инструкциях. Архитектура — плотный декодерный трансформер Gemma 3 с 12 млрд параметров; модель принимает текст и изображения и отвечает текстом. Модель предназначена для диалогов, выполнения инструкций, рассуждений, ответов на вопросы и понимания изображений. Её основная специализация — украинский язык, при этом README сообщает о сохранении высоких способностей исходной Gemma 3 на английском. В карточке приведены результаты текстовых и визуальных оценок, включая украинские тесты ZNO и ZNO-Vision, но конкретные значения этих результатов здесь не указаны. Модель доступна на условиях Gemma Terms of Use. Она использует библиотеку Transformers и формат весов safetensors; в README также упоминается отдельная версия в формате GGUF. Длина контекста в предоставленных данных не указана.

MaziyarPanahi/MeliodasPercival_01_Inex16Calme — объединённая модель на архитектуре Mistral, созданная слиянием automerger/MeliodasPercival_01-7B и automerger/Inex16Calme-7B. Она содержит 7,1 млрд параметров и предназначена для генерации текста и диалогов; поддерживает контекст длиной до 32 768 токенов. Модель принимает текст и выдаёт текст. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Карточка не приводит сведений о специализированной области применения или подтверждённых ограничениях качества.

MeliodasPercival_01_ShadowCalme — объединённая текстовая модель на архитектуре Mistral, созданная путём слияния automerger/MeliodasPercival_01-7B и automerger/ShadowCalme-7B. Она предназначена для генерации текста и диалогов в сценариях, где требуется обработка запросов с длинным контекстом. Модель содержит 7,1 млрд параметров, использует формат safetensors и поддерживает контекст до 32 768 токенов. Метаданные указывают задачу text-generation; сведения о поддерживаемых языках и специализированных предметных областях отсутствуют. Модель распространяется по лицензии Apache-2.0.

MiniMax-M2-MLX-4bit — 4-битно квантованная версия языковой модели MiniMax-M2, разработанной MiniMaxAI. Квантование выполнено командой LM Studio с использованием mlx_lm и формата MLX; модель оптимизирована для запуска на устройствах Apple Silicon. Она предназначена для генерации текста и локального использования через LM Studio. Модель подходит для сценариев, требующих локального текстового вывода при сниженных требованиях к памяти по сравнению с полной версией модели. README не содержит сведений о точном размере модели, поддерживаемых языках, максимальной длине контекста, архитектуре или дополнительных модальностях, поэтому эти характеристики нельзя достоверно указать. Квантование в 4 бита может уменьшать потребление ресурсов, но потенциально снижать точность по сравнению с исходной моделью. Модель распространяется по лицензии MIT.

Карточка модели princeton-nlp/Mistral-7B-Instruct-CPO на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.

Карточка модели princeton-nlp/Mistral-7B-Instruct-RRHF на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.

unsloth/mistral-7b-instruct-v0.2 — разговорная инструктивная модель семейства Mistral, представленная Unsloth. Это плотная причинная языковая модель MistralForCausalLM с 7,1 млрд параметров; она предназначена для генерации текста, диалогов и выполнения инструкций. Метаданные указывают поддержку контекста до 32 768 токенов и английский язык. Модель подходит для чат-ботов и текстовых приложений, которым нужна генерация ответов по запросу. Карточка Unsloth описывает ноутбуки для дообучения Mistral 7B, в том числе разговорный вариант с шаблонами ShareGPT ChatML и Vicuna; однако она не подтверждает, что именно этот репозиторий содержит результат такого дообучения. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0. Показатели ускорения и экономии памяти в README относятся к процессу дообучения в ноутбуках, а не к скорости или качеству вывода этой модели.

Это квантизированная в формате GGUF версия instruct-модели Ministral-3-3B-Instruct-2512 от Mistral AI, подготовленная DevQuasar для запуска в совместимом локальном ПО. Модель предназначена для диалогов, выполнения инструкций и генерации текста; базовая модель также поддерживает анализ изображений. Компактный размер семейства рассчитан на локальные и периферийные устройства. В репозитории представлены варианты GGUF BF16 и F16. Лицензия в предоставленных данных не указана; перед использованием проверьте условия лицензии базовой модели Mistral AI. Доступная карточка не описывает конкретные ограничения качества или производительности.

Это 8-битная квантизированная версия Mistral-Nemo-Instruct-2407, опубликованная пользователем noneUsername. Она предназначена для генерации текста и диалогового использования; метаданные указывают на плотную архитектуру MistralForCausalLM, а карточка сообщает о калибровке методом vLLM с 2048 образцами, максимальной длиной последовательности 8192 токена и smoothing_strength 0,8. В метаданных модели указаны 12,1 млрд параметров и контекст до 1 024 000 токенов. Автор приводит результаты ограниченных оценок GSM8K и HellaSwag: на GSM8K квантизированная версия показала немного более низкий результат, чем исходная модель, а на HellaSwag приведена оценка accuracy 0,58 и нормализованная accuracy 0,7533. Автор отмечает, что это первая версия квантизации и рекомендует более позднюю версию с улучшением. Модель может применяться для диалогов, генерации ответов и решения текстовых задач; предусмотрен интерфейс вызова инструментов. Лицензия в предоставленных данных не указана.

Это пакет GGUF-слоёв модели Mistral-Small-3.2-24B-Instruct-2506-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого инференса. Пакет создан из unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF и сохраняет веса в виде отдельных артефактов по слоям для запуска на кластере Mesh LLM. Модель предназначена для локального диалогового инференса, в том числе на нескольких машинах, когда полный GGUF-файл трудно разместить на одном узле. Через Mesh LLM она поддерживает чат и совместимый с OpenAI интерфейс chat completions. Репозиторий содержит вариант UD-Q4_K_XL в формате GGUF layer-package; сведения об архитектуре, контекстном окне, языках и лицензии следует сверять с карточкой исходной модели.

QuixiAI/mixtral-instruct-0.1-laser — версия Mixtral-8x7B-Instruct, обработанная методом LaserRMT. В основе лежит разреженная архитектура Mixture of Experts семейства Mixtral; модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. В карточке указано, что эта версия создана с помощью MPS-бэкенда LaserRMT. Модель принимает текстовые инструкции в формате [INST] ... [/INST] и выдаёт текстовые ответы. Контекст составляет 32 768 токенов; карточка перечисляет английский, французский, итальянский, немецкий и испанский языки. Файлы в формате Safetensors предназначены для запуска через vLLM или Transformers с учётом оговорок карточки об HF-совместимости. README описывает модель как демонстрацию дообучения базовой модели и отмечает отсутствие механизмов модерации. Для использования указана лицензия Apache-2.0.

Это GGUF-квантизированная версия текстовой генеративной модели Qwen3-4B-abliterated, разработанной mlabonne и подготовленной пользователем bartowski. Квантизация выполнена с использованием llama.cpp версии b5200 и метода imatrix, что позволяет запускать модель в локальных приложениях на базе llama.cpp, включая LM Studio. Модель предназначена для генерации текста в диалоговом формате с использованием шаблона prompt формата ChatML. Доступны варианты от BF16 до различных уровней квантизации, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M и более компактные форматы. Размер файлов составляет примерно от 1,8 до 8,05 ГБ; варианты с более высокой точностью обеспечивают лучшее качество, а варианты с низкой разрядностью требуют меньше оперативной памяти. Рекомендуемым компромиссом для большинства сценариев указан Q4_K_M, а для максимального качества — Q6_K или Q6_K_L. В README не указаны архитектурные детали исходной модели, поддерживаемые языки, размер контекста, мультимодальные возможности и лицензия. Поэтому модель следует рассматривать как локальную текстовую LLM для совместимых инструментов llama.cpp, с ограничениями, зависящими от выбранного варианта квантизации и доступной памяти.

nreimers/mmarco-mMiniLMv2-L6-H384-v1 — мультиязычная модель перекрёстного ранжирования текстовых пар, опубликованная под именем nreimers. Она оценивает релевантность пары «запрос — документ» и предназначена для поиска информации и семантического поиска, в том числе в многоязычных сценариях. Модель построена на архитектуре XLM-RoBERTa и содержит около 110,2 млн параметров; максимальная длина контекста по метаданным — 514 токенов. Карточка Hugging Face помечает её как text-classification, а поиск по карточке родственной версии семейства подтверждает применение mmarco-mMiniLMv2 для многоязычного поиска и ранжирования. Лицензионные условия в доступных данных не подтверждены.

model_101 — языковая модель Pankaj Mathur на архитектуре Llama 2, предназначенная для генерации текста по инструкциям и ответов в гибридном стиле explain + instruct. Карточка описывает её как Llama 2 70B; метаданные указывают 68,7 млрд параметров, контекст до 4096 токенов и форматы PyTorch и safetensors. Для диалога поддерживаются шаблоны Orca и Alpaca. Модель обучалась на наборах Open-Platypus, Alpaca, WizardLM, Dolly-V2, Dolphin Samples, Orca Mini и их вариантах Orca. Среди подходящих сценариев — ответы на вопросы, объяснение тем и выполнение текстовых инструкций. В карточке приведены результаты оценки на задачах ARC и HellaSwag. Модель может выдавать неточные или вводящие в заблуждение ответы, а также предвзятый, неподходящий или оскорбительный текст; важные сведения следует перепроверять. Для запуска в 4-битном режиме автор указывает потребность примерно в 45 ГБ видеопамяти. Лицензия — Llama 2.

ms-marco-MiniLM-L-6-v2 GGUF — это конвертированная и квантизованная версия модели cross-encoder/ms-marco-MiniLM-L-6-v2, опубликованная пользователем cstr для запуска через лёгкий движок инференса CrispEmbed на базе ggml. Модель предназначена для ранжирования текстовых пар и повышения качества поиска, в частности для reranking в системах RAG и сценариях, требующих работы в реальном времени. Указан английский язык. Модель построена на архитектуре BERT, содержит около 22 млн параметров, 6 слоёв, размерность представления 384, использует CLS-pooling и токенизатор WordPiece. Доступны варианты GGUF с представлением Q4_K размером 18 МБ, Q8_0 размером 24 МБ и F32 размером 87 МБ. Конвертация не изменяла архитектуру, словарь или заявленные возможности исходной модели; для преобразованных файлов заявлена битовая эквивалентность с реализацией Hugging Face с cosine similarity не менее 0,999 на тестовых текстах. Сильные стороны модели — небольшой размер, высокая скорость и возможность инференса без Python и ONNX через CrispEmbed, включая серверный режим. Ограничения включают специализацию на английских текстах и назначение для reranking, а не для генерации текста. В README также указано, что следует предпочитать исправленные файлы с суффиксом -g7c, поскольку исходные файлы имели некорректно преобразованную scoring head и могли давать неправильно калиброванные оценки и изменять порядок результатов. Модель распространяется по лицензии Apache-2.0 на тех же условиях, что и исходная модель.

Munin-NeuralBeagle-Flashback-Bellman — языковая модель для генерации текста, созданная объединением моделей с помощью LazyMergekit. Карточка описывает смешивание RJuro/munin-neuralbeagle-7b и birgermoell/Flashback-Bellman методом dare_ties; метаданные указывают базовую Mistral-архитектуру и 7,1 млрд параметров. Модель предназначена для генерации текста по текстовому запросу. Заявленная длина контекста составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors с типом bfloat16. Лицензия и конкретные поддерживаемые языки в предоставленных источниках не обозначены.

mlx-community/mxbai-rerank-large-v2 — версия модели mixedbread-ai/mxbai-rerank-large-v2, преобразованная сообществом mlx-community в формат MLX для запуска на устройствах Apple Silicon. Это плотная авторегрессионная модель Qwen2 с 1,5 млрд параметров и контекстом до 32 768 токенов; базовая модель предназначена для переоценки и сортировки результатов поиска по релевантности запросу. Карточка указывает библиотеку MLX и формат safetensors, а также лицензию Apache-2.0. Модель подходит для включения в конвейеры поиска и RAG, где нужно пересортировать найденные документы или фрагменты по соответствию запросу. Метаданные Hugging Face помечают её задачей text-generation и разговорной моделью, хотя базовая модель предназначена для ранжирования; README описывает конвертацию весов, но не содержит подробностей о вызове реранкера или оценках качества. Языковые теги и карточка базовой модели указывают на многоязычность, но русский язык среди перечисленных языков карточки не указан.

Nanbeige4.2-3Bcmf — это квантизированная версия Nanbeige/Nanbeige4.2-3B, разработанная Nanbeige LLM Lab и преобразованная в формат CMF проектом infosave2007. Модель предназначена для генерации текста и задач, требующих рассуждений: она сначала формирует внутренний ход рассуждений, а затем выдаёт ответ. Формат CMF хранит модель в одном файле объёмом около 2,4 ГБ и позволяет запускать её через чистый Rust-runtime без Python. Архитектура модели — Looped Transformer: 22 физических слоя применяются дважды, что соответствует 44 виртуальным слоям, с повторной нормализацией на границах циклов. Используется квантизация q4t; с учётом большой vocabulary и untied embeddings файл содержит около 4,17 млрд параметров, несмотря на обозначение 3B. Модель работает с текстом; поддерживаемые языки и максимальная длина контекста в README не указаны. Доступны CPU- и GPU-сценарии, включая Apple Metal, Vulkan и DX12, а также OpenAI-compatible API через cortiq serve. Сильные стороны модели — компактное хранение, автономный запуск на компьютерах и мобильных устройствах, потоковая генерация и сохранение поведения исходной модели после конвертации. Ограничения связаны с вычислительной стоимостью looped-архитектуры: производительность зависит от пропускной способности памяти, а для reasoning-сценариев требуется выделять несколько сотен токенов на генерацию. Указанные результаты производительности относятся к конкретному оборудованию и runtime cortiq версии не ниже 0.5.35, поэтому не гарантируют аналогичные показатели в других условиях. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели. Права на веса принадлежат Nanbeige LLM Lab; репозиторий infosave2007 изменяет формат хранения и исполнения.

Nemotron-SEA-LION-v4.8-30B-A3B — инструктивная языковая модель, разработанная AI Products Pillar организации AI Singapore при финансировании National Research Foundation Singapore. Она дообучена на основе aisingapore/Nemotron-SEA-LION-v4.8-30B-A3B-Base с помощью SFT и онлайн-дистилляции по собственным ответам модели. Архитектура — гибрид Mamba2 и Transformer с Mixture of Experts; модель рассчитана на контекст до 262 144 токенов. Модель предназначена для генерации текста, диалога и выполнения инструкций на английском и языках Юго-Восточной Азии: бирманском, вьетнамском, индонезийском, тагальском, малайском, тамильском и тайском. Среди оценённых сценариев — ответы на вопросы, анализ тональности, перевод, суммаризация, причинно-следственные рассуждения, распознавание токсичности и многоходовый чат. Модель распространяется по лицензии MIT. Качество и надёжность ответов могут быть непоследовательными: модель способна галлюцинировать и выдавать не относящийся к запросу текст. Устойчивость к состязательным запросам не проверялась, а безопасность не была специально выровнена; для прикладного использования могут потребоваться отдельная настройка безопасности и проверка результатов.

NeuralHermes-2.5-Mistral-7B-GGUF — это квантованная версия языковой модели NeuralHermes-2.5-Mistral-7B, разработанной mlabonne и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель основана на Mistral-7B и предназначена для генерации текста и диалогового использования в инструкционном режиме с применением шаблона ChatML. Модель подходит для локального запуска через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. В репозитории доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью работы и качеством генерации. Заявлена поддержка преимущественно английского языка; сведения о размере контекста и других модальностях отсутствуют, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся локальный запуск, широкий выбор уровней квантования и совместимость с распространёнными инструментами инференса. К ограничениям относятся возможная потеря качества при низкой разрядности квантования, зависимость производительности от выбранного файла и оборудования, а также отсутствие в предоставленных данных подробных оценок качества, безопасностных характеристик и размера контекста. Модель распространяется по лицензии Apache-2.0.

NVIDIA-Nemotron-3-Nano-4B-GGUF — небольшая языковая модель, разработанная NVIDIA Corporation. Это квантизированная версия NVIDIA-Nemotron-3-Nano-4B-BF16 в формате Q4_K_M, предназначенная для коммерческого использования и работы на периферийных устройствах. Модель обучена с нуля и рассчитана на единое выполнение задач с рассуждением и без него: она может сначала формировать трассу рассуждений, а затем итоговый ответ, причём режим рассуждений управляется системным промптом. Архитектура гибридная: преимущественно слои Mamba-2 и MLP, дополненные четырьмя слоями Attention. Модель сжата из NVIDIA-Nemotron-Nano-9B-v2 с использованием фреймворка Nemotron Elastic. Поддерживается английский язык и языки программирования; в README также указано улучшение с использованием Qwen. Заявлено окно контекста 128k, подтверждённое оценкой RULER. Данные предобучения актуальны по сентябрь 2024 года. Модель ориентирована на Agentic AI в edge-средах, включая Jetson Thor, GeForce RTX и DGX Spark. Основные сценарии — игровые NPC, локальные голосовые ассистенты для устройств, приложений и игр, а также автоматизация IoT. Сильными сторонами являются компактность, пригодность для периферийного развертывания, поддержка рассуждений и сочетание эффективности гибридной архитектуры с большим контекстом. При отключении трасс рассуждений ответы могут быть быстрее и компактнее, но для сложных запросов возможно некоторое снижение точности. Использование регулируется лицензией NVIDIA Nemotron Open Model License.