I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельtardellirs/brazembed-pt-br-retrieval — компонент системы BrazEmbed-PT-BR от автора tardellirs, предназначенный для получения эмбеддингов бразильского португальского текста для поиска и ранжирования. Модель основана на BERTimbau Base и дообучена с использованием объединённого набора весов для задач Retrieval & Reranking. Это SentenceTransformer на архитектуре BERT с mean pooling и L2-нормализацией; для работы не требуется префикс инструкции. Размер — 136,1 млн параметров, длина контекста — 512 токенов. Модель подходит для семантического поиска и сравнения текстов, включая ранжирование результатов по релевантности. В README приведён результат 0,6567 по mean_16 на MTEB для португальского и заявлено лидерство в классе около 100 млн параметров; это оценка из карточки, а не гарантия качества для конкретного набора данных. Лицензия — MIT.
CausalLM 7B GGUF — это квантизированная версия языковой модели CausalLM 7B, разработанной командой CausalLM и подготовленной в формате GGUF пользователем TheBloke. Модель основана на архитектуре типа LLaMA и предназначена для генерации текста, включая диалоговые и инструкционные сценарии. В карточке указаны поддерживаемые языки английский и китайский, а также исходный размер 7B параметров. Данные о длине контекста и мультимодальности не предоставлены; модель описана как текстовая. Формат GGUF совместим с llama.cpp и рядом локальных интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие, что позволяет запускать модель на CPU и GPU с вариантами квантизации от 2 до 8 бит. Модель обучалась на широком наборе диалоговых, инструкционных, математических, энциклопедических и мультиязычных данных, однако конкретные показатели качества и ограничения в README не приведены. Для использования рекомендуется шаблон запросов ChatML. Указана лицензия wtfpl, но поскольку модель основана на Llama 2, README также указывает на применимость условий лицензии Meta Llama 2; взаимодействие этих лицензий требует отдельной проверки.
Это GGUF-квантизация модели GLM-4.5-Air-REAP-82B-A12B, разработанной Cerebras и подготовленной пользователем bartowski. Модель предназначена для задач генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты квантования Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и Q3_K/IQ3 с размером файлов примерно от 39 до 90 ГБ. Обозначение модели указывает на конфигурацию 82B-A12B, однако подробности архитектуры, поддерживаемые языки, модальности и размер контекста в предоставленной карточке не указаны. Квантизация выполнена с использованием imatrix, что направлено на сохранение качества при уменьшении размера модели. Сильная сторона этой версии — широкий выбор уровней квантования для баланса между качеством, требованиями к памяти и скоростью инференса; наиболее рекомендуемыми указаны варианты Q6_K, Q5_K, Q4_K и IQ4_XS. Ограничения включают очень высокие требования к оперативной или видеопамяти даже для компактных вариантов, а также отсутствие указанного chat template: в README отмечено, что используемый шаблон может быть неточным и требует проверки по оригинальной карточке модели. Лицензия в предоставленных данных не указана.
Карточка модели deven96/clip-ViT-B-32-text на Hugging Face совпадает с карточкой Qdrant/clip-ViT-B-32-text, поэтому описание составлено по ней. Qdrant подготовила ONNX-версию текстового энкодера sentence-transformers/clip-ViT-B-32 для классификации текста и поиска сходства. Модель преобразует текст в векторные представления, которые можно использовать для сравнения запросов и текстовых описаний; в карточке приведён пример запуска через FastEmbed. Модель относится к текстовой части CLIP ViT-B/32, содержит 75,6 млн параметров и рассчитана на контекст длиной до 77 токенов. Репозиторий распространяется в формате ONNX по лицензии MIT. Карточка не описывает поддерживаемые языки или ограничения точности; короткое контекстное окно ограничивает работу с длинными текстами.
Qdrant подготовила ONNX-версию текстового энкодера sentence-transformers/clip-ViT-B-32 для классификации текста и поиска сходства. Модель преобразует текст в векторные представления, которые можно использовать для сравнения запросов и текстовых описаний; в карточке приведён пример запуска через FastEmbed. Модель относится к текстовой части CLIP ViT-B/32, содержит 75,6 млн параметров и рассчитана на контекст длиной до 77 токенов. Репозиторий распространяется в формате ONNX по лицензии MIT. Карточка не описывает поддерживаемые языки или ограничения точности; короткое контекстное окно ограничивает работу с длинными текстами.
Citaman/command-r-12-layer — разговорная языковая модель на архитектуре Cohere, созданная автором репозитория с помощью слияния SLERP модели Citaman/command-r-13-layer. В метаданных указано 12 млрд параметров, контекст до 8192 токенов и формат safetensors; модель предназначена для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Карточка не приводит отдельной оценки качества, перечня поддерживаемых языков или отраслевой специализации. Лицензия в доступных данных не указана.
CrystalMistral_7b_v.04 — диалоговая языковая модель, созданная Crystalcareai слиянием моделей CrystalMistral_7b_v.01 и CrystalMistral_7b_v.02 методом SLERP с помощью LazyMergekit. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалоговых ответов по запросам. Модель принимает текст и выдаёт текст. Заявленная длина контекста — 32 768 токенов. В карточке не приведены сведения о поддерживаемых естественных языках или специализированных областях применения. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.
Andromeda-70B-GGUF — это квантизированная версия языковой модели Andromeda-70B, разработанной ddh0. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных средах, совместимых с форматом GGUF, включая LM Studio, llama.cpp и другие проекты на его основе. Модель имеет заявленный размер 70B параметров и поддерживает несколько вариантов квантизации — от Q8_0 до Q2 и IQ-серий. Размер файлов варьируется примерно от 22 до 75 ГБ, поэтому можно выбирать между качеством ответов и требованиями к оперативной памяти. Наиболее качественными и рекомендуемыми указаны варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_L и Q4_K_M; варианты с более низкой разрядностью экономят память, но заметно уступают по качеству. В README приведён специальный шаблон приглашений с системными и пользовательскими сообщениями, а также датами отсечения знаний: декабрь 2023 года для базы знаний и 26 июля 2024 года как текущая дата шаблона. Архитектура, поддерживаемые языки, размер контекстного окна, результаты тестирования и лицензия не указаны. Условия использования следует уточнять по исходной модели ddh0/Andromeda-70B и соответствующим материалам проекта.
bartowski/deepseek-ai_DeepSeek-V3.1-Base-GGUF — это набор GGUF-квантизаций базовой языковой модели DeepSeek-V3.1-Base, разработанной deepseek-ai. Квантизации подготовлены bartowski с использованием llama.cpp версии b6214 и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты с разными уровнями квантизации: от Q8_0 размером около 713 ГБ до IQ1_M размером около 147 ГБ. В README рекомендуются Q6_K как вариант почти максимального качества, Q4_K_M как сбалансированный вариант для большинства сценариев и IQ4_XS как более компактный вариант с сопоставимой производительностью. Также представлены форматы Q2, Q3, Q4, IQ2 и IQ3 с различным компромиссом между качеством и требованиями к памяти; некоторые варианты используют Q8_0 для embedding- и output-весов. Модель подходит для локального текстового вывода при наличии значительных ресурсов оперативной или видеопамяти. Чем ниже уровень квантизации, тем меньше размер файлов и требования к памяти, но тем выше потенциальная потеря качества; варианты IQ1 и некоторые варианты Q2 отмечены как низкокачественные или нерекомендуемые. Архитектура, поддерживаемые языки, размер контекста и формат промпта в README не указаны, а лицензия также не приведена, поэтому эти характеристики следует уточнить на странице исходной модели deepseek-ai/DeepSeek-V3.1-Base.
DeepSeek-R1-Distill-Llama-8B-GGUF — это GGUF-версия модели DeepSeek-R1-Distill-Llama-8B, подготовленная Unsloth на базе DeepSeek-R1-Distill-Llama-8B. Модель предназначена для текстового диалога, генерации ответов и задач, требующих рассуждений; в примере README она формирует рассуждение перед итоговым ответом. Заявленный язык — английский. Модель основана на Llama 3.1 с размером 8B параметров и рассчитана на запуск через llama.cpp. Доступны квантизированные варианты GGUF, включая Q4_K_M; README также упоминает динамические квантизации Unsloth с разрядностью 1,58 и 2 бита, направленные на улучшение точности по сравнению со стандартными 1- и 2-битными вариантами. Поддерживается выгрузка части слоёв на GPU, что может ускорить обработку при наличии подходящего оборудования. Сильными сторонами являются относительно компактный размер, возможность локального запуска и наличие квантизированных сборок для снижения требований к памяти. Ограничения включают зависимость качества и скорости от выбранного уровня квантизации и оборудования; контекстное окно, мультимодальные возможности и подробные результаты оценки в README не указаны. Лицензия обозначена как llama3.1.
Это набор GGUF-квантизаций модели DeepSeek-R1-Distill-Qwen-7B, базирующейся на модели deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Квантизации подготовлены пользователем Dhptl с использованием quant-kit 18 июня 2026 года. Модель относится к классу text-generation и предназначена для диалогов, генерации текста и локального запуска через llama.cpp, Ollama, LM Studio, Open WebUI и Jan. Доступны варианты Q2_K, Q3_K, Q4_K, Q5_K, Q6_K и Q8_0 размером примерно от 2,81 до 7,54 ГБ. Рекомендуемый вариант Q4_K_M занимает 4,36 ГБ и требует около 5,9 ГБ RAM; Q3_K_M ориентирован на системы с 8 ГБ RAM, а Q8_0 — на максимальное приближение к качеству исходной модели при потребности примерно в 9 ГБ RAM. Квантизация уменьшает размер и требования к памяти, но более агрессивные варианты могут заметно снижать качество. Для модели указан английский язык; контекст, точное число параметров архитектуры и мультимодальные возможности в карточке не раскрыты. Модель подходит для локального использования на компьютерах с ограниченными ресурсами и поддерживает работу на CPU или GPU в совместимых инструментах. Приведённые значения сохранения качества около 97–99% являются ориентировочными, а фактические результаты бенчмарков в README отсутствуют. Лицензия — MIT.
EXAONE 3.5 2.4B Instruct — двуязычная генеративная языковая модель, разработанная LG AI Research и настроенная для выполнения инструкций и диалогов на английском и корейском языках. Версия на 2,4 млрд параметров предназначена в том числе для развёртывания на устройствах с ограниченными ресурсами; модель поддерживает контекст до 32 768 токенов. Модель использует плотную архитектуру ExaoneForCausalLM: 30 слоёв и групповое запросное внимание с 32 Q-головами и 8 KV-головами. Её можно применять для диалоговых ответов, генерации текста и работы с длинным контекстом; также в метаданных указана поддержка классификации текста. Для запуска предусмотрены Transformers и среды TensorRT-LLM, vLLM, SGLang, llama.cpp и Ollama. Модель может выдавать фактически неверные, противоречивые, предвзятые или неподходящие ответы и не обладает актуальными знаниями о событиях после обучения. В карточке указана лицензия «other»; конкретные условия использования следует сверять с лицензией репозитория.
EXAONE-3.5-2.4B-Instruct-GGUF — двуязычная инструкционно дообученная языковая модель, разработанная LG AI Research. Она предназначена для генерации текста и диалоговых сценариев на английском и корейском языках, включая запуск на небольших устройствах и системах с ограниченными ресурсами. Модель представлена в формате GGUF и рассчитана на инференс с использованием llama.cpp, а также может применяться через TensorRT-LLM, vLLM, SGLang и Ollama. Модель содержит 2,14 млрд параметров без учёта эмбеддингов, 30 слоёв и использует Grouped-Query Attention с 32 Q-heads и 8 KV-heads. Размер словаря составляет 102 400 токенов, максимальная длина контекста — 32 768 токенов. Доступны варианты квантования Q8_0, Q6_0, Q5_K_M, Q4_K_M и IQ4_XS, а также веса BF16. К сильным сторонам относятся компактный размер, поддержка длинного контекста и оптимизация для ресурсоограниченного развёртывания. Модель может генерировать некорректные, устаревшие, предвзятые или потенциально неподходящие ответы и не гарантирует отражение актуальной информации или позиции LG AI Research. Лицензия — EXAONE AI Model License Agreement 1.1 - NC; условия следует уточнять в прилагаемом файле LICENSE.
Карточка модели SihJJJ/faster-whisper-medium на Hugging Face совпадает с карточкой Systran/faster-whisper-medium, поэтому описание составлено по ней. Systran/faster-whisper-medium — конверсия модели распознавания речи Whisper medium от OpenAI в формат CTranslate2, подготовленная для использования с CTranslate2 и faster-whisper. Модель принимает аудио и преобразует речь в текст; семейство Whisper поддерживает многоязычное распознавание, включая русский и английский, а также перевод речи на английский язык. Веса сохранены в FP16. При загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Репозиторий распространяется по лицензии MIT; для сведений о возможностях исходной модели следует обращаться к её карточке OpenAI.
Это англоязычная модель Sentence Transformers, дообученная thanhpham1 на базе sentence-transformers/all-mpnet-base-v2 на 5 146 парах технических текстов. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска и сравнения текстов; близость оценивается косинусным сходством. Архитектура включает MPNet, усреднение токенных представлений и нормализацию векторов. Обучение Matryoshka позволяет использовать укороченные представления размерностью 512, 256, 128 или 64 с компромиссом между размером вектора и качеством поиска. Модель подходит для поиска ответов и фрагментов в технической документации, сопоставления технических вопросов с релевантными пояснениями, поиска перефразировок и кластеризации технических текстов. README приводит метрики поиска на нескольких размерностях, однако подробности тестового набора ограничены. Максимальная длина последовательности в README указана как 384 токена, а метаданные указывают контекст до 514 токенов. Лицензия Apache-2.0.
EpistemeAI2/Firebal-Llama-3.1-8B-R1 — текстовая диалоговая модель семейства Llama 3.1, дообученная на базе unsloth/meta-llama-3.1-8b-instruct-bnb-4bit. Она предназначена для общения в формате ассистента и генерации текста; в метаданных также отмечен интерфейс для вызова инструментов. Архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, контекст — до 131 072 токенов. Модель принимает текст и генерирует текст. В карточке описана поддержка английского, французского, немецкого, хинди, итальянского, португальского, испанского и тайского языков; метаданные для этой модели указывают английский. Карточка рекомендует шаблон Alpaca для рассуждений. Лицензия — Apache 2.0 по метаданным модели; README содержит общие сведения о Llama 3.1 и её Community License, поэтому условия следует сверять с лицензией именно этого репозитория. Качество и дополнительные возможности дообучения Firebal отдельно в предоставленной карточке не описаны.
Flux-Japanese-Qwen2.5-32B-Instruct-V1.0 — языковая модель на 32 млрд параметров от Flux, созданная на основе Qwen2.5-32B-Instruct и предназначенная для генерации ответов и диалогов. Она дообучена с акцентом на знания, рассуждения и работу с японским языком; в карточке также заявлены результаты на задачах вопросов и ответов, понимания текста, суммаризации и генерации кода. Архитектура — плотная Qwen2 с причинной генерацией текста, формат весов — safetensors, контекст — 32 768 токенов. Заявлены сильные результаты на японских оценочных наборах при сохранении близкого к базовой модели уровня на общих задачах и английском языке. Модель подходит для японских диалоговых ассистентов, ответов на вопросы, анализа и суммаризации текстов, рассуждений и генерации кода. Также доступны интерфейсы чата и вызова инструментов. Указана лицензия Apache 2.0. Как и другие большие языковые модели, она может выдавать неточные, вводящие в заблуждение или предвзятые ответы; авторы не дают гарантий и возлагают ответственность за применение на пользователя.
Ganymede-24B-F16 — дообученная языковая модель семейства Mistral, опубликованная slrrxx101. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Модель содержит 22 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Модель дообучена на unsloth/Mistral-Small-Instruct-2409-bnb-4bit с использованием Unsloth и библиотеки Hugging Face TRL. В репозитории указаны веса в формате safetensors и лицензия Apache-2.0. Карточка не описывает специализацию дообучения или результаты оценки качества, поэтому пригодность для конкретных предметных областей не установлена.
Gemma-3-1b-it-GGUF — квантизированная GGUF-версия модели gemma-3-1b-it, разработанной Google и подготовленной в квантизированном виде компанией Second State Inc. Это инструкционно настроенная модель генерации текста, предназначенная для диалогов, обработки пользовательских запросов и запуска локальных приложений и сервисов, включая LlamaEdge. Поддерживается контекст размером до 32 000 токенов. Сведения о языках, мультимодальности и точной архитектуре в README не указаны. Модель доступна в вариантах квантования от Q2_K до Q8_0, а также в формате f16, с размером файлов примерно от 689 МБ до 2,01 ГБ. Вариант Q4_K_M рекомендован как сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. Более низкие уровни квантования уменьшают требования к ресурсам, но могут существенно снижать качество; README отдельно указывает, что Q2_K и некоторые Q3- и Q4-варианты имеют значительные потери. Для использования заявлена лицензия Gemma.
Gemma-4-12B-CoreAI — конвертация языковой модели Google Gemma 4 12B, подготовленная пользователем mlboydaisuke для запуска через Apple Core AI на устройствах с Apple Silicon. Модель предназначена для генерации текста, диалогов, суммаризации и других локальных сценариев использования LLM без передачи данных в облако; заявлена интеграция с CoreAIKit и запуск на GPU или Neural Engine, хотя в README отдельно подтверждён запуск на M-series Mac через конвейерный GPU-движок. Это плотный текстовый декодер без MoE, PLE, AltUp, Laurel и совместного использования KV-кэша: 48 слоёв, скрытое представление размерностью 3840, 16 голов внимания и словарь на 262144 токена. Используется чередование оконного и глобального внимания в соотношении 5:1, причём размерность головы составляет 256 для sliding attention и 512 для глобального внимания. Доступны варианты int8 размером около 14 ГБ и int4 размером около 8,2 ГБ; на M4 Max заявлена скорость декодирования примерно 23 и 33 токена в секунду соответственно. Контекстное окно и перечень поддерживаемых естественных языков в README не указаны. Сильная сторона модели — возможность локального запуска крупной 12B-модели на Apple Silicon, включая специальное Metal-ядро flash-decode для обхода ограничений стандартного GPU-декодирования. Вариант int8 описан как проверенный и воспроизводящий результаты эталонной fp32-модели, тогда как int4 требует меньше памяти и работает быстрее, но может немного ухудшать формулировки. Ограничения включают зависимость от совместимого оборудования и Core AI, большой объём загрузки, режим decode-only, отсутствие записи о рейтинге DeviceMark и возможные сбои у обычных, не использующих специальное ядро, сборок. В метаданных указана лицензия Apache 2.0.
mhenrichsen/gemma-7b — текстовая языковая модель семейства Gemma, разработанного Google на основе исследований и технологий, использованных для Gemini. Это плотная авторегрессионная модель архитектуры decoder-only с 8,2 млрд параметров, предназначенная для генерации текста; заявленный контекст — до 8192 токенов. Репозиторий содержит веса в формате safetensors и рассчитан на использование с библиотекой Transformers. Модель подходит для ответов на вопросы, суммаризации, диалоговых интерфейсов, создания текстов и исследовательских NLP-сценариев. В карточке описана англоязычная версия Gemma; размер модели позволяет развёртывание на локальных компьютерах и собственной инфраструктуре, если хватает ресурсов. Карточка не уточняет, является ли именно этот чекпойнт предварительно обученным или настроенным на инструкции. Возможности зависят от обучающих данных и формулировки запроса: модель может испытывать трудности со сложными задачами, языковыми нюансами и здравым смыслом, а также выдавать неточные или устаревшие факты и воспроизводить предвзятость. Условия лицензии в предоставленных данных не указаны.
Gigi-Llama3-8B-Chinese-zh — плотная авторегрессионная языковая модель семейства Llama 3, разработанная как дообучение Llama-3-8B-Instruct. Она обучена на более чем 1,3 млн отобранных китайско-английских примеров, включая данные OpenHermes-2.5, Hermes, glaive-function-calling и китайские наборы COIG-CQIA и alpaca-gpt4-data-zh. Модель рассчитана на диалог и генерацию текста, особенно на задачи в китайско-английском контексте, с усиленной поддержкой китайского языка. Модель содержит 7,5 млрд параметров, использует библиотеку Transformers и формат safetensors; заявленная длина контекста — 8192 токена. Карточка описывает поддержку шаблона диалога Llama-3-8B-Instruct и приводит результаты на отдельных бенчмарках, но не раскрывает подробностей методики оценки. Лицензия — Apache-2.0.
mkurman/GLM-4.7-Flash-SynthLabs — дообученная и объединённая с базовой моделью версия GLM-4.7-Flash, опубликованная mkurman. Модель семейства glm4_moe_lite предназначена для диалоговой генерации текста; в метаданных также заявлен интерфейс вызова инструментов. Она содержит 4,1 млрд параметров, поддерживает контекст до 202 752 токенов и распространяется в формате Safetensors. Карточка сообщает, что модель обучалась с использованием Unsloth и библиотеки TRL от Hugging Face. Указанная в метаданных лицензия — MIT; README при этом указывает Apache-2.0, поэтому условия лицензирования требуют уточнения. Язык карточки — английский, а базовая GLM-4.7-Flash описана как модель для рассуждений и программирования, но конкретная специализация этой версии не раскрыта.
GLM-4-9B-Chat-1M-GGUF — квантованная GGUF-версия языковой чат-модели GLM-4-9B-Chat-1M, разработанной THUDM. Квантование выполнено bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через LM Studio и другие совместимые средства локального запуска. Модель ориентирована на китайский и английский языки и поддерживает текстовый ввод и вывод. В названии указано окно контекста 1M; размер базовой модели — около 9 млрд параметров. Доступны варианты от F16 до различных уровней квантования Q2–Q8 и IQ, поэтому можно выбирать между качеством, скоростью и требованиями к памяти. Рекомендуемые варианты обеспечивают высокое или хорошее качество, а компактные варианты подходят для систем с ограниченным объёмом RAM, но дают более заметное снижение качества. Это локальная версия модели, что позволяет запускать её без обращения к облачному API, однако производительность зависит от используемого оборудования и реализации inference. README не содержит результатов тестирования, поэтому точные сильные стороны по сравнению с другими моделями оценить нельзя. Для работы требуется соблюдать формат промпта с токенами [gMASK], <sop>, <|system|>, <|user|> и <|assistant|>. Лицензия указана как glm-4; подробные условия доступны в лицензии исходной модели THUDM.
Intel/GLM-5.3-Flash-W4A16-AutoRound — это квантованная версия языковой модели GLM-5.3-Flash, разработанная Intel с использованием инструмента Intel Auto-Round в режиме Tuning. Базовая модель опубликована организацией zai-org. Модель предназначена для генерации текста и может применяться в задачах обработки естественного языка, включая работу с английским и китайским языками. В карточке указаны библиотека Transformers и тип задачи text-generation. Модель использует формат квантования INT4 по схеме W4A16, то есть веса представлены в 4-битном формате, а активации — в 16-битном. По приведённым тестам её средний результат составляет 0,8386 против 0,8399 у версии BF16, что соответствует 99,84% относительного качества; результаты также приведены для GSM8K, MMLU, PIQA и HellaSwag. Такое квантование потенциально снижает требования к памяти и облегчает развёртывание, однако README не содержит сведений о размере модели, архитектуре, длине контекста, поддерживаемых модальностях или системных требованиях. Модель может генерировать фактически неверные, предвзятые, оскорбительные или непристойные ответы, поэтому перед использованием необходимы тестирование безопасности и оценка пригодности для конкретного сценария. В карточке указана лицензия MIT, при этом рекомендуется соблюдать лицензию исходной модели; юридические условия коммерческого использования следует проверить отдельно.
ibm-granite/granite-4.2-8b-nvfp4 — это версия модели Granite-4.2-8B в формате NVFP4, разработанная IBM. Репозиторий основан на базовой модели ibm-granite/granite-4.2-8b и предназначен для использования с библиотекой Transformers. Из доступных данных известно, что модель относится к языковым моделям и имеет размер 8 миллиардов параметров в базовой версии. Формат NVFP4 ориентирован на более компактное представление модели, однако конкретные сведения о поддерживаемых языках, архитектуре, длине контекста, модальностях, целевых сценариях и результатах оценки в карточке не приведены. Модель может быть полезна как оптимизированное представление Granite-4.2-8B для задач, где важны совместимость с Transformers и снижение требований к хранению или вычислениям, но преимущества и ограничения NVFP4 для конкретного оборудования не указаны. Модель распространяется по лицензии Apache-2.0.
haLLawa4-7b — слитая языковая модель, опубликованная AbacusResearch. Она объединяет Monarch-7B, OGNO-7B и haLLAwa3 с помощью mergekit и метода DARE-TIES; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, формат весов — safetensors. Модель предназначена для генерации текста и общих языковых задач, включая диалог и ответы на запросы. Контекстное окно составляет 32 768 токенов. Модель подходит для создания ответов и текста, а опубликованные результаты включают оценки на AI2 Reasoning Challenge и HellaSwag. README не сообщает отдельного перечня языков или специализированных областей применения, поэтому модель следует рассматривать как общего назначения. Лицензия — Apache-2.0.
Hermes 3 Llama 3.1 70B 4bit — чат-модель, подготовленная сообществом mlx-community для запуска в экосистеме MLX. Она преобразована в формат MLX из NousResearch/Hermes-3-Llama-3.1-70B с помощью mlx-lm 0.16.1. В основе лежит дообученная плотная модель Llama 3.1 с архитектурой LlamaForCausalLM и 69,5 млрд параметров; модель рассчитана на диалоги и следование инструкциям, поддерживает контекст до 131 072 токенов и английский язык. Модель подходит для чат-ботов, ответов на вопросы, генерации текста и ролевых диалогов. Тег 4bit в названии указывает на 4-битное представление, однако метаданные перечисляют формат safetensors, поэтому точный способ представления весов в репозитории не подтверждён. Лицензия — Llama 3 Community License (llama3); условия её использования следует учитывать при развёртывании.
HiEmbed_base — модель эмбеддингов компании Hancom InSpace для поиска по векторам. Она основана на XLM-RoBERTa, содержит 658,7 млн параметров и доступна в формате ONNX; заявленная длина контекста — 8194 токена. Модель предназначена для сопоставления предложений и поиска релевантных текстов на корейском и английском языках, в том числе в системах RAG. Модель обучена на внутреннем наборе из 3 млн примеров в формате query, positive и negative с применением hard negative sampling. В карточке приведены результаты на корейских и английских тестах retrieval, семантического сходства и других задач. Лицензия — Apache-2.0.
bartowski/inclusionAI_Ring-mini-2.0-GGUF — это набор квантизованных версий языковой модели Ring-mini-2.0, разработанной inclusionAI. Модель предназначена для генерации текста и запускается в формате GGUF через llama.cpp, LM Studio и другие совместимые приложения. В README указано, что квантизация выполнена с использованием llama.cpp и метода imatrix. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и Q3_K с размером файлов примерно от 6,82 до 32,54 ГБ. Более крупные варианты обеспечивают более высокое качество, а Q4_K_M указан как вариант по умолчанию для большинства сценариев; Q6_K и Q6_K_L отмечены как версии очень высокого качества. Модель поддерживает формат промпта с ролями SYSTEM, HUMAN и ASSISTANT, а также специальным маркером рассуждений. Набор подходит для локального вывода текста на устройствах с ограниченными ресурсами, если выбрать подходящий уровень квантизации. Ограничения, архитектура, количество параметров, поддерживаемые языки, размер контекстного окна и мультимодальные возможности в README не указаны. Лицензия модели также не указана, поэтому условия использования следует уточнять в описании исходной модели inclusionAI/Ring-mini-2.0.