I.3Извлечение и структурирование данных

lmstudio-community/gemma-4-31B-it-MLX-6bit — это 6-битная квантованная версия мультимодальной модели gemma-4-31B-it, разработанной Google. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для задач, связанных с обработкой текста и изображений, включая мультимодальный ввод и генерацию текста. Она может использоваться локально через совместимое программное обеспечение и особенно подходит для пользователей, которым важны запуск на Apple Silicon и снижение требований к памяти по сравнению с полной версией модели. Точный размер контекстного окна и перечень поддерживаемых языков в README не указаны. Ключевой особенностью является 6-битное квантование, обеспечивающее более компактное представление модели с потенциальным компромиссом в точности по сравнению с исходной версией. Ограничениями являются зависимость от совместимого стека MLX и оптимизации под Apple Silicon, а также возможные ошибки, неточности или неподходящие результаты, характерные для генеративных моделей. Модель распространяется по лицензии Apache 2.0.

Terra3312/GLM-5.3-Flash-EXL3-4bpw-MUL1 — квантизированная версия GLM-5.3-Flash, разработанного Z.ai, созданная с использованием ExLlamaV3. Модель предназначена для эффективного локального вывода, в частности для ускорения однопоточной генерации на крупных MoE-моделях. Она поддерживает задачи генерации текста и рассчитана на работу с ExLlamaV3; заявлены английский и китайский языки. Модель также включает vision-компонент, однако подробности о поддерживаемых визуальных сценариях в README не указаны. Основной языковой блок использует формат EXL3 с точностью 4,0 bpw, vision-компонент и lm_head — 6 bpw, MTP — 4 bpw. Применяется кодовая книга mul1, совместимая с объединённым путём INT8-активаций GEMV в ExLlamaV3. Это может повысить производительность однопоточного декодирования на совместимых GPU и конфигурациях, но фактическая скорость зависит от архитектуры GPU, длины контекста, tensor parallel, версии среды и нагрузки. Размер модели, архитектура MoE в деталях, максимальная длина контекста и точные характеристики мультимодальности не указаны. Для работы требуется полный каталог репозитория и свежая сборка ExLlamaV3 с поддержкой GLM-5.3-Flash и mul1. Контрольные данные квантизации, промпты, seed и точный commit ExLlamaV3 не были сохранены. Это неофициальный релиз Z.ai или ExLlamaV3. Исходная модель распространяется по лицензии MIT; применимые условия следует уточнять в файле LICENSE и оригинальном репозитории.

Это квантизированная GGUF-версия Gemma 3n E4B Instruct, разработанной Google и подготовленной пользователем bartowski для запуска через llama.cpp и совместимые приложения. Модель предназначена для генерации текста, а также, согласно указанным тегам, для сценариев автоматического распознавания и перевода речи и преобразования аудио или видео в текст. Доступен запуск, в частности, через LM Studio и другие проекты на базе llama.cpp. В README указано, что модель имеет размер E4B и представлена в нескольких вариантах квантизации от Q2 до Q8, с размером файлов примерно от 3 до 7,35 ГБ. Более качественными и рекомендуемыми названы варианты Q5–Q8, а варианты Q3 и ниже подходят для систем с ограниченным объёмом оперативной памяти, но снижают качество. Мультимодальность, поддерживаемые языки и размер контекста в предоставленных данных не уточнены. Формат промпта требует проверки по исходной карточке модели, поскольку шаблон чата в README не задан явно. Модель удобна для локального запуска на совместимом оборудовании благодаря выбору уровней квантизации, однако качество зависит от выбранного варианта, а низкие уровни могут заметно уступать исходной модели. Для использования требуется принять лицензию Google Gemma на Hugging Face; конкретные условия лицензии следует учитывать отдельно.

granite-3.0-8b-lab-community-GGUF — это GGUF-квантизированная версия текстовой генеративной модели Granite 3.0 8B lab community, разработанной в экосистеме IBM InstructLab. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель указана как instructlab/granite-3.0-8b-lab-community. В метаданных также упоминается набор данных InstructLabCommunity. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через LM Studio и другие совместимые инструменты llama.cpp. Указана поддержка английского языка. Доступны варианты от F16 до разных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Размер базовой модели — 8 миллиардов параметров; сведения об архитектуре и размере контекстного окна в README не приведены. Сильная сторона этой версии — широкий выбор квантизаций: высококачественные варианты Q6 и Q5 рекомендованы для требовательных сценариев, а Q4 и более компактные варианты подходят для запуска при ограниченных ресурсах. Ограничения связаны с потерями качества при низких уровнях квантизации, а также с отсутствием в README подробных данных о производительности, мультиязычности и поддерживаемых модальностях; модель описана как текстовая. Модель распространяется по лицензии Apache-2.0.

bartowski/granite-3.1-2b-instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Granite 3.1 2B Instruct, разработанной IBM (ibm-granite) и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через llama.cpp и LM Studio. В README указан специальный chat template, а также приведены варианты квантизации с разным соотношением качества, размера и требований к памяти. Модель имеет около 2 миллиардов параметров, работает в текстовой модальности и распространяется в формате GGUF. Доступны версии от F16 размером 5,07 ГБ до компактных вариантов Q2 и Q3 размером примерно от 1,08 до 1,38 ГБ, а также более качественные Q4, Q5, Q6 и Q8. Наиболее рекомендуемыми названы варианты Q4_K_M, Q5_K_M, Q6_K и другие близкие к ним квантизации; малые Q2 и Q3 экономят память, но заметно уступают в качестве. Сильными сторонами являются возможность локального запуска на сравнительно доступном оборудовании, широкий выбор уровней квантизации и хорошее сохранение качества в вариантах Q5–Q8. Ограничения — компромисс между размером и качеством при низких уровнях квантизации, а также отсутствие в README сведений о поддерживаемых языках, длине контекста, точной архитектуре и результатах бенчмарков. Модель распространяется по лицензии Apache-2.0.

Grok-1-W4A8KV8 — квантизированная версия модели lmzheng/grok-1, созданная с помощью инструментария Quark компанией Advanced Micro Devices (AMD). Модель предназначена для эффективного запуска Grok-1 с использованием SGLang и формата экспорта Quark. В модели квантизированы все линейные слои, кроме lm_head и MoE-компонентов gate. Веса представлены в FP8 с симметричным квантованием на тензор, а линейные слои MoE дополнительно используют INT4 с симметричным поканальным квантованием. Активации и KV-кэш хранятся в FP8 с симметричным квантованием на тензор. Данные о размере модели, архитектуре, поддерживаемых языках, модальностях и длине контекста в README не указаны. По результатам GSM8K модель получила 0,817 против 0,821 у исходной grok-1, что указывает на небольшое снижение качества при существенной оптимизации представления модели. Основное преимущество — возможность более эффективного развертывания FP8-квантизированной модели через SGLang. Для INT4 используется специальная упаковка: восемь значений помещаются в один int32. Лицензия — Apache-2.0; модификации защищены авторским правом Advanced Micro Devices, Inc. за 2024 год.

SzilviaB/Hexoteric-Trismegistus-7B — объединённая языковая модель на архитектуре Mistral, созданная методом SLERP из CalderaAI/Hexoteric-7B и teknium/Hermes-Trismegistus-Mistral-7B с помощью mergekit. Модель содержит 7,1 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно использовать для ответов на вопросы, написания и продолжения текста, а также для создания чат-ассистентов. README описывает способ объединения, но не приводит сравнительных оценок качества или подробных рекомендаций по применению. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

Hunyuan-4B-Pretrain — базовая плотная языковая модель Tencent из семейства Hunyuan. Она содержит 3,9 млрд параметров и предназначена для генерации текста и последующего дообучения под прикладные сценарии. В репозитории указаны архитектура HunYuanDenseV1ForCausalLM и поддержка Transformers. Модель поддерживает контекст до 262 144 токенов, механизм Grouped Query Attention и режимы быстрого и пошагового рассуждения. Семейство Hunyuan рассчитано на разные варианты развертывания, включая ограниченные по ресурсам среды; для инференса также описана поддержка TensorRT-LLM, vLLM и SGLang. Карточка приводит результаты бенчмарков для базовых моделей семейства, но не указывает отдельные языковые коды или лицензионные условия для этой модели.

IceTea21EnergyDrinkRPV13-DPOv3 — разговорная языковая модель на архитектуре Mistral, созданная автором репозитория слиянием предварительно обученных моделей методом SLERP с помощью mergekit. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; длина контекста — до 32 768 токенов. Модель принимает текстовые запросы и генерирует текстовые ответы. В карточке указано слияние двух вариантов IceTea21EnergyDrinkRPV13, однако их локальные пути не дают надёжного идентификатора базовой модели на Hugging Face. Сведения о специализированных областях и поддерживаемых естественных языках не приведены. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

IndicConformer-600M-Multi — многоязычная модель распознавания речи от AI4Bharat. Она преобразует аудио в текст на 22 официальных языках Индии и предназначена для транскрибирования устной речи. Модель основана на архитектуре Conformer и сочетает методы CTC и RNNT; размер составляет 600 млн параметров. Доступны оба способа декодирования: CTC и RNNT. Репозиторий содержит модель в формате ONNX, а лицензия — MIT.

OREAL-DeepSeek-R1-Distill-Qwen-7B-GGUF — это GGUF-квантизированные версии текстовой генеративной модели OREAL-DeepSeek-R1-Distill-Qwen-7B, разработанной internlm. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix на датасете internlm/OREAL-RL-Prompts. Модель предназначена для локального запуска и генерации текста через llama.cpp, LM Studio и другие совместимые приложения. Модель основана на 7B-версии DeepSeek-R1-Distill-Qwen и поддерживает текстовый ввод и вывод. README не указывает контекстное окно, список языков и точную архитектуру базовой модели. Доступны варианты квантизации от Q8_0 размером 8,10 ГБ до более компактных IQ3 и Q3-вариантов; наиболее сбалансированным вариантом для большинства сценариев назван Q4_K_M размером 4,68 ГБ, а Q5 и Q6 ориентированы на более высокое качество. Сильная сторона сборки — возможность локального запуска на устройствах с ограниченными ресурсами при выборе подходящего уровня квантизации. Более сильное сжатие уменьшает требования к памяти, но снижает качество генерации; низкобитные варианты описаны как имеющие более низкое или средне-низкое качество. Для корректной работы следует использовать указанный формат prompt. Модель распространяется по лицензии Apache-2.0.

inception42/jais-family-1p3b — двуязычная языковая модель семейства Jais, опубликованного Inception Institute of Artificial Intelligence. Семейство включает модели, обученные с нуля, и варианты, адаптированные на основе Llama 2; README не уточняет, к какой группе относится этот чекпойнт и каков его точный размер. Модель предназначена для генерации текста на арабском и английском языках. Её можно использовать как основу для чат-ассистентов, суммаризации двуязычных документов, анализа тональности и исследований арабского NLP. В репозитории указаны архитектура causal decoder и веса Safetensors; для загрузки требуется пользовательский класс модели и параметр trust_remote_code=True. Модель может ошибаться, воспроизводить смещения и выдавать оскорбительный или вводящий в заблуждение текст. Она оптимизирована для арабского и английского, поэтому её качество на других языках не гарантируется; для важных решений требуется проверка человеком. Лицензия — Apache 2.0.

unsloth/JanusCoder-8B-GGUF — GGUF-квантизированная версия JanusCoder-8B, подготовленная Unsloth на основе модели internlm/JanusCoder-8B. JanusCoder разработан командой InternLM как открытая фундаментальная модель для единого визуально-программного интерфейса в задачах работы с кодом. Данная версия является текстовой моделью на базе Qwen3-8B и предназначена для генерации кода по текстовым инструкциям, включая построение визуализаций данных, интерактивных веб-интерфейсов, программных анимаций и других программно создаваемых визуальных материалов. Модель обучалась на мультимодальном корпусе JANUSCODE-800K, однако для JanusCoder-8B в README указано текстовое исполнение; отдельные визуально-языковые варианты представлены в семействе JanusCoderV. Среди сильных сторон — универсальность в задачах кодового интеллекта и визуально-программной генерации, а также результаты на PandasPlotBench, ArtifactsBench и DTVBench, где модель превосходит ряд сопоставимых открытых моделей. Размер модели — 8B параметров; конкретные языки программирования и размер контекстного окна не указаны. Для запуска через llama.cpp требуется режим --jinja, а для Transformers рекомендуется версия не ниже 4.55.0. Модель распространяется по лицензии Apache-2.0.

Карточка модели chenQAQ/japanese-wav2vec2-large-rs35kh на Hugging Face совпадает с карточкой reazon-research/japanese-wav2vec2-large-rs35kh, поэтому описание составлено по ней. Японская модель автоматического распознавания речи Reazon Research на архитектуре wav2vec 2.0 Large, дообученная на крупномасштабном корпусе ReazonSpeech v2.0. Она преобразует японскую речь в текст и подходит для расшифровки коротких записей и длинных аудиоматериалов. В README приведены результаты по метрике CER: среднее значение составило 16,25% на указанных тестовых наборах, а на JSUT-BOOK для длинной речи — 30,98%. Метаданные указывают класс Wav2Vec2ForCTC, около 405,7 млн параметров и поддержку Transformers. Модель принимает аудио и выдаёт текст; заявленный язык — японский. Распространяется по лицензии Apache-2.0.

jaspionjader/kstc-4-8b — слитая автором jaspionjader языковая модель на архитектуре Llama с 7,5 млрд параметров. Она создана методом Model Stock в mergekit на основе jaspionjader/Kosmos-EVAA-Franken-Immersive-v41-8B и объединяет её с моделями jaspionjader/kstc-1-8b, jaspionjader/kstc-2-8b и jaspionjader/kstc-3-8b. Модель предназначена для генерации текста и диалогового общения. Использует библиотеку Transformers, веса доступны в формате Safetensors, контекст — до 131 072 токенов. Данные не подтверждают отдельную специализацию по языкам или предметным областям, поэтому её можно рассматривать как модель общего назначения. В README не приведены оценки качества, инструкции по использованию или условия лицензии. Перед применением стоит проверить совместимость лицензий исходных моделей и оценить качество на характерных для вашей задачи запросах.

LanguageBind_Image — модель для сопоставления изображений с текстовыми описаниями в рамках проекта LanguageBind, разработанного авторами исследования LanguageBind, принятого на ICLR 2024. В репозитории она представлена как PyTorch-модель на базе архитектуры CLIPModel и предназначена для классификации изображений без примеров на этапе обучения: пользователь задаёт текстовые метки или описания, а модель оценивает их соответствие изображению. Модель входит в мультимодальный подход LanguageBind, который использует язык как общий семантический ориентир для связывания представлений разных модальностей. Для этого чекпойнта подтверждён сценарий zero-shot классификации изображений; описание проекта также упоминает вычисление сходства между модальностями и текстом. README не сообщает размер этой модели, её языковой охват или длину контекста. Лицензия репозитория — MIT.

mrcuddle/Lexi-Lumimaid-Llama3.1-8B — языковая модель для диалоговой генерации текста, созданная слиянием методом SLERP двух моделей: NeverSleep/Lumimaid-v0.2-8B и Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2. Она основана на архитектуре Llama и содержит 7,3 млрд параметров; заявленная длина контекста — 131 072 токена. Модель предназначена для ответов на запросы в чате и генерации текста по инструкциям, с интерфейсом для вызова инструментов. Модель распространяется в формате safetensors и использует библиотеку Transformers. В карточке указано слияние предварительно обученных языковых моделей; README описывает конфигурацию mergekit и тип данных bfloat16. Лицензия в предоставленных данных не указана. Поскольку в состав входит Lexi Uncensored, ответы могут быть менее ограничены обычными защитными фильтрами; качество и фактическое поведение зависят от запроса и способа применения.

LFM2-24B-A2B-MLX-4bit — 4-битная квантованная версия модели LFM2-24B-A2B, разработанной LiquidAI. Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для запуска на устройствах Apple Silicon. Она предназначена для генерации текста и локального использования в приложениях и инструментах, поддерживающих формат MLX. В карточке указано, что модель работает с английским, арабским, китайским, французским, немецким, японским, корейским, испанским и португальским языками. Размер исходной модели обозначен как 24B-A2B, однако подробности архитектуры, фактическое назначение компонентов A2B, максимальная длина контекста и список поддерживаемых модальностей не приведены. Ключевые преимущества — снижение требований к памяти благодаря 4-битной квантованию и оптимизация для экосистемы Apple Silicon. Ограничения включают зависимость от совместимого MLX-окружения и возможное снижение качества по сравнению с полной точностью; конкретные показатели качества в README отсутствуют. Модель распространяется по лицензии lfm1.0.

LiquidAI/LFM2.5-1.2B-Instruct-MLX-4bit — это 4-битная версия инструкционной языковой модели LFM2.5-1.2B-Instruct, экспортированная в формат MLX компанией Liquid AI для запуска на устройствах с Apple Silicon. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы пользователя и локальный инференс на совместимых устройствах. Модель содержит 1,2 млрд параметров, использует 4-битную квантизацию с размером группы 64 и занимает около 628 МБ. Заявленная длина контекста — до 128K токенов. Поддерживаются английский, японский, корейский, французский, испанский, немецкий, итальянский, португальский, арабский и китайский языки. Рекомендуемые параметры генерации включают temperature 0.1, top_k 50, top_p 0.1 и repetition_penalty 1.05. К сильным сторонам относятся компактный размер, сниженное потребление памяти благодаря 4-битному представлению, поддержка длинного контекста и оптимизация для экосистемы Apple Silicon через MLX. Ограничения README не описывает; в частности, отсутствуют сведения о результатах бенчмарков, фактическом качестве на отдельных языках и поддержке модальностей помимо текста. Модель распространяется по лицензии LFM 1.0.

reranker_0.5_bin_filt — это текстовая reranker-модель для ранжирования и переранжирования найденных документов или других текстовых кандидатов по их релевантности запросу. Исходная модель разработана пользователем lightblue и дообучена на базе Qwen/Qwen2.5-0.5B-Instruct; GGUF-квантизацию выполнил Richard Erkhov. Модель предназначена для сценариев поиска, retrieval-augmented generation и фильтрации результатов, где требуется выбрать или упорядочить наиболее подходящие тексты. Она доступна в формате GGUF с вариантами квантизации Q2_K, IQ3, Q3, IQ4, Q4, Q5, Q6 и Q8; размер файлов составляет примерно 0,39–0,63 ГБ. Указано, что базовая модель имеет размер 0,5B параметров, однако сведения о точной архитектуре reranker, поддерживаемых языках, модальностях и длине контекста отсутствуют. К сильным сторонам относятся небольшой размер и возможность локального запуска благодаря GGUF-квантизации, а также специализация на задачах бинарного ранжирования. Ограничения связаны с отсутствием подробного описания датасета, сценариев применения, языковой поддержки и полноценных оценок качества: в карточке приведены только значения loss, включая 0,0526 на evaluation set. Лицензия указана как «other», без уточнения условий использования, поэтому перед применением необходимо проверить лицензионные ограничения исходной модели и производного артефакта.

LFM2-24B-A2B-GGUF — это квантизированная версия языковой модели LFM2-24B-A2B, разработанной LiquidAI и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального инференса через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель поддерживает текстовую модальность и заявлена для английского, арабского, китайского, французского, немецкого, японского, корейского, испанского и португальского языков. Обозначение 24B-A2B указывает на конфигурацию модели, однако в README не приведены подробности её архитектуры, размер контекста или точная интерпретация компонентов. Доступны варианты от BF16 до различных уровней квантования, примерно от 9,78 до 47,70 ГБ; более высокие уровни обычно сохраняют лучшее качество, а варианты Q3 и IQ3 требуют меньше памяти, но уступают по качеству. Сильная сторона этой версии — широкий выбор квантований для запуска на локальном оборудовании с различными ограничениями по памяти, включая варианты, рекомендованные автором как обеспечивающие высокое или хорошее качество. Ограничения связаны с потерями качества при сильном квантовании, необходимостью совместимого обновлённого программного обеспечения и отсутствием в README данных о производительности, результатах тестов, точном контексте и специализированных сценариях применения. Лицензия указана как lfm1.0; конкретные условия следует уточнять в файле LICENSE.

LiquidAI_LFM2-8B-A1B-GGUF — это набор квантизированных версий языковой модели LFM2-8B-A1B, разработанной LiquidAI и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от полноточного BF16 до квантизаций Q8, Q6, Q5, Q4, Q3 и IQ3/IQ4 с размером файлов примерно от 3,3 до 16,7 ГБ. Квантизация выполнена с использованием imatrix, что призвано сохранить высокое качество при снижении требований к памяти. В README не указаны архитектура, поддерживаемые языки, размер контекста и мультимодальные возможности, поэтому эти характеристики нельзя достоверно оценить. Сильная сторона набора — широкий выбор вариантов для различного объёма оперативной памяти: версии Q6 и Q5 позиционируются как почти не уступающие по качеству исходной модели, а Q4 — как сбалансированные по размеру и качеству. Более низкие квантизации экономят память, но могут заметно терять в качестве; некоторые форматы отмечены как устаревшие или нерекомендуемые. Лицензия в представленном README не указана.

Llama 2 7B — предварительно обученная авторегрессионная языковая модель Meta на 7 млрд параметров, представленная в формате Transformers для PyTorch и Safetensors. Она использует оптимизированную архитектуру Transformer и принимает текст, генерируя текст; длина контекста в карточке указана как 4 тыс. токенов. Модель предназначена для генерации текста на английском языке и может служить основой для различных задач обработки естественного языка. Это базовая, не настроенная на диалог версия Llama 2; для сценариев общения предназначены отдельные варианты Llama-2-Chat. Модель предварительно обучена на 2 трлн токенов из общедоступных источников. Модель разработала Meta. Для использования весов требуется принять условия лицензии Meta Llama 2, которая допускает коммерческое и исследовательское применение с ограничениями лицензионного соглашения и политики допустимого использования. Ответы могут быть неточными, предвзятыми или нежелательными; перед внедрением требуется оценка и настройка для конкретного применения.

MaziyarPanahi/Llama-3-16B-Instruct-v0.1 — диалоговая языковая модель семейства Llama, созданная MaziyarPanahi как self-merge модели MaziyarPanahi/Llama-3-11B-Instruct-v0.1. Она предназначена для генерации текста и ответов на инструкции в формате диалога; пример в карточке показывает решение простой арифметической задачи. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 16,2 млрд параметров и рассчитана на контекст до 8192 токенов. Принимает текст и выдаёт текст; в метаданных указан английский язык. Модель подходит для диалоговых ассистентов, ответов на вопросы и выполнения текстовых инструкций. Карточка указывает библиотеку Transformers и формат safetensors. Лицензия обозначена как other, поэтому условия использования следует сверять с лицензией репозитория. Отдельные сведения о сравнительных качествах и ограничениях модели в карточке не приведены.

Llama-3.1-8B-ArliAI-RPMax-v1.1-GGUF — это GGUF-квантизованная версия текстовой генеративной модели Llama-3.1-8B-ArliAI-RPMax-v1.1, разработанной ArliAI. Квантизацию выполнил bartowski с использованием llama.cpp release b3715 и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через llama.cpp и LM Studio. Модель основана на архитектуре Llama 3.1 с размером 8 млрд параметров и работает в текстовой модальности. Доступны варианты от F16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемые варианты обеспечивают высокое или хорошее качество, а Q3 и некоторые другие компактные варианты подходят для систем с ограниченными ресурсами. Отдельные сборки оптимизированы для ARM и требуют соответствующей поддержки процессора. Сильной стороной модели является широкий выбор квантизаций и возможность локального запуска с различными аппаратными конфигурациями. Ограничения включают неизбежное снижение качества в более компактных вариантах, а также отсутствие в предоставленных данных сведений о поддерживаемых языках, размере контекста, обучающих данных и специализированных сценариях применения. Для корректной работы следует использовать указанный формат prompt. Лицензия: llama3.

bartowski/Llama-3.1-Tulu-3-70B-DPO-GGUF — это набор GGUF-квантизаций модели Llama-3.1-Tulu-3-70B-DPO, разработанной Allen Institute for AI (AI2) и дообученной методом DPO на наборе данных allenai/llama-3.1-tulu-3-70B-preference-mixture. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях вроде LM Studio. В README указаны архитектура семейства Llama 3.1, размер 70B параметров, текстовая модальность и поддержка английского языка. Для взаимодействия используется формат промпта с ролями system, user и assistant. Размер и качество зависят от выбранной квантизации: доступны варианты от Q8_0 объёмом 74,98 ГБ до IQ1_M объёмом 16,75 ГБ. Сильной стороной являются многочисленные варианты квантизации, позволяющие выбирать баланс между качеством, скоростью и требованиями к памяти; наиболее рекомендуемыми в README названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Более компактные варианты экономят память, но могут заметно снижать качество. Для некоторых вариантов указаны аппаратные ограничения, а файл Q4_0_8_8 не рекомендуется использовать на Mac. Лицензия модели — llama3.1.

QuantFactory/Llama-3.2-1B-Instruct-GGUF — GGUF-представление инструкционной модели Llama 3.2 с размером около 1 млрд параметров. Базовая модель разработана Meta, а данный репозиторий содержит её вариант в формате GGUF, предназначенный для локального запуска совместимыми средствами инференса. Модель относится к классу text-generation и предназначена для диалоговых сценариев, генерации и преобразования текста, ответов на инструкции и других задач обработки естественного языка. В метаданных указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель текстовая; сведения о длине контекста и конкретном методе квантования в представленном README не указаны. Небольшой размер делает модель подходящей для запуска на ограниченных вычислительных ресурсах, однако по качеству и объёму знаний она может уступать более крупным моделям. Как и другие генеративные модели, она может создавать неточные или непроверенные ответы. Использование регулируется Llama 3.2 Community License от Meta: при распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и требования Acceptable Use Policy.

Allen Institute for AI (AI2) разработал эту англоязычную чат-модель семейства Tulu на архитектуре Llama 3. Модель содержит около 7,5 млрд параметров, принимает текст и генерирует текст; длина контекста — 8192 токена. Она дообучена методом PPO с использованием UltraFeedback и модели вознаграждения на 8B параметров, чтобы улучшить ответы помощника на инструкции и диалоги. Модель предназначена для генерации ответов, диалогов и решения разнообразных задач по текстовым инструкциям. В карточке приведены результаты оценки на GSM8k и AlpacaEval 2; для применения рекомендуется формат сообщения, заданный шаблоном чата токенизатора. Лицензия в метаданных — Apache 2.0; README также упоминает лицензию сообщества Meta Llama 3. Модель может выдавать проблемные ответы, поскольку этап RLHF не был нацелен на безопасные завершения и не использовалась фильтрация ответов во время работы.

Malaysian Finetune Whisper Medium V2 — дообученная модель семейства Whisper, разработанная Mesolitica на основе Whisper Medium с использованием малайзийского набора данных. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. Модель содержит 455,8 млн параметров и распространяется в формате safetensors. Карточка указывает на настройку для малайзийских данных; метаданные также отмечают английский, китайский и тамильский языки, но не уточняют качество распознавания для каждого из них. Модель принимает аудио и выдаёт текст. Лицензия и длина контекста в доступных данных не указаны.

MetaCLIP 2 (worldwide) — мультимодальная модель семейства CLIP, представленная Meta в работе «MetaCLIP 2: A Worldwide Scaling Recipe». Этот чекпойнт соответствует варианту ViT-H-14-quickgelu-worldwide и предназначен для классификации изображений по текстовым описаниям без дополнительного обучения: пользователь задаёт возможные классы, а модель оценивает соответствие изображения каждому из них. Модель принимает изображения и текстовые описания и выдаёт оценки сходства, поддерживая многоязычные сценарии. Она реализована как MetaCLIP2Model и распространяется в формате safetensors для Transformers. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но ограничивает коммерческое применение.