I.3Извлечение и структурирование данных

OneNexus/GLM-5.3-MXFP4 — квантизированная версия полноразмерной модели GLM-5.3, разработанной Z.ai и основанной на исходном контрольном пункте zai-org/GLM-5.3-BF16. Модель предназначена для генерации текста и диалоговых сценариев; входом и выходом служит текст. В метаданных заявлены английский и китайский языки, архитектура GlmMoeDsaForCausalLM и поддержка pipeline text-generation. Модель использует MoE-архитектуру GLM-5.3 с DSA. Весовые параметры маршрутизируемых MoE-экспертов квантизированы в формате OCP MXFP4 E2M1 с блочным масштабированием 1×32, тогда как внимание, DSA-проекции, маршрутизатор, общие MLP-проекции, lm_head и отдельные компоненты сохранены в BF16. Размер индексированных весов составляет около 407,92 ГиБ в 282 шардах, что существенно меньше исходной BF16-версии. Валидация выполнена с контекстом до 1 048 576 токенов. К сильным сторонам относятся заметное сокращение объёма весов, совместимость с готовым рецептом InferenceX/SGLang и оптимизация для AMD Instinct MI350 с поддержкой EAGLE, DSA, MXFP4 MoE, FP8 KV-кэша и HiCache. Ограничения связаны с узкой инфраструктурой валидации: заявлена конфигурация из четырёх GPU AMD Instinct MI350 и ROCm-стек с конкретной версией SGLang; производительность и качество на другом оборудовании или в других средах могут отличаться. Модель распространяется по лицензии glm-5.3, обозначенной в README как license: other.

Это квантизированная версия мультимодальной модели Google Gemma 4 E4B-it, подготовленная пользователем bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для сценариев image-text-to-text, то есть для обработки изображений и текста с генерацией текстовых ответов, включая диалоговое взаимодействие и другие задачи, поддерживаемые исходной instruct-моделью. Доступны варианты весов от BF16 размером 15,05 ГБ до низкобитных форматов Q2 и IQ3 размером примерно 4,7–5,9 ГБ. Для инференса можно использовать llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Квантизация с imatrix предлагает компромисс между качеством и требованиями к памяти: наиболее качественными считаются BF16, Q8_0 и варианты Q6, а Q4 и более компактные форматы подходят для устройств с ограниченными ресурсами, но могут заметно снижать качество. Модель поддерживает специальный шаблон чата Gemma; точные сведения о размере архитектуры, максимальном контексте и поддерживаемых языках в предоставленных данных не указаны. Распространение осуществляется по лицензии Apache 2.0, при этом для Gemma также приведена отдельная ссылка на лицензионные условия Google.

gpt-oss-20b-GGUF — набор GGUF-квантизаций модели openai/gpt-oss-20b, подготовленный пользователем ggfox00000 для локального и периферийного развёртывания. Модель предназначена для генерации текста и диалоговых сценариев, включая суммаризацию и работу через llama.cpp или llama-cpp-python. README не указывает точные языковые возможности исходной модели, однако демонстрирует пример суммаризации на французском языке. Доступны варианты Q4_K_M размером около 8 ГБ, Q5_K_M около 10 ГБ и Q8_0 около 15 ГБ. При контексте 8192 токена им требуется примерно 9, 11 и 16 ГБ RAM или VRAM соответственно; заявленное качество возрастает от Q4_K_M к Q8_0. Эти варианты позволяют выбирать компромисс между требованиями к памяти и качеством, включая развёртывание на GPU с CUDA. Архитектура и мультимодальные возможности в README не описаны; по назначению это текстовая модель. Модель удобна для on-premise и edge-сценариев, где важны локальное выполнение и совместимость с llama.cpp. Ограничения включают необходимость подбора квантизации под доступную память, а также отсутствие в карточке подробных данных о производительности, поддерживаемых языках, исходной архитектуре и специальных возможностях. Квантизации распространяются на условиях Apache 2.0, унаследованных от исходной модели.

h2oai/h2ogpt-4096-llama2-13b-chat — копия Meta Llama 2 13B Chat, опубликованная H2O.ai для использования в h2oGPT и сравнения больших языковых моделей. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, содержащая 12,9 млрд параметров и принимающая текстовый ввод. Она предназначена для генерации текста и диалога, в том числе для чата по частным документам; заявленная длина контекста составляет 4096 токенов. Модель поддерживает английский язык. Репозиторий содержит веса в форматах PyTorch и Safetensors. Лицензия — llama2, соответствующая условиям лицензии Llama 2.

Huihui-Qwen3.5-35B-A3B-abliterated — версия Qwen3.5-35B-A3B от Huihui AI с ослабленными отказами, полученная методом abliteration. Это мультимодальная MoE-модель с архитектурой Qwen3.5 для диалога, анализа изображений, рассуждений и агентных задач; она принимает текст и изображения и выдаёт текст. В репозитории используются веса Safetensors и библиотека Transformers, доступны интерфейс вызова инструментов и шаблоны чата для режима рассуждений и работы с инструментами. Модель предназначена для диалоговых приложений и задач, где требуется отвечать на вопросы по изображениям или использовать инструменты. Авторы характеризуют реализацию abliteration как грубую проверку концепции. Ослабление фильтров безопасности повышает вероятность чувствительных, спорных или неподходящих ответов, поэтому результаты требуют проверки. Лицензия — Apache-2.0.

Huihui-Qwen3.8-27B-abliterated — мультимодальная диалоговая модель huihui-ai, созданная абляцией отказов в Qwen/Qwen3.8-27B. Это плотная модель семейства Qwen 3.5 на 27 млрд параметров с архитектурой Qwen3_5ForConditionalGeneration; она принимает текст и изображения и выдаёт текст. Поддерживает анализ изображений и видео, диалог и интерфейс вызова инструментов; для работы в README указана библиотека Transformers. Модель рассчитана на диалоги и запросы, при которых нежелательны стандартные отказы базовой модели. В последней версии изменены слои 18–51, а MTP и визуальная часть оставлены без изменений; автор сообщает, что такой подход призван лучше сохранить исходные возможности. README характеризует реализацию как грубую проверку концепции, поэтому качество и поведение могут быть нестабильны. Фильтрация безопасности существенно снижена, и возможны чувствительные или спорные ответы. Лицензия — Apache-2.0.

Это дообученная модель Whisper, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и преобразования аудио в текст; карточка сообщает результат оценки: loss 0,4954 и глобальный WER 21,7486. Метрики относятся к указанному набору оценки, описание которого в карточке отсутствует. Модель принимает аудио и выдаёт текст. В метаданных указан формат safetensors, библиотека Transformers и лицензия MIT. Подтверждённая поддержка хинди унаследована от базовой модели, однако сведения о данных обучения и других языках этой версии отсутствуют.

Jais Adapted 13B Chat — двуязычная диалоговая большая языковая модель семейства Jais, разработанная Inception AI. Это адаптированная версия Llama 2, дообученная для общения на арабском и английском языках; модель содержит 13 млрд параметров и распространяется в формате Safetensors. Модель предназначена для чат-ассистентов и генерации текста, а также может применяться для суммаризации арабских и англоязычных документов, анализа тональности и задач понимания языка. Она ориентирована прежде всего на арабоязычных пользователей и двуязычные сценарии. Для загрузки требуется включить trust_remote_code=True. Модель оптимизирована для арабского языка и также обладает сильными возможностями на английском. Ответы могут быть ошибочными, предвзятыми, вводящими в заблуждение или оскорбительными; модель не следует использовать для решений с высокими ставками без контроля человека или полагаться на неё в других языках. Лицензия — Apache 2.0.

jaLLAbi2-7b — объединённая языковая модель Abacus Research на базе архитектуры Mistral с 7,1 млрд параметров. Она создана методом mergekit из нескольких моделей, включая WestSeverus-7B-DPO-v2, jaskier-7b-dpo-v5.6, haLLAwa3 и WestLake-7B-v2-laser; в конфигурации использован метод слияния dare_ties и точность bfloat16. Модель предназначена для генерации текста и ответов на запросы. Она принимает текст и выдаёт текст, а заявленная длина контекста составляет 32 768 токенов. В README приведены результаты Open LLM Leaderboard, в том числе по тестам AI2 Reasoning Challenge и HellaSwag. Модель распространяется по лицензии Apache-2.0. Карточка не описывает целевые языки и не приводит ограничений или рекомендаций по применению, поэтому назначение для конкретного языка или предметной области из доступных сведений установить нельзя.

Myric/K2-Horizon-MoVA-36B-A4B-APEX-GGUF — это квантизированная GGUF-версия модели IFM/K2-Horizon-MoVA-36B-A4B, разработанной Institute of Foundation Models при MBZUAI в рамках линии LLM360/K2. Модель предназначена для генерации текста и локального запуска через llama.cpp; она не связана с Kimi K2 от Moonshot. Распространяется по лицензии Apache-2.0. Модель содержит около 37,445 млрд параметров и использует архитектуру Mixture of Experts: 48 слоёв, включая 3 плотных, 100 FFN-экспертов с выбором top-8 и одним общим экспертом. Её отличительная особенность — механизм MoVA, или Mixture-of-Values Attention: в 45 слоях используется маршрутизация по 64 value-экспертам с выбором top-4. Конфигурация внимания включает 32 головы и 8 KV-голов, размер головы — 128. Контекстное окно составляет 524 288 токенов, словарь — 250 624 токена. Поддержка языков в README не указана. Доступны три варианта квантизации: i-quality размером 21,05 ГиБ, compact размером 16,69 ГиБ и mini размером 14,86 ГиБ. Compact рекомендуется как наиболее сбалансированный вариант по размеру и качеству; i-quality обеспечивает минимальную измеряемую потерю, а mini подходит при жёстких ограничениях памяти. По данным тестов, все варианты сохранили результат 9/9 и 142/142 в указанном agentic-тесте, однако mini демонстрирует заметно большее ухудшение perplexity относительно BF16. Для запуска требуется специальная ветка model/K2Horizon форка MBZUAI-IFM/llama.cpp; стандартная upstream-версия llama.cpp эту архитектуру не загружает. Это существенно ограничивает совместимость и требует сборки специализированного программного обеспечения. Квантизация учитывает чувствительность маршрутизаторов MoE и MoVA, поэтому соответствующие веса сохранены в F32 для уменьшения риска ошибочного выбора экспертов.

Модель SpeechBrain предназначена для определения языка по коротким речевым записям. Она обучена на датасете CommonLanguage и распознаёт 45 языков, включая русский, английский, арабский, китайский, японский и другие. Система сочетает ECAPA-TDNN, статистический pooling и классификатор, обученный с categorical cross-entropy. Обучающие записи имеют частоту дискретизации 16 кГц и один канал; при использовании classify_file SpeechBrain автоматически приводит аудио к нужному формату. Для другой частоты дискретизации или числа каналов входной тензор нужно подготовить самостоятельно при использовании encode_batch и classify_batch. Точность на тестовом наборе CommonLanguage указана как 85%. Модель подходит для классификации языка в речевом аудио. SpeechBrain предупреждает, что качество на других датасетах не гарантируется. Распространяется по лицензии Apache-2.0.

Карточка модели titanbot/LeoLM-hessianai-7b-chat на Hugging Face совпадает с карточкой LeoLM/leo-hessianai-7b-chat, поэтому описание составлено по ней. LeoLM/leo-hessianai-7b-chat — чат-модель команды LeoLM, созданная Björn Plüster и Christoph Schuhmann совместно с LAION и HessianAI. Она основана на LeoLM/leo-hessianai-7b — немецкоязычной версии Llama 2, дополнительно обученной на немецких текстах, — и дообучена на наборах немецких инструкций. Модель представляет собой плотный авторегрессионный трансформер-декодер семейства Llama с 6,6 млрд параметров и контекстом до 8 192 токенов; работает через Transformers и использует формат диалога ChatML. Модель предназначена для общения, написания и объяснения текстов, обсуждений, ролевых диалогов и ответов на вопросы на немецком и английском языках. В оценке MT-Bench-DE особенно хорошо показала себя в гуманитарных и STEM-задачах, а математика, программирование и сложные рассуждения оказались слабее. Разработчики предупреждают о возможных неточных, предвзятых или нежелательных ответах и рекомендуют проверять модель и адаптировать меры безопасности под конкретное применение. Лицензия — Llama 2 Community License Agreement.

LFM2.5-1.2B-Instruct-MLX-4bit — это 4-битная квантованная версия языковой модели LFM2.5-1.2B-Instruct, разработанная LiquidAI и подготовленная командой LM Studio с использованием mlx_lm. Модель оптимизирована для запуска на устройствах Apple Silicon с поддержкой MLX. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях, где важны компактность и эффективное использование ресурсов, например в приложениях на устройствах Apple Silicon и через совместимые инструменты локального запуска. В README указана поддержка английского, арабского, китайского, французского, немецкого, японского, корейского и испанского языков. Архитектура и максимальная длина контекста не указаны; размер исходной модели составляет 1,2 млрд параметров. Ключевое преимущество модели — 4-битная квантование, снижающая требования к памяти и вычислительным ресурсам, а также оптимизация под Apple Silicon. К ограничениям относятся возможное снижение точности по сравнению с полной версией из-за квантования и отсутствие в предоставленных данных подробных сведений о качестве, производительности, модальностях и контекстном окне. Модель распространяется по лицензии lfm1.0; дополнительные условия следует уточнять в файле LICENSE.

LiquidAI/LFM2.5-ColBERT-350M-GGUF — мультиязычная модель извлечения и переранжирования документов, разработанная Liquid AI. Это модель позднего взаимодействия (late interaction retriever) на базе эффективной архитектуры LFM2 с заявленным размером 350 млн параметров. Модель формирует отдельный вектор для каждого токена и сопоставляет запрос с документом с помощью метода MaxSim, что позволяет учитывать локальные совпадения между их фрагментами. Модель предназначена для семантического поиска, переранжирования результатов и интеграции в RAG-конвейеры, включая сценарии, где запросы и документы написаны на разных языках. В карточке заявлена высокая точность для 11 языков: английского, испанского, немецкого, французского, итальянского, португальского, арабского, шведского, норвежского, японского и корейского. Скорость вывода сопоставима с гораздо меньшими моделями, что делает её подходящей для развёртывания на периферийных устройствах и использования через llama.cpp в формате GGUF. Сильными сторонами являются мультиязычная работа, высокая заявленная точность, относительно эффективный inference и возможность заменить существующий retriever в RAG-системе. Ограничения связаны с архитектурой позднего взаимодействия: для документов необходимо хранить последовательность токеновых векторов и вычислять MaxSim, поэтому модель требует иной организации индексов, чем обычные модели с одним вектором на документ. Максимальная длина контекста и другие детальные характеристики в карточке не указаны. Лицензия обозначена как lfm1.0; подробные условия приведены в файле LICENSE.

LFM2.5-ColBERT-350M-int4 — 4-битная квантованная версия многоязычной двунаправленной модели ColBERT от Liquid AI, подготовленная в формате MLX для Apple Silicon. Модель формирует 128-мерные векторы для каждого токена, а документы и запросы сопоставляет методом позднего взаимодействия MaxSim; для кодирования нужны маркеры [Q] и [D]. В метаданных указано 443,4 млн параметров и контекст до 128 000 токенов. Модель предназначена для многоязычного поиска документов и ранжирования результатов. README приводит замеры на ограниченной выборке англоязычного NanoBEIR: квантованная версия сохранила в среднем 99,4% NDCG@10 относительно fp16 на использованных наборах. Для корректного получения векторов нужен специализированный загрузчик из репозитория: обычные причинные загрузчики LFM2 дают неверные эмбеддинги. Репозиторий создан на основе LiquidAI/LFM2.5-ColBERT-350M и лицензирован как other; конкретные условия следует сверять с карточкой базовой модели и файлами лицензии.

Sahil Chachra подготовил 8-битную квантованную версию mxfp8 модели LiquidAI/LFM2.5-ColBERT-350M для запуска на компьютерах Apple Silicon через MLX. Это двунаправленный энкодер семейства LFM2.5 с поздним взаимодействием ColBERT: он строит 128-мерные векторы для каждого токена, а релевантность оценивается методом MaxSim. Модель предназначена для многоязычного семантического поиска и ранжирования документов; при кодировании запросов и документов нужны маркеры `[Q] ` и `[D] ` соответственно. В README приведён тест на подмножестве английского NanoBEIR: среднее сохранение NDCG@10 относительно fp16 указано как 99,2%. Веса занимают 365 МБ; пропускная способность кодирования в приведённом тесте на устройстве M-series составляет 12 254 токена в секунду. Метаданные указывают 443,4 млн параметров и контекст до 128 000 токенов. Лицензия обозначена как `other`; условия её использования следует сверить с карточкой модели и базовой моделью.

Это 4-битная квантизированная версия mxfp4 модели LFM2.5-Embedding-350M, подготовленная Sahil Chachra для запуска на Apple Silicon через MLX. Модель представляет собой плотный двунаправленный биэнкодер семейства LFM2.5 с вектором CLS размерности 1024; она кодирует запросы и документы для мультиязычного поиска. Для входов требуются префиксы «query: » и «document: », а сходство векторов можно оценивать косинусной мерой. Модель подходит для семантического и межъязыкового поиска по документам и для построения retrieval-компонента систем RAG. README сообщает о размере весов 188 МБ и скорости кодирования 13 936 токенов/с на устройстве серии M; приведённый бенчмарк охватывает только ограниченную англоязычную выборку NanoBEIR. Метаданные указывают 444,6 млн параметров и контекст 128 000 токенов. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой базовой модели и репозитория.

LGAI-EXAONE_EXAONE-Deep-7.8B-GGUF — это квантизированная версия языковой модели EXAONE-Deep-7.8B, разработанной компанией LG AI. Модель предназначена для генерации текста и может использоваться локально через llama.cpp, LM Studio и другие совместимые приложения на базе llama.cpp. Заявлена поддержка английского и корейского языков. Модель содержит 7,8 млрд параметров и распространяется в формате GGUF с вариантами квантизации от Q2 до Q8, а также в формате BF16. Это позволяет выбирать между качеством вывода, размером файла и требованиями к оперативной памяти; наиболее сбалансированными автор рекомендует варианты Q4–Q6. К преимуществам относятся локальный запуск и широкий выбор уровней квантизации, однако README не содержит сведений о точной архитектуре, размере контекстного окна, мультимодальности и результатах бенчмарков. Модель создана на основе EXAONE-Deep-7.8B и квантизирована bartowski с использованием llama.cpp и imatrix. Лицензия обозначена как EXAONE; точные условия следует уточнять в прилагаемом файле LICENSE.

mrm8488/limstral-7B-v0.1 — языковая модель Mistral 7B, дообученная на наборе данных LIMA для следования инструкциям. Она предназначена для генерации ответов на пользовательские запросы и выполнения общих инструкций в диалоговых сценариях. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Основной язык в карточке — английский. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не сообщает результаты оценки качества и не описывает специализированные области применения.

LFM2.5-1.2B-Instruct-GGUF — квантизированная версия инструкционной языковой модели LFM2.5-1.2B-Instruct, разработанной Liquid AI. Квантизацию выполнил bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через llama.cpp, LM Studio, KoboldCpp, Jan AI и другие совместимые приложения. Модель имеет размер 1,2 млрд параметров и поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. В поставке доступны варианты от BF16 до низкобитных форматов Q8, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми указаны варианты Q4–Q6; наиболее компактные варианты подходят для систем с ограниченной памятью, но могут заметно уступать по качеству. Это текстовая модель: сведения о поддержке изображений, аудио, архитектуре и размере контекстного окна в README не указаны. Модель распространяется по лицензии lfm1.0; подробные условия следует уточнять в файле LICENSE исходного репозитория.

LiquidAI_LFM2.5-2.6B-GGUF — это квантизированная версия языковой модели LFM2.5-2.6B, разработанной LiquidAI и подготовленной пользователем bartowski в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста и локального использования на устройствах с ограниченными ресурсами, включая edge-сценарии. Она поддерживает только текстовый ввод, не использует MTP и поставляется с imatrix-квантизациями. Модель содержит около 3 млрд параметров и поддерживает арабский, китайский, английский, французский, немецкий, хинди, индонезийский, итальянский, японский, корейский, польский, португальский, русский, испанский, тайский и вьетнамский языки. Доступны варианты от BF16 и Q8_0 до более компактных Q2- и IQ-квантизаций. Q4_K_M размером около 1,68 ГБ обозначен как сбалансированный вариант для большинства задач, а версии Q5–Q6 обеспечивают более высокое качество при большем потреблении памяти. Более низкие уровни квантизации экономят место, но могут заметно снижать качество генерации. Размер контекста и подробности архитектуры в карточке не указаны. Модель удобна для локального инференса и приложений, где важны компактность, многоязычность и совместимость с llama.cpp. Использование регулируется лицензией LFM 1.0; в карточке указано, что это лицензия с отдельными условиями, а не стандартная open-source лицензия.

Llama 3.1 Swallow Gen 8B v0.1 — языковая модель, полученная слиянием моделей Tokyo Institute of Technology и BAAI с помощью Mergekit. Она объединяет Llama-3.1-Swallow-8B-Instruct-v0.1 и Infinity-Instruct-7M-Gen-Llama3_1-8B методом dare_ties; архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, формат весов — safetensors, библиотека — Transformers. Модель предназначена для генерации текста и диалогов на японском и английском языках, включая выполнение текстовых инструкций. Контекст составляет до 8192 токенов. Лицензия в предоставленных данных не указана.

Это GGUF-квантизированная версия языковой модели Llama-3.1-WhiteRabbitNeo-2-70B, разработанной WhiteRabbitNeo и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. В README указано использование формата prompt, совместимого с Llama 3. Модель основана на архитектуре Llama 3.1 с 70 миллиардами параметров. Доступны варианты квантования от Q8_0 до IQ1_M, различающиеся размером файлов, требованиями к памяти и качеством генерации; наиболее рекомендуемыми названы Q6_K, Q5_K_M и Q4_K_M. Квантизация выполнена с использованием imatrix и набора данных bartowski. Модель поддерживает текстовую генерацию, однако сведения о языках, размере контекстного окна и мультимодальности в README не указаны. Сильной стороной являются различные уровни квантования, позволяющие выбирать баланс между качеством и потреблением памяти, а также возможность локального использования. Низкобитные варианты заметно уступают по качеству, а некоторые из них не рекомендуются. Модель распространяется по лицензии llama3.1; дополнительные ограничения и условия лицензии в README не раскрыты.

David6995/Llama-3.2-3B-base — базовая языковая модель семейства Llama 3.2, представленная как общий чекпойнт для специализированных моделей по отдельным областям. Это плотная авторегрессионная архитектура LlamaForCausalLM с 3,2 млрд параметров; репозиторий содержит веса BF16, конфигурацию и токенизатор в формате safetensors. Модель предназначена для генерации текста и может служить основой для дообучения доменных экспертов и диалоговых приложений. Заявленное окно контекста составляет 131 072 токена. Метаданные указывают поддержку чата и интерфейс вызова инструментов, однако README не описывает конкретные сценарии, качество или языковой охват модели. Использование регулируется лицензией Llama 3.2 и связанными с ней условиями и политиками.

Llama-3-Yggdrasil-2.0-8B-GGUF — это набор GGUF-квантизаций языковой модели Llama-3-Yggdrasil-2.0-8B, опубликованный bartowski. Исходная модель разработана на основе объединения нескольких моделей семейства Llama 3: Locutusque/Llama-3-NeuralHercules-5.0-8B, NousResearch/Meta-Llama-3-8B, NousResearch/Hermes-2-Theta-Llama-3-8B и Locutusque/llama-3-neural-chat-v2.2-8b. Квантизация выполнена с помощью llama.cpp версии b3086 и метода imatrix. Модель предназначена для генерации текста и локального запуска через совместимые инструменты llama.cpp и другие приложения, поддерживающие формат GGUF. Доступны варианты с разным уровнем квантизации — от Q8_0 до Q2_K и IQ2_XS — размером примерно от 2,60 до 8,54 ГБ. Более качественными считаются Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; варианты с меньшим размером требуют меньше оперативной памяти, но могут заметно уступать по качеству. Это текстовая модель с примерно 8 млрд параметров. README не указывает поддерживаемые языки, размер контекстного окна, результаты тестирования и точные сильные стороны исходной модели. Шаблон чата также не задан однозначно: в карточке приведён предполагаемый формат, который может быть некорректным, поэтому его следует проверить по карточке оригинальной модели. Лицензия в README не указана.

llm-jp-3-13b-instruct2 — японский инструктивный языковой модель серии LLM-jp-3, разработанной Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это плотная Transformer-модель семейства Llama с 13,2 млрд параметров; она принимает текст и генерирует текст, в том числе в диалоговом режиме. Модель обучалась на смеси данных и прошла supervised fine-tuning для выполнения инструкций. В README указан контекст 4096 токенов и 2,1 трлн токенов, просмотренных при обучении; метаданные отмечают японский и английский языки. Модель подходит для ответов на вопросы, диалогов и выполнения текстовых инструкций, особенно на японском языке. Репозиторий содержит веса в формате Safetensors для Hugging Face Transformers. Лицензия — Apache-2.0. Авторы отмечают, что модели серии находятся на ранней стадии исследований и разработок и не настроены для гарантированного соответствия намерениям человека и требованиям безопасности.

llm-jp-3-8x13b-instruct3 — языковая модель, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии (NII). Это версия для диалогов и выполнения инструкций, созданная на основе предварительно обученной модели с последующей supervised fine-tuning и Direct Preference Optimization. Модель использует архитектуру Mixtral с разреженной смесью экспертов: 8 экспертов, из которых активируются 2. В README указаны 40 слоёв и контекст 4096 токенов; карточка Hugging Face сообщает 13,2 млрд параметров, а таблица README для варианта 8x13b указывает около 73,2 млрд общих параметров и около 22,2 млрд активируемых параметров. Она предназначена для генерации текста и диалогов, особенно на японском языке; метаданные также отмечают английский. Модель подходит для ответов на вопросы, работы с инструкциями, рассуждений и генерации текста. Разработчики предупреждают, что модель находится на раннем этапе исследований и разработок и не настроена полностью для соответствия человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

Magistral-Small-2506-MLX-4bit — это 4-битная квантованная версия языковой модели Magistral-Small-2506, разработанной Mistral AI. Квантование выполнено командой LM Studio с использованием библиотеки mlx_lm и формата MLX; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и локального использования в сценариях, поддерживаемых экосистемой MLX и приложением LM Studio. Ключевая известная характеристика — 4-битное квантование, уменьшающее требования к памяти по сравнению с полной версией и ориентированное на эффективный запуск на совместимом оборудовании. README не содержит сведений о количестве параметров, архитектуре, поддерживаемых языках, размере контекста и дополнительных модальностях, поэтому эти характеристики нельзя определить. Модель распространяется по лицензии Apache-2.0. К ограничениям относятся возможные неточности, вредное или неподходящее содержание, а также отсутствие гарантий корректности и пригодности результатов; эти свойства типичны для исходной модели и не устраняются квантованием.

Это 4-битная MLX-конверсия модели Meta-Llama-3.1-8B-Instruct-abliterated, подготовленная сообществом mlx-community из mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated с помощью mlx-lm 0.17.1. В основе лежит дообученная Meta-Llama-3.1-8B-Instruct; модель предназначена для диалоговой генерации текста и запуска на устройствах Apple с MLX. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров. Контекст составляет до 131 072 токенов. Вариант abliterated позиционируется как менее ограниченный в ответах; это не гарантирует точность или безопасность результатов. Репозиторий указывает лицензию Llama 3.1; её условия распространяются на использование модели.

Это 7-миллиардная чат-модель Llama 2 от Meta, представленная в репозитории abhinavkulkarni в 4-битном формате AWQ с размером группы 128 для запуска через Hugging Face Transformers. Модель предназначена для генерации текста в диалоге и других сценариях работы с текстом; архитектура — плотная авторегрессионная LlamaForCausalLM, число параметров по метаданным — 6,6 млрд, контекст — до 4096 токенов. Карточка приводит оценку perplexity на wikitext для исходной и квантованной версии; значения у квантованной версии немного выше. Квантование AWQ уменьшает точность весов до 4 бит, что позволяет экономить память при запуске. В README указана проверка на CUDA 11.7 и требование к NVIDIA GPU с compute capability 8.0 или выше. Карточка не указывает лицензию, поэтому условия использования по имеющимся данным описать нельзя.