I.3Извлечение и структурирование данных

Mungert/granite-3.3-8b-instruct-GGUF — это GGUF-кเวантованная версия инструкционной модели Granite 3.3 с примерно 8 млрд параметров, основанная на IBM Granite 3.3 8B Base. Модель предназначена для генерации текста и запуска локального inference через совместимые инструменты, включая сценарии на устройствах с ограниченной видеопамятью, CPU и edge-оборудовании. Основная особенность репозитория — варианты ultra-low-bit quantization с использованием метода IQ-DynamicGate, который распределяет точность по слоям и защищает embeddings и output layers. Доступны форматы с экстремально низкой разрядностью, включая IQ1 и IQ2, а также другие варианты квантования. Такие форматы существенно снижают требования к памяти, сохраняя больше качества по сравнению со стандартным 1–2-битным квантованием; однако точность всё равно ниже, чем у полноразмерных или высокоточных вариантов, а прирост эффективности зависит от конкретного формата и оборудования. В README приведены результаты тестов на Llama-3-8B-Instruct с контекстом 2048 токенов, поэтому эти показатели нельзя напрямую считать характеристиками Granite-модели. Языки, точный максимальный контекст, поддерживаемые модальности и подробные результаты именно для данной модели не указаны. Лицензия заявлена как Apache 2.0.

ChristianAzinn/gte-large-gguf — это квантизированная GGUF-версия модели gte-large, разработанной Alibaba DAMO Academy и опубликованной thenlper. Репозиторий подготовил ChristianAzinn; исходная модель построена преимущественно на архитектуре BERT и распространяется как модель для создания текстовых эмбеддингов. Модель предназначена для информационного поиска, оценки семантического сходства текстов, reranking и других задач, где требуется сопоставление текстовых представлений. Она обучалась на крупном корпусе релевантных пар текстов из различных предметных областей. Указан английский язык, максимальная длина контекста — 512 токенов. GGUF-файлы поддерживаются llama.cpp и LM Studio; доступны варианты квантизации от 2 до 8 бит, а также FP16 и FP32. Квантизация уменьшает размер и требования к памяти, но низкобитные варианты могут заметно снижать качество; README рекомендует сбалансированные варианты Q4_K_M, Q5_K_S, Q5_K_M и Q8_0. Модель не предназначена для генерации текста: её основная функция — получение эмбеддингов для последующего сравнения или поиска. Варианты с высокой степенью квантизации удобны для локального запуска на ограниченных ресурсах, однако требуют оценки влияния потери точности на конкретную задачу. Исходная модель и материалы репозитория распространяются по лицензии MIT.

HelpingAI Dhanishtha-2.0-preview-GGUF — это квантизированная версия языковой модели Dhanishtha-2.0-preview, разработанной HelpingAI и подготовленной пользователем bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста, диалогового взаимодействия, рассуждений с промежуточным мышлением, решения сложных задач, философских и образовательных объяснений. Модель относится к архитектуре Transformers и поддерживает мультиязычную работу, включая английский, хинди, китайский, испанский, французский, немецкий, японский, корейский, арабский, португальский, русский и ряд других языков. Доступны варианты от BF16 размером около 29,54 ГБ до различных квантизаций объёмом примерно от 8,11 ГБ. Квантизации позволяют запускать модель с меньшими требованиями к памяти; варианты Q5 и Q6 заявлены как высококачественные, а Q4_K_M — как оптимальный размер для большинства сценариев. Длина контекста, число параметров и мультимодальные возможности в README не указаны, поэтому модель следует считать текстовой. Сильными сторонами являются поддержка большого числа языков, ориентация на рассуждения и наличие широкого выбора квантизаций для локального запуска. Ограничения связаны с возможной потерей качества в более компактных квантизациях, значительными требованиями к памяти у крупных вариантов и отсутствием данных о производительности, длине контекста и результатах оценки. Модель можно запускать через LM Studio, llama.cpp и другие совместимые проекты. Указана лицензия Apache-2.0.

Hermes-3-Llama-3.1-8B-MLX — англоязычная диалоговая модель семейства Llama 3.1 с плотной архитектурой LlamaForCausalLM и 7,5 млрд параметров. Репозиторий mlx-community содержит версию модели в формате MLX, преобразованную из NousResearch/Hermes-3-Llama-3.1-8B с помощью mlx-lm 0.23.2. Модель предназначена для генерации текста в диалоге, следования инструкциям и взаимодействия с инструментами. Она поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. В метаданных указана лицензия llama3; для запуска README описывает использование mlx-lm.

HMistral-v3-00-fp16 — дообученная текстовая модель семейства Mistral, загруженная разработчиком 1024m и основанная на unsloth/mistral-7b-instruct-v0.3. Модель имеет плотную архитектуру MistralForCausalLM и около 7,1 млрд параметров; она предназначена для генерации текста, диалогов и выполнения инструкций. Поддерживает контекст до 32 768 токенов и английский язык. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. В карточке указано, что обучение выполнялось с использованием Unsloth и библиотеки Hugging Face TRL. Метаданные отмечают интерфейс для вызова инструментов, но не описывают отдельные возможности или качество модели.

Homer-v1.0-Qwen2.5-7B — дообученная на большом объёме инструкционных данных языковая модель от автора репозитория newsbang. Она основана на Qwen2.5-7B и предназначена для диалогов и выполнения инструкций; карточка также приводит результаты оценки на IFEval и BBH. Архитектура — плотная Qwen2 с причинным декодером Qwen2ForCausalLM, размер — 7,1 млрд параметров, контекст — до 131 072 токенов. Модель принимает текст и генерирует текст; отдельная специализация на математике не подтверждена, хотя автор сообщает о выпуске математической части набора данных и анализе утечек данных в математических бенчмарках. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. В карточке не описаны поддерживаемые естественные языки и подробные ограничения качества.

INF-Retriever-v1-1.5B — компактная плотная модель для поиска по текстам, разработанная INF TECH на основе Alibaba-NLP/gte-Qwen2-1.5B-instruct и дообученная для задач извлечения информации. Она кодирует запросы и документы в эмбеддинги размерностью 1536, чтобы находить семантически близкие материалы в системах поиска и retrieval-augmented generation (RAG). Модель содержит 1,5 млрд параметров; архитектура основана на Qwen2. README указывает максимальный входной размер 32 768 токенов, тогда как метаданные каталога приводят нативный контекст 131 072 токена. Модель прежде всего настроена на поиск на английском и китайском языках и предназначена для разнородных коллекций и тематических областей. В README сообщается о результатах на AIR-Bench, включая высокий рейтинг среди моделей менее 7 млрд параметров; заявленные результаты отражают конкретный бенчмарк и не гарантируют качество на любой коллекции. Также указана работоспособность на других языках, но дообучение проводилось на английских и китайских данных, поэтому качество для остальных языков может отличаться. Лицензия — Apache-2.0.

InternLM2.5-1.8B — языковая модель для генерации текста, разработанная командой InternLM. Она сохраняет архитектуру InternLM2 и использует около 1,7 млрд параметров; по заявлению разработчиков, версия 2.5 улучшила рассуждения по сравнению с InternLM2-1.8B. Модель оценивается на бенчмарках MMLU, CMMLU и BBH. Модель подходит для продолжения текста, ответов на вопросы, решения задач на рассуждение и других сценариев генерации на естественном языке. Контекстное окно составляет 32 768 токенов. Карточка содержит результаты оценки на англоязычных и китайских бенчмарках, но не перечисляет полный набор поддерживаемых языков. Возможны предвзятые, дискриминационные и иные нежелательные ответы, поэтому результаты требуют проверки. Код распространяется по Apache-2.0; для весов заявлен открытый доступ для академических исследований и возможность запросить бесплатное коммерческое разрешение.

Карточка модели tomaarsen/jina-clip-v2 на Hugging Face совпадает с карточкой jinaai/jina-clip-v2, поэтому описание составлено по ней. Jina CLIP v2 — модель мультимодальных эмбеддингов общего назначения, разработанная Jina AI. Она совместно обучает текстовый энкодер Jina-XLM-RoBERTa и визуальный энкодер EVA02-L14, чтобы представлять текст и изображения в общем векторном пространстве для поиска и сопоставления. Модель содержит около 0,9 млрд параметров: 561 млн в текстовом энкодере и 304 млн в визуальном. Она принимает текст длиной до 8192 токенов и изображения разрешением до 512 × 512 пикселей, формируя эмбеддинги размерностью до 1024; размер векторов можно сократить до 64 с помощью Matryoshka-представлений. Модель предназначена для мультиязычного поиска по изображениям и текстам, поиска похожих изображений и текстов, а также для извлечения признаков в мультимодальных приложениях. В README заявлена поддержка 89 языков для мультиязычного поиска изображений; метаданные перечисляют языковые коды лишь для части из них. По словам разработчиков, версия v2 улучшает результаты v1 на 3% в задачах поиска текст-текст и текст-изображение. Модель доступна в форматах PyTorch, ONNX и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с обязательной атрибуцией, но исключает коммерческое применение.

Josiefied-Qwen3-14B-abliterated-v3 — дообученная Гёкденизом Гюльмезом плотная языковая модель семейства Qwen3 с 14 млрд параметров, созданная на базе Qwen/Qwen3-14B. Она предназначена для диалогов, следования инструкциям и генерации текста с ослабленной фильтрацией ответов; также поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст, а её нативная длина контекста составляет 40 960 токенов. Модель ориентирована на продвинутых пользователей, которым нужны открытые ответы и сохранение возможностей инструкционного диалога и работы с инструментами. В README также упоминаются варианты квантизации GGUF и MLX, однако эта карточка содержит веса в формате safetensors. Автор предупреждает, что сниженная фильтрация может приводить к чувствительным или спорным ответам. Условия лицензирования в предоставленных данных не указаны.

K2-Horizon-MoVA-36B-A4B-GGUF — открытая GGUF-версия модели K2-Horizon-MoVA-36B-A4B, разработанная IFM. Это разреженная Mixture-of-Experts-модель с архитектурой Mixture-of-Values attention (MoVA): всего она содержит 36 млрд параметров, при обработке каждого токена активируется около 4 млрд. Модель предназначена для генерации текста, рассуждений и агентских сценариев; заявлена поддержка контекста до 524 288 токенов. В карточке указано, что модель обучалась на англоязычных данных и ориентирована на английский язык. К сильным сторонам относятся высокая заявленная эффективность при небольшом числе активных параметров, конкурентоспособные результаты на задачах рассуждения и агентского взаимодействия, а также открытый статус проекта. Файлы содержат метаданные токенизатора и совместимый с llama.cpp шаблон чата, однако для запуска требуется версия llama.cpp с поддержкой архитектуры K2 Horizon, которая на момент публикации находилась в разработке. Тензоры сохранены в исходной точности BF16, поэтому практические требования к ресурсам зависят от конкретной среды запуска. Модель распространяется по лицензии Apache-2.0.

Arch-Function-Chat-7B-GGUF — квантизированная GGUF-версия модели Arch-Function-Chat-7B, разработанной katanemo и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и чат-сценариев, включая задачи, связанные с function calling, и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Это языковая модель размером 7B параметров с поддержкой английского языка. В репозитории представлены варианты от исходных BF16-весов до квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, объёмом примерно от 3,55 до 15,24 ГБ. Для работы следует использовать указанный формат prompt с ролями system, user и assistant. Более качественные варианты требуют больше оперативной памяти, тогда как низкобитные версии экономичнее, но заметно уступают в качестве. Модель ориентирована на локальный запуск и предоставляет широкий выбор компромиссов между качеством, размером и скоростью инференса; в README рекомендуются варианты Q6_K_L, Q6_K, Q5 и Q4_K_M. Архитектура, размер контекстного окна, мультимодальность и дополнительные языки не указаны. Распространение осуществляется по лицензии katanemo-research; подробные условия приведены в LICENSE исходной модели.

kellemar-DPO-Orca-Distilled-7B-SLERP — текстовая авторегрессионная модель, разработанная decruz и дообученная на базе mlabonne/Marcoro14-7B-slerp с использованием набора argilla/distilabel-intel-orca-dpo-pairs. Она предназначена для базового инференса и общих языковых задач, включая генерацию ответов, рассуждения и работу в диалоговых приложениях. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README приведены результаты бенчмарков OpenLLM и Nous на январь 2024 года; они характеризуют оценку автора и могут зависеть от методики тестирования. Для модели указана лицензия CC BY-NC 4.0, поэтому её использование ограничено некоммерческими условиями этой лицензии.

Kepler-8B-Instruct-v2 — разговорная языковая модель intellectlabs, представленная в репозитории в формате GGUF для запуска через llama.cpp и совместимые приложения. Согласно карточке, исходная модель получена слиянием Qwen/Qwen2.5-7B-Instruct (85%) и DeepSeek-R1-Distill-Qwen-7B (15%); доступны варианты квантования от Q2_K до F16. Модель содержит около 7,1 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. Модель предназначена для диалога и следования инструкциям: её можно применять для ответов на вопросы, объяснений и других текстовых задач в чат-интерфейсах, включая LM Studio, Ollama и llama.cpp. Карточка заявляет поддержку ChatML и ответы на разных языках, а метаданные указывают английский. Лицензия — Apache 2.0. Это слияние моделей, а опубликованные GGUF-файлы включают квантованные варианты. README сообщает, что модель не оценивалась на стандартных бенчмарках; сжатие до низкой разрядности снижает качество и повышает нестабильность ответов. Как и другие языковые модели, она может выдавать неточные сведения и унаследовать особенности или смещения исходных моделей.

MLX-квантизированная версия языковой модели Kimi-K2.6, разработанной Moonshot AI (исходная модель — moonshotai/Kimi-K2.6) и преобразованной сообществом mlx-community с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста и локального запуска на компьютерах Apple, прежде всего на Mac Studio с чипом M3 Ultra и 512 ГБ памяти, через библиотеку MLX и инструмент mlx-lm. Ключевая особенность — схема динамической смешанной квантизации DQ3_K_M. Большинство тензоров сохраняется в 8-битном представлении, а экспертные тензоры — в смешанном 3- и 4-битном формате с отдельными участками повышенного качества. Такой подход рассчитан на качество, близкое к 4-битной квантизации, при меньшем размере, чем у стандартной 4-битной версии, чтобы сохранить память для контекстного окна. За это приходится платить небольшим снижением скорости генерации. README не сообщает точный размер модели, архитектуру, максимальную длину контекста, поддерживаемые языки и набор специализированных задач. Для использования требуется установить mlx-lm; запуск предусматривает параметр trust-remote-code. Модель распространяется по лицензии modified-MIT, обозначенной как other. Условия лицензии следует проверять по исходной карточке модели, поскольку README не приводит её полный текст.

LFM2.5-2.6B-MLX-8bit — компактная многоязычная языковая модель, разработанная Liquid AI. Это экспорт модели LFM2.5-2.6B в формате MLX, предназначенный для эффективного вывода на устройствах Apple Silicon. Модель относится к задачам генерации текста и может использоваться для диалога, создания и продолжения текстов, ответов на вопросы и других сценариев локального инференса. Модель содержит 2,6 млрд параметров, использует 8-битную точность с group size 64 и занимает около 2,67 ГБ. Архитектура Liquid AI объединяет сверточные и attention-слои, что ориентировано на эффективную обработку длинного контекста; заявленная длина контекста составляет 131 072 токена. Поддерживаются арабский, китайский, английский, французский, немецкий, хинди, индонезийский, итальянский, японский, корейский, польский, португальский, русский, испанский, тайский и вьетнамский языки. К сильным сторонам относятся компактный размер, 8-битное представление, поддержка длинного контекста и оптимизация для Apple Silicon через MLX. Ограничения включают зависимость от экосистемы MLX и устройств Apple Silicon, а также возможные компромиссы между качеством и экономией памяти из-за квантования; конкретные показатели качества в README не указаны. Модель распространяется по лицензии LFM 1.0.

LFM2.5-8B-A1B-CoreAI — это конверсия модели LiquidAI/LFM2.5-8B-A1B для локального выполнения в формате Apple Core AI (.aimodel). Конверсию подготовило сообщество Core AI model zoo; базовая модель разработана Liquid AI. Модель предназначена для генерации текста, чат-диалогов, суммаризации и других языковых задач на устройствах Apple без отправки данных в облако, включая интеграцию с CoreAIKit и системными сценариями LanguageModelSession. Архитектура представляет собой гибридный decoder-only MoE: 24 слоя, из которых 18 используют short-convolution mixers, а 6 — GQA attention. Первые два слоя плотные, остальные используют разреженный MoE с 32 экспертами и выбором 4 экспертов на токен. Общий размер составляет около 8,3 млрд параметров, при этом активно на токен используется примерно 1,5 млрд; hidden size — 2048, словарь — 128 тысяч токенов. В README языки и максимальный размер контекста не указаны. Модель ориентирована на GPU и Neural Engine устройств Apple; опубликованный чистый bundle предназначен для Mac, а вариант int4 проверен на iPhone 17 Pro, но не поставляется из-за заметной потери качества. Сильные стороны модели — локальная работа, MoE-эффективность и оптимизированное ядро gather_qmm, которое читает веса только выбранных экспертов. Для Mac заявлена скорость около 140–141 токена в секунду при размере bundle 8,8 ГБ, а качество симметричного int8-варианта соответствует уровню fp16 в описанном тесте. Ограничения включают значительный объём загрузки, зависимость от устройств Apple и наличие проблем у базовой модели с повторяющейся генерацией при использовании без chat template и sampling. Модель распространяется по лицензии lfm-open-license-v1.0; точные условия приведены в файле LICENSE.

Ling-3.0-flash-GGUF — это GGUF-квантизированная версия языковой модели Ling-3.0-flash, разработанной inclusionAI и подготовленной для распространения bartowski. Модель предназначена для генерации текста и запуска через llama.cpp; поддерживает спекулятивное декодирование MTP и входные данные в текстовой модальности. Модель содержит 127 млрд параметров. Доступны варианты от BF16 и Q8_0 до компактных квантов Q2 и IQ2; размер файлов составляет примерно от 43,64 до 255,09 ГБ. Для большинства сценариев README рекомендует Q4_K_M как компромисс между качеством и размером, а Q5 и Q6 — когда важнее качество. Квантизация выполнена с использованием imatrix, однако измерения perplexity и KLD не предоставлены. Архитектура, поддерживаемые языки и размер контекстного окна в представленных данных не указаны. Сильными сторонами являются большой объём параметров, широкий выбор уровней квантизации и совместимость с экосистемой llama.cpp. Ограничениями выступают значительные требования к дисковому пространству и ресурсам, особенно для высококачественных вариантов; низкобитные кванты экономят память, но могут заметно снижать качество. Лицензия — MIT.

LiteResearcher-4B — агентная языковая модель компании Simplex AI, дообученная на базе Qwen/Qwen3-4B-Thinking с помощью обучения с подкреплением. Она построена на архитектуре Qwen3ForCausalLM, содержит 3,7 млрд параметров и поддерживает контекст до 262 144 токенов. Модель предназначена для глубокого веб-исследования: она поочерёдно анализирует запрос, ищет сведения в интернете, посещает страницы и формирует ответ на основе собранных данных. Агент использует стиль ReAct и инструменты поиска и просмотра страниц; для работы с ними требуется внешняя инфраструктура и соответствующие ключи доступа. Карточка приводит результаты на бенчмарках GAIA, Xbench-DS и Frames, но они сами по себе не гарантируют аналогичное качество на других задачах. Модель принимает текст и генерирует текст; языковые теги карточки указывают английский и китайский. Распространяется по лицензии Apache-2.0.

RedHatAI/Llama-2-7b-dolphin-open_platypus — плотная языковая модель на архитектуре Llama 2 с 6,6 млрд параметров, дообученная Neural Magic и Cerebras для следования инструкциям. Обучение использовало сочетание наборов данных Platypus, Open Orca и Dolphin. Модель предназначена для генерации текста и выполнения инструкций в сценариях вопросно-ответного взаимодействия и других задачах общего назначения. Она принимает текст и генерирует текст, имеет контекст длиной 4096 токенов и доступна в формате safetensors для запуска через Transformers; для ускоренного инференса с разреженностью README предлагает nm-vllm или deepsparse. В README приведены незаполненные значения результатов бенчмарков, поэтому количественная оценка качества по этой карточке невозможна. Лицензия в предоставленных сведениях не указана.

QuantFactory/Llama-3.1-8B-EZO-1.1-it-GGUF — квантизированная версия модели HODACHI/Llama-3.1-8B-EZO-1.1-it, созданная с помощью llama.cpp. Исходная модель разработана на базе Meta AI Llama 3.1 и дообучена компанией Axcxept co., ltd. для повышения качества работы с японскими задачами. Модель предназначена для генерации текста, диалоговых ассистентов и других сценариев, требующих следования инструкциям и многоязычной обработки, при этом основной акцент сделан на японском языке. Архитектура основана на Llama 3.1-8B-Instruct; заявлены языки японский и английский. Формат GGUF и квантизация ориентированы на запуск через совместимые инструменты, включая llama.cpp, однако конкретный уровень квантизации, размер файла и поддерживаемая длина контекста в карточке не указаны. Для обучения использовались отобранные данные из Japanese Wikipedia и FineWeb с последующим instruction tuning. Как и другие большие языковые модели, система может генерировать неточные, предвзятые или проблемные ответы, поэтому перед развёртыванием необходимы тестирование безопасности и настройка под конкретное применение. Использование регулируется Llama 3.1 Community License Agreement. Указанные рекомендации сообщать о коммерческом использовании и указывать авторство являются рекомендациями, а не юридическими требованиями.

Llama3 8B CPT Sahabat-AI v1 Instruct — модель-генератор текста, разработанная PT GoTo Gojek Tokopedia Tbk и AI Singapore в рамках экосистемы Sahabat-AI, созданной совместно с Indosat Ooredoo Hutchison. Это декодер на архитектуре Llama 3 с 7,5 млрд параметров, дообученный следовать инструкциям на индонезийском, яванском, сунданском и английском языках. Для настройки использовали около 448 тысяч индонезийских, 96 тысяч яванских, 98 тысяч сунданских и 129 тысяч английских пар «инструкция — ответ». Модель поддерживает контекст до 8192 токенов и запускается с библиотекой Transformers. Модель предназначена для диалогов, ответов на вопросы, суммаризации, перевода, анализа тональности и следования заданным форматам, особенно для индонезийского языка и региональных языков Индонезии. Лицензия — Llama 3 Community License. Модель может галлюцинировать, выдавать нерелевантные ответы и непоследовательно рассуждать; она не прошла настройку на безопасность, поэтому её ответы требуют проверки, а для практического развёртывания могут понадобиться дополнительные меры безопасности.

Llama 4 Maverick — мультимодальная модель Meta для диалога и понимания изображений. Она использует авторегрессионную архитектуру mixture-of-experts с 17 млрд параметров и 128 экспертами, а также раннее объединение модальностей для работы с текстом и изображениями. В репозитории доступны веса Safetensors для Transformers. Модель предназначена для коммерческих и исследовательских сценариев: чат-помощников, визуального анализа, распознавания объектов и сцен, описания изображений и ответов на вопросы по ним. Она поддерживает арабский, английский, французский, немецкий, хинди, индонезийский, итальянский, португальский, испанский, тагальский, тайский и вьетнамский языки. Модель проверена для анализа до пяти изображений на вход. Для использования действует пользовательская Llama 4 Community License Agreement. Модель обучена на статичном офлайн-наборе данных. Возможности и качество могут различаться в зависимости от языка и сценария; для работы с большим числом изображений, чем проверенное, требуется дополнительная проверка и настройка.

Llama-Sahabat-AI-v2-70B-IT — инструктивная языковая модель семейства Llama, разработанная PT GoTo Gojek Tokopedia Tbk и AI Singapore при участии Indosat Ooredoo Hutchison. Это плотная авторегрессионная модель-декодер с 69,5 млрд параметров, дообученная для следования инструкциям и диалогов на английском, индонезийском и региональных языках Индонезии. Заявленная длина контекста — 128 тыс. токенов в README и 131 072 токена в метаданных. Модель предназначена для генерации ответов в чате, вопросов и ответов, суммаризации, перевода, анализа тональности, распознавания токсичности, рассуждений и задач на знание местного контекста. В README перечислены индонезийский, яванский, сунданский, батак-тоба и балийский языки; метаданные также отмечают английский, индонезийский, яванский и сунданский. Модель распространяется в формате Safetensors по лицензии Llama 3.1 Community License. Модель может галлюцинировать, выдавать нерелевантные ответы и непоследовательно рассуждать, поэтому её ответы следует проверять. Для развёртывания в прикладных системах разработчикам рекомендуется самостоятельно настроить дополнительную безопасность.

llm-jp-3.1-8x13b-instruct4 — языковая модель серии LLM-jp-3.1, разработанной Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это модель-трансформер с архитектурой MoE на базе Mixtral: 8 экспертов, из которых активируются 2. Общее число параметров — около 73,2 млрд, активных — около 22,2 млрд; контекст — 4096 токенов. Модель предназначена для диалогов и выполнения инструкций на японском и английском языках. Она прошла продолжительное обучение на данных с парами «инструкция — ответ», затем supervised fine-tuning и выравнивание методом Direct Preference Optimization. Подходит для ответов на вопросы, генерации текстов и других сценариев, где требуется следовать инструкциям. Модель выпущена в формате Transformers и хранится в safetensors; для работы README указывает PyTorch, Transformers, Tokenizers, Accelerate и FlashAttention. Авторы отмечают, что модель находится на ранней стадии исследований и разработок и не настроена для надёжного соответствия человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

Arx12/Maple-Preview-Exact-GGUF — это сторонний набор GGUF-репаков модели Maple-Preview, разработанной DeepGrove. Репаки подготовлены и проверены Arx12 на основе официальных файлов DeepGrove; данный репозиторий не является официальным релизом DeepGrove. Модель предназначена для генерации текста и задач, требующих рассуждений, с акцентом на соотношение качества, скорости и потребления памяти. Агентные сценарии и широкое постобучение пока ограничены по сравнению с планируемой полной версией Maple. Maple-Preview представляет собой reasoning-модель с архитектурой Mixture-of-Experts: 20 млрд общих параметров, около 1 млрд активных параметров на токен, 24 трансформерных слоя, 256 экспертов и 8 активных экспертов на токен. Используется ternary-weight дизайн и конфигурация внимания 3:1 SWA-512:GA, объединяющая скользящее и глобальное внимание. Контекст — до 131 072 токенов, заявленный язык — английский. Доступны варианты с точным репаком матриц TQ2_0 в Q4_0 или Q8_0, а также F16-представление; для некоторых вариантов LM head квантуется отдельно, поэтому полная побитовая идентичность вывода между форматами не гарантируется. Сильной стороной является сохранение представленных значений исходных матриц при репаках Q4_0 и Q8_0, подтверждённое проверкой всех 168 исходных TQ2_0 матриц, а также возможность работы с очень длинным контекстом и сравнительно небольшим числом активных параметров. Ограничения включают preview-статус, возможное отставание в агентных задачах и то, что exact-репак не восстанавливает точность, утраченную до исходного квантования; различия в вычислительных ядрах могут менять логиты и текст. Модель и производные репаки распространяются по лицензии MIT.

Merino-XL — мультиязычная модель для поиска по документам от BAA AI (Black Sheep AI). Она объединяет bi-encoder для получения 1024-мерных L2-нормализованных эмбеддингов и cross-encoder для оценки релевантности пары «запрос — документ» одним логитом. Обе части используют основу xlm-roberta-large и общую матрицу входных эмбеддингов, что позволяет хранить её один раз; заявлено, что это уменьшает размер загрузки без измеримой потери качества. Модель предназначена для двух этапов RAG-поиска: векторного извлечения кандидатов и их последующего ранжирования. README указывает около 880 млн параметров суммарно и мультиязычную поддержку. Модель снята с рекомендуемой линейки и заменена Merino-Large и Merino-Large-v2; её fp16-веса оставлены для воспроизводимости. 4-битный вариант не опубликован из-за регрессии устойчивости в проверке с отвлекающими документами. Лицензия в метаданных обозначена как other, без конкретных условий в предоставленных данных.

MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp-GGUF — набор файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе модели Weyaxi/MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp. Модель предназначена для генерации текста и может использоваться в локальных приложениях, чат-интерфейсах и системах, поддерживающих GGUF, включая llama.cpp, text-generation-webui, LM Studio, GPT4All, KoboldCpp и llama-cpp-python. В репозитории представлены варианты квантования с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Точные размер модели, архитектура исходной модели, максимальная длина контекста и поддерживаемые языки в README не указаны. Формат ориентирован на эффективный запуск, в том числе с GPU-ускорением, однако квантование может влиять на качество по сравнению с полноразмерной версией. Модель распространяется по лицензии Apache-2.0.

MiniCPM5-2B-mlx-4Bit — 4-битная модель для генерации текста, созданная конвертацией базовой модели openbmb/MiniCPM5-2B в формат MLX с использованием mlx-lm 0.31.2. Модель предназначена для запуска через библиотеку mlx-lm, включая локальное и периферийное использование на совместимых устройствах Apple и сценарии edge AI. В карточке заявлена поддержка английского и китайского языков, а также сценариев длинного контекста и вызова инструментов. Модель относится к семейству MiniCPM и имеет размер 2B параметров; точные архитектурные характеристики и максимальная длина контекста в README не указаны. 4-битное представление снижает требования к памяти и делает модель более подходящей для локального запуска, но может ограничивать качество по сравнению с полноразмерной версией, а возможности зависят от реализации MLX и совместимого оборудования. Модель распространяется по лицензии Apache-2.0.

Это квантизированная версия в формате GGUF модели MaziyarPanahi/Mistral-7B-Instruct-v0.1-16k-Mistral-7B-Instruct-v0.2-slerp. Модель разработана и подготовлена MaziyarPanahi; исходная версия получена объединением Mistral-7B-Instruct-v0.1-16k от NurtureAI и Mistral-7B-Instruct-v0.2 от Mistral AI методом slerp. Модель предназначена для генерации текста и работы с инструкциями, включая локальные чат-сценарии и другие задачи text generation, совместимые с поддерживаемыми GGUF инструментами. Модель имеет около 7 миллиардов параметров и работает только с текстом. Доступны варианты квантизации с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством. README не указывает точный размер контекстного окна объединённой модели, языки, результаты тестирования или специализированные преимущества. Формат GGUF поддерживается llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими совместимыми средствами, поэтому модель подходит для локального запуска на различных платформах, в том числе с GPU-ускорением. Ограничениями являются зависимость характеристик от выбранного уровня квантизации и отсутствие подтверждённых в README данных о качестве, языковой специализации и производительности. Модель распространяется по лицензии Apache-2.0.