I.3Извлечение и структурирование данных

Functionary Small v3.2 — языковая модель команды MeetKai для диалогов с вызовом функций и инструментов. Она основана на Meta Llama 3.1 8B Instruct; в репозитории указана плотная архитектура Llama с 7,5 млрд параметров и контекстом до 131 072 токенов. Веса представлены в формате safetensors. Модель подходит для чат-сценариев, где нужно выбирать подходящий инструмент, формировать вызовы по описаниям функций в JSON Schema, запускать несколько функций параллельно или последовательно и использовать их результаты для ответа. Она также может продолжать обычный диалог без вызова инструментов и поддерживает сценарии с интерпретатором кода. Для разбора сырых ответов в структуру с полями роли, содержимого и вызовов инструментов предусмотрен пользовательский код; авторы также рекомендуют запуск через совместимый с OpenAI сервер vLLM. Лицензия — MIT. Карточка описывает интерфейс вызова инструментов, но не приводит языковых оценок или сравнительных результатов; фактическое качество зависит от формата промпта и корректной обработки вызовов инструментов.

GEB-1.3B — языковая модель с 1,5 млрд параметров, выпущенная пекинской компанией 北京集异璧科技有限公司. Она обучена на 550 млрд китайских и английских токенов, а затем дообучена на 10 млн инструкций и оптимизирована методом DPO для лучшего соответствия человеческим предпочтениям. Архитектура GEBLM использует позиционные кодировки RoPE, многогрупповое внимание и FlashAttention-2; длина контекста составляет 4096 токенов. Модель предназначена для диалогов и генерации текста, а также может использоваться для получения признаковых представлений текста. В README приведены результаты на тестах MMLU, C-Eval и CMMLU и примеры инференса через Transformers; авторы также сообщают о запуске на CPU и GPU. Лицензия обозначена как other, а использование весов регулируется файлом LICENSE в репозитории.

gemma-4-31B-it-GGUF — это набор статически квантизированных моделей в формате GGUF на базе google/gemma-4-31B-it. Репозиторий подготовлен пользователем giladgd для запуска через node-llama-cpp и llama.cpp. Модель относится к классу instruction-tuned и предназначена для диалогового взаимодействия и задач image-text-to-text, однако подробные сведения о поддерживаемых языках и возможностях обработки изображений в README не приведены. Доступны варианты квантизации Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_0, Q4_K_S, Q4_K_M, Q5_0, Q5_K_S, Q5_K_M, Q6_K, Q8_0 и BF16. Размер файлов составляет от 11,9 до 61,4 ГБ; более лёгкие варианты требуют меньше памяти, но могут сильнее уступать по качеству исходной модели, тогда как BF16 обеспечивает наиболее близкое к исходному представление при значительно больших требованиях к ресурсам. Архитектура, максимальный контекст и точное число параметров в README явно не описаны, кроме обозначения 31B в идентификаторе базовой модели. Модель можно использовать локально через node-llama-cpp или llama.cpp, включая CLI и серверный режим. Основные ограничения связаны с большими требованиями к дисковому пространству и оперативной или видеопамяти, особенно для высокоточных вариантов, а также с возможными потерями качества при агрессивной квантизации. Указана лицензия Apache 2.0; для Gemma также приведена отдельная ссылка на условия лицензии Google.

Gemma 4 E2B Heretic Uncensored MLX 4-bit — это мультимодальная модель для генерации текста и работы с изображениями, разработанная на основе google/gemma-4-E2B-it и опубликованная пользователем deadbydawn101. Базовая модель была изменена методом abliteration с использованием Heretic v1.2.0 и Arbitrary-Rank Ablation, после чего квантована в формат MLX 4-bit для локального запуска на устройствах Apple Silicon. Модель предназначена для офлайн-инференса, быстрого прототипирования, творческого письма, локальных агентов и edge-сценариев, где важны приватность, низкая задержка и отсутствие облачных API-вызовов. Она также поддерживает обработку изображений вместе с текстовыми запросами. Модель имеет около 2 млрд активных параметров, архитектуру Gemma4ForConditionalGeneration, контекстное окно 131 072 токена, словарь из 262 144 токенов и размер файла около 3,34 ГБ. Архитектура использует 35 слоёв: 28 со sliding attention и окном 512 токенов и 7 с full attention; предусмотрен vision encoder с размерностью 768, 16 слоями и патчами 16 пикселей. Квантование выполнено в 4-битном формате с affine-схемой и group_size=64. В README заявлены скорости около 25–40 токенов в секунду на M1 MacBook Air, 50–70 на M3 Pro и 90–120 на M4 Max, однако эти значения указаны как оценочные. К сильным сторонам относятся компактный размер, поддержка текста и изображений, длинный контекст, локальная работа на M-series Mac и существенно сниженное количество отказов по сравнению с исходной моделью: 5 из 100 против 98 из 100 в приведённом сравнении. Ограничения включают возможное изменение поведения и качества после abliteration и 4-битного квантования, а также зависимость производительности от оборудования Apple Silicon. В README указанная лицензия — Apache-2.0; для базовой Gemma приведена отдельная ссылка на условия лицензии Google.

zeromodels публикует версию Gemma 4 E2B IT в формате Keras 3. Это конверсия весов Google Gemma 4, реализованная для запуска с TensorFlow, Torch и JAX; в репозитории веса хранятся в bfloat16. По README, модель принимает изображения, аудио и текст и выдаёт текст, а также поддерживает текстовый диалог через Gemma4Processor и инструменты генерации текста. Указан размер 5,1 млрд параметров с эмбеддингами и 2,3 млрд эффективных параметров; базовая модель — google/gemma-4-E2B-it. Семейство Gemma 4 использует скользящее окно внимания на 512 токенов для варианта E2B, но полный контекст модели в карточке не уточнён. Модель подходит для диалогов, ответов по изображениям и аудио и генерации текста. README отсылает к карточке Google за подробностями о модели и условиях использования; лицензия репозитория — Apache 2.0.

pekkAi/Gemma-4-Queen-31B-it-uncensored-heretic-NVFP4 — квантизированная версия NVFP4 модели Gemma-4-Queen-31B-it-uncensored-heretic. Квантизацию выполнил pekkAi с использованием NVIDIA Model-Optimizer; базовая модель разработана llmfan46 и основана на Gemma-4-Queen-31B-it, а версия без существенной части ограничений создана с помощью Heretic и метода Arbitrary-Rank Ablation (ARA). Модель предназначена для диалоговых сценариев, ролевого общения, генерации текста и мультимодальных задач, связанных с обработкой изображений и текста. В карточке указаны интеграция с Transformers и pipeline image-text-to-text, а также поддержка reasoning и tool calling в vLLM. Размер модели — 31 млрд параметров. Автор сообщает о работоспособности на одной NVIDIA GeForce RTX 5090 с 32 ГБ видеопамяти и контекстом до 64K токенов, однако это практический пример конфигурации, а не гарантированное требование. К сильным сторонам относятся существенно меньшее число отказов по сравнению с исходной моделью, близость поведения к оригиналу по измерению KL divergence и почти сохранённые результаты на тесте PIQA: 94,45% против 94,50% у оригинала. На MMLU версия показывает 85,33% против 86,88% у оригинала, что указывает на некоторое снижение качества на этом тесте. Из-за особенностей decensored-версии модель имеет меньше встроенных ограничений безопасности и может быть неподходящей для сценариев, требующих строгой фильтрации контента. Модель распространяется по лицензии Apache-2.0.

GLInt — англоязычная модель извлечения документов с поздним взаимодействием токенов, разработанная как дообучение LateOn-unsupervised. Модель использует архитектуру ModernBERT и содержит 149 млн параметров. Она формирует 128-мерные векторы для токенов и сопоставляет запрос с документом по MaxSim, учитывая до 32 токенов запроса и до 300 токенов документа; длина контекста составляет 8192 токена. Модель предназначена для поиска релевантных документов и сопоставления предложений в информационном поиске и RAG-системах. Обучение включало настройку на сложных негативных примерах для MaxSim-поиска и дистилляцию ранжирования от jinaai/jina-reranker-v3.5. В README приведены результаты оценки на наборах BEIR, но заявленные показатели относятся к описанным там экспериментам. Для работы доступны Sentence Transformers и PyLate; для поиска по крупным корпусам README рекомендует late-interaction-движок, например PyLate/PLAID. Модель рассчитана на английский язык. Лицензия — Apache-2.0.

MaziyarPanahi/GLM-4.6V-Flash-GGUF — это набор файлов модели в формате GGUF для оригинальной модели GLM-4.6V-Flash, разработанной zai-org и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и локального запуска в совместимых приложениях и библиотеках. Основная характеристика репозитория — поддержка нескольких уровней квантизации: 2-, 3-, 4-, 5-, 6- и 8-битной. Формат GGUF ориентирован на использование с llama.cpp и совместимыми инструментами, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими решениями для локального вывода, в том числе с GPU-ускорением. Это позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. README не содержит сведений об архитектуре, размере модели, поддерживаемых языках и модальностях, длине контекста, результатах оценки или ограничениях исходной GLM-4.6V-Flash. Лицензия в предоставленных данных также не указана, поэтому условия использования следует уточнять в карточке оригинальной модели и соответствующих файлах репозитория.

bartowski/glm-4-9b-chat-GGUF — это набор квантованных версий диалоговой текстовой модели GLM-4-9B-chat, разработанной THUDM. Модель предназначена для генерации текста и ведения диалогов на китайском и английском языках, включая локальный запуск через llama.cpp и LM Studio. Модель имеет около 9 миллиардов параметров и распространяется в формате GGUF с вариантами квантования от Q8_0 до Q2_K и IQ2_M. Размер файлов составляет примерно от 3,93 до 9,99 ГБ. Для некоторых вариантов используются веса эмбеддингов и выходного слоя в формате Q8_0, что может улучшать качество, хотя эффект зависит от конфигурации. Длина контекста и другие архитектурные характеристики в README не указаны. Сильными сторонами являются возможность локального запуска, широкий выбор квантований под разные объёмы памяти и относительно высокое качество старших вариантов, особенно Q6_K_L, Q6_K, Q5_K и Q4_K. Более сильное сжатие уменьшает требования к памяти, но снижает качество и может ограничивать пригодность модели для сложных задач. Лицензия указана как GLM-4; подробные условия доступны по ссылке на лицензию исходной модели.

MLX-совместимая 4-битная квантизованная версия GLM-5.3, преобразованная сообществом mlx-community из базовой модели zai-org/GLM-5.3-BF16 с использованием mlx-lm 0.31.3. Модель предназначена для генерации текста и ориентирована на запуск на одном Apple Mac Studio с чипом M3 Ultra и 512 ГБ памяти; заявлено, что она комфортно помещается в такой конфигурации. Поддерживаемые языки — английский и китайский. Ключевое преимущество версии — стандартная 4-битная квантизация, которую авторы описывают как стабильную и быструю по сравнению с некоторыми альтернативными рецептами квантизации, склонными к избыточному обдумыванию и повторному пересмотру решений. Для работы используется библиотека MLX и пакет mlx-lm. Архитектура, точный размер модели, длина контекста, дополнительные модальности и результаты benchmark в README не указаны. Лицензия обозначена как other с названием glm-5.3; конкретные условия необходимо уточнять в лицензии исходной модели.

GLM-5.3-Flash-MLX-6bit — это конвертированная и 6-битно квантованная сборка модели GLM-5.3-Flash от Z.ai, подготовленная PipeNetwork для MLX и Apple Silicon. Архитектура исходной модели сохранена, однако слой multi-token prediction не включён. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями; в сборке также присутствует vision tower в формате bfloat16. Языки и размер контекстного окна в представленном описании не указаны. Модель имеет размер 320B-A18B и построена как mixture-of-experts: включает 34 слоя с Kimi-Delta linear attention и 11 слоёв с разреженным вниманием DeepSeek, а также manifold-constrained hyper-connections. Размер файлов составляет около 255,9 ГБ против 642,7 ГБ у исходной bfloat16-версии. Основная масса параметров, включая 304B параметров routed experts, квантована в 6 бит с группами по 64; отдельные компоненты используют 8-битный или исходный формат. По результатам теста на wikitext-2 перплексия составила 3,4646 против 3,4607 у 8-битной сборки, что соответствует небольшой потере качества. Сильные стороны модели — значительное уменьшение размера по сравнению с bfloat16, близкое к 8-битной версии качество и адаптация к экосистеме MLX. Для корректной работы требуется runtime с исправлениями PipeNetwork для вычислительного пути; стандартной версии mlx-vlm может быть недостаточно из-за выявленных расхождений. Практическое использование требует около 256 ГБ дискового пространства и совместимого Apple Silicon-окружения. Модель и upstream-исходник распространяются по лицензии MIT; порт доступен в репозитории PipeNetwork.

gpt-oss-120b-MLX-8bit — это 8-битная квантованная версия языковой модели gpt-oss-120b, разработанной OpenAI. Квантование выполнено командой LM Studio с использованием MLX — фреймворка Apple Machine Learning Research для работы с моделями на устройствах Apple Silicon. Модель предназначена для генерации текста и локального использования в сценариях, поддерживаемых базовой моделью gpt-oss-120b. Она опубликована в формате, оптимизированном для Apple Silicon, и относится к моделям text-generation. В доступных данных не указаны архитектура, точный размер в параметрах исходной модели, поддерживаемые языки, длина контекста или мультимодальные возможности. Ключевая особенность модели — 8-битное квантование, которое может снизить требования к памяти и повысить удобство локального запуска по сравнению с полноразмерной версией, однако потенциально связано с компромиссом между эффективностью и точностью. Качество и поведение модели наследуют ограничения исходной gpt-oss-120b; README также предупреждает о возможных неточных, вредных или неподходящих результатах. Лицензия модели — Apache 2.0.

MaziyarPanahi/gpt-oss-20b-Derestricted-GGUF — это набор файлов модели в формате GGUF для ArliAI/gpt-oss-20b-Derestricted. Исходную модель разработала ArliAI, а конвертацию и публикацию GGUF-файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые приложения и библиотеки. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между качеством, размером файлов и требованиями к памяти. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов. Сведения об архитектуре, размере контекста, поддерживаемых языках и мультимодальности в README не указаны. Лицензия также не указана, поэтому условия использования по этим данным определить нельзя.

Grafted-Hermetic-Platypus-C-2x7B — языковая модель Lodrick-the-Lafted, созданная как MoE-слияние Platyboros-Instruct-7B и Hermes-Instruct-7B-217K. Она предназначена для диалогов и генерации текста по инструкциям; карточка приводит результаты тестов на рассуждение и здравый смысл. Модель содержит 7,1 млрд параметров, использует архитектуру Mixtral MoE, принимает текст и поддерживает контекст до 32 768 токенов. В README указаны форматы промптов Mistral-Instruct и Alpaca, причём токенизатор по умолчанию использует Alpaca. Репозиторий распространяется в формате Safetensors по лицензии Apache-2.0.

solidrust/Hermes-3-Llama-3.1-8B-AWQ — это 4-битная AWQ-квантизированная версия текстовой авторегрессионной модели Hermes-3-Llama-3.1-8B, разработанной NousResearch. Квантизацию выполнил Suparious. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск через Transformers, AutoAWQ, vLLM, Text Generation WebUI и Hugging Face Text Generation Inference. Модель основана на архитектуре Llama 3.1 с заявленным размером 8B параметров. Она работает в режиме text generation и использует диалоговый шаблон с ролями system, user и assistant. В README не указаны точный размер контекста, поддерживаемые языки и дополнительные модальности, поэтому эти характеристики нельзя подтвердить. Ключевое преимущество версии — 4-битная AWQ-квантизация, рассчитанная на снижение требований к памяти и ускорение инференса при сопоставимом с распространёнными настройками GPTQ качестве. Ограничения включают необходимость совместимого окружения: заявлена поддержка Linux и Windows с GPU NVIDIA; для macOS рекомендуется использовать модели в формате GGUF. Лицензия в README не указана.

HuggingFaceTB_SmolLM3-3B-GGUF — это набор GGUF-квантизированных версий языковой модели SmolLM3-3B, разработанной HuggingFaceTB и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других совместимых проектах на базе llama.cpp. Указана поддержка английского, французского, испанского, итальянского, португальского, китайского, арабского и русского языков. Размер исходной модели составляет около 3 миллиардов параметров; доступны варианты от BF16 до низкобитных Q2–Q8 и IQ-квантизаций объёмом примерно от 1,37 до 6,16 ГБ. Основное преимущество набора — возможность выбрать баланс между качеством, потреблением памяти и скоростью локального вывода: варианты Q5 и Q6 заявлены как высококачественные, а Q4_K_M — как подходящий размер по умолчанию для большинства сценариев. Более компактные варианты удобны для систем с ограниченной оперативной памятью, но обеспечивают более низкое качество. В README не указаны архитектурные детали, длина контекста, мультимодальные возможности и результаты независимого тестирования. Также отмечено, что формат чата ранее требовал исправления, поэтому совместимость шаблона приглашений следует проверять для конкретного клиента. Модель распространяется по лицензии Apache 2.0.

Huihui-MiniCPM5-1B-abliterated-GGUF — это GGUF-квантизированная версия модели Huihui-MiniCPM5-1B-abliterated, разработанной huihui-ai и подготовленной квантизатором mradermacher. Модель относится к семейству MiniCPM5 и предназначена для генерации текста, работы с длинным контекстом и вызова инструментов, в том числе на устройствах с ограниченными ресурсами и периферийных устройствах. В метаданных заявлена поддержка английского и китайского языков. Модель имеет размер 1 млрд параметров. Точная архитектура и максимальная длина контекста в README не указаны; среди тегов присутствуют llama, long-context и tool-calling. Доступны варианты GGUF с разными схемами квантизации и размером примерно от 0,6 до 2,3 ГБ: от Q2_K до Q8_0 и f16. Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант очень хорошего качества, а Q8_0 — как вариант с лучшим качеством среди указанных. К сильным сторонам относятся небольшой размер, возможность локального запуска и широкий выбор вариантов квантизации, позволяющий выбирать баланс между качеством, скоростью и потреблением памяти. Ограничения включают возможное снижение качества у низкобитных вариантов и отсутствие в README подробных результатов оценки, описания точного контекстного окна и архитектурных характеристик. Модель распространяется по лицензии Apache-2.0.

Huihui-Qwen3.5-122B-A10B-Abliterated-GGUF — это GGUF-квантизированная версия модели Qwen/Qwen3.5-122B-A10B, созданная разработчиком Huihui AI с применением abliteration — экспериментального метода снижения отказов модели. Модель предназначена для локального запуска через llama.cpp и ориентирована на задачи оркестрации, режимы Ask и Architect, а также другие сценарии, где требуется производительная генерация текста. Поддерживается обработка изображений через отдельный файл mmproj.gguf. Модель основана на Qwen3.5-122B-A10B; из идентификатора следует конфигурация с общим размером 122B и обозначением A10B, однако подробности архитектуры, языковой поддержки и максимального контекста в README не приведены. Доступны различные квантизации, включая Q6_K, Q4_K_M и MXFP4_MOE. В README указана скорость около 65 токенов в секунду для варианта MTP на нескольких RTX 3090; для ускорения рекомендуется использовать актуальную версию llama.cpp, speculative decoding с draft-MTP и при необходимости unified memory. Ключевая особенность модели — существенно сниженная фильтрация безопасности и отсутствие стандартных гарантий безопасного поведения. Это может быть полезно для исследований и контролируемого тестирования, но повышает риск чувствительных, спорных или неподходящих ответов и делает модель непригодной без дополнительного контроля для публичных и высокорисковых приложений. Рекомендуются мониторинг результатов и ручная проверка. В карточке указана лицензия Apache 2.0; конкретные условия для производного варианта следует сверять с лицензией базовой модели.

ibm-granite_granite-4.1-30b-GGUF — это набор GGUF-квантизаций языковой модели Granite 4.1 30B, разработанной IBM и опубликованной как ibm-granite/granite-4.1-30b. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix, предназначены для локального запуска и генерации текста. Модель рассчитана на задачи text-generation и может использоваться через llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Доступны варианты от BF16 до низкобитных Q3 и IQ3, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. Размер файлов варьируется примерно от 12,78 до 57,74 ГБ; наиболее качественные варианты Q6_K_L и Q6_K имеют размер около 24 ГБ, а Q4_K_M предлагается как сбалансированный вариант. Сильной стороной набора является широкий выбор квантизаций, включая варианты, оптимизированные для различных сценариев и архитектур CPU, а также сохранение высокого качества у старших форматов. Ограничения включают значительные требования к оперативной или видеопамяти для 30-миллиардной модели, снижение качества у младших квантизаций и необходимость поддержки Granite 4.1 используемым программным обеспечением. В README не указаны языки, размер контекста, архитектурные детали и мультимодальные возможности, поэтому эти характеристики нельзя достоверно определить по представленным данным. Модель распространяется по лицензии Apache-2.0.

inf-o1-pi0-GGUF — это квантизированная версия модели infly/inf-o1-pi0, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. В README не указано, кто разработал исходную модель, кроме идентификатора организации infly. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6, Q5, Q4, Q3 и Q2, с размером файлов примерно от 12,31 до 65,54 ГБ. Указана поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Конкретные архитектура, число параметров, размер контекста и дополнительные модальности в README не раскрыты, поэтому модель следует рассматривать как текстовую. Сильная сторона набора — широкий выбор квантизаций, позволяющий подобрать баланс между качеством, требованиями к памяти и скоростью локального вывода; варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены как рекомендуемые, а Q4_K_M описан как стандартный вариант для большинства сценариев. Более сильное сжатие уменьшает требования к ресурсам, но снижает качество, особенно у вариантов Q2 и Q3. Лицензия исходной модели и условия коммерческого использования в README не указаны.

silence09 опубликовал преобразованную версию InternLM3-8B-Instruct, представленную в формате архитектуры Qwen2 для совместимости с некоторыми сценариями инференса и классом Qwen2ForCausalLM. Модель содержит 8,3 млрд параметров, использует плотную архитектуру и сохраняет точность исходных весов. Контекст — до 32 768 токенов; поддерживается диалоговое использование и генерация текста. Модель предназначена для запуска запросов к исходной InternLM3-8B-Instruct в окружениях, рассчитанных на Qwen2. Базовая модель ориентирована на общие запросы, работу со знаниями и сложные рассуждения. Репозиторий распространяется по лицензии Apache-2.0.

inception42/jais-adapted-7b-chat — диалоговая языковая модель семейства Jais, разработанного Inception Institute of Artificial Intelligence. Это адаптированная от Llama 2 и дообученная для следования инструкциям модель с 7 млрд параметров, предназначенная для генерации ответов на арабском и английском языках. Она подходит для чат-ассистентов, понимания и создания текста, анализа тональности и суммаризации двуязычных документов. Репозиторий содержит веса в формате safetensors; для загрузки требуется пользовательский класс модели и параметр trust_remote_code=True. Модель распространяется по лицензии Apache 2.0. Ответы могут быть ошибочными, предвзятыми или оскорбительными; качество на других языках и диалектах не гарантируется, а для важных решений нужен контроль человека.

inception42/jais-family-6p7b — двуязычная языковая модель семейства Jais от Inception Institute of Artificial Intelligence. Это авторегрессионная decoder-only модель для генерации текста; семейство обучалось с нуля и адаптивно на базе Llama 2, но для этой конкретной копии базовая модель в метаданных не указана. Репозиторий содержит веса в формате safetensors, лицензия — Apache 2.0. Модель предназначена для генерации и понимания текста на арабском и английском языках. Её можно использовать для диалоговых помощников, суммаризации двуязычных документов, анализа тональности и исследовательских задач арабской NLP. README указывает, что для загрузки требуется пользовательский класс модели и параметр trust_remote_code=True. Семейство Jais оптимизировано для арабского языка и обладает сильными возможностями на английском. Для конкретного чекпойнта размер и длина контекста не приведены. Возможны фактические ошибки, предвзятость и неподходящие ответы; модель не следует считать одинаково компетентной на других языках и применять в высокорисковых решениях без контроля человека.

Jan-v3-4B-base-instruct-GGUF — это квантованная версия текстовой генеративной модели Jan-v3-4B-base-instruct, разработанной janhq и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста по инструкциям и может применяться в локальных сценариях работы с текстом, включая запуск через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель содержит около 4 миллиардов параметров и поддерживает текстовый ввод и вывод. В репозитории указана поддержка английского языка и тег для задач, связанных с кодом. Доступно множество вариантов квантования — от BF16 до форматов Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Рекомендованными названы, в частности, варианты Q6_K_L, Q6_K, Q5_K и Q4_K_M; для систем с ограниченными ресурсами доступны более компактные варианты, но с меньшим качеством. К сильным сторонам относятся локальный запуск, широкий выбор размеров квантованных файлов и оптимизация imatrix, направленная на сохранение качества при сжатии. Ограничения — отсутствие в README сведений об архитектуре, размере контекстного окна, точных результатах оценки, мультимодальности и поддерживаемых языках помимо английского. Для работы требуется совместимый движок с поддержкой этой модели и формата GGUF. Модель распространяется по лицензии Apache-2.0.

JevEmbed-Qwen3-Embedding-4B — текстовая модель эмбеддингов, разработанная HIT-TMG и дообученная на базе Qwen/Qwen3-Embedding-4B для принятия решений JevEmbed Choice, Score и Noul. Модель представлена как Sentence Transformers; LoRA-адаптер объединён с весами в самостоятельную модель, а также доступен отдельно. Она формирует нормализованные эмбеддинги размерностью 2 560 с pooling по последнему токену. Базовая архитектура Qwen3, число параметров — 3,7 млрд, родной контекст — 40 960 токенов. Модель предназначена для использования в JevEmbed: она помогает выбирать ответ, оценивать его и принимать решение Noul по запросу. В тесте на 66 482 вопросах JevEmbed-Data итоговый LoRA-чекпойнт показал точность 85,86% по жёстким меткам в целом и 90,31% для Choice; результаты получены с усечением входа до 1 024 токенов и настройками JevEmbed. Также её можно загружать через SentenceTransformer для получения эмбеддингов. Лицензия весов — Apache 2.0. Лицензии исходных данных для обучения различаются. В конфигурации JevEmbed входы усекаются до 1 024 токенов, поэтому длинные запросы могут терять информацию; приведённые метрики относятся к тестовому набору JevEmbed-Data и не гарантируют аналогичных результатов на других задачах.

Jina AI разработала jina-colbert-v2-64 — мультиязычную модель поиска по фрагментам текста на архитектуре ColBERT с поздним взаимодействием токеновых представлений. Она создаёт эмбеддинги размерности 64 и подходит для поиска релевантных документов и фрагментов в системах информационного поиска и RAG. Модель принимает последовательности длиной до 8192 токенов. Поддерживает множество языков, включая английский, арабский, бенгальский, немецкий, испанский, французский, хинди, японский и корейский. Matryoshka-представления позволяют выбирать компромисс между размером эмбеддингов и точностью; в тестах README версия с размерностью 64 показывает близкие к более крупным вариантам результаты на BEIR и MS MARCO. Для развёртывания README указывает зависимости einops и flash_attn; также приведены примеры интеграции с RAGatouille и Stanford ColBERT. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Метаданные классифицируют репозиторий как fill-mask, однако заявленное назначение и архитектура ColBERT указывают на поиск и ранжирование текстовых фрагментов; подходящий тег retrieval в доступных данных не указан.

K2-Horizon-7B-Uno MLX 6-bit — языковая модель для генерации текста, подготовленная hermitdave на основе IFM/K2-Horizon-7B-Uno от Institute of Foundation Models. Это плотная авторегрессионная модель семейства K2-Horizon с 8 млрд параметров; исходная модель описана как дополненная диффузией, а LoRA-адаптер объединён с базовыми весами. Репозиторий содержит равномерно квантованную до 6 бит версию в формате MLX для запуска на Apple Silicon. Модель предназначена для генерации ответов и рассуждений по текстовым запросам. Заявлено контекстное окно до 524 288 токенов; для запуска автор рекомендует высокий уровень усилия рассуждения. Для работы с K2-Horizon в oMLX требуется версия 0.6.4 или новее с патчем поддержки этой архитектуры. Модель распространяется по лицензии Apache 2.0. Квантование до 6 бит может влиять на качество относительно исходных весов; README также указывает на требование к поддерживаемой версии oMLX при использовании этого способа запуска.

Это дообученная диалоговая модель kihyun-K на базе kakaocorp/kanana-1.5-8b-instruct-2505. Она предназначена для генерации текста в чате и поддерживает интерфейс вызова инструментов. Модель построена на архитектуре Llama, содержит 7,5 млрд параметров и поддерживает контекст длиной до 32 768 токенов. В карточке указаны английский язык и лицензия Apache 2.0. README сообщает, что модель обучали с использованием Unsloth и библиотеки TRL для Hugging Face.

Kimi-K2.6-RAM-447GB-GGUF — это смешанно-точная GGUF-квантизация модели moonshotai/Kimi-K2.6, опубликованная baa-ai и созданная с использованием конвейера RAM (Resource-Aware Mixed-precision). Модель предназначена для генерации текста и локального запуска через llama.cpp, в том числе на системах с 512 ГБ оперативной памяти или на конфигурациях с двумя модулями по 256 ГБ. В основе лежит архитектура DeepSeek-V3 decoder (kimi_k2) с 61 слоем, 1,03 трлн параметров, скрытым размером 7168, MLA-attention и MoE-структурой из 384 маршрутизируемых экспертов, из которых для каждого токена активируются 8. Экспертные веса квантизированы в Q3_K, а веса attention распределены между Q5_K и Q8_0 на основе чувствительности отдельных тензоров к ошибкам квантования. Размер файла составляет 447 ГБ. Ключевое преимущество варианта — ориентация на более высокое качество по сравнению с менее ресурсоёмкими сборками благодаря неравномерному распределению разрядности для attention-тензоров. Ограничениями являются чрезвычайно высокие требования к оперативной памяти и отсутствие imatrix: его не использовали, поскольку промежуточный файл Q8_0 объёмом 1,1 ТБ превышал доступную память. Экспертные веса исходной модели INT4 были предварительно деквантизированы и повторно квантизированы в GGUF. В карточке указана лицензия modified-MIT с типом license: other. Поддерживаемые языки и мультимодальные возможности в README не описаны.

dndjd03 выпустил SentenceTransformer, дообученный на основе klue/roberta-base для сравнения смысла предложений и поиска по тексту. Модель кодирует предложения и абзацы в плотные векторы размерностью 768 и оценивает их сходство с помощью косинусной близости. Архитектура включает RoBERTa с усреднённым пулингом; число параметров — 137,8 млн, максимальная длина входа — 512 токенов. Модель принимает текст и выдаёт векторы для задач поиска и семантического сопоставления. Базовая модель ориентирована на понимание корейского текста, а обучающие примеры в карточке также корейские. Лицензия в предоставленных данных не указана.