I.3Извлечение и структурирование данных

Gemini 3.1 Flash Lite Preview — предварительная высокоэффективная модель Google, оптимизированная для сценариев с большим объёмом запросов. По карточке она превосходит Gemini 2.5 Flash Lite по общему качеству и приближается к Gemini 2.5 Flash. Модель предназначена для задач с текстом и изображениями; в метаданных каталога её задача указана как image-text-to-text. Слово Preview указывает на предварительный статус версии. Сведения о размере, длине контекста, поддерживаемых языках и лицензии в предоставленных данных отсутствуют.

Gemma-2-9b-it-WPO-HB-GGUF — это GGUF-квантизация инструкционной языковой модели gemma-2-9b-it-WPO-HB, разработанной wzhouad и подготовленной в формате GGUF пользователем bartowski. Модель основана на Gemma 2 с примерно 9 млрд параметров и предназначена для генерации текста и диалогового использования в совместимых средах, включая llama.cpp и LM Studio. В описании также указано, что исходная модель обучалась на датасете wzhouad/gemma-2-ultrafeedback-hybrid. Доступны варианты от F16 до низкобитных Q2–Q8 и IQ-квантизаций, размер файлов составляет примерно от 4 до 18,49 ГБ. Квантизация выполнена с использованием imatrix и специального набора данных, что позволяет выбирать баланс между качеством, скоростью и требованиями к памяти. Наиболее качественными и рекомендуемыми названы варианты Q6_K_L, Q6_K, Q5 и Q4; Q3 и Q2 экономят память, но заметно уступают по качеству. Отдельные варианты оптимизированы для ARM-процессоров и требуют соответствующих инструкций SVE или i8mm. Модель подходит для локального запуска, чат-ботов и других задач текстовой генерации при наличии совместимого программного обеспечения и достаточного объёма оперативной или видеопамяти. Ограничения включают неизбежную потерю качества при сильной квантизации, отсутствие в README сведений о поддерживаемых языках, размере контекстного окна и конкретных условиях лицензирования. Формат prompt должен соответствовать шаблону Gemma с системными, пользовательскими и модельными turn-маркерами.

p-e-w выпустил gemma-3-12b-it-heretic — разговорную мультимодальную модель на архитектуре Gemma 3, созданную дообучением google/gemma-3-12b-pt. Она принимает текст и изображения и генерирует текст; карточка описывает сценарии общения, ответов на вопросы по изображениям, суммаризации и генерации текстов. В метаданных указаны 12 млрд параметров для базовой модели, формат safetensors и библиотека Transformers. README семейства Gemma 3 сообщает о контекстном окне до 128 тыс. токенов и поддержке более 140 языков; эти характеристики приведены для семейства, а не подтверждены отдельно для данного чекпойнта. Метка heretic и теги uncensored, decensored и abliterated указывают на изменение поведения модели в сторону снятия ограничений, однако README не описывает процедуру такого изменения. Лицензия указана как gemma. Модель может выдавать неверные или устаревшие сведения, отражать смещения обучающих данных и ошибаться при сложных запросах или тонких языковых нюансах; при использовании следует учитывать риск генерации вредного содержания.

unsloth/gemma-3-270m-it-qat-GGUF — GGUF-версия инструкционно дообученной модели Gemma 3 с 270 млн параметров, разработанной Google DeepMind и подготовленной Unsloth. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и других диалоговых сценариев, а также может анализировать изображения и выдавать текстовый результат. Модель поддерживает текстовые и графические входные данные, более 140 языков и контекст до 32 тысяч токенов для моделей размером 270M. Вариант основан на google/gemma-3-270m-it-qat-q4_0-unquantized и использует квантизацию QAT в формате GGUF, что ориентировано на запуск с пониженными требованиями к ресурсам, в том числе на локальных устройствах. Конкретные сведения об архитектуре и языковых характеристиках отдельных языков в карточке не приведены. К сильным сторонам относятся малый размер, поддержка длинного контекста, мультимодальность и возможность локального развертывания. Ограничением является существенно меньшая ёмкость модели по сравнению с крупными вариантами Gemma 3, поэтому сложные задачи и требовательные сценарии могут выполняться менее качественно. Модель распространяется по лицензии Gemma; её использование регулируется условиями Google.

VIDraft/Gemma-3-R1984-1B — диалоговая модель на базе Gemma 3, представленная как мультимодальная платформа с поиском в интернете и обработкой файлов. README указывает базовую модель Gemma-3-4B, тогда как метаданные связывают репозиторий с дообученной google/gemma-3-1b-it; поэтому происхождение и размер надёжнее определяются по метаданным: это дообучение плотной Gemma 3 на 1 млрд параметров. Модель использует Transformers, поддерживает чат и заявленный контекст до 8 000 токенов; метаданные указывают нативный контекст 32 768 токенов. Заявленные сценарии включают ответы на вопросы по изображениям и видео, анализ документов, сравнение материалов и исследовательские запросы с поиском через SERPHouse и цитированием источников. README описывает входные файлы PNG, JPG, JPEG, GIF, WEBP, MP4, PDF, CSV и TXT, однако эти возможности относятся к платформе и не подтверждены архитектурой текстовой модели в метаданных. Для веб-поиска требуется API-ключ SERPHouse; заявленный локальный запуск зависит от окружения и оборудования. Лицензия в метаданных — Gemma; README дополнительно упоминает MIT для агентной платформы.

DFveloper/gemma-4-26B-A4B-it-qat-q4_0-Claude-Opus-Distill-v2-GGUF — языковая модель для генерации текста и задач, требующих рассуждений. Она создана как производная от Lumen 3.1 Pulsar QAT с переносом части поведения модели TeichAI/gemma-4-26B-A4B-it-Claude-Opus-Distill-v2, обученной на данных с рассуждениями Claude Opus. Разработчик данной сборки — DFveloper; исходные компоненты и данные связаны с 0x795E2795, TeichAI и Crownelius. Модель использует архитектуру Gemma 4 с конфигурацией 26B A4B и MoE, поставляется в формате GGUF с квантизацией q4_0 и предназначена для запуска с llama.cpp, Text Generation Inference, Transformers и Unsloth. При создании из исходной модели был извлечён дельта-апдейт весов, аппроксимирован LoRA-адаптером и объединён с QAT-чекпойнтом Lumen 3.1 Pulsar. Благодаря этому модель сохраняет характеристики базового QAT-чекпойнта и частично перенимает поведение, связанное с высокоуровневыми рассуждениями. Сильными сторонами являются компактное 4-битное представление, совместимость с распространённой экосистемой GGUF и ориентация на reasoning-сценарии. Ограничения включают приблизительный характер переноса дельты через LoRA; заявленные свойства и качество не следует приписывать исходной модели Claude Opus напрямую. В README не указаны поддерживаемые языки, размер контекста, точные показатели качества и дополнительные модальности, поэтому модель следует рассматривать как текстовую. Лицензия — Apache-2.0.

GenStructDolphin-7B-Slerp — объединённая языковая модель автора artificialguybr, созданная с помощью LazyMergekit на основе NousResearch/Genstruct-7B и cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser. Это плотная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; она предназначена для генерации текста и диалогового взаимодействия. Модель можно применять для ответов в чате, подготовки инструкций и сложных вопросов по текстовым корпусам, а также для создания синтетических обучающих данных. Описание не сообщает результатов оценки качества или специальных гарантий поведения. Лицензия в предоставленных данных не указана.

avemio/German-RAG-Alibaba-ModernBert-Triples — модель Sentence Transformer на архитектуре ModernBERT, предназначенная для получения векторных представлений немецких текстов. По README, модель отображает предложения и абзацы в нормализованные плотные векторы размерности 768; сходство оценивается косинусной мерой. В метаданных указано 149 млн параметров, библиотека sentence-transformers и контекст до 8192 токенов. Модель подходит для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. Название указывает на применение в German RAG и работу с триплетами, однако подробности обучения и конкретные датасеты в предоставленных данных не описаны. Лицензия в источниках не указана.

German-RAG-BGE-M3-TRIPLES-HESSIAN-AI — модель Sentence Transformers, разработанная командой German-RAG AI. Она дообучена на наборе примерно из 300 тысяч троек примеров для представления предложений и абзацев в виде плотных эмбеддингов и затем объединена с базовой BAAI/bge-m3, чтобы сохранить качество на других языках. Архитектура основана на XLM-RoBERTa, размер модели — 658,7 млн параметров, размерность векторов — 1024, максимальная длина входа — 8194 токена. Векторы нормализуются; для сравнения предусмотрено косинусное сходство. Модель предназначена для семантического поиска, ранжирования релевантных документов и сравнения текстов, в частности в немецкоязычных RAG-сценариях. В README также приведены результаты классификации текстов, поиска и оценки семантического сходства. В тесте на немецком RAG-бенчмарке указана точность 0,8857 против 0,8806 у BGE-M3. Поддержка других языков связана с объединением с BGE-M3; основное назначение модели — немецкоязычный поиск. Лицензия в предоставленных данных не указана.

ibm-granite/granite-4.2-30b-fp8 — это версия модели Granite-4.2-30B в формате FP8, разработанная IBM и опубликованная в семействе моделей IBM Granite. Репозиторий предназначен для использования с библиотекой Transformers и содержит модель, оптимизированную по формату представления чисел FP8 относительно исходной версии ibm-granite/granite-4.2-30b. Модель относится к языковым моделям, однако README не содержит подробностей о её архитектуре, точном числе параметров, поддерживаемых языках, размере контекста, модальностях, целевых сценариях применения, производительности или известных ограничениях. За дополнительными характеристиками README направляет к карточке исходной модели Granite-4.2-30B. Модель распространяется по лицензии Apache-2.0. Практические условия запуска и требования к аппаратному обеспечению в предоставленных данных не указаны.

ChristianAzinn/gte-small-gguf — это GGUF-версия модели текстовых эмбеддингов gte-small, разработанной Alibaba DAMO Academy и опубликованной thenlper. Репозиторий содержит варианты модели, преобразованные и квантованные ChristianAzinn для использования с llama.cpp и совместимыми приложениями. Модель основана на архитектуре BERT и предназначена для получения векторных представлений текста. Она подходит для информационного поиска, оценки семантического сходства, переранжирования результатов и других задач sentence embeddings. Заявлена поддержка английского языка и контекста до 512 токенов; модель работает только с текстовыми данными. Главное преимущество — небольшой размер файлов и возможность локального запуска, включая LM Studio. Доступны варианты квантования от 2 до 8 бит, а также FP16 и FP32; более сильное квантование уменьшает требования к памяти, но может заметно снижать качество. Для большинства сценариев рекомендуется сбалансированный вариант Q4_K_M или варианты с меньшими потерями качества. Использование поддерживается llama.cpp начиная с указанного в README коммита и LM Studio версии 0.2.19 или новее. Лицензия модели — MIT.

Hermes 2 Pro Mistral-7B Infinity-Instruct — языковая модель на 7,1 млрд параметров, разработанная дообучением NousResearch/Hermes-2-Pro-Mistral-7B на наборе BAAI/Infinity-Instruct. Это плотная авторегрессионная модель Mistral для генерации текста и диалогового общения; она загружается через Transformers и распространяется в формате safetensors. В карточке указана длина последовательности обучения 8192 токена, а метаданные сообщают нативный контекст 32768 токенов. Модель предназначена для диалогов, ответов на вопросы и генерации текста по инструкциям. В README приведены результаты отдельных тестов, включая ARC и BoolQ, но они не гарантируют качество на других задачах. Модель принимает и выдаёт текст; сведения о поддерживаемых естественных языках отсутствуют. Лицензия — Apache-2.0. Ограничения включают возможные ошибки и выдуманные утверждения, характерные для генеративных языковых моделей.

ISOM-R1-Reasoning-1.5B-Instruct — текстовая генеративная модель на 1,5 млрд параметров, разработанная Prannessh K.V.A. на основе Qwen2.5-1.5B-Instruct. Она предназначена для многошаговых рассуждений и диалогов с длинным контекстом; заявленный размер контекста составляет 32 768 токенов. В README описан механизм recurrent state manifold projection, призванный ограничивать рост памяти KV-кэша при длинной обработке. Модель ориентирована на сценарии, где важны продолжительные рассуждения при ограниченной видеопамяти; приведённое в карточке сравнение на Tesla T4 сообщает об успешной обработке 8 192 токенов. Модель принимает текст и генерирует текст. Метаданные также указывают на поддержку чата и интерфейса вызова инструментов. Язык карточки и языковой тег — английский. Базовая модель в README упоминается как использованная под Apache 2.0, однако сама эта производная модель распространяется по CC BY-NC-ND 4.0, что ограничивает коммерческое использование и распространение производных материалов. Результаты производительности и заявления об архитектуре приведены автором в README; они не подтверждены независимыми данными в предоставленных источниках.

Это диалоговая версия JAIS Family — двуязычной языковой модели, разработанной Inception и Cerebras Systems и дообученной на инструкциях на арабском и английском языках. Репозиторий содержит дообучение базовой модели inceptionai/jais-family-256m; архитектура — плотная авторегрессионная JAISLMHeadModel, веса сохранены в формате Safetensors. Модель принимает текст и генерирует текст, контекст — до 2048 токенов. Модель предназначена для двуязычного диалога, ответов на вопросы и других задач генерации и анализа текста, особенно на современном стандартном арабском и английском. Размер этой версии — 256 млн параметров согласно идентификатору базовой модели; README описывает семейство в целом, а не характеристики именно этого размера. Лицензия Apache 2.0 разрешает использование и распространение. Возможны фактические ошибки, предвзятость и неподходящие ответы; модель не следует использовать для решений с высокими последствиями без контроля человека, а её знания других языков и диалектов не гарантированы.

Abiray/K2-Horizon-MoVA-36B-A4B-GGUF — набор GGUF-квантизаций модели IFM/K2-Horizon-MoVA-36B-A4B, разработанной IFM. Это текстовая генеративная модель для диалогов, написания и обработки текста, программирования и других задач, выполняемых через llama.cpp. Модель использует разреженную архитектуру Mixture-of-Experts с механизмом Mixture-of-Values Attention (MoVA): всего 36 млрд параметров, из которых на каждом токене активируется около 4 млрд. Заявленное преимущество — скорость инференса, близкая к моделям меньшего размера, при сохранении возможностей модели масштаба 36B. Указан английский язык; поддержка других языков и дополнительные модальности не заявлены. Репозиторий содержит варианты квантизации от Q3_K_S до Q8_0 размером примерно от 16,4 до 39,8 ГБ. Q4_K_M обозначен как рекомендуемый баланс качества и потребления памяти, а Q8_0 обеспечивает точность, близкую к исходной BF16-модели. Точные характеристики контекстного окна в README не указаны. Для запуска требуется специальная версия llama.cpp из форка MBZUAI-IFM с веткой model/K2Horizon; стандартная upstream-версия на указанном этапе не поддерживает архитектуру k2-horizon. Модель использует ChatML-подобный формат с тегами рассуждений. Лицензия — Apache-2.0. Требования к ресурсам зависят от квантизации: для вариантов Q4_K_M рекомендуется от 24 ГБ VRAM при полной выгрузке на GPU и 32 ГБ системной RAM, тогда как для Q8_0 требуется около 48 ГБ VRAM и RAM. README не содержит независимых результатов бенчмарков или подробного описания ограничений качества.

Keefe-Discere-v3.2 — дообученная языковая модель семейства Qwen2, опубликованная KeefeBuild. Это плотная авторегрессионная модель с 7,1 млрд параметров, предназначенная для генерации текста в диалоговом формате; метаданные также указывают интерфейс вызова инструментов. Модель обучалась с использованием Unsloth и библиотеки TRL от Hugging Face. Модель принимает текст и выдаёт текст. В метаданных указаны английский язык и контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. README указывает на дообучение от KeefeBuild/Keefe-Discere-v3.2, то есть от модели с тем же идентификатором, поэтому исходная базовая модель отдельно не подтверждена.

SliceX AI ELM Turbo 6B Instruct — англоязычная диалоговая языковая модель, созданная SliceX AI как срез архитектуры ELM Turbo на основе Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с 5,8 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для генерации текста и выполнения инструкций в диалоге. Архитектура ELM Turbo позволяет выбирать срезы разного размера для компромисса между качеством, скоростью и потреблением памяти; для этой версии выбран вариант на 6B. Обучение включало дообучение на инструкционных наборах, в том числе Tulu, Orca Math и WizardLM. README также описывает оптимизацию инференса и интеграцию TensorRT-LLM. Модель подходит для диалоговых помощников, ответов на вопросы и генерации текста на английском языке. Её ответы могут содержать фактические ошибки, смещения или неподходящий контент; результаты следует проверять. Использование регулируется лицензией Llama 3.1.

Llama-3.2-3B-Instruct-FP8-dynamic — квантизированная версия модели Meta Llama-3.2-3B-Instruct, подготовленная Neural Magic. Это текстовая autoregressive-модель для генерации текста и ассистентского диалога, предназначенная для исследовательского и коммерческого использования. Модель принимает и выдаёт текст; в карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако отдельно отмечено ограничение использования в языках, отличных от английского. Размер контекста в README не указан. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8. Для весов используется симметричная поканальная квантизация, для активаций — динамическая симметричная поточечная квантизация. Это сокращает число битов на параметр с 16 до 8, а размер модели на диске и требования к GPU-памяти примерно на 50%, что делает её подходящей для эффективного инференса через vLLM. Поддерживается OpenAI-совместимая подача через vLLM. Ключевое преимущество модели — заметное снижение потребления памяти при близком к исходной модели качестве: средний результат на указанной подвыборке OpenLLM Leaderboard составляет 50,88 против 51,70 у неквантизированной версии. В отдельных тестах восстановление качества относительно исходной модели составило 99,4–100%. Ограничения включают возможное небольшое снижение точности из-за квантизации, необходимость совместимой инфраструктуры vLLM и неоднозначность языковой поддержки из-за указанного ограничения для неанглийских языков. Лицензия — llama3.2; также необходимо соблюдать применимое законодательство и условия лицензии.

Llama-3-8B-Instruct-Gradient-1048k-GGUF — набор GGUF-квантизаций модели Llama-3-8B-Instruct-Gradient-1048k, разработанной Gradient AI и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев с использованием шаблона сообщений Llama 3; заявленный контекст — до 1 048 000 токенов. Указан английский язык, поддерживается текстовая модальность. Модель основана на архитектуре Llama 3 с примерно 8 млрд параметров. Набор включает варианты квантизации от Q8_0 до Q2_K и IQ2–IQ4, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Наиболее качественными в README названы Q8_0 и Q6_K, а Q5_K_M, Q5_K_S, Q4_K_M и другие варианты рекомендованы как компромисс между качеством и потреблением ресурсов. Файлы предназначены для запуска через llama.cpp; квантизация выполнена с использованием imatrix. Сильными сторонами являются большой заявленный контекст, широкий выбор уровней квантизации и возможность локального запуска на оборудовании с разным объёмом памяти. Более сильное сжатие уменьшает размер модели, но снижает качество генерации; варианты Q2 и часть Q3 описаны как низкокачественные или пригодные главным образом при жёстких ограничениях памяти. В README указана лицензия llama3; отдельные требования исходной модели и ограничения применения следует уточнять в условиях этой лицензии.

Llama3-ChatQA-1.5-8B — разговорная языковая модель NVIDIA для ответов на вопросы и систем генерации с дополнением извлечёнными данными (RAG). Она дообучена на базе Llama 3 с улучшенной методикой ChatQA и дополнительными данными для разговорных вопросов, табличных запросов и арифметических вычислений. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 8192 токенов; репозиторий содержит веса в формате Safetensors. Модель рассчитана прежде всего на ответы по предоставленному контексту: это могут быть целые документы, помещающиеся в контекст, или найденные поиском фрагменты. Она поддерживает разговорный формат и ориентирована на английский язык. В README приведены результаты оценки на наборах разговорного QA и RAG; качество зависит от контекста и сценария, поэтому ответы следует проверять, особенно при вычислениях и работе с таблицами. Лицензия — Llama 3 License.

lmstudio-community/Llama-4-Scout-17B-16E-MLX-text-8bit — это текстовая версия модели Llama 4 Scout, адаптированная сообществом lmstudio-community для экосистемы MLX. Базовая модель — meta-llama/Llama-4-Scout-17B-16E-Instruct, разработанная Meta. Обозначение модели указывает на использование 8-битного представления весов и архитектуру с 17 млрд параметров и 16 экспертами, однако в README не приведены подробности о механизме маршрутизации экспертов или фактическом объёме активных параметров. Модель предназначена для генерации и обработки текста, включая диалоговые и инструкционные сценарии. Заявлена поддержка арабского, немецкого, английского, испанского, французского, хинди, индонезийского, итальянского, португальского, тайского, тагальского и вьетнамского языков. Сведения о размере контекста, дополнительных модальностях, результатах тестирования, производительности и конкретных ограничениях в README отсутствуют, поэтому их нельзя достоверно оценить. Использование регулируется Llama 4 Community License от Meta. Лицензия предоставляет ограниченные права на использование, копирование, распространение, модификацию и создание производных работ при соблюдении условий соглашения, включая передачу текста лицензии, указание «Built with Llama», атрибуцию и соблюдение Acceptable Use Policy. Для продуктов и сервисов с более чем 700 млн ежемесячных активных пользователей требуется отдельная лицензия Meta.

Llama-Sahabat-AI-v2-70B-IT — инструктивная языковая модель из семейства Sahabat-AI, разработанная PT GoTo Gojek Tokopedia Tbk и AI Singapore при соинициировании GoTo и Indosat Ooredoo Hutchison. Это плотная авторегрессионная модель-декодер на архитектуре Llama 3.1 с 69,5 млрд параметров, дообученная для общения и выполнения инструкций в индонезийском языковом контексте. Она предназначена для диалоговых приложений, ответов на вопросы, суммаризации, анализа тональности, перевода, рассуждений и работы с местными языками и культурой Индонезии. Модель принимает текст и генерирует текст. Поддерживает английский, индонезийский, яванский, сунданский, язык батак тоба и балийский. Контекстное окно составляет до 131 072 токенов по метаданным; README указывает 128k. В оценках использовались бенчмарки IndoMMLU, SEA-HELM, SEA-IFEval и SEA-MTBench, в том числе задания на следование инструкциям и многоходовый диалог. Модель может выдавать галлюцинации, нерелевантные ответы и непоследовательные рассуждения; ответы требуют проверки. Для приложений с повышенными требованиями к безопасности разработчикам следует самостоятельно настраивать меры безопасности. Лицензия — Llama 3.1 Community License.

LongCat-Flash-Lite-Sparse-Uncensored-Heretic-Native-MTP-And-LSA-Preserved — дообученная версия LongCat-Flash-Lite-Sparse от независимого автора llmfan46. Это разговорная причинная языковая модель для генерации текста с архитектурой LongCat Flash Sparse и 4,6 млрд параметров. По метаданным, модель принимает контекст до 983 040 токенов; исходное семейство использует разреженное внимание LongCat Sparse Attention для эффективной работы с длинным контекстом. Модель изменена методом abliteration, чтобы снизить частоту отказов: в приведённом README сравнительном тесте отказов стало 9 из 100 против 99 из 100 у исходной модели. Она предназначена для диалогов, генерации текста и сценариев с длинными входными данными; README также ссылается на отдельную GGUF-версию. Заявленная лицензия — MIT. README предупреждает, что модель не оценивалась всесторонне для всех прикладных задач.

NANI-Nithin/Mellum2-12B-A2.5B-Instruct-GGUF — набор GGUF-квантизаций модели JetBrains/Mellum2-12B-A2.5B-Instruct, разработанной JetBrains. Модель предназначена для генерации текста и выполнения инструкций в формате ассистента, а репозиторий ориентирован на эффективный локальный запуск через llama.cpp, Ollama, LM Studio и другие совместимые среды. Указана архитектура Mellum2, контекстное окно до 131 072 токенов и поддержка английского языка. Доступны варианты Q4_K_M размером 8,07 ГБ и Q5_K_M размером 9,21 ГБ: первый рассчитан на экономию памяти при хорошем соотношении качества и размера, второй обеспечивает более высокое качество при умеренном увеличении требований к памяти. Обозначение модели содержит параметры 12B-A2.5B, однако дополнительные сведения о структуре, числе активных параметров и мультимодальности не приведены. Модель подходит для локального чата, программирования, экспериментов с использованием инструментов, а также CPU-ориентированного или ограниченного по памяти вывода. Ограничения связаны с потерями качества, возможными при квантизации, зависимостью от GGUF-совместимого программного обеспечения и отсутствием подробных данных о производительности и качестве на конкретных задачах. При конвертации некоторые тензоры могут использовать резервную квантизацию, что считается ожидаемым и не препятствует запуску. Модель распространяется по лицензии Apache 2.0.

MaziyarPanahi/Mistral-7B-KNUT-v0.3-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая языковая модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.2 и Herry443/Mistral-7B-KNUT-v0.3. Модель содержит 7,1 млрд параметров, принимает текстовые инструкции и генерирует текст; заявленный контекст составляет до 32 768 токенов. Модель предназначена для диалогов и генерации ответов на инструкции. Веса сохранены в формате safetensors, слияние выполнено в формате bfloat16. Репозиторий распространяется по лицензии Apache-2.0. README не описывает отдельные специализированные сценарии применения или ограничения качества.

Mistral-Nemo-Instruct-2407-FP8 — квантованная версия текстовой instruction-модели Mistral-Nemo-Instruct-2407, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена для коммерческого и исследовательского использования в англоязычных сценариях, прежде всего для диалоговых ассистентов и чат-приложений. Весовые коэффициенты и активации линейных операторов в трансформерных блоках переведены в формат FP8 с использованием симметричной по-тензорной квантизации. Оптимизация сокращает число битов на параметр с 16 до 8, примерно вдвое уменьшает размер на диске и требования к GPU-памяти. Модель рассчитана на эффективный инференс с vLLM версии 0.5.0 и выше; в README для развертывания указан контекст до 4096 токенов. По данным OpenLLM Leaderboard v1, средний результат составляет 71,28 против 71,61 у неквантованной версии, что указывает на небольшую потерю качества при существенном снижении требований к ресурсам. К ограничениям относятся ориентация на английский язык и запрет использования в языках, отличных от английского, а также необходимость учитывать ограничения применимого законодательства. Модель распространяется по лицензии Apache 2.0. Дата выпуска — 18 июля 2024 года, версия 1.0.

Unsloth/Mistral-Nemo-Instruct-2407-GGUF — это GGUF-версия инструкционной модели Mistral Nemo, опубликованная Unsloth. Модель предназначена для запуска в совместимых средах, поддерживающих формат GGUF, а также для диалоговых сценариев, генерации текста и выполнения инструкций. В README указано, что она связана с экосистемой Transformers и поддерживает английский язык. Из доступных данных следует, что модель относится к семейству Mistral Nemo и имеет размер 12B параметров, однако сведения о точной архитектуре, максимальном контексте, модальностях и конкретных вариантах квантования отсутствуют. Формат GGUF удобен для локального инференса и последующей работы с оптимизированными представлениями модели, но характеристики скорости и потребления памяти зависят от используемого варианта файла и программного окружения. Модель может быть полезна для локальных чат-ботов, ассистентов и экспериментов с дообучением: README описывает инструменты Unsloth для более быстрого fine-tuning с меньшим потреблением памяти и экспортом в GGUF. При этом заявленные ускорение и экономия памяти относятся к процессу дообучения в Unsloth, а не обязательно к инференсу этой конкретной модели. Лицензия — Apache-2.0.

Mixtral SlimOrca 8X7B — языковая модель для генерации текста, разработанная OpenOrca и представленная TheBloke в формате GGUF с квантованием. Модель основана на Mixtral-SlimOrca-8x7B и обучена с использованием набора данных Open-Orca/SlimOrca. Она предназначена для диалоговых сценариев и других задач генерации текста, включая локальный запуск через совместимые инструменты. Модель относится к архитектуре Mixtral и имеет конфигурацию 8x7B; точный размер активируемой части, поддерживаемые языки и максимальная длина контекста в README не указаны. Для взаимодействия используется шаблон ChatML с системными и пользовательскими сообщениями. GGUF-файлы доступны в вариантах квантования от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти и качеством; рекомендован вариант Q4_K_M как сбалансированный. К сильным сторонам относятся возможность запуска на CPU и совместимых GPU, несколько уровней квантования и поддержка llama.cpp, KoboldCpp, LM Studio и llama-cpp-python при указанных в README версиях. Ограничения включают заметную потерю качества у наиболее агрессивных вариантов квантования, высокие требования к оперативной памяти у старших вариантов и ограниченную совместимость с другими клиентами. Лицензия модели — Apache 2.0.

Ralriki/multilingual-e5-large-instruct-GGUF — это GGUF-версия мультиязычной embedding-модели multilingual-e5-large-instruct, разработанной командой intfloat и адаптированной для использования в llama.cpp после добавления поддержки XLM-RoBERTa. Модель предназначена для создания векторных представлений текста, включая мультиязычный поиск, семантическое сходство и другие задачи, где требуется сопоставление текстов по смыслу. Для разных сценариев рекомендуется использовать соответствующие prompt-шаблоны из исходной модели. Доступны варианты квантования q4_k_m, q6_k, q8_0 и f16. Автор README рекомендует q6_k или q8_0: переход к 8-битному квантованию обычно почти не снижает качество относительно базовой модели, тогда как при переходе от q6 к q4 возможно небольшое заметное ухудшение, а при использовании уровней около q3 и ниже — существенная потеря качества. Модель ориентирована на мультиязычные тексты, однако конкретный список поддерживаемых языков и размер контекста в README не указаны. Модель распространяется по лицензии MIT. Для работы требуется совместимая поддержка GGUF и llama.cpp с поддержкой XLM-RoBERTa.

ahmedHamdi/narrative-similarity-pt-en-masked-miniLM-L6 — дообученный энкодер предложений на базе sentence-transformers/all-MiniLM-L6-v2, созданный с помощью AutoTrain. Модель предназначена для получения векторных представлений и оценки семантического сходства предложений, в том числе в сценариях поиска похожих текстов. Модель использует архитектуру BERT и библиотеку Sentence Transformers; размер составляет 25,9 млн параметров, максимальная длина контекста — 512 токенов. Карточка сообщает метрику validation loss 0,0887, но не описывает набор данных и методику оценки, поэтому это значение не позволяет судить о качестве на конкретных задачах. Лицензия в предоставленных данных не указана.