I.3Извлечение и структурирование данных

NVIDIA GLM-5 NVFP4 — квантизированная версия языковой модели GLM-5 от Z.ai, подготовленная NVIDIA с помощью Model Optimizer. Это авторегрессионная трансформерная модель для генерации текста и диалогов; в карточке указаны 744 млрд параметров всего и 40 млрд активируемых, а метаданные каталога — 30,4 млрд параметров. Модель принимает текст и выдаёт текст, поддерживает контекст до 200 тысяч токенов и рассчитана на запуск через vLLM или SGLang на системах NVIDIA Blackwell. Модель предназначена для чат-ботов, агентных систем, RAG и других приложений на базе ИИ. Квантизация весов и активаций линейных операторов в блоках MoE в формат NVFP4 рассчитана на инференс. Карточка указывает коммерческое и некоммерческое использование; лицензия в метаданных — MIT. Ответы могут содержать ошибки, пропускать важную информацию или быть избыточными. Обучающие данные базовой модели включали токсичный язык и социальные предубеждения, которые могут проявляться в ответах; перед применением модель следует проверить на данных и требованиях конкретного сценария.

furiosa-ai/gpt-oss-20b — версия openai/gpt-oss-20b, подготовленная для запуска на ускорителях FuriosaAI RNGD с использованием Furiosa-LLM. Это авторегрессионная текстовая модель с архитектурой Mixture-of-Experts (MoE), ориентированная на задачи рассуждения, генерации текста и сценарии с пониженной задержкой, включая локальное или периферийное развертывание. Модель принимает текст и генерирует текст, поддерживает английский язык и совместима с OpenAI-совместимым API Furiosa-LLM. Модель формирует рассуждение отдельно от итогового ответа в формате harmony, поддерживает настраиваемую глубину рассуждений с параметром reasoning_effort со значениями low, medium и high, а также вызов инструментов через function calling. Веса экспертов MoE квантизованы в MXFP4, тогда как attention, router и embeddings сохраняются в более высокой точности. На RNGD используется tensor parallelism с размером 8 PE, соответствующим одной карте RNGD. Размер модели заявлен как 20B, однако сведения о контекстном окне в README отсутствуют. Сильными сторонами являются поддержка рассуждений, инструментов и эффективного запуска на специализированном оборудовании FuriosaAI. Ограничения включают зависимость от Furiosa-LLM и FuriosaAI RNGD для описанного варианта развертывания, а также отсутствие в README подробных данных о качестве, бенчмарках и поддерживаемых языках за пределами английского. Модель распространяется по лицензии Apache 2.0.

Mungert/gpt-oss-20b-heretic-GGUF — это GGUF-версия декензурированной модели OpenAI gpt-oss-20b, созданная пользователем Mungert с применением Heretic v1.0.0 и преобразованная с помощью llama.cpp. Модель предназначена для генерации текста, локального запуска и специализированных сценариев, включая задачи рассуждения, разработку и агентские приложения, поддерживаемые исходной моделью. Для корректной работы требуется формат ответов Harmony. Исходная gpt-oss-20b имеет архитектуру Mixture of Experts: около 21 млрд параметров, из которых примерно 3,6 млрд активны при обработке запроса. Модель выпускается в формате GGUF; автор также применяет специальное повышение точности отдельных слоёв при квантовании, что может улучшать качество при увеличении размера файла. Доступны настраиваемые уровни усилий рассуждения, а исходная модель поддерживает вызов функций, веб-навигацию, выполнение Python-кода и структурированные ответы. Языки и размер контекста в предоставленных данных не указаны. Главная особенность этой версии — снижение склонности к отказам: в приведённом сравнении модель отказалась в 58 из 100 случаев против 100 из 100 у исходной модели, однако это сопровождается отличием от оригинала, измеренным KL-дивергенцией 0,96. Лицензия Apache 2.0 допускает свободное использование, модификацию и коммерческое развёртывание. Показатели качества, безопасность декензурированной версии и совместимость конкретных квантов зависят от выбранного GGUF-файла и требуют самостоятельной проверки.

professorf/gpt-oss-20b-mxfp4-gguf — GGUF-квантизация модели gpt-oss-20b, опубликованная профессором Ником В. Флором. Это открытая языковая модель OpenAI семейства gpt-oss с архитектурой MoE: около 21 млрд параметров, из которых активно используются 3,6 млрд. Вариант MXFP4 рассчитан на локальный запуск и, согласно карточке, укладывается примерно в 16 ГБ памяти; модель работает в формате диалога Harmony и поддерживает настройку уровня рассуждений. Модель предназначена для диалога, генерации текста, задач рассуждения и агентных сценариев, включая вызов функций и работу с инструментами. Её можно запускать через Transformers, vLLM, Ollama и LM Studio. Карточка предупреждает, что формат Harmony обязателен для корректной работы, а цепочку рассуждений не следует показывать конечным пользователям. Лицензия — Apache 2.0.

gte-Qwen1.5-7B-instruct — многоязычная модель эмбеддингов из семейства gte, разработанная Alibaba-NLP на основе языковой модели Qwen1.5-7B. Она преобразует текст в векторы размерности 4096 для поиска семантически похожих предложений и других задач, основанных на сходстве текстов. Модель использует двунаправленное внимание и настройку инструкциями для запросов; обучалась на многоязычном корпусе из разных областей с сочетанием слабой и контролируемой разметки. Модель содержит 7 млрд параметров и принимает до 32 тыс. токенов. Подходит для семантического поиска, ранжирования кандидатов по смысловой близости и построения систем поиска по текстовым коллекциям. Для запуска README указывает Transformers версии 4.39.2 или новее и flash_attn версии 2.5.6 или новее. Распространяется по лицензии Apache-2.0.

Карточка модели Surbhipatil/gte-small на Hugging Face совпадает с карточкой thenlper/gte-small, поэтому описание составлено по ней. gte-small — модель текстовых эмбеддингов семейства General Text Embeddings (GTE), разработанная Alibaba DAMO Academy на основе архитектуры BERT. Вариант small содержит около 40 млн параметров и принимает тексты длиной до 512 токенов; для более длинных текстов вход обрезается. Модель рассчитана на английский язык. Полученные эмбеддинги подходят для семантического поиска и сравнения предложений, а также могут использоваться в конвейерах поиска информации и ранжирования текстов. Модель можно применять, например, для поиска релевантных документов или оценки смыслового сходства запросов и фрагментов текста. Лицензия — MIT.

sentence-transformers/gtr-t5-large — модель эмбеддингов на базе энкодера T5-large, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и обучена для семантического поиска. Модель подходит для построения поисковых систем по смыслу, получения кандидатов для последующей ранжировки и сравнения текстовых запросов с документами. Модель основана на gtr-large-1 и была преобразована из TensorFlow в PyTorch; используются веса FP16. В README отмечено, что эмбеддинги могут немного отличаться от TensorFlow-версии, хотя на тех же бенчмарках результаты совпадают. Репозиторий содержит 385,2 млн параметров, поддерживает английский язык и имеет контекст до 512 токенов. Лицензия — Apache-2.0.

Infinity-Instruct-7M-Gen-Llama3_1-8B-GGUF — квантизированная версия текстовой генеративной модели Infinity-Instruct-7M-Gen-Llama3_1-8B, разработанной BAAI и преобразованной в формат GGUF компанией Second State Inc. Модель предназначена для диалоговых сценариев, генерации текста и использования инструментов; в README также указана совместимость с LlamaEdge. Поддерживается английский язык, модальность — текстовая. Модель основана на Llama 3.1 с размером 8B параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от 2 до 8 бит, а также f16, с размером файлов примерно от 3,18 до 16,1 ГБ. Вариант Q4_K_M обозначен как сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с очень небольшими потерями качества. Более агрессивная квантизация уменьшает требования к ресурсам, но может существенно ухудшать качество ответов. Лицензия указана как llama3.1. Для работы требуется совместимое программное обеспечение, например LlamaEdge версии 0.14.0 или выше, с шаблоном запросов llama-3-chat; README также описывает режим использования инструментов.

leeloolee/intention — многоязычная модель векторных представлений текста из семейства GTE, описанная в карточке как gte-multilingual-base. Она предназначена для поиска по смыслу, многоязычного и межъязыкового поиска, а также других задач представления текста. Модель имеет архитектуру Transformer encoder-only, около 305 млн параметров и поддерживает контекст до 8192 токенов. Она формирует плотные эмбеддинги размерности 768 и может выдавать разреженные векторы; заявлена поддержка более 70 языков. Карточка сообщает о высоких результатах на задачах многоязычного поиска и оценках текстовых представлений, а также о более низких требованиях к инференсу по сравнению с более крупными моделями семейства GTE. Указанные результаты относятся к оценкам разработчиков; они не гарантируют качество на каждом конкретном наборе данных. Лицензия — Apache-2.0.

jina-embeddings-v2-small-en — англоязычная модель эмбеддингов, разработанная Jina AI. Она построена на архитектуре JinaBERT на базе BERT: энкодер предварительно обучен на C4, а затем модель дообучена на наборе Jina AI из более чем 400 миллионов пар предложений и сложных негативных примеров из разных областей. Модель преобразует текст в векторы для поиска по длинным документам, семантического сравнения текстов, ранжирования, рекомендаций и систем RAG. Контекст поддерживает до 8192 токенов благодаря двунаправленному варианту ALiBi; при обучении использовалась длина последовательности 512 токенов. Для получения эмбеддинга предложения или фрагмента текста README рекомендует применять mean pooling. Размер модели — около 32,4 млн параметров по метаданным. Компактный размер обеспечивает быстрое и экономное по памяти получение эмбеддингов. Модель предназначена для английского языка и не является мультиязычной. Для работы через Transformers может потребоваться параметр trust_remote_code=True; модель доступна в форматах PyTorch, Safetensors, ONNX и Core ML. Лицензия — Apache-2.0.

Jina AI выпустила jina-embeddings-v5-text-nano — компактную мультиязычную модель для преобразования текста в векторные представления. Она построена на EuroBERT-210M и дообучена с помощью дистилляции от Qwen3-Embedding-4B и контрастивного обучения для отдельных задач. В метаданных указано 211,7 млн параметров; README приводит оценку 239 млн. Модель принимает текст длиной до 8192 токенов и формирует эмбеддинги для поиска, сопоставления текстов, кластеризации и классификации. Модель подходит для семантического поиска по документам, сравнения запросов и текстов, группировки коллекций и классификации через эмбеддинги. README заявляет мультиязычную поддержку и приводит примеры на арабском, китайском, французском, немецком, греческом, хинди, итальянском, японском и корейском языках. Указаны устойчивость эмбеддингов к усечению и бинарному квантованию, а также высокие результаты на MTEB English v2 и MMTEB. Лицензия — CC BY-NC 4.0, которая ограничивает коммерческое использование.

KaLM-embedding-multilingual-mini-instruct-v1 — мультиязычная модель эмбеддингов из серии KaLM-Embedding, разработанной командой HIT-TMG. Она дообучена на базе Qwen/Qwen2-0.5B с использованием масштабного слабонаблюдаемого предварительного обучения и обучения с учителем. Модель предназначена для преобразования текстов в векторы, оценки сходства предложений и поиска по смыслу; версия instruct рассчитана на сценарии, где запросы и инструкции помогают уточнить задачу. Модель содержит около 494 млн параметров, использует плотную архитектуру Qwen2 и формат весов safetensors. Заявленная длина контекста — 131 072 токена. В README приведены оценки серии KaLM-Embedding на наборах C-MTEB и MTEB, а также сравнение с другими моделями эмбеддингов. Лицензия — MIT. Для запуска авторы рекомендуют transformers версии 4.37.0 или новее.

Карточка модели saidsef/knowledge-base-embedding-model на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

Linkbricks-Horizon-AI-Avengers-V3-32B — языковая модель, дообученная директором по данным Linkbricks Джи Юнсоном (Saxo) на базе Saxo/Linkbricks-Horizon-AI-Avengers-V2-32B. Это плотная модель семейства Qwen2 на 32 млрд параметров с контекстом 32 768 токенов; для обучения части параметров применялись SFT и методы предпочтений, включая DPO и ORPO. Модель предназначена для диалогов, генерации текста и вызова инструментов. По карточке, обучение включало многоязычные новости и Википедию, переводческие и суммаризационные данные, вопросы и ответы, математику и логические задачи. Заявлены улучшения для работы с корейским, японским, китайским и английским языками, анализа отзывов и публикаций в соцсетях, написания текстов и кода, а также решения математических и логических задач. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Модель распространяется по лицензии Apache-2.0. Описание не приводит количественных результатов оценивания, поэтому заявленные улучшения не позволяют сравнить её качество с другими моделями.

Карточка модели mylesgoose/Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой tanliboy/Meta-Llama-3.1-8B-Instruct, поэтому описание составлено по ней. tanliboy/Meta-Llama-3.1-8B-Instruct — текстовая инструктивно настроенная языковая модель семейства Llama 3.1, разработанного Meta. Это плотный авторегрессионный трансформер с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров; модель дообучена для диалогов с помощью SFT и RLHF. Она принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и ориентирована на многоязычный диалог на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Модель подходит для создания разговорных помощников, ответов на запросы и генерации текста, а также может быть подключена к внешним инструментам через соответствующий интерфейс. Репозиторий содержит веса в формате safetensors. Модель выпущена 6 сентября 2024 года и распространяется по лицензии Llama 3.1 Community License; перед коммерческим или иным применением необходимо соблюдать её условия и Acceptable Use Policy. Качество и безопасность ответов на языках вне восьми заявленных языков могут быть ниже; разработчикам следует оценивать результаты и применять защитные меры в соответствии со своим сценарием. Интеграция внешних инструментов требует отдельной политики и проверки безопасности подключённых сервисов.

brittlewis12/Llama-3.1-Tulu-3.1-8B-GGUF — это квантизированная версия языковой модели Tülu 3.1 8B, разработанной Allen Institute for AI (AI2) на базе Llama 3.1. Модель предназначена для генерации текста и следования инструкциям в диалоговых и прикладных сценариях, включая общение, решение математических задач, ответы на вопросы, выполнение заданий с ограничениями и генерацию кода. Указан английский язык. Модель использует архитектуру Llama и содержит около 8 миллиардов параметров. Она распространяется в формате GGUF для запуска с совместимыми инструментами, включая llama.cpp, в том числе локально на устройствах. В версии Tülu 3.1 был улучшен финальный этап обучения с переходом от PPO к GRPO без reward model и дополнительной настройкой гиперпараметров. В README не указан размер контекстного окна и не описаны конкретные схемы квантизации представленных файлов. Сильными сторонами модели являются следование инструкциям, математические рассуждения, выполнение заданий с формальными ограничениями и ответы на вопросы; согласно приведённым оценкам, особенно высокие результаты показаны в GSM8K, IFEval, DROP и BigBenchHard. Ограничениями являются ориентация преимущественно на английский язык, меньший размер по сравнению с крупными моделями и возможные потери качества, связанные с квантизацией. Модель распространяется по лицензии llama3.1.

Карточка модели vy22215/Llama-3.2-1B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. Llama 3.2 1B Instruct — языковая модель Meta на 1,23 млрд параметров для генерации текста и диалогов. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention и настроена с помощью supervised fine-tuning и обучения с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, в том числе код; контекстное окно составляет 128 тысяч токенов. Модель предназначена для многоязычных диалоговых помощников и агентных сценариев: поиска сведений, суммаризации, помощи в написании текста и переформулирования запросов. Компактный размер позволяет использовать её в приложениях с ограниченными вычислительными ресурсами, включая мобильные устройства. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель разработана Meta и распространяется по специальной лицензии Llama 3.2 Community License, условия которой допускают коммерческое и исследовательское использование. Это статическая модель с отсечкой знаний в декабре 2023 года; качество и безопасность ответов могут уступать более крупным моделям, поэтому для конкретного применения требуется проверка и настройка защитных мер.

bartowski/Llama-3.2-3B-Instruct-GGUF — это квантованная в формате GGUF версия языковой модели Llama 3.2 3B Instruct, разработанной Meta и подготовленной к распространению пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, помощь в написании и обработке текста, а также локальный инференс в совместимом программном обеспечении. В карточке указаны поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель содержит около 3 миллиардов параметров и относится к текстовым моделям; сведения о точной архитектуре, размере контекста, конкретном уровне квантования и поддержке дополнительных модальностей в карточке не приведены. Формат GGUF ориентирован на эффективный запуск и снижение требований к памяти, однако квантование может уменьшать точность по сравнению с исходными весами. Модель распространяется по лицензии Llama 3.2 Community License от Meta. При распространении материалов или производных продуктов требуется соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy.

Llama-3.3-70B-Instruct-FP8-KV — квантизированная версия модели meta-llama/Llama-3.3-70B-Instruct, подготовленная Advanced Micro Devices (AMD) с использованием Quark и калибровочных образцов из набора данных Pile. Модель предназначена для задач генерации текста и диалоговых сценариев, поддерживаемых исходной instruct-моделью Llama 3.3, с эффективным инференсом на совместимой инфраструктуре. Ключевая особенность — FP8-квантизация: все линейные слои, кроме lm_head, используют симметричное по тензору представление FP8 для весов и активаций, а KV-cache также хранится в FP8. Модель экспортируется в формат Quark safetensors и совместима с развертыванием через backend vLLM. Указан результат на perplexity для wikitext2: 3,9622 против 3,8624 у исходной модели; авторы отмечают, что оценка выполнена в режиме псевдоквантизации и может отличаться от точности при фактическом инференсе. Лицензия обозначена как llama3.3; применяются условия лицензии Meta для Llama 3.3, при этом модификации принадлежат Advanced Micro Devices, Inc. Для использования требуется совместимая среда Quark и поддержка FP8 со стороны оборудования и backend.

Neurona 8B Beta — предварительная экспериментальная языковая модель на основе Meta Llama 3, разработанная Икером Гарсией. Это плотная авторегрессионная модель с 7,5 млрд параметров, дообученная для диалоговых ответов преимущественно на испанском языке. Она принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. Модель обучалась на смешанном наборе англоязычных и испаноязычных данных, включая инструкции, диалоги, перевод, суммаризацию, вопросы и ответы, код и function calling. В README перечислены возможные сценарии применения: ответы на вопросы, суммаризация, помощь с кодом, RAG и вызов функций. Для работы используются Transformers и формат safetensors. Автор отмечает, что это первая итерация для отладки обучающих скриптов и инфраструктуры, а модель ещё разрабатывается и не является финальной версией. Лицензия — Llama 3; применимость её условий следует оценивать вместе с условиями базовой модели.

Lychee-embed — многоязычная модель для создания текстовых эмбеддингов, совместно разработанная командой NLP Харбинского технологического института в Шэньчжэне. Она основана на Qwen2.5-1.5B и дообучена по многоэтапной схеме с разогревом, обучением на задачах, слиянием моделей и финальным дообучением. Модель предназначена для семантического поиска, сравнения сходства текстов и других задач на основе эмбеддингов. Модель содержит 1,5 млрд параметров, принимает текст и выдаёт векторы размерностью до 1536; поддерживаются настраиваемые размерности от 32 до 1536 и инструкции, задающие контекст задачи. README заявляет поддержку более 100 языков и длину последовательности 8K, тогда как метаданные указывают нативный контекст 32768 токенов. Репозиторий распространяется в формате safetensors, лицензия — Apache-2.0. Для повышения качества поиска авторы рекомендуют подбирать инструкции под задачу; README сообщает, что их отсутствие на стороне запроса может снизить качество примерно на 1–5%.

Карточка модели SillyTilly/Meta-Llama-3.1-70B на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-70B, поэтому описание составлено по ней. NousResearch/Meta-Llama-3.1-70B — текстовая большая языковая модель, разработанная Meta и представленная в репозитории NousResearch. Это плотная авторегрессионная модель семейства Llama 3.1 с архитектурой оптимизированного Transformer и Grouped-Query Attention; объём — 69,5 млрд параметров. Модель принимает и генерирует текст, а контекстное окно составляет до 131 072 токенов. Модель предназначена для генерации текста и многоязычного диалогового взаимодействия: её можно применять как основу для чат-ассистентов, а также для адаптации под различные задачи генерации естественного языка. Поддерживаемые языки — английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Карточка описывает инструктивно настроенные модели семейства как прошедшие SFT и RLHF, но не уточняет отдельно тип настройки именно этого репозитория. К преимуществам относятся большой контекст и поддержка нескольких языков. Возможны ошибки и небезопасные ответы; качество на языках вне перечисленных поддерживаемых языков не гарантируется. Модель распространяется по пользовательской коммерческой лицензии Llama 3.1 Community License, условия которой следует проверить перед использованием.

Модель mlx-community/Meta-Llama-3.1-70B-Instruct-bf16 — преобразованная в формат MLX версия Meta Llama 3.1 70B Instruct, подготовленная сообществом mlx-community. Это плотная авторегрессионная языковая модель семейства Llama с 69,5 млрд параметров, предназначенная для диалогов, генерации текста и использования в качестве ассистента; поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст. В карточке перечислена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; длина контекста — до 131 072 токенов. Формат MLX предназначен для запуска на оборудовании Apple через библиотеку mlx-lm. Репозиторий основан на meta-llama/Llama-3.1-70B-Instruct и содержит веса в safetensors; конвертация выполнена с помощью mlx-lm версии 0.19.0. Лицензия — Llama 3.1 Community License. Модель крупная и требует значительных вычислительных ресурсов; заявленная длина контекста не гарантирует одинаковую скорость или качество на всём диапазоне.

ModelCloud/Meta-Llama-3.1-8B-Instruct-gptq-4bit — квантизированная 4-битная версия инструкционной языковой модели Meta Llama 3.1 с 8 млрд параметров. Модель подготовлена с использованием GPTQModel и предназначена для генерации текста в формате диалога, ответов на вопросы и выполнения инструкций. В README не указаны поддерживаемые языки, модальности и размер контекстного окна. Модель использует GPTQ-квантизацию в формате checkpoint GPTQ с точностью 4 бита, group_size 128, симметричным квантованием и параметрами desc_act=true и true_sequential=true. Квантизация уменьшает требования к памяти и может упростить локальный запуск, однако способна немного снизить точность по сравнению с полноразмерной версией. В README приведены результаты lm-eval, включая общую точность 0,6421 на MMLU, 0,8232 на BoolQ и 0,8068 на ARC Easy; методика и конфигурация исходной модели подробно не описаны. Для запуска рекомендуется использовать Transformers и GPTQModel с токенизатором исходной модели и chat template. Лицензия указана как llama3.1; дополнительные условия использования в README не раскрыты.

Mistral-7b-FFT-Test3-Mistral-7B-Instruct-v0.1 — объединённая модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием mistralai/Mistral-7B-Instruct-v0.1 и Dans-DiscountModels/Mistral-7b-FFT-Test3 методом SLERP; в конфигурации указана точность bfloat16. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Она поддерживает контекст до 32 768 токенов и представлена в формате safetensors. Лицензия — Apache-2.0. Карточка не сообщает о специальных областях применения или языках модели.

gghfez/Mistral-Small-3.2-24B-Instruct-hf-AWQ — инструкционная языковая модель для генерации текста, разработанная на базе gghfez/Mistral-Small-3.2-24B-Instruct-hf. Модель предназначена для диалоговых сценариев и других задач text generation, а также совместима с экосистемой Transformers и инфраструктурой text-generation-inference. В названии и метаданных указано использование AWQ, то есть модели с квантованным представлением весов, что может снизить требования к памяти при развертывании. Архитектура, поддерживаемые языки, размер контекста и конкретные показатели качества в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.

MixEmbedBert-base-20240115112530-latest — компактная модель эмбеддингов предложений на архитектуре BERT, опубликованная avsolatorio. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, кластеризации и сравнения текстов. Модель дистиллирована из avsolatorio/bge-small-en-v1.5; в ней примерно вчетверо меньше параметров без учёта эмбеддингов, чем в исходной модели. README сообщает о качестве, сопоставимом с all-MiniLM-L6-v2, при вдвое меньшем общем числе параметров, однако метаданные указывают 18,8 млн параметров. Модель принимает текст и выдаёт векторные представления; максимальная длина контекста — 512 токенов. Карточка описывает её как англоязычную модель. Для вывода эмбеддингов через Transformers нужно применить подходящую операцию pooling к контекстным представлениям токенов; также доступно использование через Sentence-Transformers. Файлы представлены в формате safetensors. Лицензия в предоставленных данных не указана.

hugging-quants/Mixtral-8x7B-Instruct-v0.1-AWQ-INT4 — общественная квантованная версия инструкционной модели Mistral AI Mixtral-8x7B-Instruct-v0.1. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы и работу в формате chat completion. Указанные языки: французский, итальянский, немецкий, испанский и английский. В основе лежит генеративная разреженная архитектура Mixture of Experts с конфигурацией 8x7B. Версия в репозитории преобразована из FP16 в INT4 с использованием AutoAWQ, GEMM-ядер, zero-point-квантования и размера группы 128. Поддерживаются Transformers, AutoAWQ и Text Generation Inference. Размер контекстного окна и точное число параметров в README не указаны. Ключевое преимущество версии — снижение требований к памяти по сравнению с полноточной моделью при сохранении возможностей исходной Mixtral; в README также заявлено превосходство над Llama 2 70B в большинстве протестированных бенчмарков. Для загрузки чекпойнта требуется около 24 ГиБ VRAM без учета KV-кэша и CUDA Graphs, поэтому необходим запас видеопамяти. Квантование INT4 может влиять на точность по сравнению с исходной версией. Лицензия — Apache-2.0.

Карточка модели arnaultsta/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.

Карточка модели OmarIDK/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.