I.3Извлечение и структурирование данных

E5-base-4k — модель для получения векторных представлений текстов, представленная в работе LongEmbed: Extending Embedding Models for Long Context Retrieval. Авторы — Dawei Zhu, Liang Wang, Nan Yang, Yifan Song, Wenhao Wu, Furu Wei и Sujian Li. Модель предназначена для поиска и сопоставления запросов с длинными текстовыми фрагментами, в том числе в задачах retrieval. Это плотная модель семейства BERT с 12 слоями и размерностью эмбеддинга 768. Она содержит 136,7 млн параметров, принимает текст и поддерживает контекст до 4096 токенов. Репозиторий содержит веса PyTorch; карточка указывает английский язык. Модель можно применять для поиска по коллекциям документов и семантического сравнения текстов. В README приведены примеры кодирования запросов и пассажей из MS MARCO, а оценку предлагают воспроизводить на наборах BEIR и MTEB. Лицензия — MIT. Карточка не сообщает о других языках или ограничениях качества; практические результаты следует оценивать на данных целевого поиска.

htdht/e5_base_finetuned_v6 — модель Sentence Transformer на архитектуре XLM-RoBERTa, содержащая около 305,2 млн параметров. Она преобразует текстовые предложения и абзацы в нормализованные плотные векторы размерности 768 и предназначена для поиска и сопоставления текстов по косинусному сходству. Модель можно использовать для поиска подходящих документов или фрагментов по запросу и ранжирования текстов по семантической близости. В README указаны текстовый вход, ограничение до 192 токенов и обучение на 36 389 примерах с запросами, положительными и отрицательными текстами. Метаданные указывают контекст модели до 514 токенов; для практического использования ориентируйтесь на более короткое ограничение, заявленное в README. Модель работает с текстом; языковые примеры в README включают вьетнамский, но данных о полном наборе поддерживаемых языков нет. Лицензия в предоставленных источниках не указана.

guymorganb/e5-large-v2-4096-lsg-patched — версия модели intfloat/e5-large-v2 с архитектурой BERT и механизмом Local-Sparse-Global (LSG), подготовленная для обработки последовательностей длиной до 4096 токенов. Разработчик адаптировал её для работы с более новыми версиями Transformers, сохранив режим чистого энкодера и обработку масок внимания с плавающей точностью. Модель предназначена для кодирования запросов и текстовых фрагментов в эмбеддинги, например, для поиска и ранжирования passage. Карточка приводит пример на наборе MS MARCO. В метаданных указано 433,9 млн параметров и формат PyTorch; языковые сведения указывают на английский. Лицензия в предоставленных данных не указана.

jangedoo/e5-small-v2-pruned — компактная модель эмбеддингов на базе intfloat/e5-small-v2, представленная автором как версия с прореженным токенным эмбеддингом. Она использует архитектуру BERT и библиотеку Sentence Transformers, содержит 36,8 млн параметров по метаданным и принимает последовательности длиной до 512 токенов. Модель преобразует текст в векторы для семантического поиска, сопоставления предложений и оценки их сходства. В README указано сокращение словаря с 30 522 до 22 225 токенов и числа параметров с 33 360 000 до 30 173 952. На приведённых тестах STS-B и NanoBEIR качество немного ниже базовой модели: например, корреляция STS-B Pearson составляет 0,8234 против 0,8317. Для использования требуется Sentence Transformers; в примере загрузки включён trust_remote_code=True. Лицензия в предоставленных данных не указана.

Pieces представила сжатую версию модели эмбеддингов Google EmbeddingGemma-300M для поиска и сравнения текстов. Модель предназначена для получения векторных представлений, семантического поиска и retrieval-сценариев; в каталоге также указана поддержка оценки сходства предложений. Модель основана на Gemma 3 Text и сокращена с 24 до 2 слоёв трансформера; ширина эмбеддинга уменьшена с 768 до 76 и восстановлена до выходного размера 768. В README заявлено около 33 млн параметров и ускорение вывода за счёт сокращения числа слоёв, тогда как метаданные указывают 209,8 млн параметров. Контекст составляет 2048 токенов. Данные не уточняют поддерживаемые естественные языки. Модель подходит для индексации текстов и поиска близких по смыслу фрагментов при ограниченных ресурсах. README характеризует качество как приемлемое, но не приводит результатов сравнительных тестов; сильное сжатие может снижать качество относительно исходной модели. Лицензия — Apache 2.0.

FrankenQwen2.5-14B — объединённая языковая модель, созданная автором synergetic с помощью mergekit и метода passthrough. В состав слияния вошла дообученная модель rombodawg/Rombos-LLM-V2.6-Qwen-14b; архитектура — плотная Qwen2ForCausalLM, объём — 16,2 млрд параметров. Репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и диалогов. Она принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов и имеет интерфейс для вызова инструментов. В README приведены результаты оценки Open LLM Leaderboard, включая средний балл 18,13, IFEval и BBH. Карточка не описывает дополнительные специализированные сценарии или языковое покрытие, поэтому качество для конкретных языков и задач следует проверять отдельно. Лицензия в предоставленных данных не указана.

FuseChat-Gemma-2-9B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели FuseChat-Gemma-2-9B-Instruct, разработанной FuseAI и опубликованной в формате GGUF пользователем bartowski. Квантизации созданы с помощью llama.cpp версии b4273 и метода imatrix, предназначены для локального запуска и совместимы, в частности, с LM Studio. Модель относится к текстовым генеративным моделям и предназначена для диалогов, следования инструкциям и других сценариев генерации текста. Указан размер базовой модели — 9 миллиардов параметров; поддерживаемые модальности, языки и размер контекста в README не описаны. Для работы используется специальный шаблон промпта с маркерами Gemma для ролей пользователя и модели. Доступны варианты от F32 и F16 до квантизаций Q8, Q6, Q5, Q4 и Q3, а также IQ-форматы, что позволяет выбирать между качеством, размером файла и требованиями к памяти. В README рекомендуются, среди прочих, Q6_K_L, Q6_K, Q5 и Q4 варианты; некоторые сборки оптимизированы для ARM или AVX, а отдельные требуют аппаратной поддержки i8mm или sve и не предназначены для Mac. Более компактные варианты экономят память, но могут снижать качество генерации. Лицензия в предоставленных данных не указана.

gghfez выпустил текстовую версию Google Gemma 3 12B IT, преобразовав мультимодальную архитектуру Gemma3ForConditionalGeneration в текстовую Gemma3ForCausalLM и удалив компоненты обработки изображений. По карточке модель предназначена для генерации текста и диалогов; метаданные указывают 11,6 млрд параметров, контекст до 131 072 токенов и формат Safetensors. README приводит оценку в 4 млрд параметров, что расходится с метаданными. Модель принимает текст и выдаёт текст, а использовать её предлагается так же, как текстовую Gemma 3 1B IT. Лицензия — Gemma; модель основана на google/gemma-3-12b-it.

Gemma 4 31B it qat JANG_4M CRACK — созданная dealignai модификация Google Gemma 4 31B Instruct для запуска в vMLX на компьютерах Mac с Apple Silicon. Это плотная мультимодальная модель класса Gemma4 с 60 слоями и гибридным скользящим и глобальным вниманием; она принимает текст и изображения, поддерживает диалог, ответы на вопросы, многошаговые рассуждения и генерацию кода. Квантизация JANG_4M использует 8-битную точность для attention и 4-битную для MLP. По заявлению авторов, модель сохраняет возможности зрения и связность ответов; в их тестах MMLU снизился на 1,8 процентного пункта относительно базовой модели. Авторы также сообщают о снятии отказов для широкого набора вредоносных запросов. Это существенно ограничивает безопасное применение модели: она может помогать с опасными действиями. Для запуска требуется vMLX с поддержкой Gemma 4 и Mac на Apple Silicon с достаточной общей памятью; стандартные mlx_lm и mlx_vlm, согласно карточке, не обеспечивают полной поддержки Gemma 4. Лицензия — Gemma; авторы указывают исследовательское назначение и ответственность пользователей за соблюдение законов.

lemon-mint/gte-modernbert-base-code-3 — англоязычная модель Sentence Transformers, дообученная разработчиком lemon-mint на базе Alibaba-NLP/gte-modernbert-base на парах запросов и положительных примеров из набора Magpie-Qwen2.5-Coder-Pro-300K-Query-Positive-Pair. Она кодирует предложения и абзацы в плотные векторы размерности 768 и предназначена для семантического поиска и сравнения текстов, в том числе запросов и материалов по программированию. Архитектура включает ModernBERT и пулинг CLS-токена; максимальная длина входа — 8192 токена, сходство можно оценивать косинусной мерой. Модель подходит для поиска релевантных фрагментов по запросам, ранжирования текстов по смысловой близости, кластеризации и поиска перефразирований; эмбеддинги также можно использовать как признаки для классификации. Основной язык — английский. Лицензия Apache-2.0. Ее векторное представление ориентировано на семантическое сопоставление, а не на генерацию текста; README не приводит количественных результатов оценки качества.

Карточка модели thuan220401/halong_embedding на Hugging Face совпадает с карточкой contextboxai/halong_embedding, поэтому описание составлено по ней. Halong Embedding — модель эмбеддингов текста, разработанная contextboxai и дообученная на базе intfloat/multilingual-e5-base. Она предназначена прежде всего для вьетнамского языка и сценариев семантического поиска и RAG; также подходит для сопоставления предложений, поиска перефразирований, кластеризации и классификации текста. Модель построена на XLM-RoBERTa в архитектуре Sentence Transformers: усредняет токенные представления, нормализует результат и выдаёт плотный вектор размерностью 768. Максимальная длина входа — 512 токенов; косинусное сходство используется для сравнения векторов. Обучение примерно на 100 тысячах пар вопрос–документ включало Matryoshka loss, позволяющий сокращать размер эмбеддинга с небольшими потерями качества. Модель принимает текст и выдаёт векторные представления. Карточка сообщает о многоязычности с фокусом на вьетнамском, а метаданные также указывают английский. Лицензия — Apache-2.0. Качество может зависеть от языка и предметной области; заявленная устойчивость при сокращении векторов не означает отсутствия потери качества.

Etherll выпустила слитую диалоговую модель на архитектуре Llama 3.1 с плотной структурой и 7,5 млрд параметров. Она создана методом TIES с помощью mergekit на основе Etherll/Herplete-LLM-Llama-3.1-8b и rombodawg/Meta-Llama-3.1-8B-reuploaded. Модель предназначена для генерации текста по инструкциям, диалогов и сценариев с вызовом инструментов. Репозиторий использует Transformers и формат safetensors; заявленная длина контекста составляет 131 072 токена. Карточка не сообщает о специализированной предметной области или отдельной языковой специализации. Условия лицензии в предоставленных данных не указаны.

jina-embeddings-v2-base-de-GGUF — GGUF-квантизированная версия модели jinaai/jina-embeddings-v2-base-de, разработанной Jina AI и подготовленной квантизатором Second State Inc. Это embedding-модель для преобразования текстов в векторные представления, пригодные для семантического поиска, сопоставления текстов и других задач, где требуется оценивать смысловую близость. В README указаны немецкий и английский языки. Модель поддерживает контекст до 8192 токенов и формирует embeddings размерностью 768. Доступны варианты квантизации от Q2_K до Q8_0, а также f16 в формате GGUF; размеры файлов составляют примерно от 82,5 до 323 МБ. Вариант Q4_K_M позиционируется как сбалансированный по качеству и размеру, тогда как Q2_K–Q4_0 могут заметно снижать качество. Более высокие разрядности уменьшают потери качества, но требуют больше памяти. Модель предназначена для локального запуска через совместимые инструменты, включая LlamaEdge; README приводит конфигурацию с контекстом 8192 и embedding prompt template. Архитектура базовой модели, объём параметров и точные показатели качества в предоставленных данных не указаны. Распространение осуществляется по лицензии Apache-2.0.

jina-embedding-t-en-v1 — компактная текстовая модель эмбеддингов, разработанная Jina AI совместно с командой Finetuner. Это плотная BERT-модель на 15,6 млн параметров, обученная на наборе Linnaeus-Clean из 380 млн пар предложений, включая пары запросов и документов. Она предназначена для получения векторных представлений предложений и сравнения их семантической близости; также подходит для поиска и сопоставления запросов с документами. Модель ориентирована на английский язык и обрабатывает последовательности длиной до 512 токенов. В карточке приведены результаты сравнения с несколькими моделями на тестах сходства предложений и поиска, но не все значения таблицы доступны. Модель распространяется по лицензии Apache-2.0.

KRONOS 8B V4 — языковая модель семейства Llama 3.1, созданная T145 слиянием нескольких моделей методом Model Stock. В качестве базовой использована unsloth/Meta-Llama-3.1-8B-Instruct; в слияние также вошли mukaj/Llama-3.1-Hawkish-8B и три версии KRONOS 8B V1. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; максимальный контекст — 131 072 токена. Модель предназначена для генерации текста и диалогов, в том числе для следования инструкциям. В README автор описывает её как эксперимент со слиянием моделей, направленный на улучшение результата IFEval; приведены результаты IFEval 78,89 и BBH 30,14. Поддерживается интерфейс вызова инструментов, однако качество и надёжность выполнения таких вызовов отдельно не подтверждены. Сведения о лицензии в предоставленных данных отсутствуют.

Luminea-Dare — объединённая диалоговая языковая модель от Arkhiveus, созданная методом DARE TIES с помощью mergekit. В качестве основы использована Arkhiveus/L3.1-70B-Luminea; при объединении также использованы NeverSleep/Lumimaid-v0.2-70B и nvidia/Llama-3.1-Nemotron-70B-Instruct-HF. Модель предназначена для генерации текста в диалоге и ответов на инструкции. По описанию автора, она сохраняет формат ответов Nemotron и стиль письма Lumimaid. Это плотная Llama-архитектура класса LlamaForCausalLM с 69,5 млрд параметров, контекстом до 131 072 токенов и весами в формате safetensors для Transformers. В метаданных лицензия не приведена.

lecore-bge-assimilated — англоязычная модель текстовых эмбеддингов на базе BAAI/bge-base-en-v1.5 от BAAI, обработанная механизмом leCore: спектральный фильтр не изменил слои, а веса были повторно квантованы с переменной разрядностью. Архитектура — BERT; размер — 136,7 млн параметров, контекст — до 512 токенов. Репозиторий содержит контейнер весов fp32, привязанный к квантовочной сетке; средняя разрядность весов после обработки составляет 7,62 бита. Модель предназначена для получения эмбеддингов и сравнения текстов, в том числе для семантического поиска и систем RAG. В тестах автор README сообщает результаты, близкие к полной версии BGE на SciFact, NFCorpus, ArguAna и SCIDOCS. Лицензия — MIT. Повторная квантовка уменьшает размер представления весов, но сама по себе не ускоряет CPU-инференс: по данным README, он работает примерно со скоростью обычной bge-base. Указанные около 132 МБ относятся к оценке упакованных весов; в репозитории поставляется fp32-контейнер размером 438 МБ, а для реализации экономии памяти при инференсе нужен совместимый упакованный runtime.

LiquidAI/LFM2.5-1.2B-Thinking-MLX-4bit — это 4-битная MLX-версия модели LFM2.5-1.2B-Thinking, разработанная Liquid AI для инференса на устройствах Apple Silicon. Модель предназначена для генерации текста, решения задач и сценариев, требующих рассуждений: перед выдачей итогового ответа она формирует объяснение цепочки рассуждений. Поддерживаются вызовы инструментов и диалоговый формат ChatML. Модель содержит 1,2 млрд параметров, использует 4-битную точность с размером группы 64, занимает около 628 МБ и поддерживает контекст длиной до 32K токенов. В README заявлена поддержка английского, японского, корейского, французского, испанского, немецкого, итальянского, португальского, арабского и китайского языков. Версия ориентирована на локальный запуск через MLX и пакет mlx-lm на Apple Silicon; рекомендуемые параметры генерации оптимизированы для низкой температуры и коротких ответов. К сильным сторонам относятся компактный размер, низкая разрядность, возможность локального использования на совместимых устройствах, поддержка многошаговых рассуждений и function calling. Ограничения включают зависимость от экосистемы MLX и Apple Silicon, а также необходимость учитывать, что вывод рассуждений может быть объёмным и не всегда гарантирует корректность ответа. Модель распространяется по лицензии LFM 1.0.

LGAI-Embedding-Preview — модель для получения векторных представлений текста, разработанная на основе Mistral-7B. Она предназначена для оценки сходства предложений и задач поиска по семантическому соответствию; README описывает её проверку на бенчмарке MTEB с примерами в контексте. Модель имеет плотную архитектуру Mistral примерно на 7,1 млрд параметров, размерность эмбеддингов 4096 и контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors и указывает лицензию Apache-2.0. README называет модель предварительной и сообщает, что цель работы — воспроизвести базовую модель и проверить процесс публикации результатов.

unsloth/Llama-3.2-1B-bnb-4bit — 4-битная версия модели Meta Llama 3.2 с базовой моделью meta-llama/Llama-3.2-1B, подготовленная Unsloth для эффективного запуска и дообучения. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer с поддержкой библиотеки Transformers. Модель работает в режиме текст-ввод — текст-вывод и предназначена для генерации текста, диалоговых приложений, суммаризации и агентных сценариев поиска информации. Модель имеет размер 1B параметров и использует квантование bnb 4-bit, что снижает требования к памяти по сравнению с полноразмерными вариантами. Для семейства Llama 3.2 заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; модель обучалась на более широком наборе языков, однако качество для языков вне официально поддерживаемых может отличаться. Контекстное окно и другие архитектурные параметры в предоставленных данных не указаны. Сильные стороны модели — компактный размер, экономичное использование памяти и удобство последующего дообучения с помощью инструментов Unsloth. Ограничения включают статичный характер обучения на офлайн-данных, возможное снижение качества из-за 4-битного квантования и отсутствие в карточке подробных результатов бенчмарков, параметров контекста и сведений о конкретной версии дообучения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy Meta; лицензия является специальной коммерческой лицензией.

Ereeeeef3/llama-3.3-merged — текстовая модель семейства Llama, созданная автором репозитория с помощью mergekit из unsloth/Llama-3.3-70B-Instruct. Использован метод passthrough: слои базовой модели продублированы, а итоговая плотная архитектура LlamaForCausalLM содержит 55,8 млрд параметров. Модель предназначена для генерации текста и диалогового использования; доступен интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов и унаследованные от базовой модели многоязычные возможности. Репозиторий содержит веса safetensors, библиотека — Transformers. Лицензия — Apache-2.0. Карточка описывает способ слияния, но не приводит отдельной оценки качества итоговой модели; дублирование слоёв само по себе не подтверждает улучшение способностей базовой модели.

llm-jp-4-8b-thinking-gguf — языковая модель на основе Transformer, разработанная Исследовательским центром больших языковых моделей Национального института информатики Японии (NII). Модель предназначена для генерации текста, диалоговых сценариев, решения задач и работы с инструкциями на английском и японском языках. Вариант thinking обучен с использованием supervised fine-tuning (SFT) и direct preference optimization (DPO), без reinforcement learning. Модель имеет около 8,59 млрд параметров, 32 слоя, размер скрытого состояния 4096 и 32 attention heads. Максимальная длина контекста составляет 65 536 токенов. Репозиторий содержит представление GGUF для запуска совместимых средств инференса; используется Unigram byte-fallback токенизатор на основе llm-jp-tokenizer v4.0, а шаблон чата совместим с форматом OpenAI Harmony. К сильным сторонам относятся большой контекст, поддержка японского и английского языков, постобучение с применением SFT и DPO, а также возможность локального запуска в экосистеме GGUF. Ограничением является необходимость использовать форк llama.cpp от LLM-jp: стандартная upstream-версия llama.cpp может некорректно обрабатывать токенизацию и чат. README не содержит достаточных количественных результатов оценки качества, поэтому сравнивать модель с альтернативами по бенчмаркам нельзя. Модель распространяется по лицензии Apache-2.0.

Arcee Meraj Mini — плотная авторегрессионная языковая модель на 7,1 млрд параметров, разработанная Arcee AI и дообученная на базе Qwen/Qwen2.5-7B-Instruct. Она предназначена прежде всего для арабского языка с сохранением сильных возможностей английского; поддерживает диалоговый шаблон ChatML и контекст до 131 072 токенов. Модель подходит для понимания и генерации текста, ответов на вопросы, рассуждений, образовательных материалов, математических задач, генерации кода, клиентской поддержки и создания контента. В карточке сообщается о высоких результатах на арабских бенчмарках и конкурентоспособных результатах на английских, однако численные результаты здесь не приведены. Весовые файлы опубликованы в формате Safetensors; лицензия — Apache-2.0. Модель текстовая и не предназначена для обработки изображений или аудио.

Карточка модели SillyTilly/Meta-Llama-3.1-8B на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-8B, поэтому описание составлено по ней. NousResearch/Meta-Llama-3.1-8B — текстовая авторегрессионная модель семейства Llama 3.1, разработанная Meta и опубликованная в репозитории NousResearch. Это плотный трансформер LlamaForCausalLM с 7,5 млрд параметров, механизмом Grouped-Query Attention и контекстом до 131 072 токенов; веса представлены в формате safetensors и предназначены для работы с Transformers. Модель генерирует текст по текстовому запросу. Она подходит для диалогового помощника на нескольких языках, ответов на вопросы, написания и преобразования текста, а также для адаптации к задачам генерации естественного языка. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для семейства Llama 3.1 заявлены коммерческое и исследовательское применение; условия использования определяет лицензия Llama 3.1 Community License и связанная с ней политика допустимого использования. Это предобученная модель, а не версия, настроенная для следования инструкциям: указанное в README SFT и RLHF относится к instruction-tuned версиям семейства. Как и другие языковые модели, она может выдавать неточные или небезопасные ответы; для прикладного использования нужны проверка результатов и меры безопасности. Указания README ограничивают применение поддерживаемыми языками, если модель не дообучена для других языков.

Это версия Meta-Llama-3.1-8B-Instruct в формате GGUF, подготовленная mlx-community и опубликованная MaziyarPanahi. Модель предназначена для диалоговой генерации текста и выполнения инструкций; её можно запускать локально с помощью llama.cpp и совместимых приложений. Каталог указывает на 8 млрд параметров у базовой модели и плотную архитектуру семейства Mistral. Репозиторий содержит файлы GGUF в формате BF16. README перечисляет llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другие совместимые средства запуска. Лицензия и конкретные ограничения применения в предоставленных данных не описаны.

MetaMath-Tulpar-7b-v2-Slerp-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.2 и Weyaxi/MetaMath-Tulpar-7b-v2-Slerp. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и ответов на инструкции в диалоговом формате. Контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст; метаданные указывают на диалоговые возможности. Лицензия — Apache-2.0. В карточке не приведены оценки качества или отдельные ограничения, поэтому пригодность для конкретных сценариев стоит проверять на собственных примерах.

MindLink-32B-0801 — диалоговая языковая модель, разработанная Kunlun Inc. на основе Qwen3-32B и дообученная с применением методов постобучения. Она предназначена для генерации ответов в чате, рассуждений и решения общих текстовых задач. В карточке заявлены плановое и адаптивное рассуждение: модель подбирает глубину ответа в зависимости от сложности запроса. Модель имеет плотную архитектуру Qwen3ForCausalLM и 29,7 млрд параметров. Метаданные указывают контекст 40 960 токенов, тогда как README сообщает о контексте 128K для семейства MindLink; фактическую длину для этой версии стоит уточнить перед использованием. Карточка указывает английский язык, а базовая Qwen3-32B описана как многоязычная. Доступны веса в формате safetensors, также описан совместимый с OpenAI Chat Completions API интерфейс. Лицензия — Apache 2.0. Для производных работ README требует сохранять уведомления об авторских правах Qwen и документировать изменения. В README также отмечена возможность непоследовательных ответов при инференсе и дана рекомендация очищать историю диалога перед повторной попыткой.

MiniCPM5-2B-CoreAI — это конверсия модели openbmb/MiniCPM5-2B, разработанной OpenBMB, в формат Apple Core AI (.aimodel) для локального запуска на устройствах Apple. Модель предназначена для генерации текста, диалоговых приложений, суммаризации, работы с агентами и вызова инструментов полностью на устройстве, включая iPhone и Mac на Apple Silicon, без обязательной передачи данных в облако. Модель относится к классу 2B и поддерживает гибридные режимы рассуждения Think и No-Think, нативный вызов инструментов и контекст до 128K токенов. В README указаны варианты квантования для разных сценариев: int8 с block-32 и 6-битная k-means-палетизация с group 8 для Neural Engine. Для iPhone 17 Pro заявлена скорость декодирования около 38,5 токена в секунду в ANE-варианте, однако первая загрузка может занимать около 23 минут из-за построения программ Neural Engine, а размер модели составляет примерно 2,7 ГБ. Сильными сторонами модели являются небольшой размер, работа полностью на устройстве, поддержка длинного контекста, инструментов и режимов рассуждения, а также оптимизация под GPU и Neural Engine Apple. Ограничения включают значительные требования к памяти, длительную первоначальную компиляцию на iPhone и возможные расхождения квантованных вариантов с исходной моделью. Модель распространяется по лицензии Apache-2.0.

Mistral-7B-Instruct-v0.3-quantized.w4a16 — квантизированная версия языковой модели Mistral-7B-Instruct-v0.3, разработанная Neural Magic. Модель предназначена для коммерческого и исследовательского использования в англоязычных сценариях, прежде всего для диалоговых ассистентов, генерации текста и выполнения инструкций. Она принимает текст и генерирует текст, поддерживает чатовый формат взаимодействия и рассчитана на работу через vLLM или Transformers. Модель использует архитектуру Mistral-v0.3 и содержит 7 миллиардов параметров; точная длина контекста в README не указана. Веса линейных слоёв внутри трансформерных блоков сжаты до INT4 с применением симметричной групповой квантизации и размером группы 128. Это уменьшает объём дискового хранения и требования к памяти GPU примерно на 25% по сравнению с представлением FP16. Квантизация выполнена с помощью AutoGPTQ. На OpenLLM benchmark версии 1 модель получила средний результат 65,08 против 66,42 у неквантизированной версии, что указывает на небольшое снижение качества при более экономичном размещении и запуске. Основные ограничения — ориентация на английский язык и отсутствие заявленной поддержки других языков; использование за пределами применимого законодательства не допускается. Лицензия Apache-2.0 разрешает коммерческое и исследовательское применение при соблюдении её условий. Дата выпуска — 11 июля 2024 года, версия 1.0.

Mistral-Small-Instruct-2409-GGUF — это набор квантованных файлов в формате GGUF для инструкционной модели Mistral-Small-Instruct-2409, разработанной компанией mistralai. Квантование и публикацию этого варианта выполнил MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые приложения и библиотеки. Набор включает варианты квантования с разной разрядностью — от 2 до 8 бит, что позволяет выбирать баланс между размером файлов, требованиями к памяти и качеством вывода. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов; некоторые из них поддерживают GPU-ускорение и совместимый с OpenAI API сервер. Преимуществами являются возможность локального использования, широкий выбор уровней квантования и совместимость с популярной экосистемой llama.cpp. README не содержит сведений о точной архитектуре, числе параметров, поддерживаемых языках, длине контекста, целевых модальностях, результатах оценки и лицензии. Поэтому эти характеристики и условия юридического использования следует уточнять по карточке исходной модели Mistral-Small-Instruct-2409 и сопутствующим материалам.