I.14Автоматизация процессов и AI-агенты

mlx-community/embeddinggemma-300m-8bit — 8-битная версия модели EmbeddingGemma объёмом 302,8 млн параметров, преобразованная сообществом mlx-community в формат MLX из модели Google embeddinggemma-300m-qat-q8_0-unquantized. Модель использует текстовую архитектуру семейства Gemma 3 и предназначена для создания нормализованных векторных представлений текстов. Модель подходит для оценки семантического сходства предложений, поиска похожих текстов, семантического поиска, кластеризации, классификации и построения систем retrieval и reranking. README показывает использование через библиотеку mlx-embeddings и поддерживает task-specific prefixes для разных сценариев работы с эмбеддингами. Максимальная длина контекста составляет 2048 токенов, а квантование до 8 бит уменьшает требования к памяти при работе на устройствах Apple с MLX. Для доступа на Hugging Face требуется принять лицензию Google Gemma. Качество результатов зависит от выбранного task prefix, длины входного текста и предметной области; контекст ограничен 2048 токенами.

IoannisKat1 выпустил дообученную модель Sentence Transformers на базе google/embeddinggemma-300m для поиска и сопоставления текстов. Модель кодирует предложения и абзацы в плотные векторы размерностью 768; для оценки сходства используется косинусная мера. Контекст — до 2048 токенов, входная модальность — текст. В README указано обучение на 4268 парах текстов и приведены результаты оценки поиска при усечении векторов до 768, 512, 256, 128 и 64 измерений. Карточка указывает английский язык, однако примеры обучающих данных на греческом, поэтому фактическую языковую поддержку следует проверять на целевых данных. Лицензия — Apache-2.0.

spacemanidol/esci-jp-mpnet-crossencoder — модель Sentence-Transformers на базе MPNet, разработанная пользователем spacemanidol. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. В метаданных указаны 136,7 млн параметров и контекст до 514 токенов; модель сохранена в формате PyTorch. Модель обучалась с функцией потерь CosineSimilarityLoss. Её можно использовать для поиска семантически близких текстов, группировки предложений и построения систем поиска по смыслу. README не уточняет язык обучающих данных, поэтому языковую поддержку нельзя определить по доступным сведениям. Лицензия в предоставленных данных не указана.

NorskHelsenett/eti-granite-4096-v1 — модель Sentence Transformers, дообученная на датасете eti-embedding-training-data-4096-granite-v2 от базовой модели IBM Granite Embedding 311M Multilingual R2. Она использует архитектуру ModernBERT и преобразует предложения и абзацы в нормализованные плотные векторы размерности 768, которые сравниваются по косинусному сходству. В карточке указана максимальная длина последовательности 4096 токенов; метаданные каталога указывают нативный контекст 32768 токенов. Модель предназначена для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В README приведены результаты оценки на тестовых выборках для сравнения предложений и информационного поиска; они не гарантируют такую же точность на других данных. Карточка называет норвежские языки no, nb и nn. Сведения о лицензии в предоставленных источниках отсутствуют.

Ettin encoder 32M — англоязычная модель-энкодер семейства Ettin, разработанная исследовательской группой JHU CLSP. Это версия размером около 31,9 млн параметров на архитектуре ModernBERT, обученная предсказывать скрытые токены (MLM). Она предназначена для извлечения признаков и эмбеддингов, классификации и поиска по тексту; в README отмечены результаты на GLUE и англоязычном поиске MTEB, а также преимущества на задачах классификации и длинного контекста. Модель принимает текст, поддерживает контекст до 7 999 токенов и распространяется в формате PyTorch через Transformers. Лицензия — MIT.

Eunoia-Llama-8B-R1 — объединённая текстовая языковая модель на архитектуре Llama, созданная с помощью mergekit методом TIES. В основу объединения вошли GoToCompany/llama3-8b-cpt-sahabatai-v1-instruct и huihui-ai/DeepSeek-R1-Distill-Llama-8B-abliterated; итоговая модель содержит около 7,5 млрд параметров и использует формат Safetensors. Модель предназначена для генерации текста и диалогового взаимодействия. Карточка базовой модели указывает на сценарии рассуждений, математики и программирования, однако README Eunoia не содержит отдельных оценок качества или подробных рекомендаций по применению. Контекст составляет 8192 токена. Данных о поддерживаемых естественных языках и лицензии в предоставленных источниках нет.

F2LLM-1.7B — модель эмбеддингов семейства F2LLM от CodeFuse AI, представленная в техническом отчёте о качестве векторных представлений. Это плотная модель на архитектуре Qwen3, дообученная на 6 миллионах пар «запрос—документ» из открытых наборов данных для поиска, классификации и кластеризации. Модель содержит 1,7 млрд параметров, принимает текст и выдаёт векторные представления; поддерживает контекст до 40 960 токенов и рассчитана на английский язык. Модель подходит для семантического поиска, сопоставления запросов с документами и измерения сходства текстов, а также для построения признаков для классификации и кластеризации. Она распространяется в формате Safetensors и доступна по лицензии Apache-2.0.

F2LLM-v2-160M — многоязычная модель эмбеддингов общего назначения от CodeFuse AI, относящаяся к семейству Qwen3. Это instruct-вариант размером 134,8 млн параметров, созданный дообучением пруненной модели F2LLM-v2-0.6B-Preview-Pruned-160M. Модель принимает текст и преобразует его в векторные представления; максимальная длина контекста — 40 960 токенов. Модель предназначена для семантического поиска, ранжирования и других задач сопоставления текстов, включая поиск по запросу, оценку сходства, кластеризацию и поиск параллельных текстов. Она обучена на данных более чем для 200 языков, с особым вниманием к языкам с ограниченными ресурсами; карточка перечисляет поддержку 21 языка. Matryoshka Representation Learning позволяет сокращать размерность эмбеддингов, сохраняя возможность настраивать компромисс между качеством, хранением и скоростью поиска. Для retrieval и reranking рекомендуется задавать инструкцию для запроса, но не для документов; после усечения эмбеддингов их следует нормализовать. Модель распространяется под лицензией Apache-2.0 и доступна в формате Safetensors. Заявления о результатах на бенчмарках относятся к семейству F2LLM-v2 в целом; README не приводит отдельные показатели именно для версии 160M.

ingeol выпустил модель ingeol/facets_gpt_expanswer_1234 — sentence-transformers-модель на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768; контекст модели составляет 514 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Её можно использовать через библиотеку Sentence Transformers либо Transformers с подходящей операцией pooling. В карточке указана функция потерь BPRLoss; сведений о языковой специализации и лицензии нет.

nithinbharathi/fine_tuned — англоязычная модель Sentence Transformer, созданная дообучением thenlper/gte-small. Она преобразует предложения и абзацы в плотные эмбеддинги размерности 384 для сравнения текстов по косинусному сходству, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура основана на BERT: среднее объединение токеновых представлений с последующей нормализацией; максимальная длина входа — 512 токенов. Модель ориентирована на английский язык и выпущена под лицензией Apache-2.0. Карточка указывает на обучающую выборку из двух пар текстов и приводит метрики на информационном поиске, поэтому качество на широком круге запросов и доменов может быть ограничено. Несмотря на название карточки «BGE base Financial Matryoshka», README описывает дообучение GTE-small и не подтверждает специализацию на финансовых данных.

Это модель Sentence Transformer на базе Snowflake/snowflake-arctic-embed-l, дообученная для преобразования предложений и абзацев в плотные текстовые эмбеддинги. Архитектура включает BERT, pooling по CLS-токену и нормализацию; размерность выходного вектора — 1024, максимальная длина входа — 512 токенов. Для сравнения векторов используется косинусное сходство. Модель предназначена для семантического поиска и сопоставления текстов. Её также можно применять для поиска перефразирований, кластеризации и классификации текстов на основе эмбеддингов. В README приведены результаты оценки информационного поиска, а обучение описано как дообучение на 194 примерах с MatryoshkaLoss и MultipleNegativesRankingLoss. Модель разработана на основе Snowflake/snowflake-arctic-embed-l. Лицензия в предоставленных данных не указана.

Sangeetha/fineTunedCategory — дообученная модель на базе MPNet, разработанная с использованием Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Для обучения применялась функция потерь CosineSimilarityLoss. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторные представления. Её нативный контекст составляет 514 токенов. Доступны веса в формате PyTorch; лицензия не указана в предоставленных данных.

Hkgkang00/FT-label-consent-20 — англоязычный Sentence Transformer, дообученный разработчиком на базе sentence-transformers/all-MiniLM-L6-v2 для сравнения предложений и поиска семантически близких текстов. Модель кодирует предложения и абзацы в плотные векторы размерности 384; архитектура включает энкодер BERT, усреднение токенов и нормализацию. Для оценки сходства используется косинусная мера. В README указана максимальная длина последовательности 256 токенов; метаданные Hugging Face указывают контекст до 512 токенов. Модель предназначена для семантического поиска, оценки сходства текстовых пар, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. README сообщает о дообучении на наборе FT_label и приводит метрику Spearman cosine 0,4076 на его оценочной выборке. Базовая модель описана как англоязычная, поэтому применение к другим языкам не подтверждено. Репозиторий содержит веса safetensors; лицензия в предоставленных данных не указана.

FUE-v1 — модель преобразования предложений в эмбеддинги, разработанная на основе all-mpnet-base-v2 и опубликованная пользователем qinxianliu. Её можно использовать для получения векторных представлений предложений, например, для поиска похожих текстов и сравнения их семантической близости. Модель построена на архитектуре MPNet, содержит 136,7 млн параметров и принимает текст. Максимальная длина контекста составляет 514 токенов; формат весов — safetensors. Карточка показывает применение через библиотеку Sentence Transformers. В метаданных указана поддержка английского языка. Лицензия в предоставленных данных не указана.

Clarkoer/gal-mpnet-finetuned — дообученная модель Sentence Transformers на базе sentence-transformers/all-mpnet-base-v2. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического сравнения текстов, поиска, выявления перефразировок, классификации и кластеризации. Архитектура включает MPNet, усреднение токенных представлений и нормализацию; для сравнения векторов используется косинусное сходство. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов по метаданным; в README указан предел 384 токена. Дообучение выполнено на 898 парах текстов с MultipleNegativesRankingLoss. Примеры данных связаны с программированием, но карточка не подтверждает специализацию модели на этой области. В README значение метрики Spearman для оценки семантического сходства указано как nan, поэтому качество на этом тесте не подтверждено. Лицензия в предоставленных данных не указана.

MuXodious выпустил статические квантизованные GGUF-сборки Gemma 4 26B A4B Instruct, дообученной с помощью Heretic 1.2.0 и Arbitrary-Rank Ablation. Это диалоговая мультимодальная модель семейства Gemma 4 с архитектурой Mixture-of-Experts; в этой версии доступны текстовый и визуальный ввод и текстовый вывод. В репозитории есть GGUF и GGUF BF16. Шаблон чата обновлён с исправленной версией от Google. Модель предназначена для диалога, рассуждений и анализа изображений, включая извлечение информации из документов, OCR, понимание диаграмм и интерфейсов. README семейства Gemma 4 также описывает генерацию и редактирование кода, суммаризацию, поддержку длинного контекста до 256K токенов и мультиязычность; эти свойства приведены для семейства и отдельно не подтверждены для данной сборки. Ablation заметно уменьшила отказы: в приведённой проверке их стало 3 из 104 против исходных 103 из 104. Модель распространяется под лицензией Apache 2.0. Из-за ablation-процедуры она может отказывать реже, поэтому ответы на потенциально рискованные запросы требуют проверки; результаты теста отказов не гарантируют поведение в других сценариях. Для запуска GGUF требуется совместимый движок и корректный шаблон чата.

Neural-ICE/Gemma-4-E4B-it-NVFP4 — это версия модели Google Gemma 4 E4B instruction-tuned, подготовленная Neural-ICE для запуска через vLLM. Модель предназначена прежде всего для генерации текста и диалоговых сценариев, включая ответы на вопросы, объяснение сложных тем и другие задачи, выполняемые через совместимый API chat completions. Основная текстовая часть модели квантизирована в формате NVFP4, а lm_head, vision tower и связанные с ним embeddings, а также audio tower и audio embeddings сохранены в более высокой точности. KV cache использует формат FP8. Таким образом, модель поддерживает текстовые, визуальные и аудиокомпоненты базовой Gemma 4, однако точные сведения о количестве параметров, языках и размере контекста в карточке не указаны. Квантизация ориентирована на снижение требований к памяти и эффективный инференс на совместимом GPU через vLLM. Сильной стороной модели является сочетание низкоточной квантизации текстового backbone с более высокой точностью отдельных компонентов, что может обеспечивать более экономичный запуск при сохранении качества критически важных частей модели. Ограничения связаны с зависимостью от vLLM и поддержки ModelOpt/NVFP4, а также с возможными особенностями качества и совместимости квантизированной версии по сравнению с исходной моделью. Модель распространяется по лицензии Apache-2.0.

Карточка модели Gidigi/gidigi_79c07173_0003 на Hugging Face совпадает с карточкой HIT-TMG/KaLM-embedding-multilingual-mini-instruct-v1.5, поэтому описание составлено по ней. KaLM-embedding-multilingual-mini-instruct-v1.5 — многоязычная модель для создания текстовых эмбеддингов, разработанная командой HIT-TMG и опубликованная HITsz-TMG. Она основана на Qwen2-0.5B и обучена с использованием масштабного слабонаблюдаемого предварительного обучения и контролируемой тонкой настройки. Модель содержит 494 млн параметров, использует архитектуру Qwen2 и поддерживает контекст до 131 072 токенов. Модель предназначена для получения векторных представлений предложений и текстов, поиска семантически близких фрагментов и сравнения сходства между текстами. Метаданные указывают поддержку задач извлечения признаков и сравнения предложений; карточка приводит оценки на наборах MTEB и C-MTEB. Модель распространяется в формате safetensors по лицензии MIT. Для работы с Qwen2 в README рекомендуется Transformers версии 4.37.0 или новее. Языки, конкретные ограничения качества и сведения о том, какие именно языки охвачены обучением, в предоставленных данных не перечислены.

GigaChat-20B-A3B-instruct — русскоязычная диалоговая модель семейства GigaChat, представленная ai-sage и дообученная на базе ai-sage/GigaChat-20B-A3B-base. Она предназначена для генерации ответов в диалоге и поддерживает контекст до 131 072 токенов. Модель использует архитектуру DeepSeek и распространяется в формате Safetensors; для семейства также упомянуты веса BF16 и INT8. В карточке приведены результаты сравнительных тестов на общих языковых и математических задачах, включая MERA, ru-MMLU, GSM8K и MATH. Для запуска указана библиотека Transformers версии 4.47 или выше; README предупреждает об особенностях токенизации и не рекомендует приведённый в нём способ предварительного применения chat template. Лицензия модели — MIT.

greatakela/gnlp_hw1_encoder — модель SentenceTransformer на базе distilbert/distilroberta-base, дообученная для представления предложений и абзацев в виде плотных векторов размерности 768. Архитектура включает RoBERTa и mean pooling; для сравнения векторов используется косинусное сходство. Модель содержит 95,2 млн параметров. Она предназначена для поиска семантически похожих текстов, семантического поиска, выявления перефразировок, кластеризации и классификации текста. Максимальная длина последовательности в README — 128 токенов; метаданные указывают контекст до 514 токенов. Обучение описано как fine-tuning с TripletLoss на наборе из 4 893 примеров. Англоязычная базовая модель и примеры в карточке указывают на применение прежде всего к английскому тексту. Модель выдаёт эмбеддинги, которые можно сравнивать или использовать как признаки в последующих системах. Метрики на двух указанных оценочных выборках составили 0,999 и 0,9873 по cosine accuracy, но эти результаты не гарантируют качество на других данных. Лицензия в предоставленных сведениях не указана.

HAI — модель Sentence Transformers из экосистемы HelpingAI для оценки семантического сходства текстов и получения плотных эмбеддингов. Она дообучена на базе sentence-transformers/all-MiniLM-L6-v2; архитектура включает энкодер BERT, усреднение токеновых представлений и нормализацию векторов. Модель содержит 25,9 млн параметров, выдаёт эмбеддинги размерности 384 и принимает до 256 токенов на вход по README; метаданные указывают нативный контекст 512 токенов. Модель предназначена для сравнения смысловой близости предложений и контекстно-ориентированной работы с текстом с акцентом на эмоционально окрашенные ответы. Её можно применять для семантического поиска, ранжирования похожих фраз и группировки текстов. README сообщает об обучении на 75 897 примерах с оценками сходства от 0 до 1 и использовании Cosine Similarity Loss. Лицензия — Apache-2.0.

TelperionAI/Huihui-Qwen3.8-27B-abliterated-NVFP4 — это 27-миллиардная смешанно-квантизованная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, подготовленная с помощью llm-compressor. Основные MLP-слои используют NVFP4, часть модулей — FP8, а эмбеддинги, нормализации, vision tower и MTP-голова сохранены в BF16. Размер модели составляет около 24,7 ГБ. Для нативного NVFP4 требуется GPU архитектуры Blackwell; запуск ориентирован на vLLM и поддерживает tensor parallelism. Максимальный размер контекста в README не указан. Модель предназначена для высокопроизводительной генерации текста, включая программирование, математику, STEM, диалоги и мультиязычные сценарии. В комплекте присутствует MTP-голова для speculative decoding, однако её acceptance rate не измерен. На Blackwell заявлена существенно более высокая скорость декодирования по сравнению с INT4-сборкой, но с большей потерей точности относительно BF16-версии. Оценка проводилась только на одном корпусе и без downstream-бенчмарков; vision tower не квантизован, а модель тестировалась преимущественно как текстовая. Базовая модель была подвергнута abliteration: upstream из неё удалены направления, связанные с отказами, и это поведение наследуется данной версией. Модель распространяется по лицензии Apache-2.0.

Locutusque/hyperion-small-preview — диалоговая языковая модель, опубликованная M4-ai и дообученная на наборе данных Hyperion на основе Qwen/Qwen1.5-1.8B. Это плотная модель семейства Qwen2 с 1,5 млрд параметров, поддержкой контекста до 32 768 токенов и форматом весов safetensors. Модель предназначена для ответов на сложные вопросы и ведения диалога, в том числе по научным и техническим темам. В карточке заявлены помощь в обучении естественным и медицинским наукам, математике и информатике, понимание медицинских текстов, генерация кода, а также математические и логические рассуждения. Основной заявленный язык — английский. Разнообразие обучающих данных и различия в их форматировании и качестве разметки могут приводить к непоследовательным ответам. Результаты оценки в карточке не приведены. Модель распространяется по лицензии Apache-2.0.

jina-embeddings-v5-omni-small-text-matching-GGUF — мультимодальная embedding-модель, разработанная Jina AI. Это GGUF-квантованный вариант jina-embeddings-v5-omni-small-text-matching для llama.cpp, предназначенный для задач text matching и семантического поиска. Модель принимает текст, изображения, видео и аудио и преобразует их в 1024-мерные векторы общего пространства, благодаря чему индекс можно создавать по тексту, а выполнять поиск — с использованием любой поддерживаемой модальности без переиндексации. Модель содержит около 1,56 млрд параметров в текстовой, визуальной и аудиобашнях, использует pooling по последнему токену и поддерживает контекст до 32768 токенов. Доступны Matryoshka-размерности от 32 до 1024 измерений. Текстовая часть имеет F16 и 13 уровней int-квантизации с калибровкой imatrix, а мультимодальные проекторы поставляются в F16. Поддерживаются распространённые форматы изображений, видео и аудио, а также PDF. Сильные стороны модели — единое векторное пространство для разных модальностей, возможность мультимодального поиска и компактные GGUF-варианты для llama.cpp. Ограничение состоит в том, что для мультимодального запуска требуется специальная ветка llama.cpp с патчами Jina AI, ещё не включёнными в upstream-версию. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с ограничениями, включая некоммерческий характер лицензии.

LaBSE-EnKo-Nano-Preview-v0.3 — предварительная модель Sentence Transformers, дообученная автором lemon-mint на sentence-transformers/LaBSE. Она кодирует предложения и абзацы на английском и корейском языках в плотные векторы размерности 768; сходство текстов предлагается оценивать косинусной мерой. Архитектура основана на BERT и включает пулинг CLS-токена, полносвязный слой с Tanh и нормализацию. Максимальная длина последовательности в метаданных — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации по эмбеддингам. Лицензия — Apache-2.0. Автор отмечает, что это предварительная версия и планирует выпустить более качественные модели, поэтому качество на конкретных данных стоит проверить перед широким применением.

AtomicChat/Laguna-XS-2.1-GGUF — это квантизированная в формате GGUF версия языковой модели poolside/Laguna-XS-2.1, подготовленная Atomic Chat на основе оригинальных весов Poolside. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный и полностью офлайн-запуск, а также задачи с поддержкой инструментов и опциональным пошаговым рассуждением. Модель содержит 33,4 млрд параметров и использует архитектуру Mixture-of-Experts с 256 экспертами, из которых для каждого запроса выбираются 8. Она включает 40 слоёв, гибридное внимание с локальным скользящим окном на 512 токенов и глобальными слоями внимания в соотношении 3:1, 48 голов внимания и 8 KV-голов. Максимальная длина контекста заявлена на уровне 262 144 токонов, словарь содержит 100 352 токена. Поддерживается только текстовая модальность. KV-кэш квантизируется в FP8, что снижает расход памяти на токен. Репозиторий предоставляет варианты Q3_K_M, Q4_K_M, Q5_K_M, Q6_K и Q8_0. Квантизация выполнена Atomic Chat с использованием матрицы важности для каждого тензора; Q4_K_M рекомендуется как баланс размера, скорости и качества, а Q6_K и Q8_0 обеспечивают более высокую точность при большем потреблении памяти. Для корректной работы требуется применять chat template Laguna XS 2.1 через параметр --jinja. Ограничения включают значительные требования к памяти и зависимость качества от выбранного уровня квантизации; приведённые в README результаты относятся к базовой модели Poolside и не являются независимыми измерениями этой сборки. Исходная модель распространяется по лицензии OpenMDW-1.1, квантизированная версия подготовлена Atomic Chat.

Ling-3.0-flash-GGUF — текстовая генеративная модель, разработанная командой inclusionAI. Это следующее поколение нативной гибридной reasoning-модели, предназначенной для генерации текста и решения задач, требующих рассуждений. Модель доступна в формате GGUF и может использоваться в совместимых локальных средах инференса. Модель содержит 124 млрд общих параметров, при этом активными во время обработки являются около 5,1 млрд параметров. По заявлению разработчиков, такая архитектура позволяет ей соответствовать или превосходить предыдущую флагманскую модель на ключевых бенчмарках при значительно меньшем числе активных параметров. Поддерживаемые языки, максимальная длина контекста, конкретные модальности и детальные результаты тестирования в предоставленной карточке не указаны. Сильными сторонами модели заявлены гибридное reasoning и высокая эффективность за счёт активации только части параметров. Ограничения и требования к аппаратному обеспечению, особенности квантования GGUF, языковые возможности и применимые сценарии следует уточнять в полной карточке модели. Модель распространяется по лицензии MIT.

LLaMA-2-7B-32K — языковая модель с длинным контекстом, разработанная Together и дообученная на основе Meta Llama 2 7B. Это плотная авторегрессионная модель семейства Llama, содержащая 6,6 млрд параметров и поддерживающая контекст до 32 768 токенов благодаря интерполяции позиционных представлений. Для обучения использовались смеси данных RedPajama, The Pile, UL2 Oscar и наборов для instruction tuning. Модель предназначена для генерации текста с большим объёмом входного контекста: ответов на вопросы по нескольким документам, суммаризации длинных текстов и работы с примерами в контексте. README описывает англоязычные данные и сценарии; метаданные также указывают английский язык. Модель доступна в формате PyTorch через Transformers и подходит для дальнейшей адаптации под конкретные задачи. Модель может выдавать неверную или предвзятую информацию. Лицензия — Llama 2; условия использования определяются лицензией Meta Llama 2.

amd/Llama-3.1-8B-Instruct-FP8-KV — это FP8-квантизированная версия Meta-Llama-3.1-8B-Instruct, созданная компанией Advanced Micro Devices (AMD) с использованием инструмента Quark и калибровочных образцов из набора данных Pile. Модель предназначена для задач генерации текста и диалоговых сценариев, поддерживаемых исходной инструкционной моделью Llama 3.1, а также для эффективного развёртывания через backend vLLM. Квантизации подвергнуты все линейные слои, кроме lm_head. Веса, активации и KV-кэш представлены в формате FP8 с симметричным масштабированием на тензор. Экспорт выполняется в формате Quark safetensors, совместимом с vLLM. Для оценки потери точности использовалась perplexity на Wikitext-2: 7,2169 у исходной модели и 7,2752 у данной версии; результаты получены в режиме псевдоквантизации и могут отличаться от показателей фактического инференса. Размер модели, контекстное окно, список языков и другие архитектурные характеристики в README не указаны. Модель ориентирована на снижение требований к памяти и повышение эффективности инференса на совместимом оборудовании, однако FP8-квантизация может незначительно ухудшать качество по сравнению с исходной моделью. Для использования требуется Quark; заявлена возможность развёртывания с помощью vLLM. Лицензия указана как llama3.1, с условиями Meta для Llama 3.1 и дополнительными модификациями, защищёнными авторским правом AMD.

Llama-3.1-Storm-8B-IMat-GGUF — это GGUF-версия модели Llama-3.1-Storm-8B, разработанной akjindal53244 и квантизированной legraphista с использованием llama.cpp и IMatrix. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, рассуждений и function calling. Она относится к семейству Llama 3.1 и имеет размер 8B параметров; исходный тип данных — BF16. Доступны варианты от BF16 и FP16 до низкобитных форматов, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, причём часть вариантов использует IMatrix для улучшения качества квантизации. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель ориентирована на локальный запуск через совместимое с GGUF программное обеспечение, например llama.cpp; конкретный размер контекста в README не указан. Основные преимущества — широкий выбор уровней квантизации, уменьшенный объём файлов и возможность подобрать баланс между качеством и требованиями к памяти. Низкобитные варианты могут уступать полноформатным по качеству, а сведения о результатах тестирования, мультимодальности и ограничениях безопасности отсутствуют. Лицензия указана как llama3.1.