I.14Автоматизация процессов и AI-агенты

Darewin-7B — языковая модель, созданная mlabonne путём слияния шести моделей семейства Mistral с помощью LazyMergekit. Она предназначена для генерации текста и диалоговых сценариев, включая рассуждения и ответы на вопросы. Модель имеет 7,1 млрд параметров, архитектуру MistralForCausalLM и контекст до 32 768 токенов; доступна в формате safetensors. В README приведены результаты Open LLM Leaderboard, включая среднее значение 71,87, результат 68,60 на AI2 Reasoning Challenge и 86,22 на HellaSwag. Модель распространяется по лицензии Apache-2.0. Языковая поддержка в предоставленной карточке не уточнена.

DeepSeek-V4-Flash-0731 GGUF — квантизированная версия текстовой генеративной модели DeepSeek-V4-Flash-0731, разработанной командой DeepSeek и преобразованной в формат GGUF пользователем qtum с использованием llama.cpp. Модель предназначена для генерации и продолжения текста, включая работу с английскими и китайскими запросами, а также для локального запуска через llama.cpp на одной или нескольких видеокартах. Модель использует разреженную MoE-архитектуру с маршрутизацией к 6 экспертам из 256 на каждом токене. В репозитории представлены несколько уровней квантизации размером от 58,8 до 129,9 GiB, распределённых по четырём сегментам; также доступна исходная эталонная сборка размером 145,6 GiB. Все варианты калиброваны с использованием смешанных фрагментов кода, английского и китайского текста. Заявленный размер контекста в примерах запуска составляет 8192 токена, а для speculative decoding — 2048 токенов. Сильными сторонами сборки являются широкий выбор уровней сжатия, защита наиболее важных компонентов модели от чрезмерной квантизации и поддержка DSpark speculative decoding. При этом уменьшение размера сопровождается ростом perplexity, а варианты IQ1 и IQ2 заметно уступают более крупным сборкам по точности. Speculative decoding в текущей реализации требует размещения модели и черновой модели на одном GPU и не работает при распределении целевой модели более чем на одну видеокарту; для запуска нужны все сегменты выбранного варианта. Лицензия — MIT, унаследованная от базовой модели.

Kenneth Enevoldsen разработал dfm-sentence-encoder-medium — модель на базе XLM-RoBERTa, которая преобразует предложения и абзацы в плотные векторы размерностью 768. Модель содержит 151,7 млн параметров и рассчитана на контекст длиной до 514 токенов. Векторы подходят для поиска семантически близких текстов и кластеризации. Модель обучалась с MultipleNegativesRankingLoss и косинусным сходством; для работы доступны Sentence-Transformers и Hugging Face Transformers с необходимой операцией pooling. Лицензия — MIT. Модель создаёт текстовые эмбеддинги, а не готовые ответы. README не уточняет, на каких языках она обучалась, поэтому языковую поддержку нельзя определить по имеющимся данным.

sentence-transformers/distilbert-base-nli-stsb-mean-tokens — модель Sentence-Transformers, обученная командой Sentence-Transformers на основе DistilBERT. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов и кластеризации. Модель использует архитектуру DistilBERT с усреднением контекстных представлений; максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, сравнения предложений и группировки текстов. Карточка помечает её как устаревшую и предупреждает о низком качестве эмбеддингов, поэтому для новых проектов рекомендуется выбрать более современную модель. Лицензия — Apache-2.0.

Bill435/Drjajsufhfh — мультимодальная модель на базе Qwen3.6-27B-Fable-Fusion-711, опубликованная в формате GGUF. Она создана в рамках совместной работы автора репозитория с участниками Nightmedia, TeichAI, armand0e и trohrbaugh с использованием многоэтапного дообучения, нескольких слияний моделей и Unsloth. В README также указаны датасеты DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель распространяется по лицензии Apache-2.0. Модель предназначена для широкого круга задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, создания историй, ролевых сценариев и других универсальных применений. Заявлена поддержка работы с текстом и изображениями, а также языков английского и китайского. Доступны обычные и MTP-варианты GGUF-квантования; используются NEO IMATRIX-кванты, а выходной тензор в них частично сохранён в 16-битной точности. Указан размер базовой модели 27B, однако размер контекстного окна в README не приведён. К сильным сторонам относятся улучшенное следование инструкциям, общее решение задач, рассуждения и, по заявлениям авторов, высокие результаты на ряде бенчмарков даже в 4- и 8-битных вариантах. Формат GGUF и ориентация на потребительское оборудование упрощают локальный запуск, но точные требования к памяти и производительности зависят от выбранного кванта. Модель помечена как uncensored и heretic, поэтому её защитные ограничения могут быть ослаблены; заявленные показатели производительности основаны на описании авторов и не подтверждены независимыми данными в представленном README.

sultanbi/e5-base-kazakh — модель Sentence Transformer автора sultanbi, дообученная на переведённой на казахский язык версии набора SNLI. Она основана на intfloat/multilingual-e5-base и использует архитектуру XLM-RoBERTa с усреднением токенных представлений и нормализацией. Модель преобразует предложения и абзацы в плотные векторы размерности 768; близость текстов можно оценивать косинусным сходством. В README указана максимальная длина последовательности 128 токенов, а метаданные Hugging Face сообщают нативный контекст в 514 токенов. Модель предназначена прежде всего для сравнения смысловой близости казахских текстов и семантического поиска; также подходит для поиска перефразировок, кластеризации и классификации текста. В README приведены результаты retrieval на валидационной части казахского SNLI, превосходящие показатели базовой multilingual-e5-base на этом тесте. Метаданные указывают поддержку множества языков, хотя специальное дообучение выполнено для казахского. Лицензия — MIT.

gabor-hosu/e5-mistral-7b-instruct-bnb-4bit — 4-битная версия модели эмбеддингов e5-mistral-7b-instruct, опубликованная пользователем gabor-hosu на базе модели intfloat. Она предназначена для преобразования текстов в векторные представления и использования в задачах семантического сходства, классификации и информационного поиска. Модель основана на архитектуре Mistral с 7 млрд параметров и рассчитана на работу через экосистемы Transformers и Sentence Transformers. В README указана поддержка оценивания в MTEB и приведены результаты на наборах данных для английского, немецкого, испанского, французского, японского и китайского языков. Максимальный размер контекста и полный перечень поддерживаемых языков не указаны. Ключевое преимущество модели — сниженное потребление памяти благодаря 4-битной квантизации BitsAndBytes, что может упростить локальный запуск по сравнению с полноразмерной версией. Ограничениями являются возможные потери качества из-за квантизации, а также отсутствие в README подробностей о процедуре квантизации, рекомендуемых параметрах использования, лицензии и результатах комплексного сравнения с другими моделями.

m-rudko-pn создал модель Sentence Transformers, дообучив multilingual-e5-small на 79 912 парах текстов из украинской Википедии. Модель на базе BERT преобразует предложения и абзацы в плотные векторы размерности 384; для сравнения используется косинусное сходство. Максимальная длина входа — 512 токенов. Модель подходит для семантического поиска и оценки сходства текстов, поиска перефразировок, кластеризации и классификации текстов. Примеры обучающих данных и название модели указывают на специализацию на украинских текстах. В карточке нет сведений о лицензии, поэтому условия использования определить нельзя.

Eagle-X5-13B-Chat — мультимодальная языковая модель семейства Eagle, разработанного NVIDIA. Это плотная Transformer-модель архитектуры EagleLlamaForCausalLM с 12,9 млрд параметров, предназначенная для диалога и анализа изображений вместе с текстом. Контекст модели составляет 4096 токенов. Модель использует комбинацию визуальных энкодеров CLIP+X и рассчитана на обработку изображений высокого разрешения, включая задачи распознавания текста и понимания документов. Она принимает изображения и текст, а выдаёт текст; авторы отмечают сильные результаты на мультимодальных тестах, особенно в задачах, чувствительных к разрешению. Основные сценарии применения — исследование мультимодальных LLM и создание чат-ботов. Модель опубликована под лицензией CC BY-NC-SA 4.0, которая ограничивает коммерческое использование. README не уточняет языковой охват и подробные ограничения качества; перед применением в конкретной отрасли следует оценить пригодность модели для этого сценария.

Карточка модели NVEagle/Eagle-X5-7B на Hugging Face совпадает с карточкой NVEagle/Eagle-X5-13B-Chat, поэтому описание составлено по ней. Eagle-X5-13B-Chat — мультимодальная языковая модель семейства Eagle, разработанного NVIDIA. Это плотная Transformer-модель архитектуры EagleLlamaForCausalLM с 12,9 млрд параметров, предназначенная для диалога и анализа изображений вместе с текстом. Контекст модели составляет 4096 токенов. Модель использует комбинацию визуальных энкодеров CLIP+X и рассчитана на обработку изображений высокого разрешения, включая задачи распознавания текста и понимания документов. Она принимает изображения и текст, а выдаёт текст; авторы отмечают сильные результаты на мультимодальных тестах, особенно в задачах, чувствительных к разрешению. Основные сценарии применения — исследование мультимодальных LLM и создание чат-ботов. Модель опубликована под лицензией CC BY-NC-SA 4.0, которая ограничивает коммерческое использование. README не уточняет языковой охват и подробные ограничения качества; перед применением в конкретной отрасли следует оценить пригодность модели для этого сценария.

Experiment28T3q_Experiment26Strangemerges_30 — объединённая модель семейства Mistral, созданная MaziyarPanahi на основе automerger/Experiment28T3q-7B и automerger/Experiment26Strangemerges_30-7B. Это плотная авторегрессионная модель с архитектурой MistralForCausalLM, содержащая 7,1 млрд параметров и поддерживающая контекст до 32 768 токенов. Модель предназначена для генерации текста по текстовому запросу, в том числе для диалогов и продолжения текста. В репозитории используются веса Safetensors. Указана лицензия Apache-2.0.

Ngit/fail-detect — модель Sentence Transformers на архитектуре MPNet, разработанная автором репозитория Ngit. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически похожих текстов, кластеризации и других задач сравнения предложений. Модель содержит 136,7 млн параметров и принимает текст; заявленная длина контекста — 514 токенов. Модель подходит для построения семантического поиска и группировки текстов по смыслу. В README указано обучение с CosineSimilarityLoss. Доступен формат PyTorch; лицензия в предоставленных данных не указана.

Faro-Yi-9B-DPO-imatrix-GGUF — набор GGUF-квантизаций модели Faro-Yi-9B-DPO, опубликованный пользователем duytnet. Базовая модель разработана wenbopan как DPO-версия Faro-Yi-9B на архитектуре Yi с примерно 9 млрд параметров. Модель предназначена для генерации текста и диалоговых сценариев, использует шаблон ChatML и поддерживает работу через llama.cpp, KoboldCpp, Ollama, text-generation-webui, Jan и GPT4All. Модель ориентирована на ответы общего назначения, рассуждения, работу с вопросами и документами, включая длинный контекст. В README заявлены высокие результаты на MMLU, GSM8K, HellaSwag, TruthfulQA, AI2 ARC, Winogrande и CMMLU, а также предпочтение ответов модели в оценке MT-Bench с использованием GPT-4 Judge. Для оригинальной модели описана работа с контекстом до 32K токенов при 24 ГБ видеопамяти, до 48K при использовании FP8 KV-кэша и до 160K для 4-битной AWQ-квантизации, однако фактические возможности конкретной GGUF-квантизации зависят от файла, аппаратного обеспечения и настроек запуска. В карточке указаны английский язык и лицензия «other», но точные условия лицензии не приведены. GGUF-квантизация снижает требования к памяти и упрощает локальный запуск, однако может приводить к некоторой потере качества по сравнению с полноразмерной моделью; степень потерь зависит от выбранного варианта квантизации.

FILM-7B — языковая модель на архитектуре Mistral, разработанная командой In2Training. Она получена дообучением Mistral-7B-Instruct-v0.2 методом Information-Intensive Training (In2) и предназначена для генерации ответов по заданным инструкциям и длинному контексту. Модель содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и работает с текстом на английском языке. Разработчики заявляют, что FILM-7B снижает проблему «потери информации в середине» длинного контекста, показывает высокие результаты на задачах анализа длинного контекста и сохраняет качество на коротких запросах. Репозиторий содержит веса в формате safetensors и шаблон диалога в стиле Mistral Instruct. Лицензия — Apache-2.0.

uzairnaeem/finetuned_sentence_similarity_spanish_es — модель Sentence-Transformers на базе архитектуры BERT, дообученная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и предназначена для поиска семантически похожих текстов, семантического поиска и кластеризации. Модель содержит 137,1 млн параметров, принимает текст и имеет контекстное окно 512 токенов. При обучении использовалась функция потерь MultipleNegativesRankingLoss с косинусным сходством. Название модели указывает на испанский язык, но README не уточняет языковое покрытие и результаты оценки.

DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-MISTRAL_FULL-notrescaled_50000 — модель на базе RoBERTa, разработанная как sentence-transformers-модель для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для поиска семантически близких текстов, кластеризации и других задач сравнения текстовых представлений. В метаданных указаны 151,8 млн параметров, контекст до 514 токенов и формат весов safetensors. Модель принимает текст и выдаёт векторные представления; для использования доступны Sentence-Transformers и Transformers с соответствующей операцией pooling. В README указано обучение с MarginDistillationLoss. Сведений о поддерживаемых языках, лицензии и ограничениях качества в предоставленных источниках нет.

FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-notfalcon-notrescaled_90000 — модель на базе RoBERTa, разработанная DragosGorduza. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу, кластеризации и сравнения семантической близости. Обучение использовало MarginDistillationLoss из gpl.toolkit; модель распространяется в формате safetensors и рассчитана на работу с библиотекой Sentence-Transformers или Transformers с подходящей операцией pooling. Модель содержит 151,8 млн параметров и принимает текстовые последовательности длиной до 514 токенов. Карточка не сообщает конкретные поддерживаемые языки, поэтому языковую специализацию определить нельзя. Лицензия в предоставленных данных не указана.

granite-4.0-h-3b-ar — компактная инструктивная языковая модель, разработанная IBM Research и Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) в рамках IBM–MBZUAI AI Center of Excellence. Она предназначена для диалогов и генерации текста на современном стандартном арабском, нескольких региональных арабских диалектах и английском языке, в том числе для разнородных и межъязыковых сценариев. Модель содержит 2,6 млрд параметров и использует плотную decoder-only архитектуру GraniteMoeHybrid с GQA, Mamba2, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Контекстное окно по метаданным составляет 131 072 токена. Компактный размер позволяет рассматривать её для эффективного развёртывания при ограниченных ресурсах; обучение охватывало общие задачи, а также примеры по математике, программированию и рассуждениям. Качество может зависеть от диалекта, предметной области, формулировки запроса и сложности задачи; результаты на арабских диалектах могут уступать английским. Модель способна выдавать неточные, предвзятые, неподходящие или небезопасные ответы, поэтому перед использованием в конкретной задаче рекомендуется оценка и настройка, а для рискованных сценариев — модерация входов и выходов. Лицензия — Apache-2.0.

gte-multilingual-mlm-base — многоязычный текстовый энкодер серии mGTE, разработанный Institute for Intelligent Computing группы Alibaba. Модель предназначена для представления текста и задач поиска и ранжирования; вариант MLM обучен восстанавливать замаскированные токены и также может применяться в задачах понимания текста. Энкодер построен на базе Transformer++ — сочетания BERT, RoPE и GLU — и использует словарь XLM-R. В модели около 305 млн параметров, максимальная длина контекста составляет 8192 токена. В README заявлена поддержка 75 языков; среди кодов языков в метаданных указаны, в частности, русский и английский. Модель показала результаты выше XLM-R-base того же размера на GLUE и XTREME-R. Лицензия — Apache-2.0. Это базовый MLM-энкодер, поэтому для прикладных задач классификации, извлечения сущностей или ранжирования может потребоваться соответствующая настройка и подходящая обвязка; карточка не содержит сведений о генерации текста.

gte-Qwen2-1.5B-instruct-GGUF — квантованная GGUF-версия модели Alibaba-NLP/gte-Qwen2-1.5B-instruct. В метаданных указано, что модель создана intfloat, а квантование выполнено Second State Inc. Это модель для получения текстовых эмбеддингов, предназначенная для задач семантического сходства и других сценариев sentence-transformers, включая поиск и сопоставление текстов по смыслу. Модель основана на Qwen2 и содержит 1,5 млрд параметров. Она работает в режиме embedding и поддерживает контекст размером до 32 000 токенов при использовании LlamaEdge версии 0.12.2 или новее. Доступны варианты GGUF с квантованием от 2 до 8 бит, а также f16, размером примерно от 752 МБ до 3,56 ГБ. Вариант Q4_K_M заявлен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с очень небольшими потерями качества. Сильной стороной модели являются сравнительно компактные квантованные варианты и возможность локального запуска через LlamaEdge. Ограничения включают потерю качества при низкобитном квантовании; README прямо не рекомендует Q2_K, Q3 и некоторые другие варианты для большинства задач. Языки и точные характеристики архитектуры эмбеддера не указаны. Модель распространяется по лицензии Apache-2.0.

vivekkopthsd/hinglish-st-33m — модель Sentence Transformers на архитектуре BERT, обученная создавать плотные текстовые эмбеддинги размерностью 384. Она кодирует предложения и абзацы для сравнения семантической близости с помощью косинусного сходства; README также указывает сценарии семантического поиска, поиска перефразирований, классификации и кластеризации. Обучение проводилось на 4 000 примерах с anchor, positive и negative, используя MultipleNegativesRankingLoss. Модель принимает текст. README сообщает максимальную длину последовательности 192 токена, тогда как метаданные указывают родной контекст длиной 512 токенов. Лицензия и конкретные языки в доступных данных не описаны; название модели указывает на Hinglish, но этого недостаточно, чтобы установить языковую поддержку. Карточка не сообщает результаты бенчмарков, поэтому качество для конкретных сценариев следует оценивать на собственных данных.

HMistral-v3-00-fp16 — дообученная текстовая модель семейства Mistral, загруженная разработчиком 1024m и основанная на unsloth/mistral-7b-instruct-v0.3. Модель имеет плотную архитектуру MistralForCausalLM и около 7,1 млрд параметров; она предназначена для генерации текста, диалогов и выполнения инструкций. Поддерживает контекст до 32 768 токенов и английский язык. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. В карточке указано, что обучение выполнялось с использованием Unsloth и библиотеки Hugging Face TRL. Метаданные отмечают интерфейс для вызова инструментов, но не описывают отдельные возможности или качество модели.

InternVL3-78B-Instruct — мультимодальная чат-модель OpenGVLab, версия SFT семейства InternVL3. Она сочетает визуальный энкодер InternViT и языковую модель в архитектуре ViT-MLP-LLM; в этой версии использована плотная архитектура InternVLChatModel. Модель дообучена на базе OpenGVLab/InternVL3-78B-Pretrained и не проходила этап MPO. Разработчики рекомендуют использовать основную версию InternVL3-78B, если нет особой причины выбирать эту SFT-версию. Модель принимает текст, изображения и видео и формирует текстовые ответы. Она предназначена для диалога по изображениям и видео, визуального восприятия и рассуждений, понимания длинного контекста, анализа промышленных изображений и научных диаграмм, работы с GUI и 3D-сценами, а также использования инструментов. Динамическая обработка изображений разбивает их на фрагменты размером 448×448 пикселей; поддерживаются несколько изображений и видеоданные. Карточка заявляет многоязычную поддержку, но не перечисляет отдельные языки и размер контекстного окна. Модель распространяется в формате safetensors для Transformers. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке репозитория Hugging Face.

Jan-v3-4B-base-instruct — компактная плотная языковая модель Jan на 3,7 млрд параметров, созданная дистилляцией возможностей более крупной модели и дообученная на основе Qwen/Qwen3-4B-Instruct-2507. Она предназначена для диалогов, следования инструкциям, лёгкой помощи с кодом и как основа для дальнейшей тонкой настройки. Архитектура — Qwen3ForCausalLM с 36 слоями и группированным запросным вниманием; нативное контекстное окно составляет 262 144 токена. Модель принимает и генерирует текст, поддерживает английский язык и может интегрироваться с Jan Desktop или запускаться через vLLM. По карточке, модель рассчитана на общее применение и downstream-настройку; заявлены улучшенное следование инструкциям и сохранение общих возможностей после дистилляции. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Размер параметров в метаданных указан как 3,7 млрд, а в README округлён до 4 млрд.

jina-embeddings-v5-text-small-retrieval — компактная мультиязычная модель встраивания текста, разработанная Jina AI для задач информационного поиска. Она предназначена для семантического сопоставления запросов и документов, построения поисковых систем, retrieval-компонентов и других сценариев, где текст представляется в виде векторов и сравнивается по близости. Модель является частью семейства jina-embeddings-v5-text и основана на jinaai/jina-embeddings-v5-text-small; в карточке она обозначена как quantized-версия. Модель содержит 677 млн параметров, поддерживает контекст до 32 768 токенов и формирует эмбеддинги размерностью 1024. Используется pooling по последнему токену; доступны Matryoshka-размерности 32, 64, 128, 256, 512, 768 и 1024, что позволяет выбирать компромисс между качеством и затратами на хранение и поиск. Согласно описанию, при обучении применялись дистилляция и task-specific contrastive losses, а сама модель показывает результаты выше существующих моделей сопоставимого размера на различных embedding-бенчмарках. Основное ограничение — специализация на retrieval-задачах, поэтому карточка не подтверждает оптимальность модели для генерации текста или иных задач. Для локального использования указаны зависимости transformers, PyTorch, PEFT и vLLM; flash-attention рекомендуется для ускорения инференса. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с некоммерческими ограничениями.

bongsoo разработал kpf-sbert-v1.1 — модель Sentence Transformers на базе BERT, дообученную для получения плотных векторов предложений и абзацев размерностью 768. Она предназначена для поиска семантически похожих текстов, семантического поиска и кластеризации. В README описано обучение на корейских и английских наборах STS и NLI, а также дистилляция с учительской модели paraphrase-multilingual-mpnet-base-v2. Модель оценивает сходство по векторным представлениям; заявленная длина контекста — 512 токенов. Модель подходит прежде всего для корейского и английского текста. Метаданные указывают 141,2 млн параметров и формат PyTorch. README приводит сравнительные результаты на наборах korsts, klue-sts, GLUE STS-B и stsb_multi_mt, однако полная строка результатов для этой модели в доступном тексте отсутствует. Сведения о лицензии в предоставленных источниках отсутствуют.

Модель deman539/legal-ft-snowflake-l-94559c3c-e86d-40df-86f3-b60b1e6a59e8 — дообученная версия Snowflake/snowflake-arctic-embed-l, разработанная автором репозитория на базе Sentence Transformers. Она кодирует предложения и абзацы в плотные векторы размерности 1024 для семантического поиска, сравнения сходства текстов и поиска перефразировок. В README также перечислены кластеризация и классификация текстов как возможные сценарии использования. В основе — BERT с пуллингом CLS-токена и нормализацией векторов; сходство измеряется косинусной близостью. Максимальная длина входа составляет 512 токенов. Модель обучалась на 156 парах предложений и документов; README приводит результаты оценки поиска на тестовом наборе, но они не характеризуют качество на других данных. Данных о лицензии в предоставленных источниках нет.

useful-quants/LFM2.5-VL-3B-NVFP4-FP8-Mixed — мультимодальная версия LFM2.5-VL-3B, разработанная Liquid AI и опубликованная useful-quants. Модель предназначена для задач image-text-to-text, включая визуальные вопросы и ответы, OCR счетов и документов, а также рассуждения по изображениям с высоким разрешением. Заявлена оптимизация для обслуживания на видеокартах NVIDIA GeForce RTX 50-й серии с архитектурой Blackwell SM120. Модель использует гибридную архитектуру с 30 слоями декодера: 8 полносвязных attention-слоев и 22 слоями с короткими свертками. Веса feed-forward MLP декодера квантизированы в NVFP4, линейные слои attention и MLP зрительной башни SigLIP2 — в FP8, а короткие свертки, vision attention, patch embeddings, мультимодальный проектор, embeddings и LM head сохранены в BF16. Размер базовой модели — 3B параметров; заявлены поддержка изображений и текста, а также языков Arabic, Chinese, English, French, German, Hindi, Indonesian, Italian, Japanese, Korean, Polish, Portuguese, Russian, Spanish, Thai и Vietnamese. Квантованный checkpoint занимает около 2,84 GiB. Ключевые преимущества варианта — снижение потребления памяти, увеличение доступного пространства под KV-cache и высокая задержка-ориентированная производительность для задач с одним изображением. В тестах на RTX 5060 Ti 16GB он достигал примерно двукратной пропускной способности относительно BF16-версии и показывал 126,71 tok/s для VQA и 130,66 tok/s для OCR. Ограничение состоит в аппаратной и программной специфичности: результаты относятся к NVIDIA SM120 и рекомендованному контейнерному окружению с vLLM 0.26.0 и FlashInfer 0.6.14; запуск с параметром --enforce-eager существенно снижает производительность. Лицензия указана как lfm1.0, тип лицензии — other.

Llama 2 13B Chat — языковая модель Meta, представленная в формате GGUF и квантизированная TheBloke. Она основана на исходной модели Meta Llama 2 13B Chat и предназначена для генерации текста и ведения диалогов с использованием инструкций в формате Llama-2-Chat. Модель ориентирована на сценарии чат-ассистентов, локального запуска, генерации текста и интерактивных приложений. Указан английский язык. Архитектура — Llama, размер — 13 миллиардов параметров; модель работает в текстовой модальности. Формат GGUF поддерживает метаданные, специальные токены и улучшенную токенизацию, а также совместим с llama.cpp и рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python. Доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. Сильными сторонами являются возможность локального запуска на CPU и GPU, поддержка множества инструментов инференса и наличие нескольких вариантов квантизации. Ограничения включают зависимость характеристик от выбранного уровня квантизации; сведения о размере контекста, точных архитектурных деталях и качестве на конкретных задачах в README не указаны. Модель распространяется по лицензии Llama 2.

Карточка модели teknium/Llama-3.1-AlternateTokenizer на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-8B, поэтому описание составлено по ней. NousResearch/Meta-Llama-3.1-8B — текстовая авторегрессионная модель семейства Llama 3.1, разработанная Meta и опубликованная в репозитории NousResearch. Это плотный трансформер LlamaForCausalLM с 7,5 млрд параметров, механизмом Grouped-Query Attention и контекстом до 131 072 токенов; веса представлены в формате safetensors и предназначены для работы с Transformers. Модель генерирует текст по текстовому запросу. Она подходит для диалогового помощника на нескольких языках, ответов на вопросы, написания и преобразования текста, а также для адаптации к задачам генерации естественного языка. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для семейства Llama 3.1 заявлены коммерческое и исследовательское применение; условия использования определяет лицензия Llama 3.1 Community License и связанная с ней политика допустимого использования. Это предобученная модель, а не версия, настроенная для следования инструкциям: указанное в README SFT и RLHF относится к instruction-tuned версиям семейства. Как и другие языковые модели, она может выдавать неточные или небезопасные ответы; для прикладного использования нужны проверка результатов и меры безопасности. Указания README ограничивают применение поддерживаемыми языками, если модель не дообучена для других языков.