I.14Автоматизация процессов и AI-агенты

FuxiTranyu-8B — плотная авторегрессионная языковая модель семейства FuxiTranyu, разработанная командой TJUNLP и обученная с нуля на 600 млрд токенов с балансировкой данных между языками. Модель содержит около 9,1 млрд параметров, принимает текст и поддерживает контекст до 4096 токенов; опубликованные веса представлены в формате safetensors. Модель предназначена для генерации текста и многоязычных сценариев: продолжения и составления текстов, а также работы с запросами на 43 естественных языках, включая русский и английский. Карточка также заявляет поддержку 16 языков программирования. В README приведено сравнение многоязычных возможностей с BLOOM-7B и PolyLM-13B; отдельные варианты модели прошли instruction tuning, но эта карточка описывает базовую модель. Модель распространяется по лицензии Apache-2.0. Карточка не описывает специальные ограничения или гарантии качества для отдельных языков и задач.

aolans/gemma-2-9b_q4 — это текстовая модель семейства Gemma 2, основанная на google/gemma-2-9b и подготовленная автором aolans с помощью Unsloth. Карточка описывает её как вариант для использования в качестве основы для дальнейшего дообучения; архитектура — плотная авторегрессионная Gemma2ForCausalLM с 9 млрд параметров и контекстом 8192 токена. Модель предназначена для генерации текста и может служить отправной точкой для создания специализированных вариантов и диалоговых приложений. В карточке упоминаются инструменты Unsloth и Hugging Face TRL. Метаданные указывают лицензию Gemma и формат safetensors. Несмотря на суффикс q4 и упоминание квантования в README, метаданные перечисляют safetensors и не подтверждают конкретный формат или разрядность квантованных весов.

Это GGUF-версия Gemma 4 31B — плотной мультимодальной модели Google, подготовленная пользователем satgeze на основе HauhauCS/Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-MTP. Веса заявлены как битово идентичные исходному выпуску HauhauCS; для базовой модели и QAT указывается Google. Модель предназначена для генерации текста, работы с очень длинными контекстами и анализа изображений в средах llama.cpp и Ollama. Она поддерживает чтение текста на изображениях и распознавание объектов, однако языки в README не указаны. Основной файл содержит 31B-параметрную модель с 4-битным QAT-квантизованием и встроенным масштабированием контекста до 1 048 576 токенов против исходных 262 144. Заявлена проверка Needle-in-a-haystack с результатом 10/10 на длинах от 262K до 1M токенов; эти результаты получены на одной H200 с F16 KV-кэшем и не являются универсальной гарантией для других конфигураций. Дополнительная MTP draft head поддерживает speculative decoding с заявленным ускорением до 46%, а отдельный vision tower обеспечивает мультимодальный ввод. Сильные стороны модели — сверхдлинный контекст, поддержка изображений, speculative decoding и готовность к запуску в llama.cpp. Ограничения включают высокие требования к памяти и времени обработки длинных запросов: для 1M токенов 31B-модели с F16 KV требуется около 82 ГБ KV-кэша. Качество «uncensored» и базовые возможности отдельно и независимо не бенчмаркались в представленном README; также не приведены сведения о поддерживаемых языках. Распространение осуществляется по лицензии Gemma, условия которой распространяются на эти файлы.

Vibels/georgian-e5-finetuned — дообученная Vibels модель для семантического сравнения предложений и поиска на грузинском языке. Она создана на основе intfloat/multilingual-e5-small и обучена на 65 000 пар из набора Vibels/parallel-corpus_geo_eng_geo-translated. Модель использует архитектуру BERT и выдаёт плотные текстовые эмбеддинги; размер составляет 124,3 млн параметров, контекст — до 512 токенов. Метаданные указывают поддержку sentence-similarity, а README сообщает о бенчмарке GeorgianFAQRetrieval. Модель подходит для поиска ответов в грузинских FAQ, сопоставления запросов с документами и сравнения предложений. Базовая модель многоязычная и предназначена для межъязыкового подбора текстов, однако конкретные результаты дообучения описаны для грузинского. Распространяется по лицензии Apache-2.0.

GLM-4.6V-Flash-MXFP4-GGUF — квантованная до 4-битного формата MXFP4 мультимодальная модель Z.ai (Zhipu AI), основанная на zai-org/GLM-4.6V-Flash. Модель объединяет языковую часть на 9 млрд параметров с визуальным энкодером ViT и принимает текстовые запросы вместе с изображениями, чтобы вести диалог и описывать визуальное содержимое. Модель рассчитана на понимание изображений, документов и визуальных интерфейсов. Контекст составляет 128 тысяч токенов; режим рассуждений включён по умолчанию и может быть отключён параметром `enable_thinking=false`. Для работы с изображениями требуются основной файл GGUF и отдельный файл проектора mmproj в формате F16. Лицензия — MIT. Квантование уменьшает размер языковой части до 4,82 ГБ, однако MXFP4 нативно поддерживается видеокартами NVIDIA Blackwell (RTX 50); на других GPU и CPU выполняется программная деквантизация, которая может быть медленнее. Для запуска подходит совместимое ПО, например llama.cpp или LM Studio.

GLM-4.7-Flash-UD-Q4_K_XL-layers — пакет слоёв GGUF, подготовленный Mesh LLM для распределённого запуска модели GLM-4.7-Flash на локальном кластере. Пакет получен из unsloth/GLM-4.7-Flash-GGUF: веса разделены на артефакты по слоям для распределения вычислений и памяти между несколькими машинами. Модель предназначена для локального приватного чат-инференса, в том числе на нескольких компьютерах, если полный файл GGUF не помещается на одном узле. Mesh LLM позволяет обслуживать запросы через локальный API, совместимый с OpenAI Chat Completions. В метаданных указаны GGUF и возможность chat; задача — генерация текста. Архитектурные подробности, размер контекста и перечень языков следует сверять с карточкой исходной модели. Квантизация варианта обозначена как UD-Q4_K_XL. Пакет ориентирован на запуск через Mesh LLM и сам по себе не описывает качество ответов или аппаратные требования. Условия лицензии наследуются от исходной модели unsloth/GLM-4.7-Flash-GGUF; в доступных данных они не приведены.

GPT4All-J — языковая модель Nomic AI для генерации текста в стиле ассистента, дообученная на базе GPT-J на курируемом наборе диалогов и других взаимодействий с ассистентом. В обучающие данные входят задачи на рассуждение, многоходовые диалоги, код, стихи, песни и рассказы. Карточка описывает несколько версий модели; загрузка без указания revision использует v1.0. Модель предназначена для диалоговых ответов и генерации текста по запросу, включая помощь с задачами, написание историй и стихов, а также генерацию кода. Это плотная авторегрессионная архитектура GPT-J с контекстом до 2048 токенов; указанный основной язык — английский. Модель принимает текст и генерирует текст. Модель распространяется под лицензией Apache-2.0. Качество ответов зависит от запроса и версии обучающих данных; карточка не даёт гарантий точности фактов или надёжности сгенерированного кода.

upskyy/gte-base-korean — дообученная модель Sentence Transformer на основе Alibaba-NLP/gte-multilingual-base, созданная для работы с корейскими текстами. Она обучена на korsts и kornli и преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения семантической близости, поиска и других задач с текстовыми представлениями. Модель использует трансформерный энкодер с усреднением токенных представлений; максимальная длина входа — 8192 токена. Для сравнения в README рекомендована косинусная близость. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации корейских текстов. Метаданные также содержат широкий набор языковых тегов, но карточка описывает дообучение именно для корейского языка. Модель распространяется в формате safetensors под лицензией Apache-2.0. В README приведены результаты оценки сходства на sts-dev; эти показатели относятся к указанному набору данных и не гарантируют качество на других доменах.

Hollow Ridge Q4 — каузальная языковая модель для генерации текста, опубликованная пользователем codex176743 на Hugging Face. По метаданным она связана с семейством Qwen2, содержит около 7,1 млрд параметров и рассчитана на запуск через библиотеку Transformers. В карточке также указаны форматы safetensors и conversational. Модель предназначена для диалоговой генерации текста, продолжения запросов и построения приложений на базе text-generation. Нативное контекстное окно составляет 32 768 токенов, что позволяет обрабатывать достаточно длинные инструкции и фрагменты диалога. Лицензия Apache-2.0 допускает использование в соответствии с её условиями. В README нет сведений о результатах оценки, поддерживаемых естественных языках, данных обучения, методе квантования Q4 или специализированных прикладных областях. Поэтому качество модели и её пригодность для конкретных языков и сценариев следует проверять отдельно.

HyperLLama3.1-Mix-8B — объединённая языковая модель семейства Llama, опубликованная bunnycore. Она создана с помощью mergekit методом model_stock на основе нескольких вариантов Llama 3.1 8B, включая instruct-, Chain-of-Thought-, roleplay- и uncensored-модели. Репозиторий содержит веса safetensors в формате bfloat16; размер модели — 7,5 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для генерации текста и диалогов, в том числе для инструкций и ролевых сценариев. Поддерживает текстовый ввод и выдаёт текст. Лицензия — Apache-2.0. Карточка не приводит результатов оценки качества или конкретных языков; свойства объединённых моделей могут влиять на предсказуемость ответов.

quarkss/indobert-base-stsb — модель Sentence Transformers, дообученная автором quarkss на indobenchmark/indobert-base-p2 для оценки семантического сходства предложений на индонезийском языке. Она кодирует предложения и абзацы в плотные векторы размерности 768; сходство между ними можно оценивать по косинусной мере. Архитектура включает BERT и усредняющий пулинг токенов, максимальная длина последовательности — 512 токенов. Модель подходит для семантического поиска, поиска перефразирований, кластеризации и классификации текстов. В README приведены результаты оценки сходства на STSB, но их переносимость на другие наборы данных и сценарии не гарантируется. Для работы с моделью используется библиотека Sentence Transformers. Веса доступны в формате safetensors; условия лицензии в предоставленных данных не описаны.

InnerILLM-0x00d0-Ox0dad0-Nous-Yarn-Mistral-7B-slerp — плотная языковая модель семейства Mistral на 7,1 млрд параметров, созданная InnerI объединением моделей NousResearch/Yarn-Mistral-7b-128k и InnerI/InnerILLM-0x00d0-Ox0dad0-nous-nous-v2.0-7B-slerp методом SLERP с помощью LazyMergekit. Она предназначена для генерации текста и диалоговых сценариев. Базовая модель Yarn-Mistral рассчитана на работу с длинным контекстом; для этой модели указано окно в 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. README не описывает отдельные языковые специализации или результаты оценки качества.

Intern-S2-Mobius — плотная языковая модель с 35 млрд параметров, разработанная командой InternLM на архитектуре Mobius-v0 и реализованная с поддержкой Xtuner и LMDeploy. Это продолжительно предобученная на основе Qwen3.5-35B и затем дообученная с помощью SFT и обучения с подкреплением модель для диалогов и сложных текстовых задач. Репозиторий содержит веса bfloat16 в формате Safetensors; для запуска предусмотрена поддержка Transformers, LMDeploy и vLLM. Архитектура разделяет хранилище знаний и вычисления рассуждений: несколько модулей Reasoner обращаются к общей памяти, а скрытые состояния уточняются итеративно. Заявлены межслойный доступ к знаниям и латентное рассуждение, позволяющие сокращать видимые цепочки рассуждений. Модель рассчитана на общие и научные задачи, включая биологию и молекулярные науки. В README сообщается о сопоставимых или более высоких результатах на ряде тестов и почти четырёхкратном ускорении вывода относительно Qwen3.5-35B в проведённой оценке. Карточка описывает текстовую модель и не заявляет поддержку изображений, несмотря на тег image-text-to-text в метаданных. В тестах использовались контексты до 64K или 128K токенов; эти значения относятся к настройкам оценки и не подтверждают максимальный собственный контекст модели. Для эксплуатации требуются совместимые версии Transformers, LMDeploy или vLLM и значительные вычислительные ресурсы, соответствующие модели на 35 млрд параметров. Лицензия — Apache-2.0.

Omerhan разработал Omerhan/intfloat-fine-tuned-14376-v4 — Sentence Transformer, дообученный на базе intfloat/multilingual-e5-large-instruct для создания плотных текстовых эмбеддингов. Модель использует XLM-RoBERTa с усреднением токеновых представлений и нормализацией; размер эмбеддинга — 1024, максимальная длина последовательности — 512 токенов. Для сравнения векторов подходит косинусное сходство. Модель ориентирована на турецкий язык. Её можно применять для семантического поиска, сравнения предложений и документов, поиска перефразировок, кластеризации и классификации текста. Обучение проводилось на наборе json из 920 106 примеров с парами и отрицательными примерами; используются MatryoshkaLoss и MultipleNegativesRankingLoss. Модель распространяется по лицензии Apache-2.0.

Jais-adapted-70b — двуязычная большая языковая модель семейства Jais, разработанная Inception Institute of Artificial Intelligence и адаптированная на основе Llama 2 70B. Это базовая модель с авторегрессионной архитектурой для генерации текста; семейство обучалось на данных на арабском и английском языках, включая код. Модель рассчитана на задачи понимания и генерации текста, а также может служить основой для дальнейшей настройки под конкретные сценарии. Модель подходит для создания арабско-английских ассистентов, анализа тональности и суммирования двуязычных документов. Она оптимизирована для арабского языка и также поддерживает английский; равного качества для других языков ожидать не следует. Ответы могут быть ошибочными, предвзятыми или оскорбительными, поэтому для решений с высокими последствиями нужен контроль человека. Распространяется по лицензии Apache 2.0.

Модель gateremark/kikuyu_translategemma_12b_merged — дообученная версия Google Translate Gemma 3 12B, созданная gateremark на базе google/translategemma-12b-it. Она предназначена для перевода текста и извлечения текста с переводом по изображениям; поддержка визуального ввода указана в метаданных. Модель использует плотную архитектуру Gemma 3, распространяется в формате safetensors и доступна по лицензии Apache-2.0. Базовая TranslateGemma поддерживает перевод между 55 языками. Карточка этой производной версии не уточняет, какие именно языки или сценарии перевода покрыты её дообучением; язык en указан в тегах карточки. README сообщает об обучении с Unsloth и библиотекой TRL, но не приводит оценок качества.

Модель bespin-global/klue-sroberta-base-continue-learning-by-mnr разработана JaeHyeong AN из Bespin Global. Это корейская модель эмбеддингов предложений на базе RoBERTa, дообученная в два этапа на KLUE/NLI и KLUE/STS: сначала с MultipleNegativeRankingLoss, затем с CosineSimilarityLoss. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически похожих текстов, кластеризации и оценки сходства предложений. В тесте STS автор сообщает среднее значение 0,889 по метрикам корреляции сходства. Модель содержит 137,8 млн параметров, принимает текст, поддерживает контекст до 514 токенов и распространяется в форматах PyTorch и safetensors. Лицензия — CC BY 4.0.

ko-sroberta-multitask — корейская модель эмбеддингов предложений на базе архитектуры RoBERTa, опубликованная jhgan. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель содержит 137,8 млн параметров и принимает контекст до 514 токенов. Модель обучалась в режиме нескольких задач на наборах KorSTS и KorNLI; в README приведены результаты оценки на KorSTS. Она предназначена прежде всего для корейского языка. Для использования в Transformers поверх выходов модели требуется применить подходящую операцию pooling; доступны форматы PyTorch, TensorFlow, ONNX и OpenVINO. Сведения о лицензии в предоставленных материалах отсутствуют.

jhgan/ko-sroberta-nli — корейская модель Sentence Transformers на базе RoBERTa, дообученная на KorNLI с использованием Matryoshka Representation Learning. Она преобразует предложения в векторные представления размером 768, 512, 256, 128, 64 или 32 измерения: можно использовать первые m компонент, чтобы сократить объём хранения и задержку при небольшом снижении точности. Модель предназначена для сравнения смысловой близости корейских предложений и поиска по семантическому сходству; README приводит результаты оценки на наборе KorSTS. Число параметров — 137,8 млн, максимальный контекст — 514 токенов. Распространяется по лицензии CC BY-SA 4.0.

jhgan/ko-sroberta-sts — модель эмбеддингов предложений на основе RoBERTa, обученная для оценки семантического сходства корейских текстов. Она преобразует предложения и абзацы в плотные векторы размерности 768; эмбеддинги подходят для семантического поиска, кластеризации и сравнения текстов. В README приведены результаты оценки на KorSTS: корреляция Пирсона для косинусного сходства — 81,84, Спирмена — 81,82. Модель содержит 137,8 млн параметров, имеет контекстное окно до 514 токенов и доступна в форматах PyTorch и TensorFlow. Для использования через Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов; также поддерживается библиотека Sentence-Transformers. Модель ориентирована на корейский язык и семантические задачи с предложениями и абзацами. Условия лицензии в предоставленных данных не описаны.

Это модель Sentence Transformer от snunlp для получения векторных представлений корейских предложений и абзацев. Она основана на BERT с 144,3 млн параметров и формирует плотные эмбеддинги размерности 768; вектор предложения строится усреднением токенных представлений. Максимальная длина входа — 512 токенов, сходство векторов можно оценивать косинусной мерой. Модель обучена на корейском наборе klue/klue и предназначена для оценки семантической близости текстов, семантического поиска, поиска перефразировок, кластеризации и получения признаков для классификации. В README приведён результат Spearman 0,8765 на sts-dev. Она принимает текст на корейском языке и выдаёт векторы; классификацию и кластеризацию следует выполнять отдельным алгоритмом поверх эмбеддингов. Лицензия в предоставленных данных не указана.

Della-1.5-calc — объединённая плотная языковая модель семейства Llama, созданная с помощью mergekit на основе unsloth/Meta-Llama-3.1-8B. В слияние вошли DreadPoor/Spei_Meridiem-8B-model_stock, DreadPoor/Aspire1.1-8B-model_stock и DreadPoor/Heart_Stolen1.1-8B-Model_Stock; в README указан метод della. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH. Она доступна в формате safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана.

Theros/L3-ColdBrew-CoT-R1-test — текстовая языковая модель, созданная объединением заранее обученных моделей с помощью mergekit. В слиянии DARE TIES использованы Theros/L3-ColdBrew-CoT и DeepSeek-R1-Distill-Llama-8B с равными весами; в качестве базовой модели указана Theros/L3-ColdBrew-CoT. Архитектура — плотная Llama с классом LlamaForCausalLM, размер — 7,5 млрд параметров. Модель предназначена для генерации текста в диалоговом формате. Базовая модель связана с задачами рассуждения, математики и программирования, однако карточка не приводит отдельных оценок качества этой версии. Контекст составляет 8192 токена; доступны веса в формате safetensors, библиотека для работы — Transformers. Модель опубликована 26 января 2025 года. Условия лицензии в предоставленных данных не указаны. Результаты могут зависеть от запроса и сценария использования; карточка не сообщает об оценках качества или специализированных ограничениях.

Lamarckvergence-14B — объединённая языковая модель на 14 млрд параметров, созданная с помощью mergekit методом SLERP из sometimesanotion/Lamarck-14B-v0.7 и sometimesanotion/Qwenvergence-14B-v12-Prose-DS. Модель построена на архитектуре Qwen2 и предназначена для генерации текста в диалоговом формате. Модель подходит для ведения диалогов, многошаговых рассуждений, написания прозы и перевода. Она принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. В карточке приведены результаты Open LLM Leaderboard, включая 76,56 на IFEval и 50,33 на BBH; это не гарантирует качество в конкретном пользовательском сценарии. Модель опубликована под лицензией Apache-2.0. Карточка не описывает отдельные ограничения и языковые возможности, кроме английского языка, указанного в метаданных.

LENS-d8000 — модель эмбеддингов на основе большой языковой модели, представленная в проекте LENS. Она формирует лексиконные представления текста: каждая из 8000 размерностей связана с кластером семантически близких токенов. Модель предназначена для извлечения признаков из текста и получения векторных представлений, которые можно использовать для поиска и сравнения текстов по смыслу. Модель имеет плотную архитектуру семейства Mistral и содержит 7,1 млрд параметров. Максимальный контекст составляет 32 768 токенов. Веса опубликованы в формате safetensors под лицензией Apache-2.0. В README приведено название технического отчёта о методе LENS, но сведения о поддерживаемых языках и результатах оценки не описаны.

onnx-community/LFM2-350M-ONNX — ONNX-версия языковой модели LFM2-350M, разработанной Liquid AI для edge AI и локального запуска на устройствах. Модель предназначена для генерации текста, агентных сценариев, извлечения данных, RAG, творческого письма и многоходовых диалогов. Она может работать на CPU, GPU и NPU, включая смартфоны, ноутбуки и автомобильные системы. Модель содержит 354 483 968 параметров, 16 слоёв, контекстное окно на 32 768 токенов и словарь размером 65 536 токенов. Архитектура гибридная: включает 10 блоков коротких LIV-свёрток с двойными мультипликативными вентилями и 6 блоков grouped query attention (GQA). Указанная точность исходной модели — bfloat16; ONNX-репозиторий поддерживает запуск через Transformers.js, включая вариант q4. Модель обучалась на смеси примерно из 75% англоязычных, 20% многоязычных и 5% программных данных и поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. К сильным сторонам относятся малая размерность, эффективность по скорости и памяти, возможность локального развёртывания, а также заявленное преимущество над моделями сопоставимого размера в задачах знаний, математики, следования инструкциям и мультиязычности. Из-за небольшого размера модель рекомендуется дообучать под узкие сценарии. Она не рекомендуется для задач, требующих глубоких знаний или программирования. Модель распространяется по лицензии LFM Open License v1.0.

unsloth/LFM2.5-VL-3B-GGUF — это квантизированный вариант мультимодальной модели LFM2.5-VL-3B, разработанной Liquid AI и опубликованной сообществом Unsloth. Модель предназначена для обработки текста и изображений, прежде всего на устройствах с ограниченными ресурсами и для сценариев с низкой задержкой. GGUF-экспорты оптимизированы для запуска на CPU с уменьшенным потреблением памяти через llama.cpp. В основе модели находится языковая модель LFM2.5-2.6B, дополненная vision-энкодером SigLIP2 NaFlex объёмом 400M параметров. Размер словаря составляет 128 000 токенов, длина контекста — до 32 768 токенов. Поддерживаются английский, арабский, китайский, французский, немецкий, итальянский, японский, корейский, португальский, испанский, вьетнамский, тайский, индонезийский, хинди, русский и польский языки. Обработка изображений использует разбиение крупных изображений на неперекрывающиеся патчи 512×512 и уменьшенную копию всего изображения. Сильные стороны модели — распознавание объектов по текстовым запросам, улучшенный visual grounding, OCR целых страниц с разметкой структуры документа, а также высокая скорость и эффективность инференса. Она подходит для обнаружения объектов в автомобильных системах, пакетной обработки сканов и PDF, извлечения текста с сохранением layout, перевода меню и дорожных знаков, а также других однопроходных задач реального времени. Модель не рекомендуется для сложного рассуждения, длительных контекстов, визуального веб-дизайна и ответов на узкоспециализированные технические вопросы по чертежам. Лицензия указана как lfm1.0; подробные условия следует проверять в файле LICENSE репозитория.

Sakalti/light-3B — компактная языковая модель семейства Qwen2, созданная слиянием моделей Qwen с помощью mergekit и метода TIES. В основу положена Qwen/Qwen2.5-3B, в слиянии также участвовала Qwen/Qwen2.5-3B-Instruct. Модель содержит 3,1 млрд параметров и предназначена для генерации текста и диалогового взаимодействия; в метаданных также заявлен интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Заявленная длина контекста — 32 768 токенов. В карточке указан английский язык, а лицензия обозначена как other; конкретные условия использования следует сверять с лицензиями базовых моделей и репозитория.

LinkBERT-large — англоязычный BERT-подобный трансформерный энкодер, разработанный Michiyasunaga и соавторами и представленный в статье LinkBERT: Pretraining Language Models with Document Links (ACL 2022). Модель предварительно обучена на статьях английской Википедии с учётом гиперссылок между документами, чтобы усваивать связи и знания, распределённые по нескольким текстам. Модель предназначена для дообучения под задачи классификации текста и последовательностей, ответов на вопросы, разметки токенов, чтения и поиска информации между документами. Её также можно использовать как энкодер для извлечения признаков и представлений текста. LinkBERT-large содержит 432,3 млн параметров, поддерживает контекст до 512 токенов и распространяется в формате PyTorch. Учёт связей между документами может быть полезен для задач, требующих объединения сведений из разных источников. Модель не является готовой системой для конкретной задачи: для прикладного использования её обычно требуется дообучить. Лицензия — Apache-2.0.

Llama 2 70B — разработанная Meta предварительно обученная авторегрессионная языковая модель с оптимизированной архитектурой Transformer. Эта версия содержит 70 млрд параметров и опубликована в формате Hugging Face Transformers с весами PyTorch и safetensors. Модель принимает текст и генерирует текст. Она предназначена для генерации на естественном языке и может служить основой для адаптации под различные задачи; карточка указывает английский язык как целевой. Модель обучена на 2 трлн токенов общедоступных данных с отсечкой сентября 2022 года. Для версии 70B используется Grouped-Query Attention; длина контекста — 4 тыс. токенов. Модель разработала Meta. Это базовая предварительно обученная версия, а не вариант Llama-2-Chat, поэтому её не следует считать готовым диалоговым помощником без дополнительной настройки. Выводы могут быть неточными, предвзятыми или нежелательными; перед внедрением нужны проверки и настройка безопасности для конкретного применения. Использование регулируется лицензией Meta Llama 2; для загрузки весов требуется принять её условия.