I.3Извлечение и структурирование данных

airoboros-l2-70b-2.2.1 — экспериментальная языковая модель автора jondurbin, основанная на Llama 2 и дообученная на преимущественно синтетических данных Airoboros 2.2.1. Это обновлённая версия airoboros-l2-70b-2.2: в ней заново сгенерированы ответы для письма, добавлены более длинные контекстные блоки, удалены примеры ролевой игры, смягчена степень снятия ограничений и проведено четыре эпохи обучения. Модель предназначена для выполнения инструкций и генерации текста общего назначения, включая ответы на вопросы по заданному контексту, суммаризацию, написание текстов и помощь с кодом. Архитектура — плотная LlamaForCausalLM примерно на 68,7 млрд параметров; поддерживает контекст до 4096 токенов. Карточка также описывает генерацию аргументов функций и планов выполнения, но для реального вызова инструментов требуется внешняя система. Для диалога используется текстовый формат с метками USER и ASSISTANT. В карточке указана лицензия Llama 2. Автор предупреждает, что квантование Q4_0 работает некорректно; также советует настроить остановку генерации на маркере USER, чтобы модель не продолжала диалог от имени собеседника.

youssefkhalil320 дообучил all-MiniLM-L6-v11-pair_score на базе sentence-transformers/all-MiniLM-L6-v2. Это энкодер Sentence Transformer на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и абзацы в нормализованные плотные векторы размерности 384, а сходство можно оценивать косинусной метрикой. Модель предназначена для поиска семантически близких текстов, сравнения предложений, поиска перефразировок, кластеризации и классификации текста. Модель работает с английским языком. Метаданные указывают контекст до 512 токенов, а карточка — максимальную длину последовательности 256 токенов. Лицензия Apache-2.0 разрешает использование на её условиях. Векторы подходят для семантического поиска и группировки текстов, но их качество зависит от предметной области и способа применения; модель не генерирует текст.

bagel-dpo-8x7b-v0.2-GGUF — это квантизированная версия текстовой генеративной модели bagel-dpo-8x7b-v0.2, разработанной jondurbin и подготовленной в формате GGUF пользователем bartowski. Квантизация выполнена с помощью llama.cpp версии b4222 и метода imatrix. Модель распространяется для локального запуска, в частности через LM Studio. Модель предназначена для генерации текста в формате инструкций и диалогов, а также может применяться к широкому кругу задач: ответам на вопросы, рассуждениям, программированию, работе с естественным языком, математике, извлечению и пониманию информации и ролевым сценариям. В обучении или дообучении использовался широкий набор датасетов, включая MMLU, ARC, BoolQ, DROP, Spider, SQuAD, MathInstruct, CodeParrot и наборы диалогов и preference-данных DPO. Доступны варианты квантизации от Q2_K и Q3 до Q8_0 с размером файлов примерно от 17,44 до 49,63 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее сохранение качества, но требуют больше памяти; Q4_K_M, Q5_K_M и Q6_K отмечены как рекомендуемые. Модель работает с текстом; сведения о поддерживаемых языках, размере контекста и точной архитектуре в README не указаны. Ограничения включают возможное снижение качества в компактных вариантах квантизации и высокие требования к памяти. Лицензия — Apache-2.0.

Это англоязычная модель Sentence Transformers, разработанная tomaarsen и дообученная на парах вопросов и ответов из набора Natural Questions на базе google-bert/bert-base-uncased. Модель кодирует предложения и абзацы в плотные векторы размерности 768; сходство между ними можно оценивать косинусной мерой. Максимальная длина входной последовательности — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации. Она может использоваться, например, для сопоставления вопроса с релевантным ответом или документом. Лицензия — Apache-2.0. Результаты в README приведены на небольших тестовых наборах; качество для конкретного корпуса следует оценивать отдельно.

BGE-M3 — многоязычная модель представления текста семейства XLM-RoBERTa, разработанная BAAI. Она предназначена для поиска по текстам и поддерживает три режима представления: плотные эмбеддинги, разреженные лексические веса и многовекторные представления в стиле ColBERT. Модель можно применять для семантического и гибридного поиска, оценки сходства текстовых пар и извлечения документов в RAG-системах. Модель поддерживает более 100 языков и обрабатывает фрагменты от коротких предложений до документов длиной до 8192 токенов. Размерность плотных эмбеддингов — 1024; в репозитории доступны форматы PyTorch и ONNX. Для повышения точности поиска README рекомендует сочетать гибридное извлечение с отдельной моделью-реранкером. Репозиторий unsloth/bge-m3 содержит производную версию BAAI/bge-m3. Лицензия MIT допускает использование на её условиях. Это модель для поиска и векторизации текста, а не генеративная языковая модель; качество зависит от языка, данных и настройки поискового конвейера.

Kyleiwaniec/COS_TAPT_n_RoBERTa_STS — модель на архитектуре RoBERTa, созданная для Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 1024, предназначенные для оценки семантической близости, семантического поиска и кластеризации. Модель обучалась с функцией потерь CosineSimilarityLoss; её контекст составляет 514 токенов, размер — около 454,1 млн параметров. Модель подходит для поиска похожих текстов и группировки предложений или документов по смыслу. Для использования с Transformers поверх контекстных представлений требуется применить соответствующую операцию pooling. В репозитории указаны веса PyTorch; лицензия не приведена в доступных данных.

DeepSeek-V4-Flash-Vision-Exp — экспериментальная мультимодальная модель семейства DeepSeek-V4, разработанная DeepSeek AI. Она создана на основе архитектуры DeepSeek-V4-Flash с добавлением визуальных модулей и дополнительным обучением для поддержки задач визуального понимания и мультимодальных агентных сценариев. Модель принимает текст и изображения; README также указывает поддержку OpenAI-совместимого формата сообщений и обработки изображений через специальные prompt-форматы. Модель предназначена для мультимодальных агентов, анализа изображений, графиков и других визуальных элементов, а также для текстовых агентных задач, включая работу с инструментами, репозиториями, терминалом и автоматизацией. По заявленным результатам она заметно превосходит DeepSeek-V4-Flash-0731 в ряде мультимодальных тестов, сохраняя сопоставимую производительность в текстовых агентных задачах. Среди технических компонентов упоминаются vision encoder, aligner, DFlash attention, Mixture-of-Experts, Hyper-Connections и DSpark; точные размер модели, длина контекста и перечень поддерживаемых языков в README не указаны. К ограничениям относятся экспериментальный статус, отсутствие в предоставленных данных подробных характеристик аппаратных требований, контекстного окна и языкового покрытия, а также неоднородные результаты на отдельных бенчмарках. Для запуска описаны минимальная реализация inference на PyTorch, интеграции с vLLM и SGLang; пример сервирования рассчитан на узел с четырьмя GPU GB300. Модель распространяется по лицензии MIT.

GaelicThunder/DeepSeek-V4-Flash-Vision-Exp-ablit-EXL3-Kalibrated — квантизированная версия DeepSeek-V4-Flash-Vision-Exp от DeepSeek, подготовленная GaelicThunder на основе MixedK-пака vcruz305 и abliterated-варианта drowzeys. Модель предназначена для мультимодальных задач «текст плюс изображение», включая анализ изображений и генерацию текста, а также для обычных сценариев работы с текстом, математикой и кодом. Это MoE-модель с 256 маршрутизируемыми экспертами в каждом слое, представленная в формате EXL3 с mixed-precision-квантизацией: экспертные веса распределены между 2- и 3-битным представлением, при этом 22 слоя дополнительно переквантизированы в калиброванный 3-битный формат. Остальные тензоры используют BF16 или FP8 в зависимости от компонента. Пакет занимает около 106 GB и рассчитан на запуск на одной NVIDIA DGX Spark с GB10 и 128 GB памяти. Поддерживаются контекст до 245 760 токенов, speculative decoding, CUDA graphs и обработка от одного до трёх изображений на запрос. Языки явно не указаны. По приведённым измерениям модель сохраняет около 90% вероятности токенов оригинальной модели в среднем, с особенно сильными результатами на математике; заявлены также показатели для прозы и кода. Ограничения включают высокие требования к памяти и специализированному стеку запуска, длительную первичную компиляцию ядер и известную ошибку декодирования, из-за которой иногда появляется токен «)Skip»; в рекомендуемом сценарии она подавляется прокси. Модель распространяется по лицензии MIT.

apple/DFN-public — контрастивная модель CLIP ViT-B/32 от Apple, обученная на общедоступных данных Conceptual Captions 12M, Conceptual Captions 3M и Shutterstock 15M. В ходе обучения модель обработала 1,28 млрд примеров. Она сопоставляет изображения и текст и предназначена для классификации изображений по текстовым описаниям без дополнительного обучения: пользователь задаёт варианты классов, а модель оценивает соответствие изображения каждому из них. Модель подходит для быстрой разметки изображений по заданным категориям и поиска изображений по текстовым запросам. Это конверсия исходных контрольных точек JAX в PyTorch; в метаданных указана лицензия apple-amlr. README не приводит подробных ограничений точности или перечня поддерживаемых языков, поэтому результаты следует проверять для конкретных данных и формулировок.

E5-small-unsupervised — англоязычная модель эмбеддингов текста семейства E5, разработанная авторами работы Text Embeddings by Weakly-Supervised Contrastive Pre-training. Это версия E5-small без контролируемого дообучения; архитектура основана на BERT и содержит 12 слоёв, размер эмбеддинга — 384, число параметров — около 40 млн. Модель преобразует текстовые запросы и документы в векторы для поиска и сопоставления предложений. Она подходит для семантического сходства, поиска фрагментов в системах вопросно-ответного поиска, поиска перефразирований, кластеризации и использования эмбеддингов как признаков классификации. Для корректной работы следует добавлять префиксы «query: » и «passage: » в соответствии со сценарием; для симметричного сходства используется «query: » для обоих текстов. Модель принимает только английский текст, а последовательности длиннее 512 токенов обрезаются. Репозиторий предоставляет веса PyTorch и Safetensors; лицензия — MIT.

Многоязычная модель bards.ai для обнаружения и разметки персональных и чувствительных данных в тексте, предназначенная для последующего обезличивания. Она основана на XLM-RoBERTa-base и дообучена для классификации токенов с BIO-метками; охватывает 36 классов сущностей, включая идентификационные и контактные данные, финансовые и технические идентификаторы, сведения о здоровье, биометрические и генетические данные, а также специальные категории GDPR. Модель рассчитана на 24 официальных языка ЕС. Доступны веса Safetensors и ONNX, включая версию ONNX с INT8-квантизацией для CPU; размер модели — 305,2 млн параметров, контекст — до 514 токенов. Подходит для поиска данных перед сохранением документов, писем, обращений и переписок, очистки наборов данных и фильтрации текста в RAG-конвейерах и поисковых индексах. Лицензия — Apache-2.0. Точность зависит от языка, предметной области и качества входа; OCR-ошибки, смешение языков и неоднозначные упоминания могут ухудшать обнаружение. Для соответствия требованиям модель следует использовать как часть процесса проверки и обезличивания, а не как самостоятельную гарантию юридической достаточности.

Это модель Sentence Transformer, разработанная на основе BAAI/bge-base-en-v1.5 и дообученная на парах коротких запросов и фрагментов PDF. Она кодирует предложения и абзацы в плотные текстовые векторы размерностью 768, нормализованные для сравнения косинусным сходством. Архитектура включает BERT, пулинг CLS-токена и нормализацию; максимальная длина входа — 512 токенов. В метаданных указано 136,7 млн параметров. Модель предназначена для семантического поиска по PDF и другим текстам, сравнения сходства предложений, поиска перефразировок и кластеризации. В README приведены результаты поиска на наборе из 76 обучающих примеров; они могут не отражать качество на других данных. Модель ориентирована на английский язык, как и её базовая BGE-модель. Распространяется в формате safetensors; лицензия в предоставленных данных не указана.

kimquynh/finetuned_sbert — дообученная модель Sentence Transformers на базе BAAI/bge-base-en-v1.5, разработанная автором репозитория kimquynh. Она преобразует предложения и абзацы на английском языке в плотные текстовые векторы размерности 768 для семантического поиска, извлечения документов и сравнения сходства. Архитектура состоит из BERT, объединения представлений по CLS-токену и нормализации векторов; сходство оценивается косинусной мерой. Максимальная длина входа — 512 токенов. Модель обучалась на парах предложений с оценками сходства; в README приведены результаты оценки на наборе resume-job-valid и данные о 9 398 обучающих примерах. Она подходит для поиска и ранжирования текстов по смыслу, в том числе для подбора резюме к вакансиям и извлечения контекста для RAG. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

FR-Docs-v1 — модель Neural Arc Inc. для классификации деловых документов и выявления чувствительного содержимого. Это дообученный классификатор DistilBERT на 67 млн параметров с 31 меткой: 30 типов документов и категория other. Модель принимает текст и относит его к категориям права, финансов, HR, продукта, продаж и маркетинга, операций, переписки и технических материалов. Базовая модель ограничивает длину контекста 512 токенами. Лицензия — Apache-2.0. Карточка также описывает конвейер обработки Word, PDF и текстовых файлов: извлечение текста, определение типа документа, сканирование чувствительных данных с помощью регулярных выражений, словаря организаций и опционального GLiNER, подготовку фрагментов для редактирования и рекомендацию маршрутизации к LLM. Эти компоненты входят в исходный код конвейера и не все являются функциями самого классификатора DistilBERT. Классификатор обучен на синтетическом корпусе из 7 750 шаблонных документов. Он лучше подходит для структурированных деловых документов; качество может снижаться на реальных текстах с необычной версткой, неформальным стилем и в областях, далёких от обучающих шаблонов. Сканированные PDF без текстового слоя обнаруживаются, но откладываются без классификации.

CyberFitz/gemma-4-26B-A4B-it-NVFP4 — квантизированная версия Gemma 4, разработанная CyberFitz на базе модели Google gemma-4-26b-a4b-it. Это мультимодальная Mixture-of-Experts-модель для генерации и понимания текста, обработки изображений и совместных текстово-визуальных запросов. Она подходит для чат-ботов, анализа документов и изображений, а также для задач, требующих длинного контекста. Модель содержит 25,2 млрд параметров, из которых около 3,8 млрд активируются для каждого токена. Архитектура использует 128 экспертов с маршрутизацией top-8 и поддерживает контекст до 262 144 токенов. Квантизация NVFP4 с 4-битными весами уменьшает размер примерно с 49 до 16 ГБ и снижает требования к памяти примерно до 18 ГБ. Для сохранения качества маршрутизаторы MoE, vision-компоненты, embeddings и LM head оставлены в формате bfloat16. Указана поддержка multilingual-сценариев, однако конкретный перечень языков не приведён. Сильные стороны модели — существенно меньший размер, поддержка текста и изображений, очень длинный контекст и сохранение чувствительных компонентов в полной точности. Ограничения включают зависимость от совместимого NVIDIA-оборудования и программного стека, необходимость специальной поддержки NVFP4 и MoE при обслуживании, а также отсутствие опубликованных на момент создания README результатов бенчмарков. Модель распространяется по лицензии Gemma, унаследованной от базовой модели Google.

ArchiveStudio/gemma-4-E4B-it-assistant — ассистент на базе Gemma 4 E4B от Google DeepMind. Карточка описывает его как черновую модель Multi-Token Prediction (MTP): в спекулятивном декодировании она предлагает несколько следующих токенов, которые основная модель проверяет параллельно, ускоряя генерацию без изменения её качества. Модель предназначена для низколатентного диалогового и локального использования. Семейство Gemma 4 поддерживает текст и изображения, а модели E2B и E4B также работают с аудио; семейство умеет генерировать текст и, по карточке, обрабатывать видеокадры. Указаны задачи рассуждения, программирования, распознавания речи, перевода речи в текст, OCR и разбора документов. Для E4B заявлено контекстное окно 128K токенов; семейство поддерживает более 140 языков при предобучении и более 35 языков в штатном режиме. Репозиторий содержит веса safetensors и распространяется по лицензии Apache 2.0. Карточка описывает возможности всего семейства Gemma 4, поэтому отдельные функции, включая видео, нельзя уверенно приписать именно этому чекпойнту. Точный размер этой модели и список поддерживаемых языков отдельно не приведены. Механизм MTP требует совместимого целевого чекпойнта и конвейера спекулятивного декодирования.

Карточка модели crusoeai/gpt-oss-20b-BF16 на Hugging Face совпадает с карточкой unsloth/gpt-oss-20b-BF16, поэтому описание составлено по ней. unsloth/gpt-oss-20b-BF16 — вариант модели gpt-oss-20b от Unsloth, основанный на openai/gpt-oss-20b и предназначенный для генерации текста, диалога и задач с рассуждениями. Это модель семейства gpt_oss с архитектурой MoE; метаданные указывают 1,6 млрд параметров и контекст 131 072 токена. Версия размещена в формате safetensors и использует библиотеку Transformers. Модель рассчитана на сценарии с низкой задержкой и локальный запуск, а также на специализированные приложения и агентные системы. Она поддерживает настраиваемый уровень рассуждений, вызов функций и структурированный вывод; для корректной работы требуется формат диалога Harmony. Вариант BF16 распространяется по лицензии Apache 2.0, допускающей коммерческое использование. Карточка описывает возможности семейства gpt-oss; сведения о языковой специализации именно этой версии не приведены.

Granite-3.1-1B-A400M-Base — базовая языковая модель, разработанная командой Granite компании IBM. Она построена на декодерном разреженном трансформере Mixture of Experts (MoE); число параметров по метаданным — 163,6 млн. Контекст увеличен с 4K до 128K токенов посредством поэтапного обучения с настройкой RoPE и дополнительного предобучения примерно на 500 млрд токенов для длинного контекста. Модель предназначена для генерации текста и может служить базой для специализированной настройки. Она поддерживает суммаризацию, классификацию и извлечение информации, ответы на вопросы и другие задачи «текст-текст». В карточке указаны английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Обучающие данные охватывают веб, код, академические материалы, книги и математику, а также многоязычные и синтетические длинноконтекстные данные. Модель не прошла выравнивание по безопасности, поэтому может генерировать проблематичные ответы; также возможны предвзятость, дезинформация и дословное воспроизведение обучающих данных. Распространяется по лицензии Apache 2.0.

pszemraj/granite-4.0-h-7b-heretic — производная диалоговая модель на основе IBM Granite 4.0 H Tiny. В метаданных указаны архитектура GraniteMoeHybridForCausalLM (гибридная MoE), 500,2 млн параметров, контекст до 131 072 токенов и формат Safetensors; README описывает абляцию, направленную на снижение отказов отвечать. По приведённому сравнению доля отказов составляет 6 из 100 против 98 из 100 у базовой модели, а KL-дивергенция — 0,03. Модель предназначена для генерации диалоговых ответов и может использоваться для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и многоязычного общения. Наследует возможности Granite по следованию инструкциям и вызову инструментов, однако результаты приведены для ограниченного набора проб и сами по себе не подтверждают качество на других задачах. В карточке указаны английский как язык модели; README базовой модели перечисляет также немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский, но не устанавливает их поддержку именно этой производной модели. Лицензия — Apache 2.0. Как и базовая модель, она может выдавать неточные, предвзятые или небезопасные ответы; снижение числа отказов требует тщательной проверки применения.

sentence-transformers/gtr-t5-xxl — модель для преобразования предложений и абзацев в плотные векторные представления размерностью 768, предназначенные прежде всего для семантического поиска. Она использует энкодер архитектуры T5 и обучена как часть работы Large Dual Encoders Are Generalizable Retrievers; в репозитории опубликована конверсия TensorFlow-модели gtr-xxl-1 в PyTorch с весами FP16. Модель подходит для построения поисковых индексов и извлечения релевантных текстов по смыслу. Метаданные указывают библиотеку sentence-transformers, контекст до 512 токенов и поддержку английского языка. Для использования необходима загрузка модели и вычисление эмбеддингов; README предупреждает, что эмбеддинги могут немного отличаться от TensorFlow-версии, хотя результаты на тех же бенчмарках совпадают. Лицензия — Apache-2.0.

InternVL2_5-78B — мультимодальная модель серии InternVL 2.5, разработанная командой OpenGVLab. Она сочетает зрительный энкодер InternViT и языковую модель Qwen2.5-72B-Instruct в архитектуре ViT-MLP-LLM; компоненты объединены с помощью обучаемого MLP-проектора. Репозиторий использует формат safetensors и библиотеку Transformers. Модель предназначена для диалога по изображениям, анализа нескольких изображений и видеокадров, а также для текстовой генерации. Динамическое разбиение изображений на тайлы 448×448 помогает работать с изображениями высокого разрешения; поддерживаются многоязычные сценарии, включая OCR и анализ математических диаграмм. В обучении использовано 120 млрд токенов. Длина контекста в доступных сведениях не приводится. Модель подходит для визуальных вопросов и ответов, описания изображений и видео, распознавания текста на изображениях и диалоговой генерации. Её размер 78 млрд параметров требует значительных вычислительных ресурсов; обработка нескольких изображений увеличивает расход контекста. В метаданных указана лицензия other, поэтому конкретные условия использования следует сверять с лицензией в репозитории.

Jais Family 13B Chat — диалоговая языковая модель семейства Jais, разработанного Inception Institute of Artificial Intelligence. Это дообученная для общения версия базовой модели inceptionai/jais-family-13b с плотной архитектурой JAISLMHeadModel и примерно 13 млрд параметров. Модель принимает текст и генерирует ответы в чате; она рассчитана прежде всего на арабский и английский языки. Размер контекста — 2048 токенов. Модель подходит для создания арабоязычных и двуязычных чат-ассистентов, ответов на вопросы, суммаризации арабских и английских документов, а также задач понимания текста, таких как классификация тональности. Для загрузки требуется пользовательский класс модели с параметром trust_remote_code=True. Лицензия — Apache 2.0. Ответы могут быть ошибочными, предвзятыми, вводящими в заблуждение или оскорбительными; результаты требуют проверки, особенно в важных решениях. Модель оптимизирована для арабского и английского, поэтому её не следует считать одинаково компетентной в других языках или диалектах.

NeuML/language-id — модель NeuML для определения языка по тексту. Это экспорт модели FastText Language Identification в формат staticvectors; инференс выполняется в Python с NumPy, а распознавание опирается на символьные n-граммы, что обеспечивает эффективную работу. Модель предназначена для автоматической классификации коротких или длинных текстовых фрагментов по языку. Её можно использовать для предварительной маршрутизации текста в многоязычных конвейерах обработки данных. Карточка указывает многоязычную поддержку, но не перечисляет отдельные языки. Модель распространяется по лицензии CC BY-SA 3.0.

Light-IF-4B — дообученная командой Qihoo 360 языковая модель на базе Qwen3-4B, предназначенная для точного выполнения сложных инструкций. Подход к адаптации сочетает генерацию примеров с комплексными ограничениями, отбор данных методом rejection sampling, supervised fine-tuning с сохранением энтропии и обучение с подкреплением с адаптацией к энтропии токенов. Модель помогает планировать ответ и проверять его перед выдачей, чтобы лучше соблюдать многошаговые и ограниченные требования. Она относится к плотной архитектуре Qwen3ForCausalLM, содержит 3,7 млрд параметров, принимает текст и выдаёт текст; максимальный контекст — 40 960 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Llama-3-8B-Instruct-80K-QLoRA-Merged — диалоговая языковая модель семейства Llama 3, созданная namespace-Pt на основе Meta-Llama-3-8B-Instruct. Контекст модели расширен примерно до 80 тысяч токенов с помощью QLoRA и обучения на синтетических длинных примерах, после чего веса объединены с исходной инструкционной моделью. Архитектура — плотная авторегрессионная LlamaForCausalLM; в репозитории представлены веса Safetensors, размер модели — 7,5 млрд параметров. Модель предназначена для генерации ответов и работы с длинными текстами: поиска сведений в больших документах, ответов по нескольким источникам, суммаризации и задач с большим контекстом. README приводит результаты оценок на LongBench, InfiniteBench и тесте Needle-in-a-Haystack; это бенчмарки, а не гарантия качества для конкретных данных. Модель принимает текст и генерирует текст. Язык оценки в README — английский; поддержка других языков не установлена предоставленными данными. Лицензия репозитория указана как MIT. Модель сохраняет ограничения базовой Llama и может ошибаться, особенно при обработке длинного контекста; фактическое поведение зависит от используемой конфигурации и максимальной длины генерации.

QuantFactory/Llama-3-8B-Instruct-Gradient-1048k-GGUF — это квантизированная версия Gradient Llama-3-8B-Instruct-Gradient-1048k в формате GGUF, созданная с использованием llama.cpp. Базовая модель разработана Gradient на основе Meta Llama 3 8B Instruct; исходное семейство Llama 3 разработано Meta. Модель предназначена для генерации текста и кода, диалоговых сценариев, создания ассистентов и обработки очень больших текстовых документов. Модель использует авторегрессионную архитектуру оптимизированного Transformer с Grouped-Query Attention, содержит около 8 млрд параметров и работает только с текстом на входе и выходе. Заявленное контекстное окно расширено с 8 тысяч до более чем 1,04 млн токенов. Расширение выполнено с помощью оптимизации RoPE theta, NTK-aware interpolation и последовательного обучения на контекстах длиной 65K, 262K, 524K и 1048K токенов. В README указан английский язык, а для обучения длинного контекста использовались данные на основе SlimPajama. Ключевое преимущество модели — сочетание относительно компактного размера, формата GGUF для использования в экосистеме llama.cpp и поддержки сверхдлинного контекста, что может быть полезно при анализе крупных документов и длинных последовательностей. Ограничения включают текстовую модальность, отсутствие подробных результатов оценки качества и конкретных характеристик квантизации в представленном README, а также возможное снижение точности по сравнению с полной или менее квантизированной версией. В качестве лицензии указана llama3.

Llama-3-Giraffe-70B-Instruct — разговорная языковая модель Abacus.AI, созданная на основе Meta Llama 3 70B Instruct с расширенным контекстом. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров; в метаданных указана длина контекста 8192 токена, а авторы заявляют эффективную длину около 128 тысяч токенов. Для расширения контекста применялись PoSE и динамическая NTK-интерполяция; обучающий адаптер переносили с Llama-3-70B-Base на Instruct-версию и выпустили слитую модель. Модель предназначена для диалогов, следования инструкциям и ответов на вопросы по длинным текстам, включая поиск информации в большом контексте. В README приведены результаты MT-Bench, близкие к исходной Llama 3 70B Instruct, и эксперименты Needle-in-a-Haystack до 128 тысяч токенов; оценивание эффективности авторы продолжают. Модель принимает текст и генерирует текст, карточка указывает английский язык. Репозиторий содержит веса Safetensors. Лицензия — Llama 3 License (llama3).

M3E-base — двуязычная модель эмбеддингов текста, разработанная и обученная MokaAI. Она кодирует тексты в плотные векторы размерности 768 для поиска семантически близких предложений и извлечения подходящих фрагментов или документов по запросу. Модель основана на архитектуре BERT; карточка указывает около 129,5 млн параметров и контекст до 512 токенов. Для использования предусмотрена библиотека sentence-transformers. Модель обучалась контрастивным обучением на парах китайских предложений, английских триплетах MEDI и наборах инструкций. Она ориентирована прежде всего на китайские сценарии, также поддерживает английский язык. Подходит для семантического поиска, сравнения текстов, поиска повторяющихся вопросов и получения эмбеддингов для классификационных конвейеров. В README приведены результаты оценки на китайских наборах классификации и поиска; это результаты авторских экспериментов и они зависят от данных и настройки. В README указано, что модели M3E открыты, однако конкретная лицензия для этой версии в предоставленных данных не приведена. Заявленная поддержка китайского и английского не означает одинакового качества для любых языков и задач; модель не предназначена для поиска по коду.

MaziyarPanahi/Mistral-7B-Instruct-v0.3 — версия Mistral-7B-Instruct-v0.3, размещённая Maziyar Panahi. Это плотная языковая модель Mistral на 7,1 млрд параметров, дообученная следовать инструкциям на основе Mistral-7B-v0.3. Она предназначена для диалогов и генерации ответов на текстовые запросы, включая сценарии с вызовом функций. Модель поддерживает контекст до 32 768 токенов и использует формат safetensors. Модель подходит для чат-ботов, ответов на вопросы, следования инструкциям и генерации текста. В README указаны расширенный словарь токенизатора и поддержка function calling. Карточка предупреждает, что у модели нет механизмов модерации, поэтому её ответы могут не соответствовать требованиям к ограничению контента. Лицензия — Apache-2.0.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240122212744-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.