II.8Инженерия данных и аналитика

Speechless CodeLlama 34B v1.9 — дообученная модель на базе CodeLlama-34B от Meta, опубликованная uukuguy. Она создана для генерации и понимания кода, а также для улучшения способностей модели к рассуждению и планированию. Дообучение выполнено на 122 828 примерах из наборов Airoboros 2.2, OpenOrca и Open-Platypus. Модель использует авторегрессионную архитектуру Transformer семейства Llama, содержит 33,5 млрд параметров и имеет контекст длиной 16 384 токена. Принимает текст и генерирует текст; карточка сообщает о поддержке английского языка и задачах работы с кодом. В README приведён результат 70,73 на HumanEval-Python, однако он не описывает методику оценки. Модель подходит для автодополнения и генерации кода, а также для задач, требующих рассуждений и планирования. README указывает, что исходный CodeLlama предназначен для работы с кодом и не позиционируется как Python-специалист или чат-модель; ответы могут быть неточными или нежелательными, поэтому модель следует проверять в целевом сценарии. Лицензия — llama2 (лицензия Meta для Code Llama).

QuantFactory/starcoder2-7b-instruct-GGUF — квантованная версия модели TechxGenus/starcoder2-7b-instruct, созданная QuantFactory с использованием llama.cpp. Это текстовая генеративная модель, дообученная для работы с инструкциями, связанными с программированием и генерацией кода. В основе лежит StarCoder2-7B; модель была дообучена на 0,7 млрд дополнительных высококачественных токенов, связанных с кодом, в течение 3 эпох. Для обучения применялись DeepSpeed ZeRO 3 и Flash Attention 2. Заявленный результат на HumanEval-Python составляет 73,2 pass@1. Модель использует формат инструкций Alpaca без системного промпта. Сведения о поддерживаемых языках программирования, размере контекста и конкретных параметрах квантования в карточке не указаны. Модель предназначена прежде всего для генерации кода по инструкциям и других задач разработки программного обеспечения. Её сильные стороны — специализация на коде и заявленный результат на HumanEval-Python, а квантование может упростить локальный запуск. Ограничения включают возможные ошибки и вводящий в заблуждение результат, особенно при решении задач, не связанных с программированием; тестирование модели было ограниченным, поэтому перед применением в реальных системах рекомендуется дополнительная проверка безопасности. Лицензия — BigCode OpenRAIL-M.

StarFuse-7B-DARE — диалоговая языковая модель на архитектуре Mistral, созданная объединением четырёх моделей с помощью mergekit и метода dare_ties: openchat/openchat-3.5-0106, FuseAI/FuseChat-7B-VaRM, Nexusflow/Starling-LM-7B-beta и Weyaxi/Newton-7B. Модель содержит 7,1 млрд параметров и принимает текстовые запросы, генерируя текстовые ответы в формате диалога. Она предназначена для общения и генерации текста, включая ответы на общие вопросы, программирование и математические рассуждения. Контекст составляет 8192 токена. Модель опубликована в формате safetensors с точностью bfloat16 и лицензией Apache-2.0. В README не приведены сведения о целевых языках или специальных ограничениях качества.

Карточка модели Jiunsong/SuperGemma-4-12b-abliterated на Hugging Face совпадает с карточкой enkato64bit/SuperGemma-4-12b-abliterated, поэтому описание составлено по ней. SuperGemma-4-12b-abliterated — дообученный инструкционный чекпойнт на 12 млрд параметров, созданный на основе google/gemma-4-12B-it. Разработчик объединил обработку направления отказов в весовом пространстве с дополнительным постобучением для следования инструкциям, программирования, технических ответов на корейском языке, форматирования JSON и вызовов инструментов. Модель распространяется как единый чекпойнт без необходимости подключать адаптер во время работы. Модель предназначена для диалогов, выполнения инструкций и генерации кода. README описывает снижение лишних отказов и приводит результаты внутренних и публичных проверок, однако они не гарантируют качество на других запросах. В метаданных также заявлена мультимодальная архитектура семейства Gemma 4 с возможностью работы с изображениями, видео и аудио у базовой модели; явное подтверждение этих входов для данного чекпойнта в README отсутствует. Модель загружается через Transformers, веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Карточка указывает английский и корейский языки; дополнительное постобучение особенно ориентировано на технические ответы на корейском.

textgain/tags-allnli-GroNLP-bert-base-dutch-cased — модель Sentence-Transformers на базе BERT, разработанная Textgain. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель обучена с функцией MultipleNegativesRankingLoss и косинусным сходством; архитектура содержит около 136,3 млн параметров, а максимальный контекст составляет 512 токенов. Карточка и метаданные указывают на поддержку нидерландского языка. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

Truss Python — специализированная дообученная модель Truss AI для генерации и объяснения кода на Python. Она основана на Qwen/Qwen3-4B-Instruct-2507 и использует архитектуру Qwen3ForCausalLM; карточка указывает 4 млрд параметров и контекст до 262 144 токенов. Модель распространяется в формате GGUF с квантизацией Q4_K_M и адаптацией LoRA, рассчитана на локальный запуск, в том числе через Ollama. Модель предназначена для генерации аккуратно структурированного кода, решения алгоритмических задач и помощи с асинхронным программированием, стандартной библиотекой Python и структурами данных. Она ориентирована на аннотации типов, документацию в стиле Google, обработку ошибок и синтаксис Python 3.10+. Лицензия — Apache 2.0. Карточка описывает поддержку английского языка; качество кода и корректность результатов следует проверять, особенно для сложных задач и кода, используемого в production.

UDOP-large — модель для обработки документов, предложенная Зинэном Таном, Цзыи Янгом и соавторами в работе «Unifying Vision, Text, and Layout for Universal Document Processing». Она использует плотную архитектуру encoder-decoder Transformer на основе T5; в чекпойнте 386,3 млн параметров. Модель принимает изображение документа вместе с текстом и генерирует текстовый ответ. Она предназначена для классификации изображений документов, разбора документов и визуальных вопросов и ответов по документам (DocVQA). Поддержка изображения и текста отражена в архитектуре и задаче image-text-to-text. Модель распространяется под лицензией MIT. README не приводит конкретных ограничений точности или покрытия языков; результаты могут зависеть от типа документа и языка.

Unlimited-OCR — мультимодальная модель семейства Unlimited-OCR для распознавания текста и разбора документов по изображениям. Разработчики представляют её как развитие DeepSeek-OCR, ориентированное на однократный разбор длинных документов. Модель доступна для запуска через Transformers и SGLang, в том числе через OpenAI-совместимый API. Модель содержит 559,7 млн параметров, использует плотную архитектуру UnlimitedOCRForCausalLM и принимает изображения с текстовым содержимым для преобразования в текст. Заявлена поддержка нескольких языков; контекст составляет 32 768 токенов. В карточке указана лицензия MIT. README описывает варианты инференса, но не приводит результатов оценки качества или подробных ограничений применимости.

kowshik/upsc-classification-model-v1 — модель Sentence-Transformers на базе MPNet, разработанная для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации; метаданные указывают 136,7 млн параметров и контекст до 514 токенов. Модель работает с текстом и выдаёт эмбеддинги. В README описано обучение с CosineSimilarityLoss; доступны веса PyTorch и использование через Sentence-Transformers или Transformers с соответствующим pooling. Лицензия и целевые естественные языки в предоставленных данных не указаны.

Это модель Sentence-Transformers на архитектуре XLM-RoBERTa, разработанная Heimat24 и предназначенная для получения плотных векторных представлений предложений и абзацев. Вектор размерности 768 можно использовать для семантического поиска, сравнения текстов и кластеризации. Модель обучалась с функцией потерь MultipleNegativesRankingLoss и косинусным сходством. Она принимает текст и возвращает эмбеддинги; заявленная длина контекста — 514 токенов, размер — 305,2 млн параметров. Карточка не приводит конкретные языки обучения или сведения о лицензии.

Карточка модели roskosmos19/Whale-4B-Thinking на Hugging Face совпадает с карточкой roskosmos19/Orca-4B-Thinking, поэтому описание составлено по ней. Orca-4B-Thinking — языковая модель для диалогов и задач, требующих многошаговых рассуждений. Согласно README, модель разработана на основе Qwen3-4B и дообучена в стиле DeepSeek-R1 на наборах OpenThoughts-114k и Mixture-of-Thoughts; метаданные связывают её с Qwen/Qwen3.5-4B. Карточка описывает причинную плотную архитектуру Qwen3, а метаданные указывают 3,7 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации развёрнутых рассуждений и ответов в математике, программировании, естественных науках и головоломках, а также для следования инструкциям и работы с инструментами. README сообщает о режиме Thinking и приводит оценочные результаты бенчмарков, поэтому заявленные улучшения производительности не следует считать независимой проверкой. Поддерживаются английский, немецкий, испанский, французский и китайский языки по тегам метаданных. Лицензия — Apache-2.0.

Карточка модели roskosmos19/Whale-4B-Thinking-2507 на Hugging Face совпадает с карточкой roskosmos19/Orca-4B-Thinking, поэтому описание составлено по ней. Orca-4B-Thinking — языковая модель для диалогов и задач, требующих многошаговых рассуждений. Согласно README, модель разработана на основе Qwen3-4B и дообучена в стиле DeepSeek-R1 на наборах OpenThoughts-114k и Mixture-of-Thoughts; метаданные связывают её с Qwen/Qwen3.5-4B. Карточка описывает причинную плотную архитектуру Qwen3, а метаданные указывают 3,7 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации развёрнутых рассуждений и ответов в математике, программировании, естественных науках и головоломках, а также для следования инструкциям и работы с инструментами. README сообщает о режиме Thinking и приводит оценочные результаты бенчмарков, поэтому заявленные улучшения производительности не следует считать независимой проверкой. Поддерживаются английский, немецкий, испанский, французский и китайский языки по тегам метаданных. Лицензия — Apache-2.0.

Карточка модели avsolatorio/00-000-11-1-0-1-0-0-cls-normed-1024-512_GIST_BAAI_bge-base-en-v1.5-20240128091053-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/00-000-11-1-0-1-0-0-cls-unnormed-768-512_GIST_BAAI_bge-base-en-v1.5-20240128072140-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/00-400-10-1-0-1-0-0-cls-normed-768-512_GIST_BAAI_bge-base-en-v1.5-20240130201355-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

DCAgent/a1-magicoder — дообученная на базе Qwen/Qwen3-8B языковая модель с архитектурой Qwen3ForCausalLM и 7,6 млрд параметров. Модель предназначена для диалоговой генерации текста; название и обучающие данные указывают на настройку для задач, связанных с программированием и следованием инструкциям. В README указан датасет Magicoder-Evol-Instruct-110K с обучающими примерами и трассами GLM 4.7. Модель использует формат safetensors и поддерживает контекст до 40 960 токенов. Базовая Qwen3-8B многоязычна и рассчитана на генерацию текста, рассуждения, инструкции, код и вызов инструментов, но отдельные языки и возможности этой производной модели в карточке не подтверждены. Лицензия обозначена как other; конкретные условия использования следует проверять в репозитории модели.

nixmaverick1997 выпустил вариант sentence-transformers для построения эмбеддингов предложений и абзацев. Модель на архитектуре MPNet преобразует текст в плотные векторы размерности 768; обучалась с функцией CosineSimilarityLoss с использованием сиамской и триплетной схем. В метаданных указано 136,7 млн параметров и контекст до 514 токенов. Модель подходит для семантического поиска, кластеризации и сравнения сходства текстов. В README она названа классификатором тональности, а в тегах есть sentiment-classifier, однако приведённое описание и сведения об обучении сосредоточены на эмбеддингах; отдельная голова классификации или результаты классификации не описаны. Для работы доступны PyTorch и библиотеки sentence-transformers и SetFit. Лицензия в предоставленных данных не указана.

NAMAA-Space/AraModernBert-Base-STS — дообученная на базе NAMAA-Space/AraModernBert-Base-V1.0 модель Sentence Transformers для получения плотных векторных представлений арабского текста. Она использует архитектуру ModernBERT с mean pooling и выдаёт 768-мерные эмбеддинги; метаданные указывают контекст до 8 192 токенов, хотя в архитектуре из README задана максимальная длина последовательности 512 токенов. Модель предназначена для оценки семантического сходства предложений, поиска и кластеризации текстов, выявления перефразирований и классификации на основе эмбеддингов. В README приведены результаты оценки сходства на STS17 и STS22.v2. Модель работает с арабским языком и распространяется по лицензии Apache-2.0. Результаты могут зависеть от данных и сценария применения; приведённые метрики относятся к указанным наборам оценки.

ARK-ASR-3B — мультиязычная модель распознавания речи, представленная разработчиками проекта AutoArk. Она предназначена для преобразования речи в текст и может использоваться для транскрибации аудио и развёртывания сервиса распознавания через Transformers или vLLM. По карточке модели, в тестах Open ASR Leaderboard она показала средний WER 5,04% на англоязычном коротком аудио и CER 1,80% на AISHELL-1 для китайского языка. Модель содержит около 3,1 млрд параметров и использует авторегрессионную архитектуру Transformers: аудиоэнкодер в стиле Whisper, MLP-адаптер и декодер Qwen. Она принимает аудио с частотой дискретизации 16 кГц и генерирует текст; нативный контекст составляет 32 768 токенов. Заявлена поддержка китайского, английского, немецкого, японского, французского, корейского, испанского, польского, итальянского, румынского, венгерского, чешского, нидерландского, финского, хорватского, словацкого, словенского, эстонского и литовского языков. Веса представлены в формате safetensors, для загрузки используются Transformers и пользовательский код архитектуры arkasr; лицензия — Apache-2.0. Для запуска по инструкции карточки требуется включить trust_remote_code=True. Приведённые показатели относятся к указанным тестовым наборам и сами по себе не гарантируют аналогичное качество на других аудио, акцентах и условиях записи.

bertin-roberta-base-finetuning-esnli — модель Sentence-Transformers на архитектуре RoBERTa, разработанная Anibal Pérez, Emilio Tomás Ariza, Lautaro Gesuelli и Mauricio Mazuecos. Модель обучена на испанских задачах вывода по естественному языку, включая ESXNLI и автоматически переведённые SNLI и MultiNLI. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически похожих текстов, кластеризации и оценки семантического сходства. Модель содержит 151,8 млн параметров, принимает текст и выдаёт эмбеддинги; максимальная длина контекста — 514 токенов. В оценке на испанском наборе SemEval-2015 STS она превзошла приведённый в карточке базовый результат BETO STS по корреляциям Пирсона и Спирмена. Для использования с Transformers требуется корректная операция pooling поверх контекстных представлений токенов. Сведения о лицензии в предоставленных данных отсутствуют.

Это компактная модель Sentence Transformers, созданная дообучением англоязычной BERT-модели google/bert_uncased_L-2_H-128_A-2. Она преобразует предложения и абзацы в плотные текстовые эмбеддинги размерности 128, которые можно сравнивать по косинусному сходству и применять для поиска и оценки сходства предложений. Архитектура состоит из BertModel с усредняющим pooling; число параметров — 4,4 млн. Метаданные указывают контекст до 512 токенов, а карточка модели — максимальную длину последовательности 128 токенов. Модель рассчитана на текстовые задачи: извлечение эмбеддингов, семантический поиск и сравнение предложений. Обучение описано на 549 502 парах текстов с OrdinalProxyContrastiveLoss. Базовая модель англоязычная, поэтому применение к другим языкам не подтверждено. Условия лицензии в предоставленных данных не приведены.

BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Fireplace-13b версии 1.1 — языковая модель Valiant Labs для генерации кода и вызова функций. Она дообучена на CodeLlama-13b-Instruct-hf, построенной на архитектуре Llama 2, с использованием набора glaive-function-calling-v2. Модель содержит 12,9 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 16 384 токена. Карточка рекомендует передавать описания функций в системном сообщении, а ответы вызова функций обрабатывать в формате, описанном в руководстве. Модель предназначена для интеграции с инструментами и API, а также для задач программирования и чата по инструкциям. Она рассчитана прежде всего на английский язык. Веса опубликованы в формате Safetensors под лицензией Apache-2.0. Качество и корректность результатов не гарантируются; модель может наследовать ошибки базовой модели и обучающих данных.

CodeLlama-13B-Instruct-GGUF — квантизированная GGUF-версия CodeLlama 13B Instruct, разработанная Meta и подготовленная для квантизации компанией Second State Inc. Модель основана на codellama/CodeLlama-13b-Instruct-hf и предназначена для генерации кода по инструкциям. Модель ориентирована на решение задач программирования: написание кода с учётом заданных ограничений, подготовку решений, соответствующих примерам тестов, и работу через текстовый интерфейс генерации. Указан контекст размером 5120 токенов. Это текстовая модель для работы с кодом; сведения о поддерживаемых естественных языках и мультимодальности в README отсутствуют. Модель доступна в нескольких вариантах GGUF с квантизацией от Q2_K до Q8_0 и размером файлов примерно от 5,43 до 13,8 ГБ. Варианты с более высокой точностью обычно обеспечивают меньшее снижение качества, но требуют больше дискового пространства и ресурсов; для большинства сценариев в README рекомендуются Q4_K_M, Q5_K_M и Q5_K_S. Ограничения включают возможную потерю качества при низкобитной квантизации, а также отсутствие в README данных о производительности, аппаратных требованиях и качестве на конкретных языках программирования. Лицензия указана как Llama 2.

Code Llama 34B Instruct — авторегрессионная языковая модель Meta на основе оптимизированного Transformer, предназначенная для генерации и понимания кода. Это версия Instruct с 34 млрд параметров в формате Transformers; она поддерживает дополнение кода и диалоговое выполнение инструкций. Модель принимает текст и генерирует текст, включая код, и рассчитана на применение в помощниках-разработчика и инструментах генерации кода. Модель предназначена для работы на английском языке и с языками программирования. Её можно применять для написания фрагментов кода, ответов на вопросы по программированию и помощи при разработке. Репозиторий содержит веса PyTorch и Safetensors. Использование регулируется лицензией Meta Llama 2; условия лицензии следует учитывать при коммерческом или исследовательском использовании. Модель обучалась на статическом офлайн-наборе данных. Возможны неточные или нежелательные ответы; перед внедрением требуется оценить её поведение в целевом сценарии. README указывает, что тестирование проводилось на английском языке, а использование на других естественных языках не входит в заявленную область применения.

CodeLoxa-4B — компактная языковая модель для генерации кода, представленная frameai. Это плотная авторегрессионная модель семейства Llama на 4 млрд параметров, доступная в формате safetensors и рассчитанная на работу с контекстом до 131 072 токенов. Модель поддерживает диалоговый режим и интерфейс вызова инструментов. Она предназначена для помощи в разработке: генерации шаблонного кода, рефакторинга и оптимизации существующих фрагментов, а также обучения программированию. В карточке заявлена точность 96%, но методика и набор тестов не приведены, поэтому результат следует проверять и тестировать. Метаданные указывают английский язык. Модель распространяется по проприетарной лицензии согласно README; условия следует уточнить у разработчика.

Codestral-22B-v0.1 — языковая модель для работы с кодом, разработанная Mistral AI. Это плотная авторегрессионная модель семейства Mistral с 22 млрд параметров и контекстом до 32 768 токенов. Репозиторий содержит веса в формате safetensors; в метаданных указана библиотека vLLM, а в README приведён пример генерации через инструменты Mistral. Модель предназначена для генерации и продолжения кода, а также для диалоговых запросов, связанных с программированием. Её можно использовать в помощниках разработчика и для ответов на вопросы о машинном обучении; карточка не уточняет поддерживаемые языки программирования или естественные языки. В README отмечено, что у модели нет встроенных механизмов модерации, поэтому её ответы могут требовать внешних защитных мер. Лицензия в метаданных обозначена как other; конкретные условия следует сверить с лицензией репозитория.

Salesforce CodeT5+ 220M — модель семейства CodeT5+ для понимания и генерации кода, разработанная Salesforce Research. Это плотная encoder-decoder-модель на архитектуре T5 с 123,7 млн параметров, доступная в формате PyTorch; она использует токенизатор оригинального CodeT5. Модель обучена на очищенном наборе кода GitHub с разрешительными лицензиями и рассчитана на работу с кодом на C, C++, C#, Go, Java, JavaScript, PHP, Python и Ruby. Модель подходит для генерации кода по текстовому запросу, дополнения кода, поиска соответствий между текстом и кодом и других задач понимания кода. В README указано контекстное окно 512 токенов. Карточка описывает семейство как гибкое по режимам работы, но конкретный чекпойнт представлен классом T5ForConditionalGeneration. Лицензия — BSD-3-Clause. Разработчики отмечают, что модель не оценивалась для всех сценариев применения и рекомендуют проверять точность и безопасность перед внедрением.

Vsevolod/company-names-similarity-sentence-transformer — модель на базе BERT для получения плотных векторных представлений предложений и абзацев. Она содержит 25,9 млн параметров, выдаёт эмбеддинги размерностью 384 и поддерживает контекст до 512 токенов. Модель предназначена для семантического поиска и кластеризации текстов; название репозитория указывает на применение для сравнения названий компаний. Обучение использовало CosineSimilarityLoss. Модель работает с текстом и предназначена для использования с библиотекой Sentence-Transformers. В карточке не указаны языки и лицензия, поэтому нельзя определить языковой охват и условия использования.

Crystal (ранее CrystalCoder) — языковая модель с 7 млрд параметров из серии Pebble, разработанной инициативой LLM360. Это плотная GPT-подобная модель на архитектуре, близкой к LLaMA-7B, с модификациями maximal update parameterization (muP). Модель обучена на SlimPajama и StarCoder; в последнем этапе использовались дополнительные данные Python и веб-кода. Репозиторий содержит веса PyTorch, лицензия — Apache 2.0. Модель предназначена для генерации текста и кода, включая дополнение программ и решение задач на программирование. Карточка сообщает о результатах на англоязычных и кодовых тестах MMLU, HumanEval и MBPP. Размер контекста и длина обучения последовательностей составляют 2048 токенов; основной язык — английский. Модель объединяет общие языковые и кодовые возможности, однако её контекст ограничен 2048 токенами, а заявление о превосходстве над LLaMA 2 относится лишь к отдельным задачам и приведённым в карточке оценкам.