I.3Извлечение и структурирование данных

QwenMosaic-7B — объединённая языковая модель, созданная bunnycore методом линейного слияния через mergekit. В неё вошли AIDC-AI/Marco-o1, fblgit/cybertron-v4-qw7B-UNAMGS, rombodawg/Rombos-LLM-V2.5-Qwen-7b и Qwen/Qwen2.5-7B-Instruct с адаптером bunnycore/Qwen-2.1-7b-Persona-lora_model. Это плотная причинная модель семейства Qwen2 на 7,1 млрд параметров; она распространяется в формате safetensors и работает через Transformers. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции. Контекст составляет до 32 768 токенов. В README приведены результаты Open LLM Leaderboard: среднее 25,31, IFEval 58,19 и BBH 36,75; эти значения не гарантируют качество в конкретном сценарии. Лицензия в предоставленных данных не указана.

Qwen_Qwen3-30B-A3B-Instruct-2507-GGUF — это набор GGUF-квантизаций языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen и подготовленной для llama.cpp пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp, LM Studio и совместимые проекты. Для взаимодействия используется шаблон prompt формата ChatML с ролями system, user и assistant. Модель имеет архитектуру Mixture-of-Experts с общим размером 30B параметров и 3B активных параметров, однако README не содержит сведений о поддерживаемых языках, длине контекста и мультимодальности. Доступны варианты от BF16 до низкобитных квантизаций Q8, Q6, Q5, Q4, Q3 и IQ, с размерами файлов примерно от 13 до 61 ГБ. Более качественные варианты требуют больше памяти, а малые квантизации предназначены для систем с ограниченными ресурсами и могут заметно уступать в качестве. Сильной стороной является широкий выбор квантизаций, включая варианты с imatrix, позволяющие подобрать баланс между качеством, размером и скоростью локального вывода; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M — как оптимальный вариант для большинства сценариев. Ограничения связаны с высокими требованиями к оперативной памяти даже у компактных вариантов и возможной потерей качества при использовании низких разрядностей. Лицензия в представленном README не указана.

Qwen_Qwen3-4B-Thinking-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-4B-Thinking-2507, разработанной Qwen. Квантизацию выполнил bartowski с использованием llama.cpp версии b6096 и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 4B параметров и ориентирована на сценарии, требующие локального текстового вывода при ограниченных ресурсах. Доступны варианты от BF16 до Q2 и различные форматы квантизации; рекомендованными названы, в частности, Q4_K_M, Q5_K_M, Q6_K и Q6_K_L. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти, тогда как низкие уменьшают размер за счёт качества. Для работы используется шаблон промпта с секциями system, user и assistant, включающей тег <think>. Сильными сторонами являются локальный запуск, широкий выбор размеров файлов и оптимизация imatrix-квантизаций под llama.cpp. Ограничения связаны с потерей качества в более агрессивно сжатых вариантах, а также с тем, что в предоставленной карточке не указаны контекстное окно, поддерживаемые языки, точная архитектура, модальности и лицензия исходной модели или квантов. Условия распространения следует уточнять на странице оригинальной модели Qwen/Qwen3-4B-Thinking-2507.

ReasonEmbed — модель текстовых эмбеддингов, разработанная Hanhainebula для поиска документов по запросам, требующим многошагового рассуждения. Она основана на плотной архитектуре Llama 3.1 с 7,5 млрд параметров и дообучена с функцией потерь RI-InfoNCE на синтетических данных; контекст модели составляет 131 072 токена. На бенчмарке BRIGHT модель показала nDCG@10 36,2 при использовании исходных запросов. Она предназначена для извлечения эмбеддингов текста и оценки сходства предложений, в частности для поиска по сложным запросам. Лицензия CC BY-NC 4.0 запрещает коммерческое использование без соответствующих прав.

cl-nagoya/ruri-pt-base — японская модель Sentence Transformers, разработанная CL-Nagoya и дообученная на основе tohoku-nlp/bert-base-japanese-v3. Она преобразует предложения в векторы размерности 768 для сравнения семантической близости, поиска и ранжирования текстов. Модель использует архитектуру BERT, принимает последовательности длиной до 512 токенов и рассчитана на японский язык. В README приведены результаты оценки на JMTEB, включая поиск, семантическое сходство, классификацию и кластеризацию. Лицензия — Apache 2.0.

SciPhi-Mistral-7B-32k-Mistral-7B-Instruct-v0.1 — объединённая модель Maziyar Panahi на архитектуре Mistral с 7,1 млрд параметров. Она создана методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и SciPhi/SciPhi-Mistral-7B-32k и предназначена для генерации текста и ответов в диалоге по инструкциям. Модель принимает текстовые запросы и поддерживает контекст длиной до 32 768 токенов, что позволяет вести длинные диалоги и работать с объёмными текстовыми фрагментами. Она распространяется в формате safetensors по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или специальных ограничений применения.

QuantFactory/SeaLLM3-7B-Chat-GGUF — квантизированная версия чат-модели SeaLLMs/SeaLLM3-7B-Chat, созданная QuantFactory с использованием llama.cpp. Семейство SeaLLMs разработано для работы с языками Юго-Восточной Азии; модель предназначена для генерации текста, диалогов и выполнения пользовательских инструкций. Модель ориентирована на широкий круг задач: ответы на вопросы, следование инструкциям, математическое рассуждение, перевод и работу со знаниями общего назначения. В README заявлены улучшенные возможности многошагового диалога, сниженная склонность к галлюцинациям и более безопасное поведение, в том числе при запросах, связанных с культурой стран Юго-Восточной Азии. Указаны английский, китайский, индонезийский, вьетнамский, тайский и малайский языки; также заявлена поддержка тагальского, бирманского, кхмерского, лаосского, тамильского и яванского языков. Это текстовая autoregressive language model размером 7B параметров в квантизированном формате GGUF; конкретная схема квантизации и размер контекстного окна в README не указаны. Квантизация и совместимость с llama.cpp могут упростить локальный запуск и снизить требования к ресурсам, однако README не содержит точных требований к оборудованию и количественной оценки качества. Модель ограничена текстовой модальностью и, как и другие языковые модели, может допускать ошибки. Лицензия обозначена как other с названием seallms; условия использования приведены по ссылке на лицензию SeaLLMs. Перед применением необходимо ознакомиться с ними.

sentence-transformers/sentence-t5-large — модель Sentence-Transformers для преобразования предложений и абзацев в плотные векторы размерности 768. Она использует энкодер архитектуры T5-large и подходит для вычисления сходства между текстами и других задач, основанных на векторных представлениях. Модель получена конвертацией TensorFlow-модели st5-large-1 в PyTorch; в репозитории доступны форматы PyTorch, Safetensors и ONNX, веса хранятся в FP16. Модель предназначена для сравнения предложений и абзацев, например для поиска похожих формулировок или группировки текстов по близости. Разработчики отмечают, что она хуже подходит для семантического поиска. Карточка ссылается на исследование Sentence-T5: Scalable sentence encoders from pre-trained text-to-text models. Лицензия — Apache 2.0.

Veritone/siglip2-base-patch16-224 — модель семейства SigLIP 2, разработанная Veritone на основе архитектуры SiglipModel. Это визуально-текстовая модель для классификации изображений по заданным текстовым меткам без отдельного обучения, поиска изображений по тексту и использования в качестве визуального энкодера для мультимодальных моделей. Модель принимает изображение и текстовые описания кандидатов, сопоставляет их и выдаёт оценки соответствия; размер изображения — 224 × 224 пикселя, размер патча — 16 пикселей. Предобучена на наборе WebLI. SigLIP 2 объединяет улучшения предобучения для семантического понимания изображений, локализации объектов и получения плотных визуальных признаков. Репозиторий содержит веса в формате safetensors, использовать модель можно через Transformers. Лицензия — Apache 2.0. В карточке указано назначение для zero-shot классификации, поиска изображений по тексту и применения как визуального энкодера.

SmolLM3-3B-Base — базовая языковая модель семейства SmolLM3, опубликованная Unsloth как дообученная версия HuggingFaceTB/SmolLM3-3B-Base. Это декодерный Transformer с архитектурой SmolLM3 и 3,1 млрд параметров; модель предназначена для генерации и продолжения текста, в том числе для задач рассуждения и работы с длинным контекстом. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Модель обучалась на веб-текстах, коде, математике и данных для рассуждений. Контекст конфигурации — 65 536 токенов; в README описана экстраполяция до 128 000 токенов с YaRN. Хорошо подходит как открытая базовая модель для экспериментов и дальнейшей настройки. Поддерживаемые языки включают английский, французский, испанский, итальянский, португальский, китайский, арабский и русский; для русского, китайского и арабского в README отмечено меньше обучающих данных, чем для основных языков. Генерация может содержать фактические ошибки, логические несоответствия и предубеждения, поэтому важные сведения следует проверять. Лицензия — Apache 2.0.

Sophea-Nemo-Embedding — плотная модель эмбеддингов для семантического поиска на греческом и английском языках, разработанная Kiefer SA на основе NVIDIA Nemotron-3-Embed-1B-BF16. Модель дообучена для извлечения релевантных документов и служит первым этапом двухэтапной RAG-системы, где за поиском кандидатов может следовать Sophea-Nemo-Reranker. Модель использует архитектуру Ministral-3 с двунаправленным кодированием, mean pooling и L2-нормализацией; размерность эмбеддинга — 2048, контекст — до 262144 токенов. Для запросов и документов нужны префиксы «query: » и «passage: » соответственно; сходство можно оценивать по косинусной близости или скалярному произведению. В указанной авторами оценке на пяти тематических областях дообученная модель показала более высокие результаты поиска, чем базовая модель и сравнивавшиеся готовые эмбеддеры. Подходит для семантического поиска и получения кандидатов для RAG на греческом и английском языках. Модель создана полным дообучением Nemotron-3-Embed-1B с контекстом обучения до 4096 токенов. Греческий язык находился вне языков обучения базовой модели, поэтому заявленные авторами улучшения относятся к их тестовой оценке и не гарантируют такой же результат на других корпусах. Лицензия указана как other; конкретные условия следует проверить в карточке репозитория.

JANGQ-AI/Spark-X2.5-4B-JANG_8M — 3,8-миллиардная плотная языковая модель Spark-X2.5-4B от XHToken, квантованная Jinho Jang для Apple Silicon и MLX. Это 8-битный вариант с точностью bfloat16 для групповых масштабов; отдельные тензоры внимания и нормализации сохранены в полной точности. Модель предназначена для диалога, рассуждений, работы с инструментами и генерации текста. Поддерживаются английский и китайский языки; исходная модель рассчитана на контекст до 1 048 576 токенов, хотя в README для этого набора также указан контекст 131 072 токена. В сравнении с исходными весами bf16 автор сообщает медианное KL-расхождение 0,0017 и совпадение top-1 в 98,72% позиций на тестовых запросах. Модель принимает и генерирует только текст. Для запуска требуется среда с поддержкой архитектуры spark2_5, например vMLX или MLX Studio; обычный mlx-lm эту архитектуру не поддерживает. Лицензия Apache-2.0 унаследована от базовой модели.

SPLADE-v3 — разреженный энкодер для поиска, опубликованный Naver. Модель основана на naver/splade-cocondenser-selfdistil и дообучена на коллекции MS MARCO без заголовков с использованием KL-Div и MarginMSE; для каждого запроса использовалось восемь негативных примеров. Энкодер на архитектуре BERT с языковой моделью маскированных токенов преобразует предложения и абзацы в разреженные векторы размерности 30 522. Максимальная длина входа — 512 токенов, функция сходства — скалярное произведение. Модель предназначена для семантического поиска и разреженного извлечения документов; в README приведены результаты на MS MARCO и BEIR-13. Доступна в формате PyTorch через Sentence Transformers. Лицензия CC BY-NC-SA 4.0 допускает использование с указанием авторства и на условиях распространения производных материалов на той же лицензии, но некоммерчески.

Starling-LM-11B-alpha-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и Delcos/Starling-LM-11B-alpha методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Модель принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. В метаданных указан английский язык. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

sentence-transformers/stsb-roberta-base — модель Sentence Transformers, обученная командой sentence-transformers на архитектуре RoBERTa. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости, кластеризации и семантического поиска. Модель содержит 151,8 млн параметров, принимает текст и поддерживает контекст до 514 токенов; доступны версии в форматах PyTorch, TensorFlow, ONNX и OpenVINO. Карточка модели предупреждает, что эмбеддинги имеют низкое качество и модель устарела, поэтому для новых проектов рекомендуется выбрать более современную модель эмбеддингов. Лицензия — Apache-2.0.

lunahr/SystemGemma2-27b-it — диалоговая языковая модель, дообученная на основе Google Gemma 2 27B IT. Это плотная авторегрессионная модель-декодер с 27,6 млрд параметров, предназначенная для генерации текста по инструкциям и общения в формате чата. Она принимает текст и может использоваться для ответов на вопросы, суммаризации, рассуждений, написания черновиков и создания чат-ботов. В карточке указана поддержка английского языка; контекст модели составляет до 32 768 токенов. Модель подходит для диалоговых интерфейсов, помощи в работе с текстами и исследовательских экспериментов. Как и другие языковые модели, она может выдавать фактически неверные ответы, испытывать трудности с неоднозначностью и сложными задачами, а также воспроизводить смещения из обучающих данных. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — Gemma; применение регулируется условиями лицензии и политикой допустимого использования Gemma.

Tess-3-Llama-3.1-70B — большая языковая модель общего назначения из серии Tess, созданной Migel Tissera. Вычислительные ресурсы для модели предоставила KindoAI. Модель построена на архитектуре Llama и предназначена для генерации текста и диалогового взаимодействия. Она содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Доступны веса в формате PyTorch. Для использования модели действует лицензия Llama 3.1. Карточка называет её моделью общего назначения, но не приводит конкретных результатов оценки качества или подробных ограничений.

test2_3 — диалоговая языковая модель, созданная alnrg2arg слиянием моделей mlabonne/NeuralBeagle14-7B и abideen/NexoNimbus-7B с помощью mergekit и метода SLERP. Она предназначена для генерации текста в чате, ответов на инструкции, рассуждений и творческих задач. Модель основана на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров; контекст — до 32 768 токенов. Репозиторий содержит веса в формате safetensors, а карточка указывает возможность диалогового использования. Модель принимает текст и генерирует текст. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое; качество ответов и поведение при сложных запросах могут зависеть от сценария применения.

Cohere и Cohere Labs разработали Cohere Labs Tiny Aya Earth — авторегрессионную языковую модель на 3,35 млрд параметров для многоязычной генерации текста и диалогов, с особым акцентом на языки Западной Азии и Африки. Модель принимает текст и выдаёт текст; поддерживает более 70 языков. Контекст составляет 8K токенов, заявлена также генерация до 8K токенов. Архитектура основана на оптимизированном трансформере: три слоя используют скользящее внимание с окном 4096 и RoPE, а четвёртый — глобальное внимание. После предобучения модель прошла дообучение с учителем и обучение на предпочтениях. Модель подходит для многоязычных диалогов, генерации, суммаризации, перевода и межъязыковых задач, включая работу с языками с ограниченными обучающими данными и локальное развёртывание при ограниченных вычислительных ресурсах. Карточка отмечает сильные стороны в открытой генерации и работе с низкоресурсными языками. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование без отдельного согласования; также требуется соблюдать политику допустимого использования Cohere Labs.

Tralalabs_Pythia-6.9B-Instruct-v1-Merged-GGUF — это квантизированная GGUF-версия инструкционной языковой модели Pythia-6.9B-Instruct-v1-Merged, разработанной Tralalabs и подготовленной квантизатором bartowski с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев, работы в качестве чат-ассистента и агентских приложений. Доступны варианты от BF16 до различных уровней квантизации, что позволяет выбирать между качеством, размером файлов и требованиями к оперативной памяти. Модель поддерживается инструментами llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другими совместимыми приложениями. Модель обучалась с использованием наборов данных OpenAssistant Guanaco и Tulu v2 SFT Mixture. Заявлена поддержка английского, испанского, немецкого, русского, японского, французского, польского, вьетнамского, китайского, венгерского, корейского, каталонского и баскского языков. Точная архитектура, размер контекстного окна и формат инструкций в README не указаны; для выбора шаблона промпта рекомендуется обратиться к странице исходной модели. Сильной стороной является широкий выбор квантизаций, включая рекомендуемые варианты Q4_K_M, Q5_K_M и Q6_K, позволяющие запускать модель локально при разных аппаратных ресурсах. Ограничения включают отсутствие описания точных характеристик, бенчмарков и prompt format, а также возможное снижение качества в наиболее компактных вариантах. Распространение указано по лицензии Apache-2.0.

dangvantuan/vietnamese-document-embedding — модель эмбеддингов документов на вьетнамском языке, разработанная Dang Van Tuan. Она построена на gte-multilingual и дообучена для представления смысла вьетнамских текстов в виде векторов; в обучении использовались Multi-Negative Ranking Loss, Matryoshka2dLoss и SimilarityLoss, а карточка описывает этапы на данных XNLI-vn и STSB-vn. Модель использует архитектуру SentenceTransformer с VietnameseModel, пулингом CLS-токена и нормализацией векторов. Контекст составляет до 8192 токенов по метаданным; README указывает до 8096 токенов. Она предназначена для семантического сравнения предложений и документов, поиска и ранжирования по смыслу на вьетнамском языке. В README приведены результаты оценки на STS-бенчмарках. Модель распространяется по лицензии Apache-2.0.

ViT-B-16-SigLIP-256 — контрастивная модель сопоставления изображений и текста семейства SigLIP, обученная на наборе WebLI. Разработчик исходных весов в карточке не назван; репозиторий timm содержит конвертированные из исходных контрольных точек JAX веса в формате PyTorch. Модель доступна для работы через OpenCLIP с изображениями и текстом, а через timm — для получения эмбеддингов изображений. Модель предназначена для классификации изображений без предварительного обучения на конкретных классах: пользователь передаёт изображение и текстовые описания классов, а модель оценивает их соответствие. Это подходит для поиска объектов по описаниям и тематической сортировки изображений. В метаданных указаны библиотека open_clip, форматы PyTorch и safetensors и лицензия Apache-2.0. Размер, длина контекста и список поддерживаемых языков в доступных данных не приведены.

wav2vec2-bert-CV16-en — модель автоматического распознавания речи, разработанная на основе ylacombe/w2v-bert-2.0 и дообученная на англоязычном наборе MOZILLA-FOUNDATION/COMMON_VOICE_16_0. Она построена на архитектуре Wav2Vec2BertForCTC и содержит 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка указывает результаты на тестовой выборке: WER 0,1455 и CER 0,0580. Репозиторий использует формат safetensors. Лицензия в предоставленных данных не указана.

WeMM-Embedding-2B-INT8 — мультимодальная модель для получения эмбеддингов, опубликованная ewin-reg. Это INT8-перекодировка модели ewin-reg/WeMM-Embedding-2B-Quantized, восходящей к tencent/WeMM-Embedding-2B; веса не дообучались и не дистиллировались. Модель построена на гибридной архитектуре Qwen3.5 с линейным и полным вниманием, а также визуальным трансформером; поддерживает Matryoshka-эмбеддинги размерностью от 64 до 2048. Размер файлов модели составляет около 1,94 ГБ. Модель предназначена для создания текстовых, изображенческих и видеоэмбеддингов, поиска по сходству и мультимодального поиска. Перекодировка весов позволяет запускать её на CPU, CUDA и Apple Silicon MPS со стандартным PyTorch. В README приведены измерения близкого совпадения эмбеддингов INT8-версии с FP8-вариантом и базовой моделью, однако это результаты ограниченных наборов запросов и изображений. В README указана лицензия «other» в метаданных, но её конкретные условия не приведены. Для использования следует проверить лицензию карточки и исходной модели.

Trendency/whisper-large-v3-hu — дообученная Trendency на открытых речевых данных версия Whisper large-v3 от OpenAI, ориентированная прежде всего на распознавание венгерской речи. Это мультиязычная модель автоматического распознавания речи с архитектурой WhisperForConditionalGeneration и примерно 905,2 млн параметров; она принимает аудио и выдаёт текст. Для длинных записей требуется обработка фрагментами, поскольку рецептивное поле модели составляет 30 секунд; для запуска автор рекомендует faster-whisper. Модель предназначена для транскрибации венгерской речи, включая записи из Common Voice, VoxPopuli и других речевых наборов. В README сообщается о среднем WER 11,26 на указанных срезах Common Voice и об улучшении относительно базовой модели на венгерских данных, но также о возможном снижении качества на других языках. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Как и другие версии Whisper, модель может ошибочно добавлять текст, которого нет в аудио, повторять фрагменты и показывать неодинаковую точность для разных языков, акцентов и диалектов. README указывает, что при обучении использовались также обучающие, тестовые и валидационные части наборов данных, поэтому приведённые оценки следует интерпретировать с учётом этого обстоятельства.

WiroAI/wiroai-turkish-llm-8b — турецкоязычная модель генерации текста, разработанная WiroAI на основе Meta Llama 3.1 8B Instruct. Это плотный decoder-only трансформер с 7,5 млрд параметров, дообученный методом SFT на более чем 500 тысячах турецких инструкций; для дообучения применялся LoRA, квантизация не использовалась. Модель принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Модель предназначена для генерации и редактирования текста, ответов на вопросы, суммаризации, анализа и преобразования контента, особенно с учетом турецкого языка, культуры и локального контекста. Карточка также заявляет поддержку других распространенных языков, но основное внимание уделено турецкому. Модель распространяется по лицензии Apache-2.0. Для важных решений ответы следует проверять; качество зависит от ясности инструкций, а развертывание требует оценки аппаратных ресурсов.

WizardCoder-Python-34B-V1.0 — большая языковая модель для генерации и редактирования программного кода, разработанная командой WizardLM. Это плотная авторегрессионная модель семейства Llama с 33,5 млрд параметров; она принимает текстовые инструкции и генерирует текстовый код. В карточке указан контекст до 16 384 токенов и формат PyTorch для библиотеки Transformers. Модель предназначена для выполнения инструкций по программированию: генерации функций и скриптов на Python, дополнения и исправления кода, а также решения задач по программированию. README приводит результат 73,2 на упомянутом бенчмарке, но не уточняет здесь методику оценки. Модель основана на Llama 2 и выпущена по лицензии Llama 2, условия которой следует учитывать при использовании.

Yi-1.5-34B-Chat-GGUF — это набор GGUF-квантизаций чат-модели Yi-1.5-34B-Chat, разработанной организацией 01.AI и подготовленной пользователем bartowski. Квантизация выполнена с помощью llama.cpp версии b2854 с использованием метода imatrix и набора данных Kalomaze. Модель предназначена для генерации текста в диалоговом формате и локального запуска через совместимые инструменты, включая llama.cpp. Модель содержит около 34 миллиардов параметров; README не указывает точную архитектуру, поддерживаемые языки, размер контекстного окна или дополнительные модальности, поэтому подтверждённые характеристики ограничиваются текстовой генерацией. Доступны варианты от Q8_0 до IQ1_S размером примерно от 7,49 до 36,54 ГБ. Квантизации Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и некоторые IQ-варианты отмечены как рекомендуемые за сочетание качества и экономии памяти, тогда как самые компактные варианты обеспечивают существенно более низкое качество. Сильная сторона набора — широкий выбор уровней квантизации, позволяющий адаптировать модель к доступному объёму памяти; наиболее качественные варианты близки к исходной модели, а некоторые компактные варианты сохраняют приемлемую работоспособность при ограниченных ресурсах. Ограничения связаны с потерями качества при сильной квантизации и необходимостью использовать корректный шаблон промпта Yi-1.5-34B-Chat. Модель распространяется по лицензии Apache-2.0.

Yi-1.5-9B-Chat-GGUF — квантизированная GGUF-версия чат-модели Yi-1.5-9B-Chat, разработанной 01-ai и подготовленной для квантизации компанией Second State Inc. Модель предназначена для генерации текста и ведения диалогов, включая запуск в локальных приложениях и сервисах на базе LlamaEdge. Модель относится к архитектуре Yi и содержит около 9 миллиардов параметров. Она работает с текстом, использует шаблон запросов ChatML и поддерживает контекст размером до 4096 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также f16; размеры файлов составляют примерно от 3,35 до 17,7 ГБ. В README рекомендуются варианты Q4_K_M, Q5_K_M и Q5_K_S как сбалансированные по качеству и размеру. Ключевое преимущество модели — возможность локального запуска при существенно меньших требованиях к памяти по сравнению с полноразмерной версией, особенно при использовании низко- и среднебитных вариантов. При этом сильная квантизация может заметно снижать качество генерации, а варианты Q2_K и Q3_K имеют значительные потери качества. Языки, специальные возможности и результаты сравнительных тестов в README не указаны. Модель распространяется по лицензии Apache-2.0.

nxn1231/yi6 — текстовая генеративная модель семейства Yi, основанная на 01-ai/Yi-6B. Модель разработана на базе открытой модели 01.AI и использует плотную архитектуру LlamaForCausalLM; в репозитории представлены веса PyTorch в формате Safetensors. Размер составляет 5,8 млрд параметров, контекст — до 4096 токенов. Лицензия — MIT. Модель предназначена для генерации текста на английском и китайском языках, понимания языка, рассуждений на основе здравого смысла и ответов на вопросы по прочитанному. Её можно применять для диалога, написания и продолжения текстов, а также для прототипирования приложений на базе LLM. README сообщает, что семейство обучалось на многоязычном корпусе объёмом 3 трлн токенов, но конкретные показатели качества этой копии отдельно не приводятся.