II.1Анализ требований и архитектура ПО

protoLabsAI/Ornith-1.5-9B-NVFP4 — это квантованная мультимодальная версия модели Ornith-1.5-9B, разработанной ornith-ai. Модель предназначена для задач image-text-to-text, обработки изображений и текста, диалоговых сценариев, вызова инструментов и агентских приложений. Сборка оптимизирована для запуска через vLLM на GPU NVIDIA Blackwell с архитектурой sm120 и включает дистиллированную MTP-голову для спекулятивного декодирования. Основная часть линейных слоёв attention и MLP использует квантование NVFP4 W4A4, благодаря чему размер модели уменьшен с 17,9 до 11,2 ГБ. Башня зрения, DeltaNet/GDN linear_attn, lm_head, embed_tokens и MTP-голова сохранены в формате bfloat16. Поддерживаются изображения и текст; точные языки и исходный размер контекста в README не указаны, но рекомендуемый параметр запуска vLLM составляет до 32768 токенов. MTP обеспечивает ускорение декодирования примерно в 1,27 раза при заявленной доле принятия черновых токенов 0,804 на реальных запросах. Сильными сторонами модели являются сохранённая работоспособность зрения без выявленной статистически значимой деградации относительно bf16-версии, высокие результаты во внутренних тестах вызова функций и наличие встроенной MTP-головы без отдельной черновой модели. Ограничения включают зависимость от GPU Blackwell и специфической конфигурации vLLM, необходимость выделять достаточный бюджет токенов для адаптивного рассуждения, а также слабые результаты в тесте LiveCodeBench. Модель распространяется по лицензии MIT.

win10/Qwen2.5-Coder-12.3b-Instruct — объединённая инструкционная языковая модель на архитектуре Qwen2, созданная методом passthrough с помощью mergekit на основе Qwen/Qwen2.5-Coder-7B-Instruct. Репозиторий содержит веса в формате safetensors; метаданные указывают 11,7 млрд параметров и контекст длиной до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате и ориентирована на задачи программирования: написание, анализ и исправление кода. Поддерживает интерфейс вызова инструментов. В карточке указана лицензия Apache-2.0. Ограничения качества и перечень поддерживаемых языков программирования в предоставленных данных не описаны.

Qwen2.5-Coder-14B-Instruct-GGUF — GGUF-квантизированные варианты инструкционной модели Qwen2.5-Coder-14B-Instruct, разработанной Qwen и опубликованной в формате квантований пользователем bartowski. Модель предназначена прежде всего для генерации, понимания и редактирования программного кода, а также для диалогового взаимодействия с инструкциями. Указан английский язык; поддержка других языков и мультимодальность в README не описаны. Базовая модель имеет размер 14B параметров, а опубликованные варианты используют форматы F16 и различные методы квантования llama.cpp: от Q8_0 и Q6 до Q3 и IQ-вариантов. Размер файлов составляет примерно от 7,34 до 29,55 ГБ. Квантования с более высокой точностью обеспечивают лучшее сохранение качества, а компактные варианты требуют меньше памяти, но могут заметно уступать в качестве. README не содержит сведений о размере контекстного окна и архитектурных деталях базовой модели. Модель подходит для локального запуска, в том числе через LM Studio и совместимые инструменты на базе llama.cpp. Для работы рекомендуется использовать шаблон сообщений Qwen с ролями system, user и assistant. Лицензия базовой модели — Apache 2.0; отдельные условия для квантованных файлов в README не указаны.

Qwen2.5-Coder-1.5B-Instruct-GGUF — квантованные модели семейства Qwen2.5-Coder-1.5B-Instruct, разработанного Qwen и подготовленного в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и работы с программным кодом в диалоговом режиме, включая задачи программирования и использования в чат-приложениях. Указан английский язык, применяется шаблон запросов ChatML. Модель имеет размер 1,5 млрд параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантования от 2 до 8 бит, f16, с размером файлов примерно от 676 МБ до 3,09 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с очень небольшой потерей качества. Более агрессивное квантование уменьшает требования к памяти, но может заметно снижать качество ответов. Модель рассчитана на локальный запуск через LlamaEdge и совместима с llama.cpp. README не содержит подробностей об архитектуре, полном наборе поддерживаемых языков, результатах оценки или специфических ограничениях качества. Распространяется по лицензии Apache 2.0.

MingZwhy разработал эту версию Qwen3-4B, применив квантование весов до 1,88 бита на параметр и восстановление качества с помощью quantization-aware distillation и on-policy distillation. Это плотная авторегрессионная модель семейства Qwen3 с 3,7 млрд параметров, предназначенная для генерации текста и диалогов; она принимает текст и выдаёт текст. Модель доступна в формате safetensors, квантование уже встроено в веса. Контекст составляет 40 960 токенов. README приводит результаты на задачах математического рассуждения, генерации кода и QA; во всех перечисленных тестах результаты ниже, чем у исходной Qwen3-4B в BF16. Лицензия — Apache-2.0.

Qwen3.5-0.8B — компактная мультимодальная модель семейства Qwen от Qwen, представленная в виде постобученных весов для Transformers. Она сочетает причинную языковую модель с визуальным энкодером и предназначена для диалогов и задач, где нужно анализировать изображения и отвечать текстом. Модель поддерживает вызов инструментов через соответствующий интерфейс и может использоваться для прототипирования, разработки и дообучения под конкретные задачи. Модель имеет плотную архитектуру Qwen3.5 с 0,8 млрд параметров, 24 слоями и нативным контекстом до 262 144 токенов. В архитектуре сочетаются Gated Delta Networks и gated attention; доступны режимы обычной генерации и рассуждения, причём по умолчанию включён обычный режим. Карточка заявляет поддержку 201 языка и диалекта. Веса доступны в формате safetensors и совместимы с Transformers и несколькими движками инференса. Небольшой размер делает модель удобной для прототипирования и настройки под узкие задачи, однако её возможности и качество следует оценивать с учётом масштаба 0,8 млрд параметров и целевого сценария. Для длинного контекста могут потребоваться значительные ресурсы памяти. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled — текстовая диалоговая модель с открытыми весами, созданная r3lax на основе Qwen/Qwen3.6-35B-A3B. Это дообученная MoE-модель семейства Qwen3.5: в ней 35 млрд параметров, из которых около 3 млрд активируются на каждом токене. Для обучения использовали дистилляцию примерно 8 тысяч цепочек рассуждений Claude Opus 4.7; стиль рассуждения настраивали с помощью LoRA только для слоёв внимания. Модель предназначена для многошаговых рассуждений, решения задач по математике и STEM, анализа кода, логических головоломок и агентного планирования. Контекст — до 64 тысяч токенов; при сложных запросах модель может генерировать от 5 до 30 тысяч токенов рассуждений перед ответом. Поддерживает английский язык. В метаданных указаны чат и интерфейс вызова инструментов; README рекомендует vLLM для сервинга. Дистилляция перенимает стиль рассуждений, но не добавляет фактических знаний сверх базовой Qwen3.6-35B-A3B. Экспертные FFN-слои не дообучались, генерация может быть очень длинной, а README отмечает проблемы с форматом ответов для автоматической оценки AIME. Лицензия — Apache-2.0; для сценариев, использующих данные, созданные Claude Opus 4.7, README рекомендует проверить применимые условия Anthropic.

Qwen3.6-35B-A3B-onw — модель ryugyosoft, преобразованная из Qwen/Qwen3.6-35B-A3B для запуска через движок onw исключительно на Intel NPU. Это мультимодальная MoE-модель с 35 млрд общих параметров, из которых около 3 млрд активны на токен; архитектура включает Gated DeltaNet и gated attention. Модель принимает текст и изображения, а в репозитории представлены веса в формате OpenVINO, включая INT4-квантизацию экспертных блоков и INT8-кодировщик изображений. Модель предназначена для диалогов, ответов на вопросы по изображениям и использования через OpenAI-совместимый API на компьютерах с Intel Core Ultra NPU. README приводит скорость 6,8 токена в секунду на NPU 3720 и отмечает, что фактическая производительность зависит от NPU и объёма памяти. Карточка также указывает поддержку вызова инструментов. В README указана Apache 2.0, как и у исходной модели. Автор сообщает о естественных ответах и совпадении предсказания первого токена с bf16 в проверенных случаях, но формулировки могут отличаться от исходной модели через несколько токенов. Для запуска необходим движок onw версии 0.3 или новее и совместимый компьютер с Intel NPU.

Qwen3.6 Flash — быстрая и эффективная мультимодальная модель из серии Qwen 3.6, разработанной Alibaba. Она принимает текст, изображения и видео и предназначена для запросов, где нужны ответы по визуальному или текстовому содержимому. Заявлена длина контекста до 1 млн токенов. Карточка также упоминает тарифы с оплатой по уровням, но не приводит подробностей о них. Данных о лицензии и конкретных ограничениях нет.

Shiftedx/qwen3.8-27b-aeon-ultimate-uncensored-mxfp4-vision-mtplx — независимая community-конверсия модели AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 в формат MLX, выполненная Shiftedx. Это неофициальный релиз AEON-7 или Qwen. Модель предназначена для генерации текста и обработки изображений, включая сценарии image-text-to-text, локальный запуск на устройствах Apple через MLX и ускоренное декодирование с помощью MTPLX. Модель использует плотную архитектуру семейства Qwen3.5 с гибридными механизмами attention/GDN и 64 языковыми слоями. Языковая часть квантизирована в MXFP4, 4 бита, group size 32; 333 исходных BF16-тензора vision-компонента сохранены, а patch embedding адаптирован к осям MLX. Заявленный размер индексированного артефакта — 14,98 GiB, настроенный контекст — до 262 144 токенов. Сохраняются токенизатор, chat template, processor metadata и происхождение лицензии Apache-2.0. В состав также входят 15 BF16-тензоров для multi-token prediction; на эталонном Apple M4 Max с 64 ГБ unified memory выбранная конфигурация D2 показала медианную скорость декодирования 45,61 токена в секунду, однако результаты зависят от оборудования, промпта, контекста и версии MTPLX. К сильным сторонам относятся поддержка текста и изображений, большой контекст, компактное 4-битное представление и возможность ускоренного инференса с MTPLX. Ограничения включают экспериментальный статус, неполную квалификацию заявленного контекста и зависимость производительности от локальной конфигурации. Это аблированный, намеренно несогласованный checkpoint: он может генерировать небезопасные или незаконные материалы, поэтому операторы несут ответственность за модерацию, контроль доступа, журналирование и человеческую проверку. Модель распространяется по лицензии Apache-2.0, при этом перед использованием следует учитывать предупреждения исходной модели.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-DFlash2-NInfer — это артефакт для движка NInfer, объединяющий 27-миллиардную текстовую модель Qwen3.8 с community-тюном HauhauCS Uncensored Aggressive и моделью z-lab Qwen3.8-27B-DFlash2 для speculative decoding. Артефакт подготовлен в формате одного файла .ninfer и предназначен для локального инференса на одной GPU через C++/CUDA. В нём также сохранена собственная NextN/MTP-голова исходного тюна. Модель рассчитана на генерацию и обработку текста, а благодаря официальной vision-башне поддерживает сценарии image-text-to-text. Для ускорения вывода доступны режимы DFlash2 и MTP; в README приведены результаты проверки на Blackwell GPU: до 59,8 токена/с в режиме DFlash2 и до 112,1 токена/с в режиме DFlash2 Think, однако эти показатели зависят от оборудования и конфигурации. Артефакт использует groupwise quantization с форматами Q4G64_F16S, Q5G64_F16S, Q6G64_F16S и W8G32_F16S, а размер файла составляет около 20,4 ГБ. Основные ограничения связаны с требованиями к среде выполнения: upstream NInfer ориентирован на одну видеокарту класса RTX 5090 с 32 ГБ памяти и архитектурой Blackwell; для других GPU может потребоваться отдельная версия движка. В README указаны параметры запуска с контекстом 16 384 и 32 768 токенов, но заявленный максимальный контекст самой модели не приведён. Список поддерживаемых языков также не указан. Модель распространяется по лицензии Apache-2.0; при этом в составе используются производные компоненты и базовые модели сторонних авторов, условия которых следует проверять отдельно.

TakalaWang/qwen3-embedding-4B-code-search — модель Sentence Transformer, дообученная на базе Qwen/Qwen3-Embedding-4B для поиска и сравнения текстов, включая запросы на естественном языке и фрагменты кода. Она преобразует предложения и абзацы в плотные векторы размерностью 2560; для сравнения векторов используется косинусное сходство. Архитектура включает трансформер Qwen3, пуллинг последнего токена и нормализацию выходных векторов. Модель обучалась с ContrastiveLoss на 800 парах текстов, в том числе примерах, связывающих описания задач с кодом. Её можно применять для семантического поиска кода, поиска похожих фрагментов, подбора парафразов, кластеризации и классификации текстов. Максимальная длина последовательности — 40960 токенов. Указана лицензия базовой модели в использованных данных не была, поэтому условия лицензирования определить нельзя.

mlx-community/Qwen3-Embedding-8B-mxfp8 — текстовая модель эмбеддингов семейства Qwen3, подготовленная сообществом mlx-community в формате MLX из Qwen/Qwen3-Embedding-8B. Она предназначена для получения векторных представлений текста, сравнения сходства предложений и поиска по семантической близости. Модель содержит 7,6 млрд параметров, использует плотную архитектуру Qwen3 и поддерживает контекст до 40 960 токенов. Модель подходит для семантического поиска, поиска фрагментов для RAG и ранжирования текстов по сходству. Репозиторий README указывает на формат MLX и пакет mlx-embeddings версии 0.0.3; метаданные также отмечают форматы safetensors и возможности эмбеддингов. Лицензия — Apache-2.0. Данные не подтверждают отдельную поддержку конкретных естественных языков.

NobodyWho/Qwen_Qwen3-0.6B-GGUF — это GGUF-квантизированная версия языковой модели Qwen/Qwen3-0.6B, подготовленная для запуска через библиотеку инференса NobodyWho. Квантизации предоставлены bartowski. Модель предназначена для генерации текста, диалогов и выполнения инструкций, а также поддерживает синтаксис вызова функций и инструментов. Модель содержит около 600 млн параметров и поддерживает контекст до 32 768 токенов. Она работает с текстом и заявляет поддержку более 100 языков. Доступен режим рассуждений с отображением пошагового ответа. В README приведён вариант Q4_K_M в формате GGUF, ориентированный на переносимый локальный запуск и использование в приложениях, включая интеграции с Godot и Flutter. К сильным сторонам относятся небольшой размер, локальный запуск, портативность GGUF-файлов и поддержка многоязычных диалогов, инструментов и режима рассуждений. При этом архитектура, точные языковые показатели и результаты тестирования не указаны, бенчмарки заявлены как готовящиеся, а дата отсечения знаний неизвестна. Базовая модель распространяется по лицензии Apache 2.0; README указывает эту же лицензию для представленного варианта.

Sherry 35B-A3B 0.1 Preview — экспериментальная модель для генерации текста, разработанная Valendra на основе Qwen/Qwen3.6-35B-A3B. Это дообученная методом SFT и GRPO модель семейства Qwen3.5 MoE с 35 млрд параметров; веса объединены, отдельный PEFT-адаптер для инференса не нужен. Модель поддерживает чат и интерфейс вызова инструментов. Главная особенность — управляемый уровень усилий рассуждения: low, medium или high задаёт компромисс между глубиной ответа, задержкой и расходом токенов. Модель предназначена для математических и научных задач, задач на рассуждение и экспериментов с программированием. В описанной авторами оценке показала 97,1% math_verify на MATH-500 и 78,3% exact match на GPQA-Diamond; эти результаты получены в одном контролируемом запуске и не гарантируют аналогичного качества в других условиях. Это предварительная версия: результат AIME 2025 находится на пересмотре, а поведение за пределами оценённых областей изучено ограниченно. Возможны ошибки, поэтому ответы следует проверять, особенно в высокозначимых сценариях. Модель распространяется по лицензии Apache-2.0.

VeriCite Embedder — дообученная англоязычная модель для получения эмбеддингов предложений, разработанная автором репозитория hishammoizuddin. Она основана на sentence-transformers/all-MiniLM-L6-v2 и использует архитектуру BERT; число параметров — 25,9 млн, максимальная длина контекста — 512 токенов. Модель предназначена для сравнения семантической близости текстов и извлечения признаков, например для поиска похожих предложений и проверки текстовых совпадений. Карточка указывает совместимость с sentence-transformers; веса доступны в формате safetensors. Лицензия — Apache-2.0.

amahdaouy/xlmrsim-mar_cos — мультиязычная модель Sentence Transformer, дообученная на базе sentence-transformers/stsb-xlm-r-multilingual. Она использует XLM-RoBERTa с mean pooling и преобразует предложения и абзацы в плотные векторы размерности 768; косинусное сходство подходит для сравнения текстов. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текстов. В README указана максимальная длина последовательности 128 токенов; метаданные каталога указывают нативный контекст до 514 токенов. Модель обучена на 19 755 примерах с CosineSimilarityLoss. Указанные в карточке языки примеров включают английский, французский и арабский; базовая модель мультиязычная. Доступна в формате safetensors и использует библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.

Это набор GGUF-квантизаций модели AIGym/Llama-3-8B-Instruct-Gradient-1048k-Agent, подготовленный командой featherless-ai-quants. Модель предназначена для генерации текста и использования в сценариях, где требуется инструкционно настроенный языковой агент, включая локальный запуск совместимых с GGUF инструментов. README не уточняет конкретные прикладные задачи, поведение агента или методику обучения. В основе лежит модель семейства Llama 3 с заявленным размером 8B параметров. Указано контекстное окно до 1 048 000 токенов, однако подробности архитектуры, поддерживаемые языки и модальности не приведены; по назначению это текстовая, а не мультимодальная модель. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8 ГБ. Выбор варианта позволяет находить компромисс между требованиями к памяти и сохранением качества, но README не содержит сравнительных оценок производительности. Лицензия в README не указана, поэтому условия коммерческого и иного использования необходимо уточнить в источнике базовой модели и для опубликованных квантизаций. Также не приведены результаты тестирования, системные требования, рекомендуемые параметры запуска и сведения о совместимых рантаймах.

AMBER (Adaptive Multitask Bilingual Embedding Representations) — текстовая модель эмбеддингов, разработанная Retrieva, Inc. на основе архитектуры ModernBERT и дообученная от sbintuitions/modernbert-ja-310m. Модель рассчитана прежде всего на японский язык и также поддерживает английский; при обучении использовались данные на обоих языках и естественно-языковые инструкции, позволяющие адаптировать эмбеддинги к задаче. В метаданных указан размер 314,6 млн параметров, контекст до 8192 токенов и формат safetensors. README указывает максимальную длину последовательности 512 токенов, выходные эмбеддинги размерностью 768 и косинусную меру сходства. Модель подходит для семантического поиска, сопоставления предложений и других задач, где требуется сравнивать текстовые представления, включая двуязычные сценарии на японском и английском. В README приведены оценки на японских JMTEB, JQaRA, JaCWIR и подмножестве MLDR, а также на английском MTEB; это результаты авторской оценки. Лицензия — Apache 2.0. Для практического применения следует учитывать расхождение между указанным в метаданных контекстом 8192 токена и лимитом последовательности 512 токенов в README.

Baichuan-M2-32B-GGUF — это набор квантизированных и полноразмерных BF16-весов модели Baichuan-M2-32B, разработанной baichuan-inc и преобразованной в формат GGUF пользователем bartowski. Квантизация выполнена с использованием llama.cpp версии b6115 и метода imatrix; доступны варианты от BF16 и Q8_0 до Q3 и IQ3/IQ4 с различным соотношением качества, размера и требований к памяти. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В README не указаны архитектурные детали, поддерживаемые языки, контекстное окно, мультимодальность или рекомендуемый prompt format, поэтому эти характеристики нельзя достоверно определить по представленным данным. Доступны файлы размером примерно от 13,7 до 65,5 ГБ; варианты Q6_K и Q6_K_L отмечены как обеспечивающие почти максимальное качество, а Q4_K_M — как компромиссный вариант для большинства сценариев. Основные преимущества — широкий выбор уровней квантизации, возможность локального использования и применение imatrix для сохранения качества при уменьшении размера. Более компактные варианты требуют меньше оперативной памяти, но могут заметно уступать в качестве; низкобитные версии Q3 и IQ3 имеют ограничения и не всегда рекомендуются. Лицензия в README не указана, поэтому условия использования необходимо уточнять на странице исходной модели baichuan-inc/Baichuan-M2-32B.

ArnavKewalram/bge-base-code-v1 — текстовая модель Sentence Transformers, дообученная на базе BAAI/bge-base-en-v1.5. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска и сравнения по смыслу; сходство оценивается косинусной мерой. Архитектура включает BERT, пулинг CLS и нормализацию эмбеддингов. Модель предназначена для извлечения эмбеддингов из текста, семантического поиска по фрагментам кода и построения retrieval-компонента для RAG. В README максимальная длина последовательности указана как 384 токена, а метаданные каталога — как 512; фактический предел может зависеть от конфигурации и способа использования. Основание для названия «code» есть в идентификаторе репозитория, но README не уточняет обучение или специализацию на коде. Лицензия в предоставленных данных не указана.

barisaydin/bge-base-en — англоязычная модель встраивания текста из семейства BGE (BAAI General Embedding), представленная в карточке FlagEmbedding. Она кодирует текст в плотные векторы для поиска релевантных документов, семантического поиска, кластеризации и классификации, а также для использования в векторных базах данных и системах RAG. Архитектура — BERT; модель содержит 136,7 млн параметров и обрабатывает до 512 токенов. Для поиска по короткому запросу в длинных документах авторы рекомендуют добавлять к запросу инструкцию «Represent this sentence for searching relevant passages:», но не к документам. В README рекомендован переход на BAAI/bge-base-en-v1.5: у текущей версии распределение оценок сходства менее удобно. Абсолютные значения сходства могут быть высокими даже у несхожих предложений, поэтому порог следует подбирать на данных конкретной задачи и ориентироваться на относительный порядок результатов. Модель распространяется по лицензии MIT.

Карточка модели AlexAnoshka/bge-m3 на Hugging Face совпадает с карточкой BAAI/bge-m3, поэтому описание составлено по ней. BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.

BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.

Карточка модели LDCC/bge-m3 на Hugging Face совпадает с карточкой BAAI/bge-m3, поэтому описание составлено по ней. BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.

CodeLlama-34b-Instruct-hf — языковая модель Meta из семейства Code Llama, представленная в формате Transformers. Это авторегрессионная плотная модель на архитектуре Transformer с 33,5 млрд параметров и контекстом до 16 384 токенов. Модель предназначена для генерации и понимания кода, завершения фрагментов кода и выполнения инструкций в формате чат-ассистента. Она принимает текст и генерирует текст; README указывает английский как целевой естественный язык, а также работу с языками программирования. Модель не заявлена как специализированная на Python. Модель обучена на данных семейства Llama 2 с дополнительными весами и настройкой для следования инструкциям. Она может выдавать неточные или нежелательные ответы; перед внедрением рекомендуется проверять её поведение для конкретных сценариев. Использование регулируется лицензией Meta Llama 2.

CodeQwen1.5-7B-Chat-GGUF — набор GGUF-квантизированных вариантов чат-модели CodeQwen1.5-7B-Chat от Qwen, подготовленный пользователем bartowski для запуска через llama.cpp. Модель относится к задачам генерации текста и ориентирована прежде всего на работу с программным кодом в диалоговом формате: написание, объяснение и редактирование кода, а также ответы на связанные с программированием запросы. В названии указано около 7 миллиардов параметров; точная архитектура, размер контекста и перечень поддерживаемых языков в предоставленных данных не описаны. В метаданных указан английский язык. Для диалога необходимо использовать шаблон с ролями system, user и assistant в формате специальных токенов Qwen. Репозиторий содержит варианты с разной степенью квантизации — от Q8_0 размером 7,70 ГБ до IQ1_S размером 2,36 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S отмечены как рекомендуемые; более компактные варианты экономят память, но могут заметно терять в качестве. Q8_0 обеспечивает наиболее высокое качество среди доступных вариантов, однако обычно не требуется. Ограничения модели включают зависимость качества от выбранной квантизации и отсутствие в README сведений о бенчмарках, мультимодальности и поддержке языков помимо заявленного английского. Указана лицензия other с названием tongyi-qianwen; подробные условия приведены в лицензии исходной модели Qwen. Квантизация выполнена с использованием llama.cpp и метода imatrix.

Это дообученная модель Sentence Transformers на базе distilbert/distilbert-base-multilingual-cased, предназначенная для преобразования предложений и абзацев в плотные векторы размерности 768. Архитектура включает DistilBERT и усредняющий mean pooling; максимальная длина входа составляет 512 токенов, для сравнения векторов используется косинусное сходство. Модель подходит для поиска семантически близких текстов, оценки сходства предложений, поиска перефразировок, кластеризации и использования текстовых представлений в классификаторах. В README приведены результаты оценки сходства на переведённых наборах STS для ассамского языка. Многоязычная базовая модель сохраняет регистр; доступные данные подтверждают работу с ассамским, но не позволяют перечислить остальные поддерживаемые языки по отдельности. Модель опубликована под лицензией базовой модели; сведения о лицензии в предоставленных данных отсутствуют.

dolphincoder-starcoder2-7b-GGUF — это набор GGUF-квантизаций модели dolphincoder-starcoder2-7b, подготовленный bartowski с использованием llama.cpp. Исходная модель разработана cognitivecomputations; в README также указаны наборы данных, использованные при обучении или дообучении, включая cognitivecomputations/dolphin, cognitivecomputations/dolphin-coder, airoboros, OpenHermes, Magicoder и наборы задач по программированию и математике. Модель предназначена прежде всего для генерации и обработки текста, связанного с программированием, включая написание, дополнение и объяснение кода, а также выполнение инструкций в соответствующих сценариях. Заявлен английский язык. Архитектура исходной модели в README не описана, однако её размер составляет 7 миллиардов параметров согласно идентификатору. Мультимодальность и размер контекста не указаны. Главная особенность репозитория — несколько уровней квантизации для запуска через llama.cpp с различным компромиссом между качеством и требованиями к памяти: от Q8_0 размером 7,86 ГБ до Q2_K размером 2,91 ГБ. В README рекомендуется Q6_K как вариант с очень высоким качеством; версии Q3 и особенно Q2 обеспечивают меньший размер, но заметно теряют в качестве. Ограничения включают отсутствие сведений о поддерживаемых языках, контекстном окне и результатах бенчмарков. Модель распространяется по лицензии bigcode-openrail-m.

upskyy/e5-large-korean — модель Sentence Transformers, дообученная автором на korsts и kornli на базе intfloat/multilingual-e5-large. Она преобразует предложения и абзацы в плотные векторы размерности 1024; архитектура включает XLM-RoBERTa и усреднение токенных представлений. Модель предназначена для сравнения смысла текстов, семантического поиска и других задач, где нужны текстовые эмбеддинги. Для вычисления сходства в README указана косинусная мера; максимальная длина последовательности — 512 токенов по README и 514 по метаданным. В README приведён результат оценки на sts-dev: корреляция Спирмена для косинусного сходства — 0,8699. Модель поддерживает корейский и другие языки; среди языков в метаданных перечислены, в частности, корейский и английский. Репозиторий использует формат safetensors, библиотека — sentence-transformers. Лицензия — MIT.