II.10Разработка и эксплуатация AI/ML-систем

z-lab/Qwen3.8-27B-PARO — квантованная версия модели Qwen/Qwen3.8-27B, разработанная командой z-lab с использованием метода ParoQuant, или Pairwise Rotation Quantization. Модель предназначена для эффективного вывода больших языковых моделей, включая задачи рассуждения, интерактивного общения и развёртывания через совместимые с OpenAI API серверы. Модель использует 4-битное квантование языковых компонентов. Визуальные компоненты сохранены в исходной точности, поэтому checkpoint поддерживает мультимодальные сценарии image-text-to-text, но занимает больше места, чем полностью квантованная версия. Заявлена поддержка NVIDIA GPU через vLLM и Transformers, а также Apple Silicon через MLX; мультимодальные возможности можно использовать при загрузке VLM-компонентов. К сильным сторонам относятся сочетание низкой точности INT4 с заявленным сохранением качества, близкого к FP16, а также производительность, сопоставимая с AWQ. Ограничение — повышенный размер модели при использовании визуальных компонентов и необходимость специализированного программного окружения ParoQuant или совместимых инструментов. Сведения о языках и размере контекстного окна в README не указаны. Модель распространяется по лицензии Apache-2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-AWQ-1M — это квантизированный вариант AWQ INT4 модели DavidAU Qwen3.8-27B Cold Fusion, подготовленный и упакованный Solstice-AI. Модель предназначена для генерации текста, рассуждений, программирования, агентных задач, отладки репозиториев и работы с длинными документами. В README заявлена поддержка английского и китайского языков, а также текстовой и пространственно-временной 3D-визуальной мультимодальности. Модель имеет размер 27 млрд параметров и использует гибридную архитектуру: блоки Gated Delta Recurrent Network с линейным вниманием и блоки Grouped-Query Attention. Формат AWQ INT4 уменьшает заявленный объём с примерно 54 ГБ в BF16 до около 18 ГБ. Контекст расширен с 262 144 до 1 048 576 токенов посредством YaRN RoPE scaling. Также заявлены аппаратная поддержка Multi-Token Prediction и ускорение генерации до 1,72–2,20 раза при использовании совместимой инфраструктуры, включая vLLM и Anvil Runtime. Сильными сторонами README называет задачи программной инженерии, решение задач, управление компьютером и мобильными ОС, следование сложным ограничениям и длинные многофайловые рабочие процессы; приведены высокие результаты на SWE-bench Pro, LiveCodeBench, QwenSWEBench, OSWorld-Verified, AndroidWorld, IFBench и ARC. Эти результаты представлены авторами модели и не подтверждены независимой проверкой в предоставленных данных. Возможными ограничениями являются требования к значительным аппаратным ресурсам для работы с контекстом в миллион токенов, потери качества или точности из-за INT4-квантизации и отсутствие подробностей о фактической совместимости мультимодальных возможностей. Указана лицензия Apache-2.0.

RedHatAI/Qwen3-8B-NVFP4 — квантизированная версия языковой модели Qwen3-8B, разработанная RedHatAI на базе Qwen/Qwen3-8B. Модель предназначена для генерации текста и диалоговых сценариев, включая развёртывание чат-ботов и других приложений на основе больших языковых моделей. Она принимает текстовые данные и генерирует текст; заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский, однако документация отдельно ограничивает использование английским языком. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в формат FP4 с использованием LLM Compressor. Размер параметров уменьшен с 16 до 4 бит, что примерно на 75% сокращает объём хранения и требования к памяти GPU. Модель рассчитана на эффективный инференс через vLLM версии 0.9.1 и новее, включая OpenAI-совместимый режим сервинга. Для калибровки использовались образцы UltraChat; в README не указаны точный размер контекстного окна и количественные результаты бенчмарков. Ключевое преимущество модели — существенное снижение потребления дисковой и GPU-памяти при сохранении совместимости с исходной Qwen3-8B. Ограничением является возможное снижение качества из-за FP4-квантизации по сравнению с неквантизированной моделью, хотя README сообщает о проведённом сравнительном тестировании без приведения результатов. Лицензия — Apache-2.0; также указано ограничение на использование способами, нарушающими применимые законы и нормативные требования.

Qwen3.8-Flash-Next-Uncensored oQ4e-100K-MTP — нативно квантованная для oMLX версия модели orcarouter/Qwen3.8-Flash-Next-Uncensored. Сборка предназначена для запуска на компьютерах Apple Silicon с 128 ГБ памяти через oMLX и совместимый с OpenAI API сервер. Она ориентирована на coding agents, программирование и другие сценарии, поддерживающие этот API, а также сохраняет vision tower Qwen4, собственную MTP-голову контрольной точки и архитектурную настройку контекста 262 144 токена. Основной формат весов — аффинная квантализация oQ4e с размером группы 64; крупная таблица PLE использует 4-битную квантализацию с размером группы 32. Часть чувствительных компонентов оставлена в Q8 или BF16 для сохранения качества вывода и эффективности MTP. Веса занимают около 108,8 млрд байт и распределены по 22 файлам safetensors. Заявленный безопасный рабочий контекст на Mac с 128 ГБ памяти составляет 100 000 токенов, несмотря на нативную настройку 262 144 токена; для полного контекста требуется SSD-offload Qwen4 PLE. Модель поддерживает текстово-визуальный pipeline, tool calling и MTP, однако для coding agents рекомендуется отключать MTP, поскольку в тестах он снижал точность работы с инструментами. Сильными сторонами являются очень длинный проверенный контекст, поддержка изображений, OpenAI-совместимый интерфейс, prompt caching и оптимизация под Apple Silicon. Ограничения включают требования к 128 ГБ оперативной памяти, быстрому локальному SSD и oMLX, а также зависимость безопасного размера контекста от конкретной конфигурации. Модель распространяется по лицензии qwen-community-1.0; в карточке указана категория лицензии other.

mlx-community/Qwen3-Coder-480B-A35B-Instruct-4bit — модель для генерации текста, созданная на основе Qwen3-Coder-480B-A35B-Instruct от Qwen и преобразованная сообществом mlx-community в формат MLX. Модель предназначена прежде всего для задач программирования и обработки инструкций, включая генерацию ответов на текстовые запросы в совместимых приложениях на базе MLX. Модель имеет обозначение 480B-A35B и использует 4-битное квантование, что уменьшает требования к памяти по сравнению с полноразмерной версией. Она поддерживает текстовую модальность и относится к классу instruction-tuned моделей для text generation. README не содержит сведений о конкретной архитектуре, максимальном контексте, поддерживаемых языках, производительности и результатах тестирования. Сильной стороной является адаптация к MLX и возможность запуска через библиотеку mlx-lm с использованием чат-шаблона токенизатора. Ограничения включают высокую заявленную размерность модели и отсутствие в README подробностей о требованиях к оборудованию, качестве на конкретных задачах и языковой поддержке. Распространение осуществляется по лицензии Apache-2.0.

tomhu/Qwen3-Coder-Next-MixedCode-Prune70-BF16 — экспериментальный чекпойнт на основе Qwen/Qwen3-Coder-Next, подготовленный методом pruning для MoE-экспертов. По README, разработчик удалил 69,92% экспертов в каждом MoE-слое: число экспертов сокращено с 512 до 154, при этом на токен по-прежнему активируются 10 экспертов. Модель содержит 48 слоёв и использует веса BF16; метаданные указывают архитектуру Qwen3-Next MoE и размер 2,3 млрд параметров, тогда как README приводит полезную нагрузку около 25,6 млрд параметров BF16. Модель предназначена для генерации кода и многошаговой разработки, в том числе для сценариев coding-агентов с вызовом инструментов. Контекст унаследован от базовой модели; метаданные указывают длину 262 144 токена. В оценке SWE-bench Verified чекпойнт решил 296 из 500 задач. Для запуска README рекомендует актуальные версии Transformers, vLLM или SGLang с поддержкой Qwen3-Next. Модель экспериментальная: автор рекомендует проверять её на целевых задачах перед внедрением. Лицензия — Apache-2.0.

noctrex/Qwen3-Coder-Next-REAM-MXFP4_MOE-GGUF — квантованная версия модели Qwen3-Coder-Next-REAM, размещённая пользователем noctrex в формате GGUF. Метаданные связывают её с базовой моделью bknyaz/Qwen3-Coder-Next-REAM; в README указана квантизация MXFP4 и приведены рекомендуемые параметры генерации: temperature=1.0, top_p=0.95 и top_k=40. Модель предназначена для генерации текста в диалоговых сценариях разработки и задачах, связанных с кодом. Она принимает текст и выдаёт текст. Для использования требуется совместимый с GGUF программный стек; сведения о лицензии и длине контекста в предоставленных данных отсутствуют.

Это пакет слоёв GGUF для модели Qwen3-Coder-Next-UD-Q4_K_XL, подготовленный Mesh LLM на основе unsloth/Qwen3-Coder-Next-GGUF. Он распределяет исходную модель по отдельным артефактам слоёв для инференса на локальном кластере Mesh LLM; в метаданных указан формат GGUF и библиотека mesh-llm. Пакет предназначен для локального приватного запуска, распределения вычислений между несколькими машинами, когда модель не помещается на одном хосте, и обслуживания чатов через локальный API, совместимый с OpenAI. Это вариант квантования UD-Q4_K_XL; подробности об архитектуре, размере, контексте, языках и лицензии следует смотреть в карточке исходной модели.

Qwen3-Reranker-0.6B-AWQ-INT4 — квантизированная версия базовой модели Qwen/Qwen3-Reranker-0.6B, подготовленная drawais. Модель предназначена для переранжирования результатов поиска и может использоваться как компактный компонент локального retrieval-стека совместно с embedding-моделью. Модель использует квантизацию весов INT4 по технологии AWQ, имеет размер на диске около 0,5 ГБ и рассчитана на запуск с Transformers или vLLM. В README указан рекомендуемый максимальный контекст 32 768 токенов. Поддерживаемый язык — английский. Дополнительные сведения об архитектуре и точном количестве параметров в README не приведены. К сильным сторонам относятся небольшой размер и низкие требования к дисковому пространству, что упрощает локальное развертывание. Ограничения включают англоязычную специализацию, отсутствие приведённых оценок качества и потенциально возможные особенности точности, связанные с 4-битной квантизацией; конкретное влияние на качество в README не описано. Модель распространяется по лицензии Apache License 2.0 как производная работа от Qwen/Qwen3-Reranker-0.6B, с требованиями к атрибуции, указанными в NOTICE.

Это извлечённый из Qwen3-VL-8B-Instruct визуальный энкодер, адаптированный для библиотеки timm; модель предназначена для получения признаковых представлений изображений. Веса исходной визуальной части перенесены в формат timm без дополнительного обучения; языковые веса и обученная голова классификации не включены. Энкодер сохраняет пространственный merger и проекцию шириной 4096, затем выполняет усреднённое pooling и LayerNorm без аффинных параметров. Ширина backbone — 1152, размер модели — около 455 млн параметров, стандартный размер изображения — 768×768. Реализация принимает RGB-изображения, поддерживает прямоугольные размеры с ограничениями на кратность сторон 16 или 32 в зависимости от варианта; промежуточные карты признаков доступны отдельно. Модель подходит для извлечения эмбеддингов и признаков изображений, а также как визуальный backbone для последующего обучения классификатора на целевом наборе данных. Новая классификационная голова и языковая модель не входят в checkpoint. Лицензия — Apache-2.0.

Qwopus3.6-27B-Coder-AutoRound-W4A16-RTN — квантизированная версия языковой модели Jackrong/Qwopus3.6-27B-Coder. Модель предназначена для генерации текста и, прежде всего, для задач программирования, включая написание исходного кода и алгоритмов. Разработчик базовой модели — Jackrong; квантизация выполнена с помощью инструмента AutoRound от Intel. Модель использует 4-битное симметричное квантование только весов с group_size 128 по схеме W4A16, при которой веса представлены в формате int4, а активации сохраняются в 16-битном формате. Размер квантизированной модели составляет около 18 117 МБ. В README не указаны точное число параметров базовой модели, поддерживаемые языки, размер контекстного окна или дополнительные модальности, поэтому модель следует рассматривать как текстовую. К преимуществам относятся существенно уменьшенный размер по сравнению с полноточной версией и возможность запуска через Transformers и vLLM. Результаты оценки показывают, в частности, accuracy 0,8503 на MMLU и 0,8215 на PIQA, однако качество зависит от задачи, а приведённые метрики не гарантируют корректность ответов в практических сценариях. Модель может выдавать фактически неверные, предвзятые, оскорбительные или непристойные ответы и требует предварительного тестирования безопасности. Лицензия в README не указана: необходимо соблюдать лицензию оригинальной модели Jackrong/Qwopus3.6-27B-Coder. Для использования рекомендуется установить AutoRound; также приведены инструкции для запуска через Transformers и vLLM.

Ring-2.5-1T — языковая модель команды Ling Team для диалогов, сложных рассуждений и многошагового выполнения задач. Карточка описывает её как модель с гибридной архитектурой линейного внимания Ling 2.5, развивающей Ling 2.0: часть слоёв GQA заменена на сочетание MLA и Lightning Linear Attention. В метаданных указаны архитектура семейства Bailing Hybrid, класс MoE и 59 млрд параметров; веса доступны в формате safetensors с compressed-tensors. Модель предназначена для математических и логических задач, программирования, поиска с использованием инструментов и длительных агентных сценариев, включая задачи разработки ПО. Заявленная длина контекста — 128K токенов с расширением до 256K посредством YaRN; метаданные указывают нативный контекст 131072 токена. Карточка сообщает о сильных результатах на ряде сложных тестов, но также отмечает ограничения в эффективности использования токенов, следовании инструкциям и выполнении реалистичных сложных задач. Модель выпущена под лицензией MIT. README сообщает, что обучение Ring-2.5-1T продолжается; отдельный технический отчёт на момент публикации карточки не представлен.

Rombos-Coder-V2.5-Qwen-7b-GGUF — это GGUF-квантизованная версия кодовой языковой модели Rombos-Coder-V2.5-Qwen-7b, опубликованная и квантизованная bartowski с использованием llama.cpp и метода imatrix. Базовая модель разработана rombodawg и основана на семействе Qwen. Модель предназначена для генерации текста и программного кода, включая локальный запуск через llama.cpp или LM Studio. В репозитории представлены варианты от F16 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ-форматов, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер исходной модели обозначен как 7B; точные сведения об архитектуре, длине контекста, дополнительных модальностях и полном наборе поддерживаемых языков в README не указаны. Заявлен английский язык, а pipeline модели относится к text-generation. Сильной стороной является широкий выбор квантований, включая варианты, оптимизированные для ARM, а также высококачественные Q6 и Q5, рекомендованные автором. Ограничения зависят от выбранного варианта: более компактные квантования снижают качество, а ARM-специализированные файлы требуют соответствующих аппаратных инструкций и не рекомендуются для Mac или Windows. Для использования указан формат диалогового шаблона ChatML. Лицензия — Apache-2.0; ссылка на лицензию ведёт к лицензии Qwen2.5-Coder-14B.

rombodawg/rombos_Replete-Coder-Instruct-8b-Merged — объединённая методом TIES языковая модель для генерации кода и диалоговых инструкций. Она основана на слиянии трёх моделей семейства Llama 3 8B, включая NousResearch/Meta-Llama-3-8B, NousResearch/Meta-Llama-3-8B-Instruct и Replete-AI/Llama3-8B-Instruct-Replete-Adapted. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и принимает контекст до 8192 токенов. Модель предназначена для генерации и дополнения кода, а также для ответов в формате инструкционного диалога. В README автор сообщает, что кодовые и общие результаты кажутся лучше, чем у обеих базовых моделей, но подробные будущие бенчмарки ещё не представлены; в карточке также приведены отдельные результаты Open LLM Leaderboard. Поддержка языков программирования и естественных языков отдельно не описана. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0.

Ruri-v3 Reranker — японская модель для переоценки релевантности текстовых пар, разработанная cl-nagoya на базе ModernBERT-Ja и дообученная от cl-nagoya/ruri-v3-pt-310m. Она предназначена для ранжирования и отбора документов-кандидатов, например в поисковых системах и RAG-пайплайнах. Модель построена на архитектуре ModernBERT и содержит 314,6 млн параметров. Она обрабатывает последовательности длиной до 8192 токенов; README также отмечает словарь на 100 тысяч токенов, FlashAttention и токенизатор SentencePiece. В карточке приведены высокие результаты на японских наборах оценки поиска JQaRA, JaCWIR и MIRACL. Модель рассчитана на японский язык и принимает текстовые пары, выдавая оценки релевантности для ранжирования. Она доступна в формате safetensors и распространяется по лицензии Apache 2.0. Для использования указан стек sentence-transformers; качество на других языках и за пределами сценариев ранжирования в карточке не описано.

silero-vad-v5 — модель обнаружения голосовой активности Silero, опубликованная Vokra в формате GGUF для runtime Vokra. Это конверсия исходных весов snakers4/silero-vad версии 5, а не новая или дообученная модель. Репозиторий содержит файл размером 2,1 МБ с архитектурой silero-vad. Модель предназначена для выделения участков речи в аудиозаписях и потоках речи. Для указанного в README сценария на вход подаётся монофонический WAV с частотой 16 кГц, а результатом являются сегменты с обнаруженной речью. Формат GGUF позволяет runtime Vokra напрямую отображать файл в память. Модель распространяется по лицензии MIT. Карточка не описывает другие частоты дискретизации, языковые ограничения или показатели качества.

Это порт Silero VAD v6 для MLX, подготовленный сообществом mlx-community на основе весов из официального пакета silero_vad. Модель использует ветвь для аудио с частотой 16 кГц и архитектуру STFT, за которой следуют четыре сверточных слоя Conv1d, LSTM со скрытым размером 128 и выходной Conv1d с сигмоидой. Веса сохранены в формате safetensors и предназначены для запуска через mlx-audio на Apple Silicon. Модель определяет наличие речи в аудио и выдаёт вероятность речи для фрагмента: по одному значению на каждые 32 мс в потоковом режиме либо на 256 мс при пакетном вызове с объединением восьми внутренних фрагментов. Её можно применять для отбора речевых участков перед распознаванием речи, обработки потокового аудио и разметки активности говорящего. В README приведены результаты на одном англоязычном собрании и проверка совпадения выходов с upstream PyTorch; эти оценки не устанавливают качество для других условий и языков. Лицензия репозитория — MIT.

Skywork_SWE-32B-GGUF — это набор квантизированных сборок модели Skywork-SWE-32B, разработанной командой Skywork и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и прежде всего ориентирована на задачи программной инженерии, включая сценарии SWE-bench. Запуск возможен через LM Studio, llama.cpp и другие проекты на базе llama.cpp. Для работы рекомендуется использовать указанный шаблон чата с ролями system, user и assistant. Модель содержит 32 млрд параметров; доступны варианты от BF16 до различных уровней квантизации, включая Q8_0, Q6_K, Q5_K, Q4_K и Q3_K. Размер файлов варьируется примерно от 13 до 66 ГБ, что позволяет выбирать баланс между качеством и требованиями к памяти. Старшие варианты квантизации обеспечивают качество, близкое к исходной модели, тогда как младшие требуют меньше ресурсов, но могут заметно терять в качестве. Архитектура, поддерживаемые языки, модальности и размер контекстного окна в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.

Smaug-Mini — мультимодальная модель Abacus.AI, дообученная на основе Qwen/Qwen3.8-27B для надёжного многошагового использования инструментов и автоматизации. Это плотная модель с архитектурой Qwen3_5ForConditionalGeneration и сохранённой башней зрения; она принимает текст и изображения и поддерживает контекст до 262 144 токенов. Модель работает в формате диалога и предоставляет интерфейс вызова инструментов. Обучение проводилось методом GRPO на многошаговых эпизодах автоматизации с проверкой результата; LoRA-адаптер языковой части был объединён с базовыми весами. По данным карточки, модель улучшает результаты ряда тестов на использование инструментов и автоматизацию, сохраняя общие возможности базовой модели примерно на прежнем уровне. Она подходит для агентных сценариев, где нужно рассуждать, вызывать инструменты и завершать задачи в среде. Лицензия — Apache-2.0. Головка многотокенного предсказания унаследована от базовой модели и не переобучалась, поэтому для неё не следует включать спекулятивное декодирование; обычное декодирование не затронуто. Данные обучения не раскрыты.

SPLADE CoCondenser SelfDistil — разреженный энкодер для поиска по предложениям и абзацам. Модель на базе Luyu/co-condenser-marco использует архитектуру BERT с MLM-преобразователем и max-пулингом SPLADE; она преобразует текст в разреженные векторы размерности 30 522, сравниваемые скалярным произведением. Максимальная длина входа — 512 токенов, а для воспроизведения оценки в README использовалось ограничение 256 токенов. Модель предназначена для семантического поиска и разреженного извлечения пассажей, включая расширение запросов и документов. В тесте MS MARCO dev в README указаны MRR@10 37,6 и R@1000 98,4. Репозиторий предоставляет веса PyTorch и использует библиотеку Sentence Transformers; лицензия CC BY-NC-SA 4.0 ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов.

Qdrant разработала SPLADE Multi-Domain E-Commerce Search — разреженный текстовый энкодер на базе DistilBERT, дообученный для поиска товаров в нескольких областях электронной коммерции. Модель кодирует запросы и описания товаров в разреженные векторы размерности 30 522, сравниваемые скалярным произведением. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и извлечения товаров по запросу в каталогах Amazon, Wayfair и Home Depot, а также для переноса поиска между разными сегментами электронной коммерции. В карточке сообщается о лучшей междоменной обобщающей способности по сравнению с однодоменной версией и BM25 на приведённых наборах данных. Это англоязычная модель, обученная на данных ESCI, WANDS и Home Depot; лицензия — Apache-2.0. Энкодер выдаёт разреженные признаки для поиска и ранжирования, а не готовые текстовые ответы. Внутри используется DistilBERT с MLM-трансформером и SPLADE pooling; качество может различаться по доменам, причём на ESCI многодоменная версия уступает указанной однодоменной модели.

mahiyama разработала японскую модель SPLADE для разреженного поиска, дообучив ModernBERT-Ja-310M на парах запросов и документов из набора mahiyama/auto-wiki-qa. Модель преобразует текст в разреженный вектор размерности 102 400: веса отражают исходные термины и связанные слова, что помогает находить документы даже при неполном совпадении формулировок. В основе — ModernBERT с MLM-головой и max-pooling SPLADE; модель содержит около 314,6 млн параметров и поддерживает контекст до 8192 токенов. Энкодер предназначен для японского поиска по текстам, в том числе по материалам Википедии и производным корпусам. Один и тот же энкодер используется для запросов и документов; для ранжирования рекомендуется скалярное произведение разреженных векторов. Веса доступны в формате safetensors, модель можно загрузить через SparseEncoder без дополнительных модулей. Подавление шумовых токенов встроено в веса, а разреженные представления подходят для инвертированных индексов и гибридного поиска с BM25 или плотными эмбеддингами. Модель особенно ориентирована на японский язык и обучена на корпусе с тематическим смещением в сторону Википедии, поэтому её расширение терминов может отражать особенности этого корпуса. Лицензия — MIT.

rasyosef/splade-tiny — компактная модель разреженного поиска, разработанная на основе BERT-Tiny и дообученная дистилляцией Cross-Encoder ms-marco-MiniLM-L6-v2 на данных MS MARCO. Она кодирует запросы и документы в разреженные векторы размерности 30 522, которые можно сравнивать скалярным произведением, и предназначена для поиска релевантных документов по текстовому запросу и построения поисковых систем для небольших коллекций. Модель содержит 4,4 млн параметров, принимает последовательности длиной до 512 токенов и использует архитектуру BERT с библиотекой Sentence Transformers. В описанной оценке на MS MARCO она достигла MRR@10 30,9 против 18,0 у BM25; автор также сообщает, что модель работает на CPU с коллекцией в несколько тысяч документов. Обучающие данные и метрики ориентированы на англоязычный поиск. Модель распространяется по лицензии MIT. Её оценка приведена для MS MARCO, поэтому качество на других языках, предметных областях и типах коллекций может отличаться; для больших корпусов стоимость индексации и поиска следует оценивать отдельно.

StarCoder — языковая модель для генерации и дополнения программного кода, разработанная проектом BigCode. Это модель на 15,5 млрд параметров на архитектуре GPT-2 с multi-query attention, обученная на 1 трлн токенов из The Stack v1.2 на более чем 80 языках программирования. Она поддерживает контекст до 8192 токенов и обучалась, в частности, для заполнения пропусков в коде (Fill-in-the-Middle), поэтому подходит для продолжения фрагмента и вставки кода в заданный контекст. Модель предназначена для помощи при написании кода, а не для выполнения инструкций в формате чат-ассистента. Наиболее полезна, когда ей предоставляют исходный код или достаточно контекста; запросы на естественном языке могут работать хуже. Генерируемый код может содержать ошибки, быть неэффективным или небезопасным. Датасет предварительно фильтровали по разрешительным лицензиям, однако модель может воспроизводить фрагменты исходного кода, для которых могут требоваться атрибуция и соблюдение условий лицензии. Лицензия модели — BigCode OpenRAIL-M.

Карточка модели Artificial-Production-Units/starcoder2-15b на Hugging Face совпадает с карточкой bigcode/starcoder2-15b, поэтому описание составлено по ней. StarCoder2-15B — плотная авторегрессионная модель генерации кода, разработанная проектом BigCode. Она обучена на более чем 4 триллионах токенов из The Stack v2 и других источников, охватывая более 600 языков программирования. Модель использует архитектуру Transformer decoder с Grouped Query Attention и скользящим вниманием; контекстное окно составляет 16 384 токена, область скользящего внимания — 4 096 токенов. В метаданных указано 21,7 млрд параметров. Модель предназначена для продолжения и дополнения кода, в том числе по Fill-in-the-Middle: она может генерировать фрагменты с учётом окружающего кода. Это не instruction-модель, поэтому запросы на естественном языке вроде просьбы написать функцию могут работать хуже, чем продолжение кода по заданному контексту. Модель обучена преимущественно на коде, а английский преобладает среди естественных языков обучающих данных. Сгенерированный код может содержать ошибки, быть неэффективным или небезопасным и не гарантированно соответствует задаче. Модель способна воспроизводить фрагменты исходного кода из обучающих данных, поэтому перед использованием результата следует учитывать лицензию исходного кода и требования атрибуции. Лицензия модели — BigCode OpenRAIL-M.

TechxGenus/starcoder2-3b-instruct — языковая модель семейства StarCoder2, дообученная разработчиком TechxGenus для следования инструкциям по программированию. В README указано обучение на дополнительных 0,7 млрд токенов, связанных с кодом, в течение трёх эпох; архитектура — плотная причинная модель Starcoder2ForCausalLM с 4,2 млрд параметров и контекстом до 16 384 токенов. Модель принимает инструкции в формате Alpaca без системного промпта и генерирует текст, в первую очередь программный код. Её можно применять для генерации и дополнения кода, решения задач программирования и ответов на запросы о коде. В README приведён результат 65,9 pass@1 на HumanEval-Python, но также отмечено, что модель ограниченно тестировалась и может ошибаться или хуже справляться с задачами вне программирования. Лицензия — BigCode OpenRAIL-M.

StarCoder2-7B-GGUF — квантованная версия модели StarCoder2 7B, разработанной командой BigCode и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена прежде всего для генерации и работы с программным кодом; исходная модель распространяется через bigcode/starcoder2-7b и использует библиотеку Transformers. В README не указаны точные архитектурные детали, перечень поддерживаемых языков программирования или естественных языков, а также мультимодальные возможности, поэтому их характеристики нельзя подтвердить. Доступно несколько вариантов квантования от 2 до 8 бит с размером файлов примерно от 2,72 до 7,63 ГБ. Заявленный размер контекста — 4608 токенов. Вариант Q4_K_M отмечен как рекомендуемый благодаря балансу размера и качества, Q5_K_M и Q5_K_S — как варианты с очень небольшой потерей качества, а Q2_K–Q3_K и некоторые legacy-варианты имеют более существенную потерю качества. Модель подходит для локального запуска в средах, совместимых с GGUF и llama.cpp; интеграция с LlamaEdge на момент публикации обозначена как находящаяся в разработке. Модель ориентирована на сценарии программирования, включая генерацию кода, но README не содержит результатов тестирования или подробного описания сильных сторон и ограничений исходной модели. Лицензия указана как BigCode OpenRAIL-M; условия её применения следует учитывать при развёртывании и распространении.

Georgia Tech Research Institute представил StarCoder GPTeacher-Codegen — модель GPTBigCode для генерации кода по инструкциям. Она создана дообучением bigcode/starcoder на наборе teknium1/GPTeacher-codegen, содержащем пары инструкций и ответов для генерации кода. В README указано 4,5 тыс. пар для дообучения; базовая модель имеет 15,5 млрд параметров и обучалась на коде более чем на 80 языках программирования. Модель принимает текстовые запросы и выдаёт код или текстовые ответы о программировании. Она рассчитана на написание функций и фрагментов кода, а также на технические запросы; карточка рекомендует формат промптов Alpaca. Контекст модели составляет 8192 токена, тогда как дообучение проводилось с длиной контекста 1024 токена. Модель использует архитектуру GPTBigCode с Multi Query Attention и поддерживает Fill-in-the-Middle. Генерируемый код может содержать ошибки, быть неэффективным или небезопасным, а ранняя настройка следования инструкциям может давать нестабильные результаты. Модель распространяется по лицензии BigCode OpenRAIL-M; код, похожий на обучающие данные, может требовать атрибуции или соблюдения других условий исходной лицензии.

Tals-coder-flash-02 — мультимодальная модель для генерации кода и рассуждений, созданная talxcc на основе prism-ml/Ternary-Bonsai-2-27B-gguf. Это вариант с пользовательской ternary-квантизацией в формате GGUF и встроенной головой Multi-Token Prediction для спекулятивного декодирования; для анализа изображений в репозитории также есть отдельный проектор CLIP. В карточке заявлены 27 млрд параметров и контекст до 262 тыс. токенов. Модель предназначена для генерации и исправления кода, работы с крупными кодовыми базами, а также анализа скриншотов интерфейсов, диаграмм и графиков. README сообщает о скорости 53–65,5 токена/с с MTP n_max=2 на RTX 4060 Ti 16 ГБ, однако результат зависит от конфигурации и специальной сборки llama.cpp с поддержкой Hadamard-ядер. Указанные скорости и возможность полностью разместить модель с контекстом на GPU являются заявлениями авторов карточки. Модель распространяется по лицензии Apache-2.0. Авторы рекомендуют проверять и тестировать сгенерированный код перед запуском; качество и надёжность вывода отдельно не подтверждены в предоставленных данных.

Карточка модели castorini/tct_colbert-v2-msmarco на Hugging Face совпадает с карточкой castorini/tct_colbert-v2-hnp-msmarco, поэтому описание составлено по ней. castorini/tct_colbert-v2-hnp-msmarco — модель семейства TCT-ColBERT-V2, опубликованная Castorini для воспроизведения варианта плотных моделей поиска, описанного в статье о дистилляции знаний для dense retrieval. Она предназначена для извлечения векторных представлений текстов и их использования в поиске по коллекции документов, в частности в сценариях, связанных с MS MARCO. Модель построена на архитектуре BERT, содержит 136,7 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в формате PyTorch. README связывает её с исследовательской работой и отчётом о воспроизведении в Pyserini. Лицензия в доступных данных не приведена.