II.6Документация и сопровождение разработки

Archangel SFT-KTO Llama 30B — языковая модель семейства LLaMA, опубликованная Contextual AI. Модель с 32,3 млрд параметров дообучена методами SFT и KTO для выравнивания ответов с человеческими предпочтениями на данных SHP, Anthropic HH и OpenAssistant. Она предназначена для генерации диалоговых ответов в формате TuluV2; контекст составляет 2048 токенов. Модель принимает текст и генерирует текст. В карточке указана поддержка английского языка. Для использования опубликованы веса в формате Safetensors, лицензия — Apache 2.0. Для этой версии README не описывает дополнительные возможности вроде работы с инструментами или изображениями.

appvoid создал Arco-L-Test-X с помощью mergekit, объединив части моделей appvoid/arco-2-openhermes и appvoid/arco-2-instruct методом passthrough. Это плотная авторегрессионная языковая модель семейства Llama с архитектурой LlamaForCausalLM, предназначенная для генерации текста. В репозитории представлены веса в формате safetensors; в конфигурации объединения указан float16. Размер модели — 568,2 млн параметров, длина контекста — 8192 токена. Модель может использоваться для генерации и продолжения текста в сценариях, поддерживаемых базовыми моделями. Данные не описывают отдельные специализированные области или подтверждённый набор языков. Лицензия в предоставленных источниках не указана, поэтому условия использования следует уточнить на странице модели.

Jebadiah/Aria-diamond-v1 — объединённая диалоговая языковая модель, созданная разработчиком Jebadiah с помощью mergekit из Jebadiah/Aria-p1-sand-stone и Jebadiah/Poppy-gem-p1. Используется архитектура Llama с плотной моделью на 7,5 млрд параметров; заявленный размер контекста — до 1 048 576 токенов. Модель предназначена для генерации текста в диалогах и чат-сценариях, работает через библиотеку Transformers и распространяется в формате safetensors. Слияние выполнено линейным методом; в конфигурации указаны веса 6,6 для Aria-p1-sand-stone и 0,06 для Poppy-gem-p1, а тип данных — float16. Карточка не сообщает отдельные специализированные области или языки. Условия лицензии не приведены в предоставленных данных. Практическое качество и применимость столь длинного контекста отдельно не описаны.

Athena-1 0.5B — компактная инструктивная языковая модель, дообученная aayanmishra-ml на основе Qwen/Qwen2.5-0.5B-Instruct. Она содержит 494 млн параметров, использует архитектуру Qwen2 для генерации текста и рассчитана на запуск в условиях ограниченных вычислительных ресурсов, включая edge-устройства. Метаданные указывают контекст до 32 768 токенов; в README заявлены 16 384 токена и генерация до 4 000 токенов за ответ. Модель предназначена для диалогов и выполнения инструкций, а также для базовой помощи с кодом и математикой, анализа и краткого пересказа небольших документов, работы с таблицами и JSON. README заявляет поддержку более 20 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский и тайский; карточка указывает английский. Модель поставляется в формате PyTorch под лицензией Apache-2.0. Небольшой размер удобен для ресурсов с ограничениями, однако заявленные возможности кодирования и математики описаны как базовые.

mradermacher/atom-27b-i1-GGUF — набор квантованных моделей в формате GGUF, созданный mradermacher на основе vanta-research/atom-27b. Модель относится к семейству Gemma и предназначена для генерации текста, диалоговых сценариев, чат-ботов, ролевого общения и задач, связанных с рассуждением и исследованием поведения и взаимодействия человека с ИИ. В метаданных указан английский язык и библиотека Transformers. Модель имеет около 27 млрд параметров в исходной версии. README также описывает её как vision-модель, поэтому для работы с изображениями могут потребоваться отдельные файлы mmproj из статического репозитория. В данном наборе представлены варианты imatrix-квантизации с разными уровнями сжатия: от IQ1_S размером около 6,4 ГБ до Q6_K размером около 22,3 ГБ. В качестве сбалансированного варианта размера, скорости и качества рекомендован i1-Q4_K_S, а i1-Q4_K_M отмечен как быстрый и рекомендуемый. Основное преимущество набора — возможность запуска крупной модели при существенно меньшем потреблении памяти, а imatrix-квантизация может обеспечивать лучшее качество по сравнению с сопоставимыми вариантами. Ограничения зависят от выбранного уровня квантизации: самые компактные варианты имеют низкое качество, тогда как более качественные требуют больше памяти. Контекстное окно, точный набор поддерживаемых языков, результаты оценки и практические системные требования в README не указаны. Лицензия исходной модели обозначена как Gemma; условия использования следует проверять в соответствии с лицензией Gemma и исходной моделью.

BTL-4 — 35-миллиардная мультимодальная модель, разработанная badtheorylabs и представленная в формате GGUF с квантованиями от bartowski. Модель предназначена для работы с текстом и изображениями; для обработки изображений требуется отдельный файл mmproj. В описании также заявлены сценарии агентной работы, использования инструментов, программирования и решения задач, требующих рассуждений. Модель запускается через llama.cpp и доступна в вариантах от BF16 до низкобитных квантований Q8, Q6, Q5, Q4 и Q3, включая форматы IQ. Размер файлов составляет примерно от 14,87 до 69,38 ГБ, поэтому выбор варианта позволяет балансировать между качеством, скоростью и требованиями к памяти. Для большинства сценариев рекомендуется Q4_K_M размером 21,39 ГБ, а для более высокого качества — Q5 или Q6. В README не указаны архитектура, поддерживаемые языки и размер контекста; также отсутствуют результаты бенчмарков. К сильным сторонам относятся поддержка текста и изображений, ориентация на код, tool use и reasoning, а также широкий выбор квантований. Ограничениями являются значительные требования к памяти, возможное снижение качества в низкобитных вариантах и необходимость совместимого рантайма llama.cpp, а для мультимодальной работы — файла mmproj. Распространение указано по лицензии Apache-2.0.

Baichuan-13B-Instruction — версия Baichuan-13B, дообученная разработчиком AlpachinoNLP для выполнения инструкций. Это плотная авторегрессионная языковая модель класса BaichuanForCausalLM с 12,9 млрд параметров; в базовой архитектуре Baichuan-13B используются 40 слоёв, 40 голов внимания и позиционные смещения ALiBi. Модель предназначена для генерации ответов и выполнения текстовых инструкций, в том числе на китайском и английском языках. Модель подходит для диалоговых демо, ответов на вопросы и других задач генерации текста. В README описаны инструкции по запуску и квантированию int8/int4; заявленная максимальная длина последовательности базовой Baichuan-13B составляет 4096 токенов. README сообщает о дообучении на отобранных китайских инструкционных данных, включая ShareGPT и LIMA. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

MaziyarPanahi/BASH-Coder-Mistral-7B-Mistral-7B-Instruct-v0.2-slerp-GGUF — это GGUF-квантизованная версия объединённой модели BASH-Coder-Mistral-7B-Mistral-7B-Instruct-v0.2-slerp, созданная и квантизованная MaziyarPanahi. В её основе лежит Mistral-7B-Instruct-v0.2; модель предназначена для генерации текста и, судя по названию и исходной модели BASH-Coder, может быть ориентирована в том числе на задачи программирования и работу с инструкциями. Модель имеет размер 7 миллиардов параметров и поставляется в формате GGUF, совместимом с llama.cpp и рядом локальных интерфейсов и библиотек, включая text-generation-webui, LM Studio, GPT4All и llama-cpp-python. Доступны варианты квантизации с разной точностью — от 2- и 3-битных до 4-, 5-, 6- и 8-битных, что позволяет выбирать компромисс между размером, скоростью и качеством. Конкретные сведения о поддерживаемых языках, длине контекста и мультимодальности в README не указаны; по представленным данным это текстовая, а не мультимодальная модель. К сильным сторонам относятся локальный запуск, широкий выбор уровней квантизации и совместимость с популярными инструментами инференса. Более агрессивная квантизация уменьшает требования к памяти, но может снижать качество генерации; README также не содержит независимых бенчмарков или подробной оценки возможностей модели. Модель распространяется по лицензии Apache-2.0.

Basilisk 4B — языковая модель от winglian, дообученная на базе winglian/llama-2-4b на данных Open-Orca с цепочками рассуждений (CoT). Это плотная авторегрессионная модель семейства Llama с 3,4 млрд параметров, предназначенная для генерации текста и ответов в диалоговых и инструкционных сценариях. Модель принимает текст и генерирует текст; её контекстное окно составляет 4096 токенов. В карточке указаны библиотека Transformers и формат PyTorch. Данные не подтверждают отдельную специализацию по языкам или прикладным областям. Basilisk 4B подойдёт для прототипирования текстовых ассистентов, генерации ответов и экспериментов с инструкционными запросами. Качество может ограничиваться размером модели и зависеть от языка и сложности задачи; подробных оценок качества в карточке нет. Сведения о лицензии отсутствуют в предоставленных данных.

Beetle-FineWeb-2B — языковая модель для генерации текста, опубликованная организацией Beetle-FineWeb и доступная через библиотеку Transformers. По идентификатору модели она относится к семейству моделей объёмом около 2 млрд параметров, обученных на данных FineWeb и ориентированных на нидерландский и английский языки с целью сбалансированной двуязычной генерации. Модель предназначена для продолжения текста, создания черновиков, генерации ответов и других сценариев, основанных на автодополнении текста. В метаданных указан pipeline text-generation и тег pico_decoder, однако подробности архитектуры, длина контекста, результаты оценки, точные характеристики обучения и лицензия в доступных источниках не приведены. Следует учитывать, что модель может генерировать фактически неверные, предвзятые или небезопасные сведения, особенно за пределами нидерландского и английского языков. Условия коммерческого и иного использования необходимо проверить отдельно, поскольку лицензия в карточке модели не указана.

Beetle-FineWeb-2B/beetle-monolingual-fineweb-2b-eng — язычная модель для генерации текста, опубликованная на Hugging Face. Модель предназначена для работы с продолжением и созданием англоязычного текста в задачах на базе библиотеки Transformers. Модель имеет заявленный размер 2B параметров в идентификаторе репозитория и относится к семейству Beetle-FineWeb; в метаданных также указаны формат safetensors и компонент pico_decoder. Поддерживаемый pipeline Hugging Face — text-generation. Сведения о разработчике, лицензии, архитектуре, длине контекста, датасете обучения и результатах оценки в предоставленной карточке отсутствуют.

badokorach/bert-finetuned-squad-7 — модель BERT, дообученная разработчиком badokorach на основе badokorach/bert-finetuned-squad-5 для ответов на вопросы. Она предназначена для извлечения ответа из предоставленного контекста; карточка сообщает о дообучении на неизвестном наборе данных и приводит значение Train Loss 0,0011 на 29-й эпохе. Модель содержит 135,5 млн параметров, принимает текст с контекстом длиной до 512 токенов и выдаёт текстовый ответ. Доступна в формате TensorFlow по лицензии Apache-2.0. Карточка не описывает обучающие и оценочные данные, языки, качество на независимых тестах или ограничения применения. Поэтому пригодность для конкретного языка и предметной области следует проверять отдельно.

mehuldamani/big-math-digits-v2-brier-base-tabc — дообученная модель Qwen/Qwen2.5-7B, созданная с использованием TRL. Это плотная авторегрессионная языковая модель на 7,1 млрд параметров для генерации текста в диалоговом формате; карточка демонстрирует запрос с открытым вопросом и получение текстового ответа. Модель рассчитана на использование через Transformers и имеет контекстное окно до 131072 токенов. Карточка не описывает специализацию на математике или конкретную методику обучения, несмотря на название репозитория, поэтому её можно охарактеризовать только как модель генерации текста общего назначения. Указаны интерфейсы чата и вызова инструментов. Базовая модель — Qwen/Qwen2.5-7B; лицензия в предоставленных данных не приведена.

MisterAI/bigscience_bloom-560m — дообученная версия BLOOM-560m, многоязычной трансформерной языковой модели BigScience. В карточке указаны дополнительные наборы данных для французских вопросов и ответов и кибербезопасности. Модель содержит 659,6 млн параметров, использует плотную архитектуру BloomForCausalLM и предназначена для генерации текста; также её можно адаптировать к задачам вроде ответов на вопросы, извлечения информации и суммаризации. Модель подходит для экспериментов, прототипов и генерации текста на поддерживаемых языках. Метаданные репозитория указывают также поддержку кода и наличие весов в PyTorch, safetensors и GGUF Q4_K_M. Используется лицензия bigscience-bloom-rail-1.0. Как и исходная BLOOM-560m, модель может выдавать фактические ошибки, повторы и предвзятый или нежелательный контент; она не подходит для критически важных решений.

BigWeave-v27-95b — экспериментальная объединённая модель от llmixer, созданная на основе 152334H/miqu-1-70b-sf. Веса модели объединены с самим собой: 30 наиболее важных слоёв, выбранных по измерениям exl2, продублированы с перекрытием 50%. Это плотная авторегрессионная архитектура LlamaForCausalLM с 96,1 млрд параметров и контекстом до 32 764 токенов; модель опубликована в формате safetensors. Модель предназначена для генерации текста и диалогов. В README названы форматы промптов ChatML, Mistral и Vicuna; экспериментальная цель проекта — проверить, как настройки объединения влияют на качество. Версия обозначает последовательность экспериментов и сама по себе не указывает на качество. В метаданных указан английский язык. Лицензия в метаданных обозначена как неизвестная, поэтому условия использования следует проверить в репозитории и у базовой модели перед применением.

BitCPM-CANN-3B — языковая модель OpenBMB с плотной архитектурой Llama и 3,2 млрд параметров. Она предназначена для генерации текста и диалогового использования. Модель обучена с осведомлённым о квантовании обучением (QAT) и тернарными весами {-1, 0, 1}; README сообщает о сравнении с полноточной MiniCPM4-3B на 11 бенчмарках и сохранении 97,2% её результатов. В репозитории веса находятся в псевдоквантованном формате: значения весов уже тернарные, но хранятся в обычном формате с плавающей точкой. Для запуска через Transformers не требуются специальные библиотеки квантования или пользовательские ядра. Заявленное сокращение памяти при инференсе примерно в шесть раз относится к преимуществам тернарного представления; фактическая экономия зависит от способа хранения и исполнения весов. Модель поддерживает китайский и английский языки, имеет контекст длиной 32 768 токенов и распространяется по лицензии Apache-2.0. Она может быть полезна для диалогов и генерации текста с ограниченными ресурсами, но остаётся генеративной моделью: ответы могут содержать ошибки и требуют проверки. В README также указано, что меньшая версия семейства 0.5B заметнее теряет качество при тернарном обучении; это не отдельная оценка ограничений именно версии 3B.

BLOOM-v3.1-mistral-7b — разговорная языковая модель, разработанная проектом Blossom и дообученная на Mistral-7B-v0.1. Это плотная авторегрессионная модель на 7,1 млрд параметров для генерации ответов в формате продолжения диалога; её контекстное окно составляет 32 768 токенов. Обучение проходило в два этапа на смешанных наборах Blossom Chat, Math, Wizard и Orca: использовались одноходовые инструкции, многоходовые диалоги и примеры математических рассуждений. Модель рассчитана на китайский и английский языки и предназначена для чат-ботов, ответов на вопросы, следования инструкциям и решения математических задач. В README отмечены широкие разговорные возможности и понимание контекста. При этом авторы предупреждают, что базовая Mistral-7B-v0.1 слабее знает китайский язык, и рекомендуют для китайских сценариев другую модель Blossom. Весы доступны в формате PyTorch по лицензии Apache-2.0.

BLOSSOM-v3-mistral-7b — разговорная языковая модель Azure99, дообученная на Mistral-7B-v0.1. Она предназначена для диалогов и выполнения инструкций, включая ответы на вопросы и задачи на математические рассуждения. Обучение прошло в два этапа на смешанных наборах Wizard, Orca, Blossom Chat и Blossom Math: сначала на одноходовых инструкциях, затем на многоходовых диалогах и примерах математических рассуждений. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Карточка указывает на китайский и английский языки; автор отмечает, что исходный Mistral-7B-v0.1 слабее знает китайский и рекомендует для китайских сценариев другую модель Blossom на Baichuan2. Модель доступна в формате PyTorch по лицензии Apache-2.0.

BlueLM-7B-Base — базовая предварительно обученная языковая модель, самостоятельно разработанная лабораторией vivo AI. Это плотная авторегрессионная модель семейства BlueLM с 6,9 млрд параметров; данная версия рассчитана на контекст до 2048 токенов и распространяется в формате PyTorch. Модель предназначена для генерации текста и служит основой для разработки приложений и последующей настройки под конкретные задачи. Корпус обучения включал преимущественно китайские и английские тексты, а также небольшую долю японских и корейских данных. В README упомянуты оценки семейства на тестах общих знаний, математики и программирования, но приведённая таблица не содержит результатов этой конкретной базовой версии. Лицензия в метаданных обозначена как other; README сообщает, что веса BlueLM открыты для академических исследований и коммерческого использования. Практические ограничения включают контекст в 2048 токенов у этой версии и отсутствие в карточке конкретных гарантий качества или результатов базовой модели на упомянутых тестах.

Breeze-7B-Instruct-v1_0-GGUF — квантизированная GGUF-версия языковой модели Breeze-7B-Instruct-v1_0, разработанной MediaTek-Research и подготовленной к квантизации компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через LlamaEdge. Указана поддержка китайского и английского языков, а контекстное окно составляет 8000 токенов. Модель имеет 7 миллиардов параметров и поставляется в вариантах с квантизацией от 2 до 8 бит, а также в формате f16. Доступны сборки размером примерно от 2,86 до 15 ГБ; варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу между размером и качеством. Более агрессивная квантизация уменьшает требования к памяти, но может приводить к заметной потере качества, тогда как f16 требует существенно больше ресурсов. Для работы используется шаблон запросов mediatek-breeze и LlamaEdge версии 0.14.2 или новее. README не содержит сведений о мультимодальности, конкретной архитектуре, результатах тестирования или ограничениях качества, поэтому модель следует рассматривать прежде всего как компактную текстовую instruct-модель для локального инференса. Лицензия — Apache 2.0.

Brunhilde-13b — плотная авторегрессионная языковая модель семейства Llama от arlineka, предназначенная для генерации текста по инструкции и ролевых сценариев. Карточка использует шаблон Alpaca с отдельными полями для инструкции и ответа; в метаданных указаны 12,9 млрд параметров и контекст до 4096 токенов. Модель распространяется в формате Safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. README приводит результаты Open LLM Leaderboard, включая оценки по ARC и HellaSwag, но не содержит подробностей о методе обучения или составе возможного слияния моделей.

Buzz-8b-Large-v0.5 — языковая модель Alignment Lab AI, разработанная совместно с Hive Digital Technologies на основе дообучения модели Alignment-Lab-AI/Neural-network-medium-untuned-theta. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, контекстом до 8192 токенов и весами в формате safetensors. Она предназначена для генерации продолжений текста и локального использования; для диалога в подсказку следует добавлять префикс роли, например «assistant:». Разработчики описывают Buzz как исследовательский проект по повторному использованию предобученных языковых моделей и итеративному дообучению на датасете Buzz. Модель работает с текстом и ориентирована на английский язык. Лицензия — Apache-2.0. В карточке есть несоответствие между названием модели в репозитории и упоминанием Buzz-8b-Medium в инструкции по запуску, поэтому пример использования стоит сверить с актуальной версией модели.

ByteDance-Seed_Seed-OSS-36B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Seed-OSS-36B-Instruct, разработанной ByteDance-Seed. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. Доступны варианты от BF16 до различных форматов Q8, Q6, Q5, Q4 и Q3, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Размеры файлов составляют примерно от 16,50 до 72,31 ГБ. В README не указаны архитектура, поддерживаемые языки, контекстное окно, мультимодальность и точные сценарии применения исходной модели. Для вариантов с более сильным сжатием ожидается снижение качества, тогда как Q6 и Q5 позиционируются как высококачественные, а Q4 — как практичный компромисс для большинства случаев. Модель удобна для локального инференса на совместимом оборудовании, однако требует значительных ресурсов, особенно в вариантах BF16 и высоких разрядностей. Формат лицензии в README не указан; условия использования следует уточнять на странице исходной модели ByteDance-Seed/Seed-OSS-36B-Instruct.

Это GGUF-квантизация модели c4ai-command-r-v01, разработанной CohereForAI. Репозиторий duyntnet содержит варианты квантования с использованием imatrix для запуска модели в формате GGUF. Модель предназначена для генерации текста и диалоговых сценариев; в исходном README приведён пример применения через transformers с chat template Command R. Указана поддержка английского языка и задача text-generation. Архитектура, число параметров, размер контекста и точный набор вариантов квантования в предоставленных данных не указаны. Ключевое преимущество этой версии — возможность использовать квантизированную модель в формате GGUF, что может снизить требования к ресурсам по сравнению с полноразмерной моделью. Ограничения связаны с отсутствием подробностей о характеристиках конкретных квантов, производительности и совместимости. Лицензия обозначена как other; дополнительные условия использования не приведены.

Calme-12B-Instruct-v0.1-GGUF — это набор файлов модели в формате GGUF для текстовой генерации, созданный и квантизированный MaziyarPanahi. Модель основана на MaziyarPanahi/Calme-12B-Instruct-v0.1 и относится к семейству Mistral; размер исходной модели составляет около 12 миллиардов параметров. Вариант предназначен для использования с llama.cpp и совместимыми приложениями и библиотеками, включая локальные графические интерфейсы и серверы инференса. Модель ориентирована на выполнение инструкций и диалоговые сценарии, генерацию текста и локальный запуск с поддержкой CPU и GPU в зависимости от используемого программного обеспечения. Доступны варианты квантизации от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Формат поддерживает текстовую модальность; сведения о языках и размере контекстного окна в README не указаны. Основные преимущества — наличие нескольких уровней квантизации и широкая совместимость с экосистемой GGUF, благодаря чему модель можно запускать локально на различных конфигурациях. К ограничениям относятся потенциальная потеря качества при более сильной квантизации, а также отсутствие в предоставленных данных бенчмарков, подробных характеристик архитектуры, языковой поддержки и контекстного окна. Модель распространяется по лицензии Apache-2.0.

calme-2.4-qwen2-7b — языковая модель, дообученная MaziyarPanahi на базе Qwen/Qwen2-7B. Она предназначена для генерации текста в диалоговом формате и ориентирована на улучшение результатов базовой модели в бенчмарках. Для общения используется шаблон ChatML. Модель имеет плотную архитектуру Qwen2ForCausalLM, содержит 7,1 млрд параметров и рассчитана на контекст до 131 072 токенов. В карточке указаны английский язык и дообучение на наборах HelpSteer2, OpenHermes-2.5, Orca Math Word Problems 200k и SlimOrca. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0. В опубликованных результатах Open LLM Leaderboard указаны средний балл 22,52, результат 33,00 на IFEval и 31,82 на BBH; карточка заявляет цель улучшить базовую модель по бенчмаркам, но не приводит полного описания методики оценки. Как и другие языковые модели, она может генерировать ошибки или неподтверждённые сведения; качество на конкретных задачах следует оценивать отдельно.

Calme-7B-Instruct-v0.1.1-GGUF — набор файлов модели в формате GGUF для MaziyarPanahi/Calme-7B-Instruct-v0.1.1, разработанный и квантованный MaziyarPanahi. Это текстовая instruction-tuned модель примерно на 7 миллиардов параметров, предназначенная для генерации текста, диалогов и выполнения инструкций. Модель ориентирована на локальный запуск с использованием llama.cpp и совместимых клиентов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Репозиторий содержит варианты квантования с разрядностью от 2 до 8 бит, включая семейство K-квантований Q2_K, Q3_K, Q4_K, Q5_K и Q6_K. Выбор варианта позволяет находить компромисс между требованиями к памяти, скоростью работы и сохранением качества. Указана принадлежность к семейству Mistral, однако точные сведения об архитектуре, размере контекста и поддерживаемых языках в README не приведены. Модель работает с текстом и не предназначена для мультимодальных задач. Сильными сторонами являются компактный размер, возможность запуска на локальном оборудовании и широкий выбор уровней квантования. Ограничения включают возможные потери качества при использовании более агрессивного квантования, а также отсутствие в предоставленных данных результатов оценки, точных требований к ресурсам и перечня поддерживаемых языков. Модель распространяется по лицензии Apache 2.0.

Camel-Platypus2-70B — объединённая авторегрессионная языковая модель на архитектуре LLaMA 2, созданная на основе garage-bAInd/Platypus2-70B и augtoma/qCammel-70-x. В README указаны Platypus2-70B от Cole Hunter и Ariel Lee и qCammel-70-x от augtoma; автор самого объединения отдельно не назван. Модель содержит 68,7 млрд параметров, принимает текст и генерирует текст, поддерживает английский язык и имеет контекст 4096 токенов. Модель предназначена для генерации ответов на инструкции и задач на рассуждение, включая вопросы по STEM-дисциплинам и логике. В README приведены результаты оценивания на ARC, HellaSwag, MMLU и TruthfulQA. Модель распространяется по лицензии CC BY-NC-4.0, которая ограничивает коммерческое использование. Ответы могут быть неточными, предвзятыми или нежелательными; тестирование проводилось на английском языке и не охватывает все сценарии.

Карточка модели AmberYifan/capsd-less-humaneval-opc-marin-8b-base-code_less_b2000_s0 на Hugging Face совпадает с карточкой AmberYifan/capsd-less-fast-opc-marin-8b-base-code_less_b2000_s0, поэтому описание составлено по ней. Это дообученная модель семейства Llama, созданная на основе marin-community/marin-8b-base и обученная на наборе capsd_marin-8b-base-n80000-opc__mix_code_less_b2000_s0. Она предназначена для генерации и продолжения текста в диалоговых сценариях. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст; заявленная длина контекста — 4096 токенов. Репозиторий использует Transformers и формат safetensors. Базовая Marin 8B Base ориентирована на английский язык; другие поддерживаемые языки для этой производной модели не подтверждены. Лицензия указана как other, поэтому условия использования следует сверить с лицензией в репозитории.

Карточка модели AmberYifan/capsd-less-ultra-humaneval-opc-marin-8b-base-code_less_b2000_s0 на Hugging Face совпадает с карточкой AmberYifan/capsd-less-fast-opc-marin-8b-base-code_less_b2000_s0, поэтому описание составлено по ней. Это дообученная модель семейства Llama, созданная на основе marin-community/marin-8b-base и обученная на наборе capsd_marin-8b-base-n80000-opc__mix_code_less_b2000_s0. Она предназначена для генерации и продолжения текста в диалоговых сценариях. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст; заявленная длина контекста — 4096 токенов. Репозиторий использует Transformers и формат safetensors. Базовая Marin 8B Base ориентирована на английский язык; другие поддерживаемые языки для этой производной модели не подтверждены. Лицензия указана как other, поэтому условия использования следует сверить с лицензией в репозитории.